Riassunto Tecnico: DOVE Generare Importa: Augmentation Sintetica Consapevole del Budget per il Federated Learning con Label Skew

Problematica

Lo skew delle etichette (label skew), ovvero la situazione in cui i client in un contesto di Federated Learning (FL) possiedono distribuzioni di classi localmente sbilanciate, è una sfida fondamentale che causa il client drift e degrada l'accuratezza del modello globale. Sebbene i metodi esistenti di augmentation tramite dati sintetici tentino di correggere questo problema generando campioni mancanti, la politica dominante — il Full Class Balancing — richiede che ogni client generi campioni finché tutte le classi non raggiungono la dimensione della classe più numerosa del client stesso.

Questo approccio è computazionalmente proibitivo. Come dimostrato nel paper, raggiungere il bilanciamento completo su una partizione standard di CIFAR-10 con 20 client e un alto skew ($\alpha=0.1$) richiede la generazione di oltre 226.000 campioni sintetici. Inoltre, i metodi esistenti vincolati dal budget allocano spesso le risorse di generazione in modo uniforme o in base alla dimensione dei dati del client, ignorando lo specifico skew della distribuzione delle etichette. Gli autori sostengono che la domanda critica non sia solo quanto dato generare, ma DOVE i campioni debbano andare per massimizzare l'accuratezza entro un budget fisso.

Metodologia: FedEAS

Il paper propone FedEAS (Federated Entropy-Adaptive Synthesis), una politica che assegna dinamicamente un budget di generazione per classe a ciascun client in base alla sua distribuzione locale delle etichette. A differenza dei metodi precedenti che fissano in anticipo il budget totale, FedEAS deriva il budget di generazione totale dalla somma dei budget individuali dei client.

Meccanismo Core

FedEAS opera su tre osservazioni chiave derivate dall'analisi del client drift e della riduzione dello sbilanciamento:

1. Lo sbilanciamento è concentrato: Un piccolo sottoinsieme di client altamente skew contribuisce in modo sproporzionato allo sbilanciamento globale.
2. La generazione mirata è efficiente: Lo sbilanciamento diminuisce solo quando vengono aggiunti campioni a classi scarse o assenti; aggiungere campioni a classi già abbondanti produce rendimenti decrescenti o negativi.
3. Rendimenti decrescenti: Il costo per rimuovere lo sbilanciamento aumenta man mano che la distribuzione diventa più bilanciata; il bilanciamento completo è spesso non necessario per ottenere guadagni significativi di accuratezza.

La Regola del Budget Adattiva all'Entropia

Per ogni client $k$, FedEAS calcola un budget di generazione per classe $b_k$ utilizzando la seguente formula:

$$b_k = \lfloor \sqrt{\bar{n}_k} \cdot (1 - \tilde{H}_k) \cdot \beta \rfloor$$

Dove:

• $\bar{n}_k = N_k / C$ è il conteggio medio per classe per il client $k$.
• $\tilde{H}_k$ è l'entropia di Shannon normalizzata della distribuzione delle etichette locale del client (che varia da 0 per distribuzioni altamente skew a 1 per distribuzioni perfettamente bilanciate).
• $\beta$ è un parametro di budget scalare condiviso da tutti i client.
• Il termine $(1 - \tilde{H}_k)$ garantisce che i client altamente skew ricevano budget più ampi, mentre i client quasi bilanciati o IID ricevano quasi nulla (riducendosi a standard FedAvg nel limite).
• Il termine $\sqrt{\bar{n}_k}$ scala il budget in modo sub-lineare rispetto alla dimensione del client per evitare l'allocazione eccessiva ai client grandi.

Generazione e Training

Una volta calcolato $b_k$, il client genera campioni sintetici solo per le classi $c$ dove il conteggio locale $n_k^c < b_k$. Il numero di campioni generati per la classe $c$ è $n_{k, \text{gen}}^c = \max\{0, b_k - n_k^c\}$. Questa strategia "fill-to-threshold" (riempimento fino alla soglia) assicura che i campioni siano diretti esclusivamente alle classi assenti o scarse. La generazione viene eseguita una sola volta per client utilizzando un modello probabilistico di diffusione (DDPM) condizionale alla classe pre-addestrato, e i campioni generati vengono memorizzati in cache per l'uso in tutti i successivi round di training.

Contributi Chiave

1. Allocazione del Budget Adattiva all'Entropia: FedEAS introduce una politica che determina sia la quantità di dati sintetici che la loro distribuzione ("DOVE") in base allo skew delle etichette locali. Alloca budget più ampi ai client skew e mira solo alle classi scarse.
2. Accuratezza Efficiente nella Generazione: Il metodo recupera la maggior parte dei guadagni di accuratezza associati al Full Class Balancing riducendo il budget di generazione totale del 94,1% (ad esempio, 13.437 campioni rispetto a 226.783 campioni su CIFAR-10). Ciò si traduce in una riduzione di 3,7× del tempo di esecuzione end-to-end su una singola GPU.
3. Dominanza dell'Allocazione: Sotto un protocollo a budget corrispondente (dove tutti i metodi utilizzano lo stesso numero totale di campioni generati), FedEAS supera l'allocazione Uniforme fino al 18,82% su CIFAR-10 e CIFAR-100. Inoltre, converge fino a 2× più velocemente rispetto alle politiche di generazione "Missing-only".

Risultati Sperimentali

Gli autori hanno valutato FedEAS su CIFAR-10 e CIFAR-100 sotto skew di etichette di Dirichlet ($\alpha \in \{0.05, 0.1, 0.3\}$) con un numero variabile di client ($K=20, 100$).

• Accuratezza vs. Budget: Su CIFAR-10 ($\alpha=0.1, K=20$), FedEAS ha raggiunto il 71,65% di accuratezza, recuperando due terzi del guadagno fornito dal Full-Balance (79,91%) pur utilizzando solo il 5,9% dei campioni sintetici.
• Confronto con i Baseline: FedEAS ha costantemente superato gli standard FL baseline (FedAvg, FedProx, SCAFFOLD, MOON) e i baseline di augmentation (Uniform, Missing-only).
• Sensibilità al Budget: È stato dimostrato che l'accuratezza cresce monotonicamente con il parametro di budget $\beta$. Gli autori hanno selezionato $\beta=12$ come valore predefinito, che soddisfaceva due condizioni: rimuovere almeno il 50% dello score di sbilanciamento iniziale mantenendo i campioni sintetici al di sotto del 25% del totale dei dati di training.
• Studi di Ablazione: Rimuovere il fattore di entropia o sostituire la scalatura sub-lineare della dimensione con una regola lineare ha portato a un'accuratezza inferiore e costi di generazione più elevati, confermando la necessità di entrambi i componenti nella formula del budget.

Significato e Claim

Il paper sostiene che l'allocazione è il problema di design primario per l'augmentation sintetica nel FL con label skew. Gli autori affermano che il budget totale di generazione non dovrebbe essere un vincolo fisso e predeterminato, ma piuttosto una conseguenza dei bisogni per-client derivati dalle loro distribuzioni locali.

Spostando il focus dal "full balancing" all' "entropy-adaptive budgeting", FedEAS dimostra che è possibile ottenere miglioramenti significativi dell'accuratezza con una generazione minima di dati sintetici. Il metodo è agnostico rispetto al generatore (compatibile con qualsiasi generatore condizionale alla classe) e non richiede modifiche al protocollo di comunicazione FL standard o ai pesi di aggregazione, rendendolo una soluzione pratica ed efficiente per mitigare il client drift in ambienti eterogenei.