Sintesi Tecnica: FedLBW – Una Strategia di Pesatura Basata sulla Perdita per il Federated Learning su Dati Non-IID in Reti Wireless

1. Definizione del Problema

Il Federated Learning (FL) consente l'addestramento collaborativo di modelli attraverso client distribuiti preservando al contempo la privacy dei dati. Tuttavia, raggiungere una convergenza efficiente del modello in ambienti di rete wireless rimane una sfida a causa di due fattori primari: dati non indipendenti e identicamente distribuiti (non-IID) e frequenti dropout dei client.

Gli algoritmi di aggregazione tradizionali, in particolare FedAvg, si affidano esclusivamente alla dimensione del dataset locale di un client per pesare gli aggiornamenti. Gli autori identificano diverse limitazioni critiche in questo approccio:

• Bias verso la Quantità di Dati: Privilegia i client con dataset più grandi indipendentemente dalla qualità o dalla rilevanza dei loro modelli locali.
• Sensibilità ai Dati Non-IID: In ambienti eterogenei, la dimensione dei dati non correla con la qualità del modello, portando a prestazioni globali subottimali.
• Suscettibilità agli Outlier: Modelli locali scarsamente addestrati provenienti da client con dataset ampi possono influenzare in modo sproporzionato il modello globale, degradando le prestazioni complessive.
• Mancanza di Incentivi: I client non sono incentivati a migliorare la qualità dell'addestramento locale, poiché il loro contributo è determinato strettamente dalla dimensione del dataset.
• Vulnerabilità ai Dropout: Le disconnessioni dei client nelle reti wireless possono causare oscillazioni attorno ai punti stazionari, ostacolando la convergenza e l'affidabilità del sistema.

Le soluzioni esistenti, come FedProx, FedNova e FedLaw, tentano di affrontare l'eterogeneità attraverso termini prossimali, normalizzazione o pesi apprendibili. Tuttavia, gli autori sostengono che questi metodi spesso non riescono a sfruttare appieno il potenziale prestazionale dei modelli locali o faticano in scenari non-IID estremi.

2. Metodologia: FedLBW

Il documento propone il Federated Learning con Loss-Based Weighting (FedLBW), una nuova strategia di aggregazione che sostituisce la pesatura basata sulla dimensione del dataset con la pesatura basata sulla perdita di validazione inversa.

Meccanismo Core

Invece di pesare gli aggiornamenti dei client ($w_c$) tramite il numero di campioni ($n_c$), FedLBW assegna i pesi in base all'inverso della perdita di validazione del modello locale del client ($L_c$).

• Calcolo del Peso: Il peso per il client $c$ nel round $t$ è calcolato come:
  $$\beta_c^t = \frac{1/L_c^{t+1}}{\sum_{j \in S_t} 1/L_j^{t+1}}$$
  dove $L_c^{t+1}$ è la perdita di validazione del modello aggiornato del client.
• Dataset Proxy: Per calcolare queste perdite di validazione, il server utilizza un piccolo dataset proxy bilanciato per classe ($V$). Questo dataset è distinto dai dati dei client ed è utilizzato esclusivamente per la valutazione. La perdita è calcolata come la media della cross-entropy loss sul set proxy.
• Aggregazione: Il modello globale viene aggiornato aggregando i modelli dei client pesati da $\beta_c^t$. Ciò assicura che i client con perdite di validazione inferiori (che indicano una migliore generalizzazione sul proxy) esercitino una maggiore influenza sul modello globale.

Flusso Algoritmico

1. Selezione: Il server seleziona un sottoinsieme di client ($S_t$) basandosi su un Client Participation Ratio (CPR).
2. Addestramento Locale: I client selezionati eseguono l'addestramento locale (SGD) sui propri dati privati per $E$ epoche.
3. Valutazione della Perdita: I client restituiscono i modelli aggiornati. Il server calcola la perdita di validazione ($L_c$) per ogni modello sul dataset proxy lato server.
4. Aggregazione Pesata: Il server aggrega i modelli utilizzando i pesi della perdita inversa per formare il nuovo modello globale.

Analisi Teorica

Il documento fornisce un'analisi della convergenza per FedLBW sotto partecipazione parziale dei client e obiettivi non convessi. L'analisi introduce un fattore di concentrazione del peso ($\rho$) per limitare la deviazione dei pesi basati sulla perdita rispetto ai pesi uniformi. Gli autori dimostrano che se il rapporto tra la perdita minima e massima è limitato ($\delta$), FedLBW produce un termine di bias più piccolo ($G^2(\rho - 1)$) rispetto a FedAvg, supportando teoricamente una convergenza più rapida e una riduzione del bias.

3. Contributi Chiave

Gli autori riassumono i loro contributi come segue:

1. Nuova Strategia di Pesatura: Proposta di FedLBW, che utilizza l'inverso della perdita di validazione del modello locale (calcolata su un proxy lato server) come pesi di aggregazione, sostituendo la tradizionale pesatura basata sul numero di campioni.
2. Convergenza Teorica: Un'analisi formale della convergenza di FedLBW nel regime di partecipazione parziale e di epoche locali, stabilendo limiti sull'errore di ottimizzazione e sul rumore.
3. Robustezza Empirica: Esperimenti estesi su tre dataset (FashionMNIST, CIFAR-10, CIFAR-100) e tre architetture (CNN, ResNet-18, ResNet-34) che dimostrano miglioramenti costanti delle prestazioni, in particolare in scenari non-IID estremi ($\alpha = 0.1$) e bassi rapporti di partecipazione dei client.
4. Resilienza ai Dropout: Dimostrazione che FedLBW mantiene stabilità e alta accuratezza anche sotto probabilità estreme di dropout dei client (fino al 50%), superando sia i metodi convenzionali (FedAvg) che quelli allo stato dell'arte (FedLAW).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un sistema con 100 client utilizzando il campionamento di Dirichlet ($\alpha \in \{0.1, 0.3, 0.6\}$) per simulare dati non-IID.

• Miglioramenti dell'Accuratezza: FedLBW ha superato costantemente i baseline (FedAvg, FedAvgM, FedProx, FedNova, FedLAW, FedDkw).
  • Su CIFAR-10 con ResNet-18 in condizioni non-IID estreme ($\alpha=0.1$), FedLBW ha raggiunto un'accuratezza del 58.63%, un miglioramento del 7.66% rispetto a FedAvg (50.97%) e del 9.44% rispetto a FedLAW.
  • Su FashionMNIST ($\alpha=0.1$), FedLBW ha raggiunto l'83.51%, superando FedAvg del 2.11%.
  • Su CIFAR-100 ($\alpha=0.1$), FedLBW ha ottenuto il 39.11%, superando tutti i baseline.
• Velocità di Convergenza: FedLBW ha dimostrato una convergenza più rapida, in particolare nei primi round di addestramento sotto alte condizioni non-IID, grazie alla priorità data ai gradienti di alta qualità.
• Resilienza ai Dropout: Sotto una probabilità di dropout del 50% su CIFAR-10, l'accuratezza di FedAvg è crollata al 39.81%, mentre FedLBW ha mantenuto il 64.40%, preservando oltre il 90% delle sue prestazioni di base.
• Bassa Partecipazione: In scenari con 100 client totali e solo il 10% di partecipazione (CPR=0.1), FedLBW ha raggiunto il 49.89% di accuratezza, superando significativamente FedAvg (43.80%).
• Sensibilità del Proxy: Il metodo è rimasto robusto anche quando il dataset proxy del server soffriva di skew delle etichette, shift covariante (perturbazione della luminosità) o shift di dominio (immagini SVHN), sebbene le prestazioni fossero correlate all'allineamento (Spearman's $\rho$ e FID) tra la distribuzione del proxy e quella dei client.

5. Significato e Rivendicazioni

Il documento afferma che FedLBW offre un meccanismo semplice ma potente per affrontare i limiti fondamentali della pesatura basata sulla dimensione dei dati nel FL. La sua importanza risiede nel:

• Gestione dei Dati Non-IID: Dando priorità ai modelli locali ben addestrati indipendentemente dalla dimensione dei dati, mitiga efficacemente gli effetti avversi dell'eterogeneità dei dati.
• Mitigazione degli Outlier: Riduce l'influenza dei modelli scarsamente addestrati, il che è critico nelle reti wireless dove l'affidabilità dei client varia.
• Incentivazione della Qualità: Crea un collegamento diretto tra la performance del modello locale e il contributo globale, incoraggiando teoricamente un migliore addestramento locale.
• Idoneità Wireless: Il metodo è presentato come una soluzione resiliente specificamente per gli ambienti di rete wireless, dove i dropout dei client e l'eterogeneità dei dati sono inevitabili.

Gli autori concludono che, sebbene FedLBW introduca un carico computazionale minore sul server (calcolo della perdita di validazione su un dataset proxy), questo è trascurabile rispetto ai guadagni in accuratezza e velocità di convergenza. Posizionano FedLBW come un approccio pratico e scalabile che migliora la qualità del modello e la robustezza nelle implementazioni reali di FL.