FedOUI: OUI-Guided Client Weighting for Federated Aggregation

Riepilogo Tecnico: FedOUI – Ponderazione dei Clienti Guidata dall'OUI per l'Aggregazione Federata

Enunciato del Problema

L'apprendimento federato (FL) affronta sfide significative a causa dell'eterogeneità dei dati tra i clienti, che si manifesta in variazioni di dimensione del campione, distribuzione delle classi, livelli di rumore e dinamiche di ottimizzazione locale. Le regole di aggregazione standard, come FedAvg, ponderano tipicamente gli aggiornamenti dei clienti basandosi esclusivamente sulla dimensione del dataset o, in metodi più avanzati, sulla geometria del gradiente e sulla robustezza. Tuttavia, questi approcci spesso trascurano i segnali interni riguardanti come il modello di un cliente organizza il suo spazio di input durante l'addestramento. Di conseguenza, i clienti possono produrre aggiornamenti di scala simile pur operando in regimi interni vastamente diversi, portando a un'aggregazione globale subottimale.

Metodologia

Il documento propone FedOUI, una regola di aggregazione lato server che incorpora una metrica basata sull'attivazione e priva di etichette, denominata Indicatore di Sovradattamento-Sottadattamento (OUI), per guidare la ponderazione dei clienti.

1. La Metrica OUI:
Calcolata localmente su ogni cliente utilizzando un batch di sonda fisso di dimensione $B$, l'OUI misura l'equilibrio dei pattern di attivazione nello strato penultimo pre-attivazione.

• Per ogni unità $j$ in uno strato con $d$ unità, viene generata una maschera di attivazione binaria per ogni campione nel batch di sonda.
• Vengono calcolati il numero di campioni attivi ($s_j$) e il conteggio della minoranza ($u_j = \min(s_j, B - s_j)$).
• Il valore OUI del cliente ($o_k$) è la media dei conteggi della minoranza normalizzati su tutte le unità, risultando in uno scalare in $[0, 1]$. Un valore vicino a 0,5 indica attivazioni bilanciate, mentre valori vicini a 0 o 1 indicano pattern di attivazione fortemente sbilanciati (atipici).

2. Regola di Aggregazione Lato Server:
In ogni round di comunicazione $t$, i clienti trasmettono al server il loro aggiornamento del modello locale ($\Delta_k^t$), il conteggio dei campioni ($n_k$) e il valore OUI ($o_k^t$).

• Stima della Distribuzione: Il server modella la distribuzione dei valori OUI ricevuti utilizzando una distribuzione Beta, $Beta(\alpha_t, \beta_t)$, adattata ai dati del round. Ciò fornisce una nozione di "tipicità strutturale" per quel round specifico.
• Punteggio Strutturale: A ogni cliente viene assegnato un punteggio strutturale ($s_k^t$) basato sulla sua distanza dal centro della distribuzione Beta adattata:
  $$s_k^t = 2 \min \{F_t(o_k^t), 1 - F_t(o_k^t)\}$$
  dove $F_t$ è la funzione di distribuzione cumulativa. I clienti vicini al centro della distribuzione ricevono punteggi più alti, mentre quelli nelle code (strutturalmente atipici) ricevono punteggi più bassi.
• Calcolo del Peso: Il peso finale di aggregazione ($w_k^t$) combina la dimensione del campione del cliente e il punteggio strutturale:
  $$w_k^t \propto n_k (\epsilon + s_k^t)$$
  dove $\epsilon$ è una piccola costante per la stabilità numerica. Ciò garantisce che i clienti atipici contribuiscano meno all'aggiornamento globale, mentre tutti i clienti selezionati rimangono attivi.

Contributi Chiave

• Segnale Novello per l'Aggregazione: Il documento introduce l'uso della struttura interna di attivazione (tramite OUI) come segnale complementare per l'aggregazione FL, distinto dalla geometria del gradiente o dalla dimensione del campione.
• Meccanismo Leggero e Interpretabile: FedOUI richiede un sovraccarico computazionale minimo (un batch di sonda fisso) e offre una regola di riponderazione interpretabile che smussa l'influenza dei clienti strutturalmente atipici senza scartarli.
• Operatività Senza Etichette: La metrica OUI non richiede l'accesso alle etichette di verità fondamentale lato cliente, rendendola adatta a scenari FL che preservano la privacy.

Risultati Sperimentali

Gli autori hanno valutato FedOUI sul dataset CIFAR-10 utilizzando una piccola CNN su 20 clienti (5 campionati per round) per 60 round. I confronti sono stati effettuati contro FedAvg, FedProx e FedAlign in due impostazioni principali:

1. Impostazione Fortemente Non-IID (Dirichlet $\alpha=0.1$):

   • FedOUI ha raggiunto la massima accuratezza finale (0,2343 contro 0,2163 per FedAvg) e la migliore accuratezza di picco (0,2820).
   • Ha anche prodotto la più alta Area Under the Curve (AUC) per l'accuratezza di test (0,1726), indicando miglioramenti costanti delle prestazioni lungo la traiettoria di addestramento.
   • FedAlign ha performato significativamente peggio in questo regime.

2. Impostazione con Clienti Rumorosi:

   • FedOUI ha raggiunto la migliore accuratezza di picco (0,3183), superando FedAvg e FedProx (entrambi ~0,3100).
   • Sebbene la sua accuratezza finale fosse leggermente inferiore rispetto ai baseline (0,2310 contro 0,2727), ha mantenuto punteggi AUC competitivi, dimostrando robustezza quando la qualità del cliente è degradata.

Significato e Affermazioni

Il documento afferma che la struttura interna di attivazione fornisce una fonte pratica e utile di informazioni per l'aggregazione federata, estendendo il ruolo di tali osservabili dall'analisi dell'addestramento al controllo attivo dell'aggregazione.

• Gestione dell'Eterogeneità: I risultati suggeriscono che la ponderazione basata sull'OUI è particolarmente efficace sotto forte eterogeneità statistica, dove migliora la qualità dell'aggregazione identificando e riducendo il peso dei clienti che operano in regimi strutturalmente atipici.
• Valore Complementare: Il metodo dimostra che l'aggregazione può essere potenziata da segnali oltre la dimensione del cliente e la geometria del gradiente, offrendo un meccanismo semplice lato server per adattarsi alle dinamiche interne dei modelli dei clienti.
• Direzioni Future: Gli autori posizionano questo lavoro come un passo verso un'agenda di ricerca più ampia che coinvolge segnali strutturali interni per il monitoraggio e il controllo dell'apprendimento distribuito. Propongono lavori futuri su dataset più grandi, OUI a livello di strato, smoothing temporale e integrazione con la geometria del gradiente, nonché ottimizzazioni a livello di sistema per l'efficienza della privacy e della comunicazione.