FAIRVAR: Fair Federated Learning via Variance Regularization

Riepilogo Tecnico: FAIRVAR - Fair Federated Learning via Variance Regularization

Problematica

Il Federated Learning (FL) consente l'addestramento collaborativo di modelli su più client senza condividere i dati grezzi. Tuttavia, l'eterogeneità dei dati spesso porta a disparità di prestazioni significative tra i client, dove il modello globale ottiene buone prestazioni medie ma scarse per specifici client con distribuzioni di dati distinte o dimensioni del campione ridotte. Questa mancanza di equità nelle prestazioni (performance equitable fairness) — definita come la minimizzazione delle disparità di prestazione tra i client mantenendo al contempo un'elevata prestazione complessiva del modello — rappresenta una sfida critica. Gli approcci esistenti per affrontare questo problema, come la regolarizzazione della varianza della perdita (loss-variance regularization) e il $q$-Fair Federated Learning ($q$-FFL), spesso mancano di una solida base teorica riguardo al loro comportamento sotto eterogeneità, ed è tuttora poco chiaro quali metodi siano più efficaci in contesti pratici.

Metodologia

Il paper propone un nuovo approccio all'equità nelle prestazioni basato sulla regolarizzazione della varianza del gradiente. Gli autori analizzano e confrontano diversi metodi esistenti e introducono nuovi algoritmi derivati da due funzioni obiettivo primarie:

1. Loss-Variance Regularization: Basandosi sul lavoro precedente, questo approccio penalizza la varianza delle perdite dei client:
   $$L_\lambda(x) = F(x) + \frac{\lambda}{2n} \sum_{i=1}^n (f_i(x) - F(x))^2$$
   dove $F(x)$ è la perdita media globale e $f_i(x)$ è la perdita locale per il client $i$.

2. Gradient-Variance Regularization (Proposta): Gli autori introducono un nuovo obiettivo che minimizza la varianza dei gradienti dei client per promuovere l'equità:
   $$J_\gamma(x) = F(x) + \frac{\gamma}{2n} \sum_{i=1}^n \|\nabla f_i(x) - \nabla F(x)\|^2$$
   Qui, $\nabla F(x)$ è il gradiente medio tra i client.

Per risolvere questi obiettivi non separabili in un contesto federato, gli autori propongono quattro algoritmi:

• FairLoss & FairLoss*: Varianti approssimata ed esatta per minimizzare l'obiettivo di varianza della perdita ($L_\lambda$).
• FairGrad & FairGrad*: Varianti approssimata ed esatta per minimizzare l'obiettivo di varianza del gradiente ($J_\gamma$).
  • Varianti approssimate (FairLoss, FairGrad): Utilizzano informazioni dall'iterazione precedente (ad esempio, la perdita media o il gradiente precedente) per ridurre l'overhead di comunicazione.
  • Varianti esatte (FairLoss*, FairGrad*): Utilizzano informazioni dell'iterazione corrente per aggiornamenti più accurati a scapito di un aumento della comunicazione.

Questi sono confrontati con baseline che includono FedAvg, Agnostic Federated Learning (AFL), $q$-FFL e AAggFF.

Analisi Teorica

Il paper fornisce una caratterizzazione teorica delle relazioni tra questi metodi sia in scenari di dati omogenei che eterogenei:

• Dati Omogenei: In scenari in cui tutti i client condividono la stessa distribuzione di dati, i termini di regolarizzazione (varianza della perdita o del gradiente) non alterano mediamente la posizione dei punti stazionari. Pertanto, le soluzioni ottimali rimangono coerenti con l'obiettivo standard di FedAvg, e la regolarizzazione è teoricamente superflua.
• Dati Eterogenei: Sotto eterogeneità, i termini di regolarizzazione spostano attivamente il panorama dell'ottimizzazione. Gli autori dimostrano che se le perdite o i gradienti dei client non sono allineati all'ottimo dell'obiettivo non regolarizzato, gli obiettivi regolarizzati ($L_\lambda$, $J_\gamma$ e $H_q$) avranno punti stazionari differenti. Nello specifico, la regolarizzazione della varianza può spostare la soluzione lontano da un ottimo di perdita media verso un punto con prestazioni più bilanciate tra i client.
• Connessioni: L'analisi stabilisce che $q$-FFL (con $q=1$) può essere limitato superiormente dall'obiettivo di regolarizzazione della varianza della perdita sotto specifiche condizioni, collegando questi approcci precedentemente distinti.

Risultati Sperimentali

I metodi sono stati valutati su quattro dataset di classificazione di immagini (MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet) con livelli variabili di eterogeneità dei dati controllati tramite parametri di concentrazione di Dirichlet ($\alpha \in \{0.05, 0.1, 0.5\}$).

• Prestazioni: I metodi di regolarizzazione della varianza proposti, in particolare FairGrad e FairGrad*, hanno costantemente superato le baseline in scenari eterogenei.
• Equità: I metodi hanno ridotto significativamente la varianza delle accuratezze dei client (la metrica di equità) rispetto a FedAvg, AFL e $q$-FFL.
  • Su CIFAR-100, FairGrad* ha ottenuto la migliore accuratezza e la minima varianza con alta eterogeneità ($\alpha=0.05, 0.1$).
  • Su CIFAR-10, FairGrad ha costantemente ottenuto la varianza più bassa tra tutti i livelli di eterogeneità e la massima accuratezza per $\alpha \in \{0.1, 0.5\}$.
  • Su Tiny ImageNet, FairGrad* ha ottenuto la varianza più bassa per $\alpha \in \{0.05, 0.5\}$.
• Scenari Omogenei: Su MNIST (dove i dati sono relativamente omogenei), tutti i metodi si sono comportati in modo simile, con le varianti regolarizzate che offrivano solo miglioramenti marginali nell'equità, in linea con la previsione teorica che la regolarizzazione sia meno critica in scenari omogenei.

Significato e Claim

Il paper sostiene che FairGrad e FairGrad* rappresentano un approccio fondato ed efficace per migliorare l'equità nel Federated Learning. I contributi chiave includono:

1. Novità: L'introduzione della regolarizzazione della varianza del gradiente specificamente per l'equità delle prestazioni, una direzione non esplorata precedentemente in questo contesto.
2. Chiarezza Teorica: Fornire un quadro teorico che spieghi la relazione tra i metodi di equità esistenti (come $q$-FFL e la regolarizzazione della varianza della perdita) e dimostri come la regolarizzazione della varianza alteri il comportamento di ottimizzazione sotto eterogeneità.
3. Validazione Empirica: Dimostrare che la riduzione della varianza del gradiente porta a prestazioni più eque tra i client senza sacrificare l'accuratezza complessiva del modello, spesso superando le baseline di stato dell'arte orientate all'equità.

Gli autori concludono che, sebbene la regolarizzazione basata sulla varianza sia teoricamente ridondante in scenari omogenei, essa è un meccanismo cruciale per raggiungere l'equità negli scenari eterogenei tipici delle implementazioni reali di FL. Il lavoro evidenzia il regolarizzatore di allineamento del gradiente come un metodo robusto per bilanciare le prestazioni dei client.