Technische Samenvatting: FAIRVAR - Fair Federated Learning via Variance Regularization

Probleemstelling

Federated Learning (FL) maakt collaboratieve modeltraining mogelijk over meerdere cliënten zonder het delen van ruwe data. Echter, data-heterogeniteit leidt vaak tot significante prestatieverschillen tussen cliënten, waarbij het globale model goed presteert op gemiddeld niveau, maar slecht voor specifieke cliënten met afwijkende datadistributies of kleinere steekproefomvang. Dit gebrek aan prestatie-equitable eerlijkheid—gedefinieerd als het minimaliseren van prestatieverschillen tussen cliënten terwijl een hoge algehele modelprestatie behouden blijft—is een kritieke uitdaging. Bestaande benaderingen om dit aan te pakken, zoals loss-variance regularisatie en $q$-Fair Federated Learning ($q$-FFL), missen vaak een solide theoretische fundering met betrekking tot hun gedrag onder heterogeniteit, en het blijft onduidelijk welke methoden het meest effectief zijn in praktische settings.

Methodologie

Het artikel stelt een nieuwe benadering voor voor prestatie-equitable eerlijkheid gebaseerd op gradient-variance regularisatie. De auteurs analyseren en vergelijken verschillende bestaande methoden en introduceren nieuwe algoritmen afgeleid van twee primaire objectieffuncties:

1. Loss-Variance Regularization: Bouwend op eerder werk, bestraft deze benadering de variantie van de client-losses:
   $$L_\lambda(x) = F(x) + \frac{\lambda}{2n} \sum_{i=1}^n (f_i(x) - F(x))^2$$
   waarbij $F(x)$ de gemiddelde globale loss is en $f_i(x)$ de lokale loss voor client $i$.

2. Gradient-Variance Regularization (Voorgesteld): De auteurs introduceren een nieuwe objectieffunctie die de variantie van client-gradients minimaliseert om eerlijkheid te bevorderen:
   $$J_\gamma(x) = F(x) + \frac{\gamma}{2n} \sum_{i=1}^n \|\nabla f_i(x) - \nabla F(x)\|^2$$
   Hier is $\nabla F(x)$ de gemiddelde gradient over de cliënten.

Om deze niet-scheidbare objectieven in een federated setting op te lossen, stellen de auteurs vier algoritmen voor:

• FairLoss & FairLoss*: Benaderende en exacte varianten voor het minimaliseren van de loss-variance objectieffunctie ($L_\lambda$).
• FairGrad & FairGrad*: Benaderende en exacte varianten voor het minimaliseren van de gradient-variance objectieffunctie ($J_\gamma$).
  • Benaderende varianten (FairLoss, FairGrad): Gebruiken informatie van de vorige iteratie (bijv. de vorige gemiddelde loss of gradient) om de communicatie-overhead te verminderen.
  • Exacte varianten (FairLoss*, FairGrad*): Gebruiken informatie van de huidige iteratie voor nauwkeurigere updates ten koste van verhoogde communicatie.

Deze worden vergeleken met baselines inclusief FedAvg, Agnostic Federated Learning (AFL), $q$-FFL, en AAggFF.

Theoretische Analyse

Het artikel biedt een theoretische karakterisering van de relaties tussen deze methoden onder zowel homogene als heterogene data-settings:

• Homogene Data: In settings waar alle cliënten dezelfde datadistributie delen, veranderen de regularisatie-termen (loss of gradient variantie) de locatie van de stationaire punten gemiddeld genomen niet. Daarom blijven de optimale oplossingen consistent met de standaard FedAvg-objectieffunctie, en is regularisatie theoretisch niet nodig.
• Heterogene Data: Onder heterogeniteit verschuiven de regularisatie-termen actief het optimalisatie-landschap. De auteurs bewijzen dat als client-losses of gradients niet uitgelijnd zijn bij het optimum van de onregulariseerde objectieffunctie, de geregulariseerde objectieven ($L_\lambda$, $J_\gamma$, en $H_q$) verschillende stationaire punten zullen hebben. Specifiek kan variantie-regularisatie de oplossing wegbewegen van een gemiddelde-loss optimum naar een punt met meer gebalanceerde prestaties over de cliënten.
• Verbindingen: De analyse vestigt dat $q$-FFL (met $q=1$) onder specifieke condities begrensd kan worden door de loss-variance regularisatie objectieffunctie, wat deze voorheen onderscheiden benaderingen verbindt.

Experimentele Resultaten

De methoden werden geëvalueerd op vier beeldclassificatie-datasets (MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet) met variërende niveaus van data-heterogeniteit, gecontroleerd door Dirichlet concentratieparameters ($\alpha \in \{0.05, 0.1, 0.5\}$).

• Prestaties: De voorgestelde variantie-geregulariseerde methoden, met name FairGrad en FairGrad*, presteerden consequent beter dan de baselines in heterogene settings.
• Eerlijkheid: De methoden verminderden de variantie van de client-accurates (de eerlijkheidsmetriek) aanzienlijk vergeleken met FedAvg, AFL, en $q$-FFL.
  • Op CIFAR-100 behaalde FairGrad* de beste accuratesse en de laagste variantie bij hoge heterogeniteit ($\alpha=0.05, 0.1$).
  • Op CIFAR-10 behaalde FairGrad consistent de laagste variantie over alle heterogeniteitsniveaus en de hoogste accuratesse bij $\alpha \in \{0.1, 0.5\}$.
  • Op Tiny ImageNet behaalde FairGrad* de laagste variantie bij $\alpha \in \{0.05, 0.5\}$.
• Homogene Settings: Op MNIST (waar data relatief homogeen is), presteerden alle methoden vergelijkbaar, waarbij de geregulariseerde varianten slechts marginale verbeteringen in eerlijkheid boden, wat overeenkomt met de theoretische voorspelling dat regularisatie minder kritiek is in homogene settings.

Betekenis en Claims

Het artikel claimt dat FairGrad en FairGrad* een gefundeerde en effectieve benadering vormen voor het verbeteren van eerlijkheid in Federated Learning. De belangrijkste bijdragen zijn:

1. Nieuwigheid: De introductie van gradient-variance regularisatie specifiek voor prestatie-equitable eerlijkheid, een richting die voorheen niet in deze context is verkend.
2. Theoretische Helderheid: Het bieden van een theoretisch kader dat de relatie tussen bestaande eerlijkheidsmethoden (zoals $q$-FFL en loss-variance regularisatie) verklaart en aantoont hoe variantie-regularisatie het optimalisatiegedrag onder heterogeniteit verandert.
3. Empirische Validatie: Het demonstreren dat het reduceren van de gradient-variantie leidt tot meer rechtvaardige prestaties over de cliënten zonder de algehele modelaccuratesse op te offeren, waarbij het vaak superieur is aan state-of-the-art eerlijkheidsbewuste baselines.

De auteurs concluderen dat hoewel variantie-gebaseerde regularisatie theoretisch redundant is in homogene settings, het een cruciale mechanisme is voor het bereiken van eerlijkheid in de heterogene scenario's die typerend zijn voor real-world FL-implementaties. Het werk benadrukt de gradient alignment regularizer als een robuuste methode voor het balanceren van client-prestaties.