🤖 machine learning

FAIRVAR: Fair Federated Learning via Variance Regularization

Cet article présente FairGrad et FairGrad*, deux méthodes de régularisation de la variance du gradient qui minimisent efficacement les disparités de performance entre les clients dans des contextes d'apprentissage fédéré hétérogènes tout en maintenant une précision du modèle global compétitive.

Auteurs originaux : Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe de voisins essayant de créer un livre de recettes unique et partagé. Chaque voisin apporte sa propre collection d'ingrédients et de notes de cuisine (ses données locales) pour contribuer à ce livre mondial. Le but est de créer une « Recette Maîtresse » qui fonctionne bien pour tout le monde.

C'est l'idée de base de l'Apprentissage Fédéré (Federated Learning - FL). Cependant, il y a un problème : certains voisins ont de garde-mangers énormes et diversifiés (beaucoup de données), tandis que d'autres n'ont que de petites collections très spécifiques (peu de données). Certains ne cuisinent que des plats épicés, tandis que d'autres ne font que de la pâtisserie.

Si le groupe se contente de faire la moyenne des notes de tout le monde aveuglément, la Recette Maîtresse finale pourrait être excellente pour les voisins avec de grands garde-mangers, mais terrible pour ceux qui ont de petites collections ou des collections uniques. Les voisins « épicés » pourraient se retrouver avec une recette qui ressemble à une bouillie fade, et les « pâtissiers » pourraient recevoir une recette qui brûle leur four. C'est cela l'injustice : le modèle global fonctionne bien pour certains, mais échoue pour d'autres.

La solution du papier : « FairVar »

Les auteurs de ce papier, Zahra Kharaghani, Ali Dadras et Tommy Löfstedt, proposent une nouvelle façon de mélanger ces recettes appelée FairVar. Leur objectif est la Performance Equitable Fairness : faire en sorte que la recette finale fonctionne aussi bien pour chaque voisin, et pas seulement en moyenne.

Pour ce faire, ils introduisent un concept appelé Régularisation de la Variance. Considérez la « variance » comme la mesure de la façon dont les résultats des voisins diffèrent les uns des autres. Le papier suggère deux principales façons de corriger le livre de recettes :

1. L'approche de la « Variance des Scores » (FairLoss)

Imaginez que les voisins notent la Recette Maîtresse après l'avoir essayée.

Le Problème : Si les voisins épicés donnent une note de 2/10 et que les pâtissiers donnent un 9/10, la moyenne est une note décente de 5,5/10. Mais les voisins épicés sont mécontents.
La Solution : La méthode FairLoss ajoute une « pénalité » à l'objectif du groupe. Si les scores sont trop dispersés (variance élevée), le groupe reçoit l'instruction suivante : « Hé, vous devez ajuster la recette pour que les scores les plus bas augmentent, même si cela signifie que les scores les plus élevés baissent légèrement. » Cela force la recette à trouver un juste milieu qui satisfasse tout le monde.

2. L'approche de la « Variance de Direction » (FairGrad) — La Nouvelle Étoile

C'est l'innovation principale du papier. Au lieu de simplement regarder les scores finaux, ils regardent la direction vers laquelle les voisins essaient de pousser la recette.

La Métaphore : Imaginez que les voisins tirent tous sur une corde géante pour déplacer un chariot lourd (le modèle).
- Les « pâtissiers » tirent fort vers le Nord.
- Les « cuisiniers épicés » tirent fort vers l'Est.
- La recette « moyenne » tire simplement vers le Nord-Est, ce qui pourrait ne pas faire avancer le chariot très loin pour personne.
La Solution : La méthode FairGrad observe à quel point les voisins tirent dans des directions différentes. Si les tireurs vers l'« Est » sont ignorés parce que les tireurs vers le « Nord » sont plus forts, FairGrad ajoute une « tension » à la corde. Il dit : « Nous devons aligner nos tirages plus étroitement. » Il pénalise le groupe si les directions sont trop éparpillées. En forçant les voisins à se mettre davantage d'accord sur la manière de modifier la recette, le résultat final s'avère beaucoup plus équitable pour les groupes minoritaires.

Comment ils l'ont testé

Les chercheurs ont testé ces idées dans une « cuisine numérique » avec quatre jeux de données célèbres (MNIST, CIFAR-10, CIFAR-100 et Tiny ImageNet). Ils ont simulé différents niveaux de chaos :

Faible Chaos : Tout le monde a des ingrédients similaires (données homogènes).
Haut Chaos : Tout le monde a des ingrédients totalement différents (données hétérogènes).

Ils ont comparé leurs nouvelles méthodes (FairGrad et FairGrad*) aux anciennes méthodes comme FedAvg (l'approche standard de « faire la moyenne de tout ») et q-FFL (une tentative de l'équité antérieure).

Ce qu'ils ont trouvé

Quand tout le monde est similaire : Si tous les voisins ont des garde-mangers similaires, les nouvelles méthodes sophistiquées ne changent pas grand-chose. L'approche standard de « moyenne » fonctionne bien. Les nouvelles méthodes ne cassent rien, mais elles n'ont pas besoin de faire beaucoup plus de travail.
Quand tout le monde est différent (Le Vrai Test) : C'est là que la magie a opéré.
- Les méthodes standards (FedAvg) produisaient une recette bonne en moyenne, mais avec de grands écarts : certains voisins adoraient, d'autres détestaient.
- Les méthodes FairGrad ont considérablement réduit ces écarts. Elles ont rendu le voisin « le moins satisfait » beaucoup plus heureux sans gâcher l'expérience pour les autres.
- Dans de nombreux tests, FairGrad n'a pas seulement corrigé l'équité ; il a aussi rendu la recette globale meilleure. C'était comme trouver un ingrédient secret qui rendait le plat délicieux pour tout le monde, pas seulement pour la majorité.

Les deux versions de FairGrad

Le papier propose deux façons d'exécuter cette méthode « FairGrad » :

FairGrad (Approximative) : C'est la version « paresseuse » mais efficace. Les voisins regardent ce que le groupe a fait la dernière fois pour décider de ce qu'ils feront maintenant. Cela économise du temps et de la communication (moins de discussions entre voisins).
FairGrad* (Exacte) : C'est la version « précise ». Les voisins regardent ce que le groupe fait en ce moment même. Cela nécessite plus de discussions et est plus lent, mais c'est plus précis. Le papier suggère de l'utiliser lorsque la tâche est très difficile ou que les voisins sont très différents.

L'essentiel à retenir

Le papier conclut qu'en ajoutant une « pénalité de variance » (plus précisément en observant à quel point les directions des voisins diffèrent), nous pouvons construire des modèles d'apprentissage automatique plus équitables. Au lieu de laisser les voix les plus fortes (les propriétaires de données les plus importants) dicter l'issue, le modèle est poussé à écouter les voix les plus discrètes, garantissant que le résultat final fonctionne bien pour tout le monde dans la pièce, peu importe la quantité de données qu'ils ont apportées à la table.

Résumé technique : FAIRVAR - Apprentissage fédéré équitable via la régularisation de la variance

Problématique

L'apprentissage fédéré (Federated Learning - FL) permet l'entraînement collaboratif de modèles à travers plusieurs clients sans partage de données brutes. Cependant, l'hétérogénéité des données entraîne souvent des disparités de performance significatives entre les clients, où le modèle global est performant en moyenne mais médiocre pour certains clients possédant des distributions de données distinctes ou des tailles d'échantillons plus réduites. Ce manque d'équité de performance — définie comme la minimisation des disparités de performance entre les clients tout en maintenant une performance globale élevée — constitue un défi critique. Les approches existantes pour y remédier, telles que la régularisation de la variance de la perte et l'apprentissage fédéré $q$ -équitable ( $q$ -FFL), manquent souvent d'un fondement théorique solide concernant leur comportement face à l'hétérogénéité, et il reste difficile de déterminer quelles méthodes sont les plus efficaces en conditions pratiques.

Méthodologie

L'article propose une nouvelle approche de l'équité de performance basée sur la régularisation de la variance du gradient. Les auteurs analysent et comparent plusieurs méthodes existantes et introduisent de nouveaux algorithmes dérivés de deux fonctions d'objectif principales :

Régularisation de la variance de la perte : S'appuyant sur des travaux antérieurs, cette approche pénalise la variance des pertes des clients :
$L_\lambda(x) = F(x) + \frac{\lambda}{2n} \sum_{i=1}^n (f_i(x) - F(x))^2$
où $F(x)$ est la perte moyenne globale et $f_i(x)$ est la perte locale pour le client $i$ .
Régularisation de la variance du gradient (Proposée) : Les auteurs introduisent un nouvel objectif qui minimise la variance des gradients des clients pour promouvoir l'équité :
$J_\gamma(x) = F(x) + \frac{\gamma}{2n} \sum_{i=1}^n \|\nabla f_i(x) - \nabla F(x)\|^2$
Ici, $\nabla F(x)$ est le gradient moyen entre les clients.

Pour résoudre ces objectifs non séparables dans un contexte fédéré, les auteurs proposent quatre algorithmes :

FairLoss & FairLoss* : Variantes approchée et exacte pour minimiser l'objectif de variance de la perte ( $L_\lambda$ ).
FairGrad & FairGrad* : Variantes approchée et exacte pour minimiser l'objectif de variance du gradient ( $J_\gamma$ $J_{γ}$ ).
- Variantes approchées (FairLoss, FairGrad) : Utilisent des informations de l'itération précédente (ex. : moyenne de la perte ou du gradient précédent) pour réduire la surcharge de communication.
- Variantes exactes (FairLoss*, FairGrad*) : Utilisent les informations de l'itération actuelle pour des mises à jour plus précises, au prix d'une communication accrue.

Ces méthodes sont comparées à des lignes de base incluant FedAvg, l'apprentissage fédéré agnostique (AFL), le $q$ -FFL et l'AAggFF.

Analyse Théorique

L'article fournit une caractérisation théorique des relations entre ces méthodes sous des configurations de données homogènes et hétérogènes :

Données Homogènes : Dans les contextes où tous les clients partagent la même distribution de données, les termes de régularisation (variance de la perte ou du gradient) ne modifient pas la localisation des points stationnaires en moyenne. Ainsi, les solutions optimales restent cohérentes avec l'objectif standard de FedAvg, et la régularisation est théoriquement inutile.
Données Hétérogènes : Sous l'effet de l'hétérogénéité, les termes de régularisation déplacent activement le paysage d'optimisation. Les auteurs prouvent que si les pertes ou les gradients des clients ne sont pas alignés à l'optimum de l'objectif non régularisé, les objectifs régularisés ( $L_\lambda$ , $J_\gamma$ et $H_q$ ) auront des points stationnaires différents. Plus précisément, la régularisation de la variance peut déplacer la solution loin d'un optimum de perte moyenne vers un point présentant des performances plus équilibrées entre les clients.
Connexions : L'analyse établit que le $q$ -FFL (avec $q=1$ ) peut être borné par l'objectif de régularisation de la variance de la perte sous des conditions spécifiques, liant ainsi ces approches auparavant distinctes.

Résultats Expérimentaux

Les méthodes ont été évaluées sur quatre jeux de données de classification d'images (MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet) avec des niveaux variables d'hétérogénéité des données contrôlés par des paramètres de concentration de Dirichlet ( $\alpha \in \{0.05, 0.1, 0.5\}$ ).

Performance : Les méthodes de régularisation de la variance proposées, particulièrement FairGrad et FairGrad*, ont systématiquement surpassé les lignes de base dans les contextes hétérogènes.
Équité : Ces méthodes ont considérablement réduit la variance des précisions des clients (la métrique d'équité) par rapport à FedAvg, AFL et $q$ $q$ -FFL.
- Sur CIFAR-100, FairGrad* a obtenu la meilleure précision et la plus faible variance à des niveaux d'hétérogénéité élevés ( $\alpha=0.05, 0.1$ ).
- Sur CIFAR-10, FairGrad a systématiquement obtenu la plus faible variance pour tous les niveaux d'hétérogénéité et la plus haute précision à $\alpha \in \{0.1, 0.5\}$ .
- Sur Tiny ImageNet, FairGrad* a obtenu la plus faible variance à $\alpha \in \{0.05, 0.5\}$ .
Contextes Homogènes : Sur MNIST (où les données sont relativement homogènes), toutes les méthodes ont performé de manière similaire, les variantes régularisées n'offrant que des améliorations marginales en termes d'équité, ce qui corrobore la prédiction théorique selon laquelle la régularisation est moins critique dans les contextes homogènes.

Signification et Revendications

L'article affirme que FairGrad et FairGrad* représentent une approche fondée et efficace pour améliorer l'équité dans l'apprentissage fédéré. Les principales contributions incluent :

Nouveauté : L'introduction de la régularisation de la variance du gradient spécifiquement pour l'équité de performance, une direction qui n'avait pas été explorée auparavant dans ce contexte.
Clarté Théorique : Fournir un cadre théorique qui explique la relation entre les méthodes d'équité existantes (comme le $q$ -FFL et la régularisation de la variance de la perte) et démontre comment la régularisation de la variance modifie le comportement d'optimisation sous l'effet de l'hétérogénéité.
Validation Empirique : Démontrer que la réduction de la variance du gradient conduit à des performances plus équitables entre les clients sans sacrifier la précision globale du modèle, surpassant souvent les méthodes de référence de pointe axées sur l'équité.

Les auteurs concluent que, bien que la régularisation basée sur la variance soit théoriquement redondante dans les contextes homogènes, elle constitue un mécanisme crucial pour atteindre l'équité dans les scénarios hétérogènes typiques des déploiements réels de l'apprentissage fédéré. Le travail souligne que le régulariseur d'alignement des gradients est une méthode robuste pour équilibrer la performance des clients.