🤖 machine learning

Fairness-Aware Federated Learning with Trajectory Shapley Value

Ce papier propose FedTSV, un cadre d'apprentissage fédéré soucieux de l'équité qui utilise la valeur de Shapley de trajectoire pour pondérer dynamiquement les contributions des clients en fonction de leur influence temporelle sur la trajectoire d'optimisation du modèle global, améliorant ainsi la vitesse de convergence, la robustesse et l'équité dans des contextes hétérogènes et adversariaux.

Auteurs originaux : Daniel Kuznetsov, Ziqi Wang

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Kuznetsov, Ziqi Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe de personnes essayant de résoudre ensemble un gigantesque puzzle, mais elles se trouvent toutes dans des pièces différentes et ne peuvent pas montrer leurs pièces aux autres. C'est l'apprentissage fédéré (Federated Learning). Au lieu de rassembler toutes les pièces du puzzle sur une table centrale (ce qui serait lent et risqué pour la vie privée), chacun travaille sur sa propre section du puzzle dans sa pièce et renvoie une description de la façon dont sa pièce s'insère. Un « Serveur » central tente ensuite de coller ces descriptions ensemble pour reconstituer l'image finale.

Le problème avec l'ancienne méthode (appelée FedAvg) est que le Serveur traite tout le monde exactement de la même manière. Il donne à chaque personne un vote égal sur la façon de coller les pièces ensemble, peu importe qu'il s'agisse d'un génie du puzzle, d'un débutant confus ou de quelqu'un tentant de saboter l'image intentionnellement. Cela conduit à une image finale désordonnée et instable.

Ce papier introduit une nouvelle méthode, plus intelligente, pour gérer ce projet de groupe, appelée FedTSV. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le défaut du « Vote Fixe »

Dans l'ancien système, si vous avez 100 personnes, chacune obtient exactement 1 % du pouvoir de vote.

Le Bon : C'est simple.
Le Mauvais : Si une personne essaie de coller le puzzle à l'envers (un client « malveillant ») ou est simplement très mauvaise pour résoudre des puzzles (un client « bruyant »), ses mauvais conseils comptent toujours pour 1 %. Si une personne est un maître du puzzle, elle ne reçoit pas de crédit supplémentaire. Le résultat est une image finale vacillante et imprécise.

2. La Solution : La « Valeur de Shapley de Trajectoire » (TSV)

Les auteurs proposent une nouvelle façon de mesurer qui aide réellement. Ils l'appellent la Valeur de Shapley de Trajectoire.

Imaginez le Serveur comme un Entraîneur qui possède un « Plan d'Entraînement Parfait » (un ensemble de données de validation).

Le Coup de l'Entraîneur : Avant de demander de l'aide à l'équipe, l'Entraîneur effectue une séance d'entraînement rapide seul en utilisant le Plan d'Entraînement Parfait. Cela montre à l'Entraîneur exactement dans quelle direction l'équipe devrait se déplacer pour résoudre le puzzle le plus rapidement.
Le Coup de l'Équipe : Les membres de l'équipe renvoient leurs suggestions (mises à jour).
La Comparaison : L'Entraîneur ne regarde pas seulement la réponse finale ; il examine le chemin emprunté par l'équipe. La suggestion de l'équipe les a-t-elle rapprochés du « Plan d'Entraînement Parfait » de l'Entraîneur ?
- Si la suggestion d'un membre de l'équipe s'aligne parfaitement avec le plan de l'Entraîneur, il obtient un score élevé.
- Si sa suggestion pousse l'équipe dans la mauvaise direction ou fait des zigzags sauvages, il obtient un score faible.

C'est la partie « Trajectoire » : il ne s'agit pas seulement de la destination, mais de savoir si vous marchez dans la bonne direction à chaque étape.

3. La Partie « Valeur de Shapley » : Équité dans les Équipes

La « Valeur de Shapley » est un concept mathématique issu de la théorie des jeux. Imaginez un groupe d'amis essayant de déplacer un lourd canapé.

Si vous calculez combien chaque personne a contribué en voyant combien le travail est plus facile quand elle est présente par rapport à quand elle est absente, vous obtenez un score équitable.
Dans ce papier, les mathématiques calculent : « Dans quelle mesure cette personne spécifique a-t-elle aidé tout le groupe à se rapprocher de l'objectif au cours de ce tour spécifique ? »

En combinant le Chemin de l'Entraîneur (Trajectoire) avec le Score Équitable de l'Équipe (Valeur de Shapley), le système crée un score dynamique pour chaque client.

4. Le Résultat : FedTSV (La Colle Intelligente)

Le nouveau système, FedTSV, utilise ces scores pour décider combien « faire confiance » à la colle de chaque personne.

Les Bons Joueurs : Si vous aidez constamment l'équipe à se déplacer dans la bonne direction, votre « colle » devient plus forte. Vous obtenez plus de voix dans l'image finale.
Les Mauvais Joueurs : Si vous essayez de saboter le puzzle ou si vous êtes simplement confus, votre score baisse. Le système ignore efficacement votre colle ou lui donne très peu de poids.
La Nature Dynamique : Contrairement à l'ancien système où votre vote est fixe, votre vote ici change à chaque tour en fonction de la façon dont vous avez performé juste maintenant.

Ce que le Papier a Découvert

Les auteurs ont testé cela sur deux célèbres ensembles de données d'images (MNIST et CIFAR-10), simulant un monde avec :

Des bons joueurs (qui ont des données similaires).
Des joueurs différents (qui ont des données très différentes).
Des saboteurs (qui tentent de ruiner le modèle).

Les Résultats :

Apprentissage Plus Rapide : Le système FedTSV a appris le puzzle plus rapidement que les anciennes méthodes.
Plus Robuste : Même lorsque des saboteurs tentaient de tout gâcher, FedTSV les ignorait et maintenait l'image finale claire.
Plus Équitable : Le système a correctement identifié qui aidait et qui nuisait, donnant plus d'influence aux joueurs « bons » et presque aucune aux joueurs « mauvais ».

Résumé

En bref, ce papier remplace un système de vote « taille unique » par un système d'évaluation dynamique, à l'image d'un entraîneur. Au lieu de demander à tout le monde de voter également, le Serveur observe comment chacun se déplace pendant le processus d'entraînement, récompense ceux qui se dirigent dans la bonne direction et fait taire ceux qui se dirigent dans la mauvaise direction. Cela conduit à un résultat plus rapide, plus précis et plus équitable.

Résumé Technique : Apprentissage Fédéré Équitable avec Valeur de Shapley de Trajectoire

Énoncé du Problème
L'apprentissage fédéré (FL) permet l'entraînement collaboratif de modèles à travers des clients distribués sans partager de données brutes, répondant ainsi aux contraintes de confidentialité et de communication dans des domaines tels que les énergies renouvelables, la santé et les systèmes autonomes. Cependant, les schémas d'agrégation conventionnels, en particulier la moyenne fédérée (FedAvg), reposent sur des poids fixes (généralement uniformes ou proportionnels à la taille du jeu de données). Ces poids statiques ne tiennent pas compte des contributions variables dans le temps des clients, de l'hétérogénéité des données et de la participation partielle. Par conséquent, le modèle global peut souffrir de biais, d'instabilité et de vulnérabilité face à des clients de mauvaise qualité ou malveillants (byzantins) qui exercent une influence disproportionnée.

Les méthodes existantes d'évaluation des clients utilisent souvent la Valeur de Shapley (SV) de la théorie des jeux coopératifs pour attribuer des scores équitables basés sur les contributions marginales. Cependant, le calcul exact de la SV est intraitable pour les grands réseaux. Les approximations comme l'échantillonnage de Monte Carlo peuvent sous-évaluer les clients qui rejoignent tardivement ou participent rarement, tandis que les méthodes basées sur le gradient (par exemple, la Valeur de Shapley à Gradient Cosinus) peuvent surestimer les mises à jour de grande amplitude et manquer d'informations basées sur la validation. Il existe un besoin d'une métrique de contribution qui soit temporellement cohérente, robuste face aux comportements adverses, et capable d'évaluer les clients en fonction de leur influence sur la trajectoire d'optimisation plutôt que simplement sur la réduction statique de la perte.

Méthodologie : Valeur de Shapley de Trajectoire (TSV) et FedTSV
Les auteurs proposent la Valeur de Shapley de Trajectoire (TSV), une nouvelle métrique de contribution, et FedTSV, un algorithme d'agrégation adaptatif.

Valeur de Shapley de Trajectoire (TSV) :
- Concept : Au lieu de se concentrer uniquement sur la réduction statique de la perte, la TSV évalue dans quelle mesure la mise à jour d'une coalition de clients s'aligne avec la trajectoire d'optimisation du modèle global.
- Mise à jour de Référence : À chaque round de communication $t$ , le serveur calcule une mise à jour de référence ( $\Delta^t_{val}$ ) en effectuant $K$ étapes de Descente de Gradient Stochastique (SGD) sur des données de validation retenues, en partant du modèle global actuel $\theta_t$ .
- Fonction d'Utilité : Pour toute coalition $S$ de clients participants, le serveur calcule leur mise à jour moyenne ( $\Delta^t_S$ ). Une utilité par round bornée $v_t(S)$ est définie en fonction de la distance entre la mise à jour de la coalition et la référence de validation :
  $v_t(S) = \left( 1 + \frac{\text{Dist}(\Delta^t_S, \Delta^t_{val})^2}{\sigma_t} \right)^{-1}$
  où $\text{Dist}$ est une métrique (par exemple, euclidienne) et $\sigma_t$ est un facteur de normalisation assurant la stabilité près des points stationnaires.
- Notation : L'utilité $v_t(S)$ augmente à mesure que la mise à jour de la coalition se rapproche géométriquement de la direction de descente de validation. La Valeur de Shapley est estimée par round en utilisant un échantillonnage de Monte Carlo sur cette utilité bornée et est accumulée dans le temps pour former un score de contribution cumulatif.
Algorithme FedTSV :
- Pondération Adaptative : Les valeurs de Shapley cumulatives sont converties en poids d'agrégation non négatifs et dépendants du temps ( $\alpha^t_i$ ).
- Mécanisme : Les clients ayant des contributions cumulatives positives reçoivent des poids plus élevés, tandis que ceux ayant des contributions négatives (indiquant des comportements malveillants ou un alignement constamment médiocre) sont tronqués à zéro.
- Robustesse : Ce mécanisme permet au serveur de répondre dynamiquement en temps réel à une participation hétérogène et adverse, en réduisant le poids des clients malveillants sans nécessiter de connaissances préalables sur leur statut.
- Complexité : La méthode ne nécessite qu'un seul passage d'entraînement par client par round, plus un passage de validation côté serveur, maintenant ainsi la faisabilité computationnelle.

Contributions Clés
L'article expose trois contributions principales :

Métrique TSV : Introduction d'une nouvelle métrique de contribution qui évalue les clients par leur influence sur la trajectoire d'optimisation, offrant une alternative temporellement cohérente aux méthodes SV conventionnelles.
Algorithme FedTSV : Développement d'un algorithme de pondération adaptative qui exploite la TSV pour ajuster dynamiquement les poids d'agrégation, améliorant l'équité et la robustesse dans des environnements hétérogènes et adverses.
Validation Empirique : Démonstration de l'efficacité de FedTSV sur des benchmarks de classification d'images (MNIST et CIFAR-10) et divers scénarios FL, mettant en avant ses avantages pour l'apprentissage distribué préservant la confidentialité.

Résultats Expérimentaux
Les auteurs ont évalué FedTSV par rapport à des références incluant FedAvg, la Valeur de Shapley à Gradient Cosinus (CGSV) et les méthodes Leave-One-Out (LOO) sur les jeux de données MNIST et CIFAR-10 avec 100 clients (70 IID, 10 non-IID, 20 malveillants).

Convergence et Précision : FedTSV a constamment accéléré la convergence et atteint une précision globale supérieure par rapport aux références. Sur CIFAR-10, FedAvg s'est saturé à des niveaux de précision plus faibles (~0,65), tandis que FedTSV a maintenu des performances stables et supérieures.
Robustesse : FedTSV a démontré une plus grande stabilité face à la corruption des étiquettes et à l'hétérogénéité statistique. Les fluctuations de performance de FedTSV étaient significativement plus faibles que celles des autres méthodes, en particulier sur le paysage plus complexe de CIFAR-10.
Évaluation des Contributions : La visualisation des poids des clients a montré que FedTSV séparait efficacement les types de clients : les clients malveillants ont reçu de faibles scores, les clients bénins IID se sont concentrés dans la région positive, et les clients bénins non-IID se situaient entre les deux. En revanche, FedAvg attribuait des poids uniformes, tandis que CGSV et LOO montraient des distributions dispersées ou des poids gonflés pour les clients adverses.

Signification et Revendications
L'article revendique que FedTSV fournit une fondation principielle pour l'optimisation fédérée consciente de l'équité. En intégrant l'analyse des mises à jour basée sur la trajectoire avec les principes de la valeur de Shapley, la méthode offre un mécanisme à la fois efficace et robuste. Les auteurs affirment que FedTSV améliore la robustesse en présence de clients hétérogènes et adverses tout en préservant l'efficacité computationnelle.

L'article reste modeste concernant les garanties théoriques, notant que les preuves de convergence habituelles pour FedAvg ne s'appliquent pas directement à l'objectif variable dans le temps de FedTSV, et qu'une analyse rigoureuse de la convergence est laissée pour un travail futur. Les directions de recherche futures identifiées incluent l'investigation des fondements théoriques de FedTSV d'un point de vue de la théorie des jeux, en se concentrant spécifiquement sur la compatibilité des incitations et l'équité dans l'apprentissage collaboratif à long terme.