Power to the Clients: Federated Learning in a Dictatorship Setting

1. Problématique

L'apprentissage fédéré (Federated Learning - FL) est un paradigme décentralisé permettant à plusieurs clients d'entraîner un modèle global sans partager leurs données brutes. Bien que prometteur pour la confidentialité, le FL est vulnérable aux comportements malveillants des clients (clients byzantins).

La littérature existante se concentre principalement sur deux types d'attaques :

• Attaques Byzantines classiques : Visant à dégrader la performance globale ou à empêcher la convergence.
• Attaques Backdoor (Chevalet) : Visant à injecter des comportements cachés dans le modèle.

Cependant, une menace spécifique et sous-estimée est identifiée dans cet article : l'usurpation de contrôle par un client malveillant qui ne cherche pas nécessairement à détruire le modèle, mais à le "détourner" entièrement. L'objectif est d'éliminer l'influence de tous les autres clients (bénins) pour que le modèle global converge exclusivement vers la distribution de données du client attaquant, tout en préservant sa propre contribution. Ce comportement est qualifié de "Dictateur".

2. Méthodologie et Formulation

Les auteurs proposent une nouvelle classe de clients malveillants, les clients dictateurs, définis par des hypothèses réalistes :

• Ils n'ont pas besoin d'un accès privilégié au serveur.
• Ils n'ont pas connaissance de la structure interne du modèle global ni des données des autres clients.
• Ils ne possèdent qu'une capacité de communication minimale (connaissance du taux d'apprentissage $\eta$, ou capacité à l'estimer).

A. Client Dictateur Unique

Un seul client malveillant (client $m$) souhaite que le modèle global $\theta_t$ suive la trajectoire qu'il aurait eue s'il avait entraîné le modèle seul ($\hat{\theta}^m_t$).

• Stratégie : Le client maintient une copie locale du modèle $\hat{\theta}^m_t$ qu'il met à jour indépendamment. À chaque round $t$, au lieu d'envoyer son vrai gradient $\nabla L_m(\theta_t)$, il envoie une mise à jour manipulée $M_t$ calculée comme suit :
  $$M_t = \nabla L_m(\hat{\theta}^m_t) - \left( \frac{\hat{\theta}^m_{t-1} - \theta_t}{\eta} - \nabla L_m(\hat{\theta}^m_{t-1}) \right)$$
• Mécanisme : Le terme entre parenthèses reconstruit le gradient agrégé des autres clients (basé sur la différence entre le modèle précédent et le modèle actuel du serveur). En le soustrayant, le client annule mathématiquement l'impact des gradients des autres clients, ne laissant que sa propre contribution.

B. Clients Dictateurs Collaboratifs

Un groupe de $P$ clients coordonne leurs actions pour dominer le modèle.

• Ils partagent leurs gradients entre eux pour maintenir un modèle local synchronisé $\hat{\theta}^P_t$ représentant l'entraînement exclusif du groupe.
• Chaque client du groupe envoie une mise à jour manipulée similaire à la version unique, mais normalisée pour annuler l'influence des $N-P$ clients restants.
• Le modèle global converge alors comme si seuls les $P$ clients avaient participé.

C. Scénarios Complexes : Trahison et Conflit

L'article explore des dynamiques avancées :

• Trahison (Betrayal) : Un client dictateur au sein d'un groupe collaboratif peut secrètement maintenir un modèle privé et, à un moment donné, envoyer une mise à jour massive pour éliminer la contribution de ses anciens partenaires et prendre le contrôle total.
• Domination Mutuelle : Si tous les clients agissent comme des dictateurs indépendants, les mises à jour s'annulent mutuellement, transformant la descente de gradient en une montée de gradient, ce qui fait diverger le modèle et empêche tout apprentissage.

3. Résultats Expérimentaux

Les auteurs ont validé leurs attaques sur des tâches de vision par ordinateur (MNIST, CIFAR-10) et de traitement du langage naturel (AG News).

• Efficacité de l'attaque unique : Lorsqu'un client devient dictateur, la précision du modèle global sur les données des autres clients chute à 0,00 %, tandis que la précision sur les données du client dictateur reste élevée (ex: >94 % sur MNIST).
• Efficacité de l'attaque collaborative : Un groupe de 2 ou 3 clients dictateurs élimine totalement l'influence des clients bénins. Le modèle converge vers une distribution de données biaisée vers le groupe attaquant.
• Robustesse :
  • L'attaque fonctionne même avec des données non-IID (non indépendantes et identiquement distribuées).
  • L'attaque résiste à la suppression aléatoire de clients (client dropping).
  • Contre les défenses : L'attaque résiste partiellement au gradient norm clipping (limitation de la norme des gradients). Si un seul dictateur est présent, la défense peut bloquer l'attaque. Cependant, si plusieurs dictateurs collaborent, leurs gradients clipés s'additionnent pour surpasser les clients bénins, rendant la défense inefficace.
• Scénario de trahison : Les expériences montrent qu'un client peut coopérer initialement, puis trahir ses partenaires à un round spécifique, faisant chuter la performance sur les données de l'ancien partenaire tout en améliorant la sienne.

4. Contributions Clés

1. Nouveau Modèle de Menace : Introduction formelle du concept de "client dictateur", dont l'objectif est la préservation de l'influence propre et l'éradication de celle des autres, plutôt que la simple perturbation.
2. Algorithmes d'Attaque : Proposition d'algorithmes théoriques prouvant qu'un client peut annuler mathématiquement les contributions des autres sans connaître leurs données ni la structure du serveur.
3. Analyse des Interactions Multi-Agents : Étude des dynamiques complexes entre plusieurs attaquants (collaboration, compétition, trahison stratégique), révélant que la coopération entre malveillants est intrinsèquement instable.
4. Validation Empirique : Démonstration pratique sur des benchmarks réels (CV et NLP) montrant que ces attaques sont réalisables et dévastatrices pour l'équité du modèle.

5. Signification et Implications

Ce travail met en lumière une vulnérabilité critique de l'apprentissage fédéré : la fragilité de l'intégrité du modèle face à une minorité de clients déterminés à le monopoliser.

• Implications Réelles : Dans des secteurs sensibles comme la santé (hôpitaux) ou les recommandations, un "dictateur" pourrait biaiser le modèle global pour qu'il ne fonctionne bien que pour une population spécifique (ex: un hôpital particulier), rendant le modèle dangereux ou inutile pour les autres.
• Économie des Récompenses : Dans les systèmes FL basés sur des incitations financières, un client pourrait manipuler le processus pour maximiser sa part de récompense en supprimant artificiellement la contribution des autres.
• Défense : Les résultats suggèrent que les défenses actuelles (comme le clipping de gradient) sont insuffisantes contre des attaquants coordonnés. Cela appelle au développement de nouveaux mécanismes de détection capables d'identifier les mises à jour qui tentent de "canceller" l'information des autres, ou des protocoles d'agrégation plus robustes.

En conclusion, l'article démontre que sans protections appropriées, l'apprentissage fédéré peut être facilement détourné pour servir les intérêts d'un seul acteur ou d'une coalition, transformant un système collaboratif en un système de "dictature" numérique.