Dynamic Free-Rider Detection in Federated Learning via Simulated Attack Patterns

1. Problématique

L'apprentissage fédéré (FL) permet à plusieurs clients de collaborer à l'entraînement d'un modèle global sans partager leurs données privées. Cependant, ce système est vulnérable aux attaques de free-riding (passagers clandestins) : des clients malveillants qui soumettent des mises à jour de modèle falsifiées (sans effectuer d'entraînement réel) pour obtenir le modèle global performant sans contribuer.

Le défi principal identifié dans cet article est la détection des free-riders dynamiques. Contrairement aux attaques statiques où un client ne participe jamais, un free-rider dynamique se comporte honnêtement lors des premières rondes d'entraînement pour éviter la détection, puis bascule vers une stratégie de free-riding plus tard.

Les méthodes existantes, telles que la défense WEF (Weight Evolving Frequency) proposée par Chen et al., reposent sur l'accumulation des matrices WEF sur plusieurs rondes. Or, cette approche échoue face aux free-riders dynamiques, en particulier sous des attaques sophistiquées qui imitent les modèles globaux (comme l'attaque par différence de poids ou Delta Weight Attack - DWA). Ces attaques génèrent des mises à jour qui ressemblent aux changements naturels du modèle global, rendant la détection par accumulation inefficace. De plus, la plupart des méthodes actuelles nécessitent soit un pré-entraînement, soit un jeu de données proxy, ce qui est souvent irréaliste dans des déploiements réels (notamment en FL inter-organisationnel ou "cross-silo").

2. Méthodologie : S2-WEF

Les auteurs proposent S2-WEF (Submitted and Simulated-Weight Evolving Frequency), une méthode de détection qui ne nécessite ni jeu de données proxy ni pré-entraînement. L'approche repose sur trois piliers principaux :

A. Simulation d'attaques côté serveur

Le serveur simule localement les motifs WEF qu'un free-rider utilisant une attaque de type "imitation de modèle global" (comme DWA ou la nouvelle attaque proposée AWCA) générerait.

• Le serveur utilise les modèles globaux précédemment diffusés ($w_g^T$ et $w_g^{T-1}$) pour calculer la différence attendue.
• Il génère une matrice WEF simulée ($F_g$) en appliquant la même logique de seuillage dynamique que les clients, mais basée sur la différence entre les modèles globaux successifs.
• Cela permet de créer un "modèle de référence" pour l'attaque sans avoir besoin de données réelles.

B. Deux scores de détection

Pour chaque client $i$, le serveur calcule deux scores à chaque ronde :

1. Score de similarité ($\gamma_i$) : Mesure la ressemblance entre la matrice WEF soumise par le client ($F_i$) et la matrice simulée ($F_g$). Elle combine la similarité cosinus et la distance L1. Un score élevé indique que le client imite probablement une attaque de type DWA/AWCA.
2. Score de déviation ($Devi$) : Reprenant la méthode WEF-defense, ce score mesure l'écart de la matrice WEF du client par rapport à la distribution globale des autres clients (basé sur la distance euclidienne, la similarité cosinus et la valeur moyenne). Il détecte les attaques qui ne ressemblent pas au modèle global (comme RWA ou SPA).

C. Clustering bidimensionnel et décision par vote majoritaire

Pour éviter les faux positifs et gérer la diversité des attaques, S2-WEF utilise une stratégie hybride :

• Clustering hiérarchique : Les clients sont projetés dans un espace 2D défini par les scores $(\gamma_i, Devi)$. Un clustering hiérarchique agglomératif (avec standardisation robuste basée sur la médiane) sépare les clients en deux groupes potentiels : "suspect" et "bénin".
• Classification par seuil : Des tests de seuil indépendants sont appliqués sur chaque score brut.
• Vote majoritaire : Un client n'est définitivement étiqueté comme free-rider que si :
  1. Le clustering identifie un groupe suspect distinct.
  2. La majorité des clients de ce groupe dépasse le seuil sur au moins l'un des deux scores ($\gamma$ ou $Devi$).

Cette combinaison permet de détecter les attaques mimant le modèle global (via $\gamma$) tout en restant robuste aux autres types d'attaques (via $Devi$), tout en minimisant les erreurs de classification.

3. Contributions Clés

1. Identification des limites de WEF-defense : Démonstration empirique que la méthode WEF-defense échoue à détecter les free-riders dynamiques, surtout sous les attaques DWA et une nouvelle attaque proposée par les auteurs : l'Attaque de Camouflage WEF Adaptatif (AWCA).
2. Nouvelle attaque (AWCA) : Introduction d'une attaque où le free-rider génère séquentiellement des poids falsifiés à chaque itération locale pour contrefaire non seulement le poids final, mais aussi la matrice WEF, rendant l'attaque quasi indétectable par les méthodes statiques.
3. Proposition de S2-WEF : Une méthode de détection dynamique, sans données proxy ni pré-entraînement, capable de détecter les transitions de comportement en temps réel.
4. Validation rigoureuse : Tests exhaustifs sur trois jeux de données (MNIST, ADULT, CIFAR-10) et cinq types d'attaques, montrant une robustesse supérieure aux méthodes de l'état de l'art.

4. Résultats Expérimentaux

Les expériences ont été menées dans des scénarios de FL horizontal avec des distributions de données IID et Non-IID.

• Performance de détection : S2-WEF atteint des scores F1 très élevés (souvent > 0.99) sur la plupart des configurations, y compris contre l'attaque AWCA et DWA, là où les méthodes de base (WEF-defense, STD-DAGMM) tombent à des scores proches de zéro (ex: F1 < 0.2 pour DWA avec WEF-defense).
• Robustesse dynamique : La méthode fonctionne efficacement même lorsque les clients basculent du comportement honnête au free-riding à partir de la 3ème ronde, ou de manière intermittente.
• Impact sur la précision du modèle : L'utilisation de S2-WEF n'a qu'un impact négligeable sur la précision du modèle global final par rapport à FedAvg standard, confirmant que la méthode n'exclut pas injustement de bons clients.
• Réduction des faux positifs : L'étude d'ablation montre que le mécanisme de vote majoritaire réduit considérablement le taux de faux positifs (de ~0.18 à ~0.07 sur MNIST) en évitant de classifier des clients comme malveillants uniquement sur la base d'un clustering instable.

5. Signification et Impact

Cet article est significatif car il adresse une lacune critique dans la sécurité du FL : la détection des comportements adaptatifs et dynamiques.

• Praticité : En éliminant le besoin de jeux de données proxy ou de pré-entraînement, S2-WEF est directement applicable dans des environnements réels, notamment en FL "cross-silo" où les données sont sensibles et les organisations concurrentes.
• Sécurité proactive : La capacité à simuler des attaques côté serveur pour les détecter offre une nouvelle approche de défense proactive contre les attaques sophistiquées qui tentent de masquer leur comportement.
• Fondation future : Le travail ouvre la voie à l'intégration de mécanismes d'incitation et à l'extension de ces méthodes vers des modèles hétérogènes et les grands modèles de langage (LLM) fédérés.

En résumé, S2-WEF représente une avancée majeure pour garantir l'intégrité et la viabilité à long terme des déploiements d'apprentissage fédéré face à des adversaires intelligents et adaptatifs.