Byzantine-Robust Aggregation for Securing Decentralized Federated Learning

Résumé Technique : Agrégation Robuste aux Byzantins pour la Sécurisation de l'Apprentissage Fédéré Décentralisé

Énoncé du Problème

L'apprentissage fédéré décentralisé (DFL) étend le paradigme de l'apprentissage fédéré (FL) en éliminant le serveur central, améliorant ainsi l'évolutivité, la tolérance aux pannes et la confidentialité en évitant un point de défaillance unique. Cependant, cette décentralisation introduit d'importantes vulnérabilités de sécurité, particulièrement concernant les défaillances byzantines, où des clients malveillants (nœuds byzantins) tentent de perturber le processus d'apprentissage en envoyant des mises à jour de modèles arbitraires ou empoisonnées.

Bien que de nombreux algorithmes d'agrégation robustes aux byzantins existent pour l'apprentissage fédéré centralisé (CFL), l'article note que la plupart sont conçus pour des scénarios centralisés et peuvent ne pas être aussi efficaces dans des environnements décentralisés. Dans le DFL, l'absence de coordinateur central complique la mise en œuvre d'algorithmes de sécurité uniformes, et la nature dynamique des topologies décentralisées, combinée aux capacités hétérogènes des nœuds, crée des défis uniques. La littérature existante manque d'un algorithme d'agrégation robuste aux byzantins spécifiquement conçu pour le DFL qui tienne compte des statistiques spatiales et temporelles variables.

Méthodologie

Les auteurs proposent WFAgg, un nouvel algorithme d'agrégation robuste aux byzantins conçu spécifiquement pour les environnements DFL. Le cœur de la méthodologie repose sur un processus de filtrage multi-étapes et d'agrégation pondérée exécuté localement par chaque nœud sur la base des modèles reçus de ses voisins.

1. Configuration du Système :
Le système est modélisé comme un scénario cross-device où $N$ clients collaborent via un graphe non orienté $G$. Les clients communiquent via un protocole inspiré du Gossip, transmettant les modèles entraînés à tous leurs voisins. L'objectif est de minimiser la fonction de perte empirique à travers le réseau sans serveur central.

2. L'Algorithme WFAgg :
WFAgg emploie une approche à trois filtres pour identifier et atténuer les modèles malveillants avant l'agrégation. Un modèle n'est considéré comme « bénin » que s'il passe les critères spécifiques de ces filtres. Les filtres opèrent séquentiellement :

• WFAgg-D (Basé sur la distance) : Calcule la distance euclidienne entre chaque modèle reçu et la médiane des modèles reçus. Il sélectionne les $K-f-1$ modèles ayant les plus petites distances, où $K$ est le nombre de modèles reçus et $f$ est le nombre estimé de nœuds malveillants.
• WFAgg-C (Basé sur la similitude) : Calcule la distance cosinus entre les modèles reçus et le modèle médian. Il emploie également un écrêtage de magnitude basé sur la magnitude médiane. Il sélectionne les $K-f-1$ modèles ayant les plus petites distances cosinus, filtrant efficacement les modèles qui dévient significativement en direction.
• WFAgg-T (Basé sur le temporel) : Analyse l'évolution temporelle des mises à jour de modèles. Il compare la mise à jour actuelle d'un voisin par rapport à une fenêtre temporelle de ses mises à jour précédentes (en utilisant la distance euclidienne et la similitude cosinus). Il utilise une moyenne mobile exponentielle (EWMA) pour établir des seuils de moyenne et d'écart type. Les mises à jour tombant en dehors de ces seuils sont signalées comme abruptes et potentiellement malveillantes.

3. Agrégation Pondérée (WFAgg-E) :
Une fois que les filtres ont identifié les sous-ensembles de modèles bénins ($T_1, T_2, T_3$), l'algorithme attribue des poids à chaque modèle reçu en fonction du nombre de filtres l'ayant identifié comme bénin.

• Un modèle identifié par les trois filtres reçoit le poids le plus élevé ($\tau_1 + \tau_2 + \tau_3$).
• Un modèle identifié par un seul filtre se voit attribuer un poids nul (rejeté).
• Un modèle identifié par deux filtres reçoit un poids partiel.
  L'agrégation finale utilise une moyenne pondérée par coordonnée (similaire à FedAvg mais avec une pondération différentielle pour le modèle local et les voisins), contrôlée par un facteur de lissage $\alpha$.

Principales Contributions

L'article présente quatre contributions principales :

1. Conception d'un Nouvel Algorithme : Le développement de WFAgg, un algorithme d'agrégation robuste aux byzantins spécifiquement pour le DFL qui intègre des techniques de filtrage spatial (distance/similitude) et temporel.
2. Évaluation Comparative : Une évaluation systématique des algorithmes de robustesse byzantine de l'état de l'art (SOTA) centralisés (Mean, Median, Trimmed-Mean, Krum, Multi-Krum, Clustering) lorsqu'ils sont appliqués à des contextes décentralisés, soulignant leurs limites.
3. Validation Empirique : Des expériences approfondies sur une tâche de classification d'images IID (MNIST) sous divers scénarios d'attaque byzantine (Bruit, Inversion de signe, Inversion d'étiquette, ALIE, IPM) démontrant que WFAgg surpasse les schémas centralisés dans les environnements décentralisés.
4. Cadre de Simulation : L'implémentation d'un simulateur DFL basé sur Python pour mener ces expériences, supportant à la fois des topologies centralisées et décentralisées.

Résultats

Les expériences ont été menées sur un réseau de 20 nœuds (10 % de malveillants) utilisant une topologie de graphe 8-régulière. Les résultats indiquent :

• Robustesse face aux attaques : WFAgg a réussi à atténuer toutes les attaques testées (incluant le Bruit, l'Inversion de signe, l'Inversion d'étiquette, ALIE et les variantes de manipulation du produit scalaire/IPM) tant dans les scénarios centralisés que décentralisés.
• Comparaison avec le SOTA :
  • Les algorithmes centralisés standards comme Mean et Trimmed-Mean ont échoué à converger ou ont subi des chutes de précision significatives sous les attaques de Bruit et IPM-100 dans les contextes décentralisés.
  • Les algorithmes basés sur la distance (Krum, Multi-Krum) ont eu des difficultés avec les attaques IPM-0.5 dans les scénarios décentralisés en raison de l'incapacité à distinguer les changements de direction subtils.
  • Les méthodes basées sur le clustering ont échoué sous les attaques de Bruit dans les contextes décentralisés.
  • WFAgg a maintenu une précision élevée (ex: ~95-98 % dans divers scénarios) et a atteint une convergence plus rapide par rapport aux algorithmes SOTA testés dans le contexte décentralisé.
• Cohérence du Modèle : En utilisant la métrique $R^2$ pour mesurer la similitude des modèles locaux parmi les nœuds bénins, WFAgg a démontré une cohérence de convergence supérieure par rapport aux algorithmes de filtrage SOTA comme Krum et Clustering, qui présentaient des valeurs $R^2$ plus faibles car les nœuds sélectionnaient des sous-ensembles de modèles différents.
• Performance Individuelle des Nœuds : L'analyse de l'évolution de la précision individuelle des nœuds a montré que les nœuds bénins convergeaient vers une précision élevée en quelques cycles, même lorsqu'ils étaient entourés de voisins malveillants, tandis que les nœuds malveillants étaient efficacement isolés par le mécanisme de pondération.

Signification et Revendications

L'article affirme que WFAgg représente une approche novatrice dans la littérature, car c'est le premier à traiter explicitement la robustesse byzantine dans les scénarios décentralisés en considérant à la fois les statistiques spatiales et temporelles. Les auteurs soutiennent que l'intégration de multiples filtres légers permet au système de s'adapter à la nature dynamique et adverse des environnements IoT décentralisés.

L'étude conclut que bien que les schémas d'agrégation robustes centralisés existants offrent une certaine protection, ils sont insuffisants pour les défis spécifiques du DFL. L'algorithme WFAgg proposé fournit une alternative plus efficace et plus robuste, garantissant la précision et la convergence du modèle même en présence de diverses attaques byzantines. Les auteurs suggèrent que les travaux futurs devraient se concentrer sur l'optimisation des réseaux de communication (par exemple, en utilisant des réseaux définis par logiciel/SDN) pour réduire davantage la surcharge et la latence de ces processus d'apprentissage décentralisés.