Aggressive or Imperceptible, or Both: Network Pruning Assisted Hybrid Byzantines in Federated Learning

Ce papier introduit une attaque byzantine hybride et parcimonieuse pour l'apprentissage fédéré qui combine une manipulation des paramètres basée sur la sensibilité avec un empoisonnement à accumulation lente pour contourner efficacement les défenses les plus avancées en exploitant l'architecture des réseaux de neurones plutôt qu'en s'appuyant sur la détection statistique des valeurs aberrantes.

L'essentiel

Imaginez un projet artistique collaboratif massif où des milliers d'artistes (appelés « clients ») tentent de peindre ensemble un seul chef-d'œuvre parfait, sans jamais montrer leurs croquis privés à qui que ce soit. Ils envoient leurs coups de pinceau à un conservateur central (le « serveur »), qui les mélange tous pour créer la prochaine version du tableau. C'est l'Apprentissage Fédéré.

Le problème ? Certains de ces artistes sont en réalité des saboteurs (appelés « Byzantins »). Ils veulent ruiner le tableau. Mais voici le hic : le conservateur ne peut pas vérifier l'identité de chaque artiste, et les artistes travaillent avec des styles et des matériaux différents. Si les saboteurs jetaient simplement de la peinture rouge vif partout, le conservateur les repérerait immédiatement et les exclurait.

Cet article présente une nouvelle méthode sournoise pour que les saboteurs ruinent le tableau sans se faire prendre. Ils l'appellent l'Attaque Sparse Hybride (HSA).

Voici comment cela fonctionne, décomposé en concepts simples :

1. L'Ancienne Méthode : Le « Poison Lent » contre le « Gros Marteau »

Les saboteurs précédents avaient deux stratégies principales, mais toutes deux présentaient des défauts :

• Le Poison Lent (comme ALIE) : Ils apportaient de minuscules changements à peine perceptibles au tableau. C'était très difficile à repérer, mais les dégâts étaient lents et faibles. C'était comme ajouter une goutte de poison dans une gigantesque soupe ; la soupe avait encore majoritairement bon goût.
• Le Gros Marteau : Ils apportaient d'énormes changements, évidents. Cela ruinait le tableau rapidement, mais le conservateur voyait immédiatement les drapeaux rouges et expulsait les saboteurs.

L'article soutient que vous ne pouvez pas avoir à la fois la rapidité et la discrétion avec les anciennes méthodes.

2. La Nouvelle Astuce : Le « Sniper et le Fantôme »

Les auteurs ont réalisé que toutes les parties du tableau n'ont pas la même importance. Certains coups de pinceau (les poids du réseau de neurones) sont critiques pour la structure de l'image, tandis que d'autres ne sont que du bruit de fond. Ils ont aussi compris que si vous perturbez les bons endroits, vous n'avez pas besoin de perturber tous les endroits.

Leur nouvelle attaque combine deux tactiques en une seule :

• Le Fantôme (La partie discrète) : Ils apportent de minuscules changements invisibles à la majeure partie du tableau. Cela maintient le conservateur en pensant : « Hé, cela semble normal. »
• Le Sniper (La partie agressive) : Ils identifient les « couches critiques » spécifiques et les plus sensibles du tableau (comme les yeux ou le visage). Sur ces points précis, ils appliquent une quantité massive de dégâts.

L'Analogie : Imaginez un garde de sécurité vérifiant une foule.

• Si tout le monde dans la foule porte un chapeau légèrement différent, le garde ne peut pas dire qui est l'espion.
• La partie « Fantôme » assure que l'espion se fond dans l'ambiance générale de la foule.
• La partie « Sniper » est l'espion qui remplace silencieusement l'arme du garde par une banane uniquement au moment exact où le garde détourne le regard. Le reste de l'équipement du garde semble normal, donc le garde ne soupçonne rien jusqu'à ce qu'il soit trop tard.

3. Utiliser le « Plan » (Conscience de l'Architecture)

La plupart des attaques précédentes étaient « aveugles ». Elles lançaient de la peinture au hasard, espérant toucher quelque chose d'important.

Cette nouvelle attaque est intelligente. Elle examine le « plan » du réseau de neurones (l'architecture). Elle sait exactement quelles couches sont les « sensibles » (comme les couches entièrement connectées à la fin du réseau) et lesquelles sont les « critiques » (comme la normalisation par lots).

• Elle utilise une technique de élagage (généralement utilisée pour rendre l'IA plus petite et plus rapide) pour trouver les endroits les plus fragiles du réseau.
• Elle concentre ses dégâts de « Sniper » sur ces points fragiles tout en maintenant le reste du réseau avec un aspect « élagué » et normal.

4. Les Résultats : Un Chef-d'œuvre Transformé en Décombres

Les auteurs ont testé cela contre huit différents « gardes de sécurité » (mécanismes de défense) qui sont actuellement considérés comme les meilleurs au monde.

• Dans un groupe normal et organisé (données IID) : Leur attaque a réduit la qualité du tableau final jusqu'à 55 %.
• Dans un groupe chaotique et désordonné (données Non-IID) : L'attaque a été si efficace qu'elle a fait complètement effondrer le tableau, la précision chutant à près de 10 % (ce qui équivaut essentiellement à des devinettes aléatoires).

Même les gardes de sécurité les plus avancés, qui repèrent habituellement les saboteurs en cherchant des valeurs aberrantes statistiques ou en mesurant les distances entre les mises à jour, ont été trompés. L'attaque était assez puissante pour briser le modèle, mais assez « sparse » (éparse) pour se cacher à la vue de tous.

La Conclusion

L'article affirme que les systèmes de sécurité actuels pour l'IA collaborative sont vulnérables car ils ne comprennent pas la structure interne de l'IA qu'ils protègent. En utilisant le propre « plan » de l'IA pour trouver les points faibles et les attaquer chirurgicalement, les saboteurs peuvent être à la fois agressifs (causant des dégâts massifs) et imperceptibles (se cachant à la vue de tous).

Les auteurs concluent que c'est la première fois qu'une attaque utilise avec succès l'architecture même du réseau pour guider son sabotage, créant une menace « universelle » qui fonctionne contre presque toutes les défenses connues.

Résumé technique

Résumé Technique : Aggressif, Imperceptible, ou les deux : Byzantins Hybrides Conscients de l'Architecture dans l'Apprentissage Fédéré

Énoncé du Problème

L'apprentissage fédéré (FL) permet l'entraînement collaboratif de modèles sur des clients distribués sans partager les données brutes. Cependant, l'impossibilité de profiler et de vérifier chaque client à grande échelle introduit une vulnérabilité de sécurité critique : les attaques byzantines. Des clients malveillants peuvent soumettre des mises à jour de modèle empoisonnées pour dégrader la précision du modèle global ou provoquer une divergence.

Les mécanismes de défense existants reposent principalement sur la détection d'anomalies, traitant les mises à jour malveillantes comme des anomalies statistiques basées sur des distances géométriques ou des statistiques index par index. Ces défenses supposent souvent que la structure interne du réseau de neurones (RN) est sans rapport avec la stratégie d'attaque. À l'inverse, les stratégies d'attaque existantes (par exemple, ALIE, IPM) ignorent généralement l'architecture spécifique du RN cible, se concentrant plutôt sur la manipulation statistique des gradients. Cet article postule que les défenses actuelles sont vulnérables car elles ne tiennent pas compte de la sensibilité de poids spécifiques du réseau et de la structure topologique du modèle, permettant aux attaquants de concevoir des perturbations à la fois hautement efficaces et difficiles à détecter.

Méthodologie : Attaque Byzantine Sparse Hybride (HSA)

Les auteurs proposent un cadre d'attaque novateur appelé l'Attaque Byzantine Sparse Hybride (HSA). Contrairement aux méthodes précédentes qui sont « agnostiques de l'architecture », la HSA exploite explicitement des informations secondaires concernant l'architecture du RN pour guider la conception des perturbations. L'attaque combine deux composants coordonnés pour équilibrer l'imperceptibilité (échapper à la détection) et la puissance (maximiser les dégâts) :

1. Composant Aggressif Sparse :

   • Ce composant cible un petit sous-ensemble soigneusement sélectionné de paramètres du réseau (poids) identifiés comme hautement sensibles aux perturbations.
   • Il utilise un cadre d'élagage de réseau (spécifiquement l'algorithme FORCE) pour identifier ces poids critiques. Les auteurs soutiennent que, par analogie avec la façon dont l'élagage identifie les poids non essentiels, les poids « sensibles » restants sont les cibles les plus impactantes pour une attaque.
   • En concentrant un grand budget de perturbation ($z_2$) sur ces emplacements épars, l'attaque atteint une forte perturbation avec une déviation globale minimale.

2. Composant Dense Furtif :

   • Ce composant imite le comportement de l'attaque ALIE, appliquant de petites perturbations cohérentes ($z_1$) sur la majorité des paramètres.
   • Il est conçu pour échapper à la détection d'anomalies index par index et accumuler l'erreur au fil du temps sans déclencher de défenses basées sur la distance géométrique.

La Stratégie Hybride :
La mise à jour adverse finale est la somme de ces deux composants : $\Delta_t = \Delta_{1,t} + \Delta_{2,t}$.

• Statique vs Dynamique : Les auteurs introduisent à la fois une version statique (coefficients d'échelle fixes) et une HSA Dynamique (DHSA), où le coefficient d'échelle pour le composant furtif est optimisé à chaque itération pour maximiser la perturbation tout en restant dans le seuil de détection de l'agrégateur.
• Contraintes par Couche : Pour empêcher que l'attaque ne devienne visible en raison d'une distribution inégale des perturbations (par exemple, une concentration excessive sur les couches entièrement connectées), les auteurs imposent des contraintes de parcimonie par couche lors du processus de génération de masques. Cela garantit une distribution plus uniforme des perturbations non nulles à travers la topologie du réseau.

Contributions Clés

1. Conception d'Attaque Consciente de l'Architecture : Ce travail est le premier à exploiter explicitement les caractéristiques architecturales du RN cible (spécifiquement, l'identification de poids sensibles via l'élagage) pour guider la conception des attaques byzantines.
2. Attaque Sparse Hybride (HSA) : L'introduction d'une stratégie d'attaque à double composant qui cible simultanément les vulnérabilités des défenses statistiques index par index (via le composant dense) et des défenses basées sur la distance géométrique (via le composant sparse à forte magnitude).
3. Contraintes de Parcimonie par Couche : La démonstration que l'imposition de contraintes sur la distribution des masques épars à travers des couches spécifiques du réseau (par exemple, limiter la parcimonie dans les couches entièrement connectées) améliore considérablement la robustesse de l'attaque contre des mécanismes de défense en couches comme GAS.
4. Évaluation Complète : Des simulations extensives sur diverses architectures de RN (ResNet-20, CNN, MLP), des jeux de données (CIFAR-10, F-MNIST, MNIST) et des distributions de données (IID et non-IID) contre huit mécanismes de défense de pointe.

Résultats Expérimentaux

Les cadres HSA et DHSA proposés ont été évalués contre des agrégateurs robustes, notamment Bulyan, Centered Clipping (CC), Médiane par Coordonnée (CM), Multi-Krum, Robust Federated Averaging (RFA), Trimmed Mean (TM), et GAS.

• Performance en Configurations IID :

  • La HSA a réduit la précision de test jusqu'à 15,5 % contre M-Krum et 39,6 % contre CC, surpassant significativement les attaques de base comme ALIE (qui a atteint ~55 % contre M-Krum).
  • La version dynamique (DHSA) a obtenu les meilleures performances globales, réduisant la précision de test moyenne sur les huit agrégateurs à moins de 38 % et maintenant le meilleur agrégateur performant en dessous de 55 %.

• Performance en Configurations Non-IID :

  • L'attaque s'est révélée encore plus efficace dans les scénarios de données hétérogènes. La HSA avec contraintes par couche a provoqué une divergence totale du modèle global dans de nombreux cas, réduisant la précision de test à 9,2 % en moyenne.
  • Contre des agrégateurs spécifiques comme TM et RFA, l'attaque a réduit la précision à 10 % (niveau de devinette aléatoire).

• Comparaison avec Autres Attaques :

  • La HSA a constamment surpassé ou égalé les attaques existantes les plus performantes (ALIE, ROP, Min-Sum, Min-Max) sur tous les mécanismes de défense testés.
  • L'étude souligne que, tandis que les attaques statiques peinent contre certaines défenses, l'adaptation dynamique des coefficients d'échelle dans la DHSA lui permet de les contourner efficacement.

Importance et Revendications

L'article prétend démontrer que l'imperceptibilité stricte n'est pas toujours nécessaire pour qu'une attaque par empoisonnement soit efficace. En échangeant un faible degré d'imperceptibilité contre une force de perturbation considérablement accrue sur des poids sensibles et spécifiques à l'architecture, l'attaque atteint un compromis supérieur.

Les auteurs soulignent que les mécanismes de défense actuels sont vulnérables car ils traitent les mises à jour de modèle comme des vecteurs boîte noire, ignorant la topologie interne du réseau de neurones. En révélant que des informations secondaires sur l'architecture du réseau (spécifiquement, la sensibilité des poids dérivée de l'élagage) peuvent être utilisées pour concevoir des attaques « plus fortes mais moins perceptibles », l'article souligne une lacune critique dans la recherche actuelle sur la sécurité du FL.

Le travail conclut qu'une attaque byzantine universellement efficace est réalisable en combinant des stratégies orthogonales (agression sparse et furtivité dense) et en exploitant des priors architecturaux. Cela remet en question l'hypothèse selon laquelle les agrégateurs robustes existants offrent une sécurité suffisante et appelle à davantage de recherches sur des défenses qui tiennent compte des propriétés structurelles des modèles qu'elles protègent.