FedVIB–AGP: Defending Against Distributed Backdoor Attacks in Federated Learning via Variational Information Bottleneck and Activation-Gap Pruning

Imaginez un projet artistique collaboratif massif, où des milliers d'artistes (appelés « clients ») peignent ensemble une seule et immense fresque (le « modèle global »). Ils ne peuvent pas partager leurs pinceaux ou leurs croquis réels car ils veulent garder leurs secrets en sécurité ; ils envoient seulement au serveur une petite note disant : « Je pense que le ciel devrait être plus bleu ». Le serveur mélange toutes ces notes pour mettre à jour la fresque. C'est cela, l'Apprentissage Fédéré (Federated Learning).

Mais il existe un problème sournois. Un groupe de saboteurs veut piéger la fresque. Ils ne veulent pas gâcher toute l'image ; ils veulent simplement s'assurer que si quelqu'un peint un motif minuscule et spécifique (comme un point rouge) sur un arbre, l'arbre se transforme soudainement en un monstre géant et hurlant. C'est une Attaque par Porte Dérobée (Backdoor Attack).

La partie délicate, c'est l'Attaque par Porte Dérobée Distribuée (DBA). Au lieu qu'un mauvais artiste peigne tout le motif du « point rouge », les saboteurs divisent le motif en de minuscules morceaux invisibles. L'artiste A peint un minuscule éclat rouge sur une feuille. L'artiste B peint un minuscule éclat rouge sur une branche. L'artiste C peint un éclat sur le tronc. Individuellement, ces éclats ressemblent à des erreurs inoffensives. Mais lorsque le serveur mélange toutes les notes, les « éclats rouges » se combinent pour former le déclencheur complet. La fresque semble normale jusqu'à ce que l'on cherche ce motif spécifique, et là, boum — elle hurle.

Les anciennes méthodes vs la nouvelle idée

Les tentatives précédentes pour arrêter cela consistaient, par exemple, à faire comme un garde de sécurité vérifiant les notes envoyées par les artistes. Ils essayaient de repérer les mauvaises notes ou de deviner quels artistes mentaient. Mais comme les mauvaises notes étaient si subtiles et fragmentées, le garde passait souvent à côté.

Les auteurs de ce papier, Hanlei Zhou et son équipe, disent : « Arrêtons de deviner qui ment et commençons à réparer la fresque elle-même. » Ils proposent un kit de réparation en deux étapes appelé FedVIB–AGP.

Étape 1 : Le « régime de mémoire » (Variational Information Bottleneck)

D'abord, ils modifient la façon dont les artistes peignent leurs croquis locaux. Ils introduisent une règle appelée Variational Information Bottleneck (VIB).

Voyez le VIB comme un éditeur strict qui dit aux artistes : « Vous ne pouvez garder que les détails essentiels nécessaires pour peindre un arbre normal. Si vous essayez de mémoriser des détails étranges et supplémentaires (comme l'éclat rouge secret), vous serez pénalisés. » Cela force les artistes à compresser leur mémoire, en jetant les informations « redondantes ». Le but est de s'assurer que même si un mauvais artiste tente d'introduire un éclat rouge, le cerveau de l'artiste l'oubliera parce qu'il n'est pas « essentiel » pour peindre un arbre normal.

Cependant, le papier précise bien que ce n'est pas un bouclier magique. C'est juste un régime. Cela rend la mémorisation du poison plus difficile, mais cela ne garantit pas que le poison a disparu.

Étape 2 : Le « détective de déclencheurs » (Activation-Gap Pruning)

Après que le serveur a mélangé toutes les notes, la fresque peut encore contenir des voies de « hurlement » cachées. C'est là qu'intervient la seconde partie, l'Activation-Gap Pruning (AGP).

Crucialement, cette étape nécessite deux outils spécifiques : le serveur doit posséder un lot de référence propre (un ensemble de photos d'arbres normales et non empoisonnées) ET un outil de déclencheur capable de recréer parfaitement le déclencheur assemblé (le motif complet formé par tous les morceaux divisés) pour tester la fresque.

Avec ces outils, le serveur réalise une petite expérience :

1. Il montre la fresque un arbre normal provenant du lot de référence propre.
2. Il montre à la fresque le même arbre du lot, mais avec le motif complet de l'éclat rouge assemblé ajouté.
3. Il observe les « neurones » internes de la fresque (les petits travailleurs à l'intérieur de la machine à peinture).

Si un travailleur ignore habituellement un arbre normal mais devient soudainement fou et hurle lorsque le motif complet est ajouté, ce travailleur est suspect. Le serveur mesure cet « écart » entre la réaction normale et la réaction déclenchée. Si l'écart est énorme, le serveur dit : « Ce travailleur est trop sensible au poison ! » et élague (masque) ce travailleur. Il place essentiellement un panneau « Ne pas utiliser » sur ce chemin spécifique.

Après avoir coupé les mauvais travailleurs, le serveur donne à la fresque une séance rapide de « peaufinage » (fine-tuning) sur le lot de référence propre pour s'assurer qu'elle peut toujours peindre un beau paysage sans ces travailleurs.

Les résultats : Est-ce que cela a fonctionné ?

Les auteurs ont testé cela sur quatre types différents de « tâches de peinture » (jeux de données) : CIFAR-10 (objets colorés), Fashion-MNIST (vêtements), MNIST (chiffres manuscrits) et SVDT (chiffres de maisons).

Voici ce qui s'est passé dans leurs simulations :

• L'attaque : Sans aucune défense, les mauvais artistes pouvaient faire hurler le modèle sur commande 95,67 % du temps sur CIFAR-10, 90,82 % sur Fashion-MNIST, 98,46 % sur MNIST et 86,43 % sur SVHN. La fresque était complètement détournée.
• La défense : Avec FedVIB–AGP, le taux de réussite de l'attaque a chuté de manière spectaculaire :
  • CIFAR-10 : Tombé à 2,16 %.
  • Fashion-MNIST : Tombé à 2,56 %.
  • MNIST : Tombé à 0,81 %.
  • SVHN : Tombé à 0,60 %.

Crucialement, la fresque n'a pas perdu sa capacité à peindre des arbres normaux. La « précision sur données propres » (la capacité à peindre des images normales) est restée élevée : 73,27 % pour CIFAR-10, 75,93 % pour Fashion-MNIST, 92,45 % pour MNIST et 90,38 % pour SVHN.

Comparé à d'autres défenses de haut niveau (comme CRFL, qui était la meilleure des anciennes méthodes), FedVIB–AGP est encore meilleur. Il a réduit le taux de réussite de l'attaque de jusqu'à 10,29 % de plus que CRFL et a en fait amélioré la précision sur données propres de jusqu'à 11,16 %.

Ce que ce papier écarte (et ce qu'il ne fait pas)

Il est important de savoir ce que ce papier ne prétend pas.

• Ce n'est pas un remède miracle pour les déclencheurs inconnus. Le papier stipule explicitement que cette méthode nécessite que le serveur possède à la fois un lot de référence propre et le motif du déclencheur assemblé pour exécuter le test de détection. Le serveur doit savoir exactement à quoi ressemble l'« éclat rouge » pour comparer la réaction de la fresque. Si les saboteurs changent le motif pour quelque chose que le serveur ne connaît pas, ce kit de réparation spécifique ne peut pas effectuer l'étape du « Détective de déclencheurs » et pourrait ne pas fonctionner.
• Ce n'est pas une garantie contre toutes les attaques futures. Les résultats sont basés sur des simulations spécifiques avec des jeux de données et des configurations d'attaque spécifiques. Les auteurs préviennent que les attaques réelles pourraient être plus intelligentes ou différentes.
• Ce n'est pas seulement le « VIB » ou seulement le « Pruning ». Le papier montre que faire uniquement le « régime de mémoire » (VIB) ou uniquement l'« élagage » (AGP) n'est pas suffisant en soi. Vous avez besoin des deux travaillant ensemble pour obtenir les meilleurs résultats. Par exemple, sur CIFAR-10, l'utilisation du seul élagage a réduit l'attaque à 16,10 %, mais l'ajout du régime de mémoire l'a ramenée à 2,16 %.

L'essentiel

Le papier suggère qu'en combinant un « régime de mémoire » pendant l'entraînement avec un « détective de déclencheurs » après la construction du modèle, nous pouvons efficacement nettoyer une fresque empoisonnée sans gâcher la peinture.

Dans ces simulations spécifiques, la méthode a très bien fonctionné, transformant une attaque presque réussie à 100 % en un taux de réussite proche de zéro, tout en gardant le modèle assez intelligent pour faire son travail. Mais les auteurs sont honnêtes : cela fonctionne mieux quand nous savons à quoi ressemble le poison. Si le poison change de forme, nous pourrions avoir besoin d'un nouveau type de détective.