Résumé Technique : ARGUS - Exploitation des Voisinages Locaux pour la Détection de Backdoors dans l'Apprentissage Décentralisé

Énoncé du Problème

L'Apprentissage Décentralisé (DL) permet aux nœuds d'entraîner collaborativement des modèles d'apprentissage automatique sans serveur central, offrant ainsi évolutivité et tolérance aux pannes. Cependant, cette nature collaborative rend le DL vulnérable aux attaques par backdoor. Dans de telles attaques, des nœuds malveillants injectent des mises à jour adverses qui enseignent au modèle global à mal classifier les entrées contenant un motif déclencheur spécifique (par exemple, un patch de pixels) vers une étiquette cible, tout en maintenant une haute précision sur les entrées propres.

Les défenses existantes, conçues principalement pour l'Apprentissage Fédéré (FL), reposent sur un serveur central pour agréger les mises à jour et effectuer une détection d'anomalies globale ou une agrégation robuste. Ces approches sont inapplicables aux environnements entièrement décentralisés où les nœuds ne communiquent qu'avec leurs voisins immédiats et n'ont aucune vue globale des mises à jour. De plus, l'hétérogénéité des données (données Non-Indépendantes et Non-Identiquement Distribuées, ou NIID) complique la détection, car les anomalies statistiques locales causées par les différences de distribution des données peuvent être confondues avec des déclencheurs de backdoor, entraînant des taux de faux positifs élevés.

Méthodologie : Le Cadre ARGUS

Les auteurs présentent ARGUS, un cadre de détection de backdoor natif au DL qui fonctionne sans coordinateur central et ne nécessite aucune connaissance préalable du déclencheur. ARGUS fonctionne selon un flux de travail en trois étapes exécuté par des nœuds honnêtes :

1. Détection Locale du Déclencheur

Après avoir reçu une mise à jour de modèle d'un voisin, chaque nœud honnête tente indépendamment de rétro-ingénierier un déclencheur de backdoor potentiel en utilisant son jeu de données de validation local.

• Mécanisme : Adapté de l'approche DETRIGGER, le nœud calcule les gradients de la couche d'entrée pour identifier une petite perturbation d'entrée qui force la mauvaise classification vers une étiquette cible spécifique.
• Sortie : Une décision binaire indiquant si la mise à jour est suspecte et un motif de déclencheur candidat ($\hat{\tau}$).
• Défi : Dans les environnements NIID, l'hétérogénéité des données locales provoque des déclencheurs « Faux Positifs » (FP). Ces déclencheurs FP sont structurellement incohérents entre différents nœuds détecteurs car ils résultent de biais de données locaux plutôt que d'un signal malveillant partagé.

2. Vérification Collaborative

Pour distinguer les véritables backdoors des fausses alarmes, ARGUS exploite la topologie du réseau. Lorsqu'un nœud signale une mise à jour, il interroge les autres voisins de l'expéditeur pour valider le déclencheur récupéré.

• Insight sur la Similarité Structurelle : Les véritables déclencheurs de backdoor (Vrais Positifs) implantés par un attaquant sont structurellement cohérents ; différents nœuds honnêtes rétro-ingéniérant la même mise à jour malveillante récupéreront des motifs de déclencheur similaires. En revanche, les déclencheurs FP induits par l'hétérogénéité des données apparaissent comme des masques indépendants et aléatoires.
• Métrique : Le système utilise une métrique de Similarité Structurelle (SSIM) sur les cartes d'énergie des $k$ pixels supérieurs des déclencheurs récupérés.
• Règle de Décision : Une mise à jour n'est rejetée que si au moins $\kappa$ voisins confirment la suspicion en signalant un déclencheur avec un score de similarité supérieur à un seuil calibré $\xi$. Ce seuil est dérivé hors ligne en utilisant un modèle de champ aléatoire gaussien des faux positifs, ne nécessitant aucune donnée d'entraînement ni connaissance du déclencheur réel.

3. Machine d'État de Confiance

Pour réduire la surcharge computationnelle et gérer les attaquants persistants, les nœuds maintiennent une machine d'état de confiance par voisin avec trois états : CONFIANCE, SUSPECT, et REJETÉ.

• Les nœuds passent à l'état SUSPECT après des rejets confirmés consécutifs et sont définitivement REJETÉS si les rejets persistent sur une fenêtre glissante.
• Les mises à jour provenant de nœuds REJETÉS sont automatiquement rejetées sans vérification supplémentaire.

Contributions Clés

1. Cadre ARGUS : Le premier cadre de détection de backdoor pour le DL où les nœuds rétro-ingénièrent les déclencheurs localement et collaborent pour les vérifier, éliminant le besoin d'un serveur central ou de connaissances sur le déclencheur.
2. Garanties de Convergence Théorique : L'article fournit la première analyse de convergence pour une défense spécifique au DL contre les backdoors. Il modélise le rejet des mises à jour comme des défaillances de liens asymétriques et prouve qu'ARGUS préserve un taux de convergence comparable au DL standard, à condition que la probabilité de rejeter faussement des mises à jour honnêtes ($p_{fp}$) soit faible.
3. Validation Empirique : Évaluation approfondie sur trois jeux de données (CIFAR-10, FEMNIST, TinyImageNet) par rapport à des bases de référence de l'état de l'art (MULTI-KRUM, BADFL, P2PCD) et à des niveaux variables d'hétérogénéité des données.

Résultats Expérimentaux

• Suppression des Attaques : ARGUS réduit le Taux de Succès de l'Attaque (ASR) de plus de 70 % (dans des scénarios sans défense) à moins de 7 % dans tous les paramètres. Sur FEMNIST et TinyImageNet, l'ASR chute à près de zéro.
• Utilité du Modèle : Le cadre préserve la Précision de Test sur Données Propres (CA) à moins de 5 points de pourcentage d'un « oracle omniscient » (une défense théorique qui connaît les identités des attaquants).
• Robustesse à l'Hétérogénéité : Contrairement aux bases de référence basées sur la distance comme MULTI-KRUM, dont les performances se dégradent considérablement à mesure que l'hétérogénéité des données augmente, l'efficacité d'ARGUS s'améliore ou reste stable. Cela s'explique par le fait que la vérification collaborative filtre efficacement les incohérences structurelles causées par l'hétérogénéité des données.
• Comparaison avec les Bases de Référence : ARGUS surpasse les défenses DL existantes (BADFL, P2PCD) qui échouent soit à supprimer les backdoors, soit à provoquer des baisses de précision significatives (jusqu'à 20 points de pourcentage).

Importance et Revendications

L'article revendique qu'ARGUS représente une étape clé vers un apprentissage décentralisé résilient aux backdoors. Sa signification principale réside dans :

• Décentralisation : Adapter avec succès la défense contre les backdoors à un environnement sans serveur en utilisant la topologie pair-à-pair comme une caractéristique plutôt que comme une limitation.
• Différenciation : La capacité à séparer clairement les véritables backdoors des faux positifs induits par l'hétérogénéité des données grâce à une analyse structurelle collaborative.
• Rigueur Théorique : Fournir des garanties formelles de convergence qui prennent en compte la nature probabiliste du filtrage des mises à jour dans l'optimisation décentralisée.

Les auteurs reconnaissent des limites, notant que l'approche actuelle se concentre sur des déclencheurs de patch localisés spatialement et ne traite pas encore les backdoors sémantiques. De plus, bien que le cadre rejette efficacement les mises à jour malveillantes, un travail futur pourrait explorer l'utilisation des déclencheurs vérifiés pour « désapprendre » les backdoors plutôt que de simplement rejeter les mises à jour.