Résumé Technique : Fed-Listing

Énoncé du Problème

Les Réseaux de Neurones à Graphes Fédérés (FedGNNs) permettent un apprentissage collaboratif entre clients distribués tout en préservant la confidentialité des données. Cependant, des recherches récentes indiquent que les mises à jour de modèles partagées, en particulier les gradients, peuvent involontairement fuir des informations sensibles concernant les utilisateurs locaux. Bien que diverses attaques contre la vie privée (par exemple, l'inférence d'appartenance, l'inférence de propriétés et la reconstruction de graphes) aient été explorées dans les FedGNNs, l'Inférence de Distribution d'Étiquettes (LDI) reste sous-explorée dans ce contexte.

Les attaques LDI visent à inférer la distribution statistique des étiquettes de classe au sein de l'ensemble de données privé d'un client cible. Dans les données structurées en graphes, ce risque est amplifié par l'homophilie, où les nœuds d'étiquettes similaires ont tendance à se connecter, provoquant des corrélations structurelles et de caractéristiques qui révèlent implicitement la composition des communautés. La fuite de la distribution des étiquettes peut exposer des traits démographiques sensibles, des comportements d'utilisateurs ou des conditions médicales (par exemple, le ratio de scanners positifs pour une tumeur par rapport aux scanners normaux dans un hôpital), entraînant des violations de la vie privée et des désavantages concurrentiels.

Les méthodes LDI existantes, telles que Decaf, ont été principalement conçues pour des ensembles de données d'images et reposent sur les magnitudes des changements de gradients dans la dernière couche linéaire. Ces méthodes peinent dans les FedGNNs car les gradients sont influencés non seulement par les étiquettes des nœuds, mais aussi par des structures de voisinage complexes et des degrés de nœuds inconnus, rendant le rétro-ingénierie directe non triviale. De plus, les attaques actives concurrentes comme EC-LDA exigent que le serveur altère les paramètres des clients, ce qui les rend détectables et perturbateurs pour l'utilité du modèle.

Méthodologie : Fed-Listing

Les auteurs proposent Fed-Listing (Inférence de Distribution d'Étiquettes Fédérée dans les GNN), un cadre d'attaque nouveau, passif et furtif, conçu spécifiquement pour les contextes FedGNN horizontaux. L'attaque suppose un serveur « honnête mais curieux » qui a accès aux mises à jour de modèles partagées (gradients) et à un ensemble de données auxiliaire, mais qui ne modifie pas le processus d'entraînement.

L'attaque se déroule en trois phases :

1. Partitionnement de l'Ensemble de Données Auxiliaire :
   L'attaquant utilise un ensemble de données auxiliaire ($D_a$) ayant une distribution et un espace d'étiquettes similaires à ceux des clients cibles. Cet ensemble de données est partitionné en sous-ensembles en utilisant quatre stratégies distinctes pour simuler des distributions de clients diverses :

   • Proportion égale : Les classes sont également représentées.
   • Distribution aléatoire : Les classes sont attribuées au hasard (simulant des scénarios non-i.i.d.).
   • Classe unique : Chaque client ne détient des échantillons que d'une seule classe.
   • Classes manquantes : Certaines classes sont absentes de clients spécifiques.

2. Entraînement Fédéré Ombre :
   L'attaquant construit plusieurs instances d'apprentissage fédéré « ombre » en utilisant les données auxiliaires partitionnées. Au cours de ces tours d'entraînement ombre, l'attaquant enregistre les gradients de la dernière couche ($g_r$) échangés entre les clients ombre et le serveur. Ces gradients sont appariés avec les distributions d'étiquettes de vérité terrain connues des clients ombre pour former un ensemble de données d'attaque ($T_{attack}$).

3. Entraînement du Modèle d'Attaque et Inférence :
   Un modèle d'attaque basé sur un réseau de neurones (spécifiquement un MLP) est entraîné sur $T_{attack}$ pour mapper les mises à jour de gradients vers les distributions d'étiquettes. Le modèle minimise une fonction de perte composite combinant :

   • Norme L1 ($L_{L1}$) : Mesure l'écart statistique entre les distributions prédites et réelles.
   • Divergence de Jensen-Shannon ($L_{JS}$) : Mesure le chevauchement/séparation entre les distributions.

   Une fois entraîné, le modèle d'attaque infère la distribution d'étiquettes d'un client victime réel en analysant les gradients reçus pendant le processus réel d'entraînement FedGNN.

Contributions Clés

1. Cadre d'Attaque Nouveau : Introduction de Fed-Listing, la première attaque LDI passive et furtive spécifiquement adaptée aux FedGNNs horizontaux.
2. Pipeline d'Entraînement Ombre : Un pipeline conçu utilisant un ensemble de données auxiliaire pour explorer des distributions de données hétérogènes, créant des scénarios d'attaque diversifiés qui imitent les conditions non-i.i.d. du monde réel.
3. Évaluation Complète : Expériences extensives menées sur quatre ensembles de données de référence (Cora, PubMed, Citeseer, Amazon Computers) et trois architectures GNN (GCN, GraphSage, GIN).
4. Analyse de Défense : Analyse empirique de la résilience de Fed-Listing face à trois mécanismes de défense largement adoptés : la Confidentialité Différentielle (DP), les gradients bruités et la compression de gradients.

Résultats Expérimentaux

Les auteurs ont évalué Fed-Listing par rapport à une devinette aléatoire et à Decaf (adapté aux données de graphes), ainsi qu'à l'attaque active EC-LDA (utilisée comme borne supérieure).

• Performance : Fed-Listing surpasse nettement les bases existantes sur tous les ensembles de données et architectures. Dans des scénarios non-i.i.d. difficiles (par exemple, distributions à classe unique ou dominées par une classe), Fed-Listing maintient une haute précision (par exemple, Similarité Cosine > 0,97 sur Cora), tandis que Decaf et la devinette aléatoire montrent une dégradation significative des performances.
• Efficacité : Le modèle d'attaque atteint des performances supérieures en utilisant les gradients de la dernière couche par rapport aux gradients de toutes les couches, réduisant le temps d'entraînement jusqu'à 479 fois sur l'ensemble de données Amazon Computers tout en maintenant ou en améliorant la précision d'inférence.
• Architecture du Modèle : Un modèle d'attaque basé sur un MLP s'est révélé aussi efficace qu'un modèle basé sur une CNN mais avec nettement moins de paramètres (~44 fois moins), offrant une solution plus efficace.
• Résilience face aux Défenses : Les mécanismes de défense existants peinent à atténuer Fed-Listing sans dégrader sévèrement l'utilité du modèle.
  • Confidentialité Différentielle (DP) : L'augmentation du budget de confidentialité ($\epsilon$) améliore généralement l'utilité du modèle mais augmente également l'efficacité de l'attaque, sauf à des valeurs basses spécifiques.
  • Gradients Bruités : Des niveaux de bruit élevés dégradent à la fois la précision du modèle et la fiabilité de l'attaque, mais des niveaux de bruit intermédiaires permettent encore un succès d'attaque modéré.
  • Compression de Gradients : Bien que la compression réduise le succès de l'attaque à certains seuils (par exemple, $\alpha=0,5$), elle nécessite un compromis où des ratios de compression plus élevés améliorent l'utilité du modèle mais peuvent ne pas éliminer complètement la fuite.

Signification et Revendications

L'article affirme que Fed-Listing expose une vulnérabilité critique dans les déploiements actuels de FedGNNs : la fuite de distribution d'étiquettes est un risque de confidentialité significatif et sous-exploré. Les auteurs soulignent que :

• L'attaque est passive et furtive, ce qui la rend difficile à détecter par rapport aux attaques actives qui manipulent les paramètres d'entraînement.
• Les mécanismes de défense actuels sont insuffisants ; ils échouent soit à arrêter l'attaque, soit nécessitent une perturbation si forte que l'utilité du modèle global est sévèrement compromise.
• Les résultats mettent en évidence un besoin urgent de nouveaux mécanismes de préservation de la vie privée spécifiquement conçus pour prévenir la fuite de distribution d'étiquettes dans l'apprentissage fédéré basé sur des graphes, plutôt que de s'appuyer sur des défenses conçues pour des environnements centralisés ou basés sur des images.

L'étude conclut que la compréhension de ces implications de sécurité est essentielle pour le déploiement robuste de FedGNNs dans des systèmes réels sensibles tels que la santé, les systèmes de recommandation et la recherche inter-institutionnelle.