Résumé technique : Impact de la structure du graphe sur le risque d'inférence d'appartenance pour les réseaux de neurones sur graphes

Énoncé du problème

Les réseaux de neurones sur graphes (GNN) sont largement déployés pour des tâches telles que la classification de nœuds et la prédiction de liens, pourtant leur application dans des domaines sensibles soulève des préoccupations majeures concernant la fuite de données d'entraînement. Les travaux antérieurs sur la fuite de confidentialité dans les GNN ont largement adapté des hypothèses provenant de domaines i.i.d. (indépendants et identiquement distribués), mais cette approche néglige le rôle critique de la structure du graphe. Plus précisément, les études existantes traitent souvent les instances de données comme indépendantes, échouant ainsi à rendre compte de l'interdépendance des nœuds causée par les arêtes.

Cet article traite du problème de l'inférence d'appartenance au niveau du nœud (MI) : étant donné un GNN entraîné, un adversaire peut-il déterminer si un nœud spécifique faisait partie de l'ensemble d'entraînement ? Les auteurs soutiennent que, dans l'apprentissage sur graphes, la définition d'une « instance de donnée » n'est pas simplement un vecteur de caractéristiques de nœud, mais un tuple nœud–voisinage. Par conséquent, le risque de confidentialité est modulé par deux dimensions spécifiques au graphe souvent ignorées dans les analyses standards :

1. Construction du graphe d'entraînement : Comment le sous-graphe d'entraînement est échantillonné (par exemple, échantillonnage aléatoire vs échantillonnage en boule de neige/snowball sampling).
2. Accès aux arêtes lors de l'inférence : L'étendue de la structure du graphe (arêtes) accessible à l'adversaire pendant l'attaque.

L'article postule que les résultats d'audit de confidentialité standards, qui reposent sur l'échangeabilité statistique, peuvent ne pas s'appliquer directement aux contextes de graphes inductifs où les nœuds d'entraînement et de test sont structurellement dépendants.

Méthodologie

Cadre théorique

Les auteurs formalisent la MI au niveau du nœud en définissant l'instance d'entrée comme un tuple $z_v = (x_v, y_v, N^L(v), \{x_u : u \in N^L(v)\})$, où $N^L(v)$ est le voisinage à $L$ sauts. Ils adaptent la définition de l'échangeabilité statistique aux GNN. L'article démontre (Théorème 3.2) que dans les contextes inductifs, que l'on utilise l'échantillonnage aléatoire ou le snowball sampling, la distribution jointe des tuples nœud–voisinage d'entraînement et de test n'est pas statistiquement échangeable. Cela est dû au fait que la structure de voisinage d'un nœud de test dépend de l'ensemble spécifique des nœuds d'entraînement échantillonnés et du processus d'échantillonnage lui-même (par exemple, l'ordre de traversée dans le snowball sampling), violant l'invariance par permutation requise pour les garanties d'audit de la confidentialité différentielle (DP) standard.

Configuration expérimentale

L'étude évalue l'impact de la structure du graphe sur le risque de MI en utilisant trois jeux de données : Cora, Chameleon et PubMed.

• Stratégies d'échantillonnage : Les auteurs comparent l'Échantillonnage Aléatoire Uniforme de Nœuds (standard dans la littérature) contre le Snowball Sampling (courant dans les scénarios réels comme le traçage de contacts et la construction de réseaux sociaux). Le snowball sampling part de nœuds germes et ajoute itérativement des voisins, introduisant un biais de couverture vers les hubs à haut degré.
• Régimes d'inférence : Les auteurs analysent trois scénarios d'accès aux arêtes lors de l'inférence :
  1. Original : Seules les arêtes au sein de l'ensemble d'entraînement et au sein de l'ensemble de test sont utilisées (les arêtes train/test sont disjointes).
  2. FullGraph : Toutes les arêtes du graphe sous-jacent, y compris celles connectant les nœuds d'entraînement et de test, sont disponibles.
  3. NoEdges : Aucune structure de graphe n'est utilisée ; les prédictions reposent uniquement sur les caractéristiques des nœuds.
• Modèle d'attaque : Pour isoler l'effet de la structure du graphe des artefacts du modèle d'ombre (shadow-model), les auteurs contournent l'approche traditionnelle du modèle d'ombre. Au lieu de cela, ils entraînent directement un classificateur binaire (un MLP à 2 couches) sur le statut d'appartenance réel d'une fraction ($r \in \{0.1, 0.2, 0.5, 0.8\}$) de nœuds membres et non-membres, en utilisant les probabilités de prédiction du modèle cible et la perte cross-entropy comme entrées.
• Modèles : Les expériences utilisent des architectures GCN, GAT et GraphSage.

Résultats clés

1. Impact de la stratégie d'échantillonnage sur la généralisation

• Snowball Sampling vs Random Sampling : Le snowball sampling entraîne souvent un écart de généralisation plus important (différence entre la précision d'entraînement et de test) par rapport à l'échantillonnage aléatoire. Cela est attribué au biais de couverture, où le snowball sampling suréchantillonne les hubs à haut degré et des régions spécifiques du graphe tout en sous-représentant les communautés périphériques. Ce biais conduit à une distribution d'entraînement non-i.i.d. qui généralise mal aux nœuds non observés.
• Densité des arêtes : Le snowball sampling tend à produire des graphes d'entraînement avec une connectivité plus élevée (sauf dans les jeux de données à faible homophilie comme Chameleon où l'échantillonnage aléatoire peut produire une densité plus élevée en raison de l'absence de limitation du nombre de voisins).

2. Impact de l'accès aux arêtes lors de l'inférence

• Performance : Permettre l'accès aux arêtes FullGraph (incluant les arêtes inter-train-test) améliore généralement la précision de test et réduit l'écart train–test, car le modèle peut exploiter des informations de voisinage plus complètes.
• Fuite de confidentialité (Avantage d'appartenance) : L'effet sur le risque de MI est complexe et dépend du contexte :
  • Original Split : Produit souvent l'avantage d'appartenance le plus élevé, car le contexte structurel des nœuds d'entraînement (disjoint des nœuds de test) crée une signature comportementale distincte.
  • FullGraph : Curieusement, fournir un accès complet aux arêtes réduit souvent l'avantage d'appartenance (rendant les membres et les non-membres plus difficiles à distinguer), particulièrement pour GCN et GAT. Le mélange d'informations à travers les frontières train-test brouille la distinction entre les deux groupes.
  • NoEdges : Bien que ce réglage augmente souvent l'écart de performance (en raison du manque de contexte structurel), il se traduit fréquemment par un avantage d'appartenance plus faible par rapport au split Original. Cela suggère qu'un écart de généralisation important n'est pas un indicateur fiable d'un risque élevé de MI dans les graphes.

3. Découplage de l'écart de généralisation et du risque de MI

L'article démontre que l'écart de généralisation est un indicateur incomplet du risque d'inférence d'appartenance.

• Dans plusieurs scénarios (par exemple, le réglage NoEdges), l'écart de performance augmente tandis que l'avantage d'appartenance diminue.
• Inversement, dans certains cas (par exemple, FullGraph sur des graphes homophiles comme Cora), l'avantage d'appartenance peut être plus élevé que dans le réglage NoEdges même lorsque l'écart de performance est plus faible.
• Ce découplage indique que la fuite de confidentialité est pilotée non seulement par le surapprentissage (mémorisation), mais aussi par les dépendances structurelles et l'information spécifique disponible lors de l'inférence.

4. Sensibilité spécifique aux modèles

• GCN et GAT : Ces modèles, qui moyennent les caractéristiques des voisins, sont très sensibles à l'accès aux arêtes. Le réglage « FullGraph » réduit considérablement leur vulnérabilité aux attaques de MI en lissant les représentations à travers l'ensemble du graphe.
• GraphSage : Présente un avantage d'appartenance plus stable à travers les différents réglages d'accès aux arêtes. Les auteurs émettent l'hypothèse que cela est dû au mécanisme de GraphSage qui concatène les caractéristiques propres au nœud avec les caractéristiques agrégées des voisins plutôt que de les moyenner, préservant ainsi davantage de signaux spécifiques au nœud.

Signification et affirmations

L'article affirme que la structure du graphe façonne directement le risque de confidentialité d'une manière qui ne peut être capturée par les hypothèses i.i.d. standards.

1. Invalidité de l'audit standard : Les auteurs établissent théoriquement que l'apprentissage de graphes inductif brise l'échangeabilité statistique. Par conséquent, l'avantage d'appartenance empirique ne peut pas être directement traduit en une borne inférieure du budget de confidentialité différentielle, comme c'est le cas dans les contextes non-graphes. La distribution génératrice de données elle-même (via le biais d'échantillonnage) peut fuiter des informations d'appartenance indépendamment des paramètres appris par le modèle.
2. Réévaluation des modèles de menace : L'étude soutient que les évaluations de confidentialité réalistes pour les GNN doivent explicitement modéliser la connaissance de l'adversaire concernant la structure du graphe (tant lors de la construction de l'entraînement que lors de l'inférence). Supposer qu'un adversaire a accès au graphe complet ou à aucune arête conduit à des évaluations de risque radicalement différentes.
3. Limites des métriques de généralisation : L'article conclut que s'appuyer uniquement sur l'écart de généralisation pour estimer le risque de confidentialité est insuffisant pour les GNN. La fuite de confidentialité peut augmenter ou diminuer indépendamment de l'écart de généralisation, pilotée par l'interaction spécifique entre les stratégies d'échantillonnage et la disponibilité des arêtes lors de l'inférence.

Les auteurs publient leur code et leurs données pour faciliter la recherche sur l'analyse de la confidentialité spécifique aux graphes, soulignant la nécessité de nouvelles notions de confidentialité prenant en compte les stratégies de construction du graphe d'entraînement.