Résumé technique : Purification adversaire auto-supervisée pour les réseaux de neurones graphiques

Énoncé du problème

Les réseaux de neurones graphiques (GNN) sont hautement vulnérables aux attaques adverses, en particulier aux perturbations structurelles telles que les insertions et suppressions d'arêtes. Se défendre contre ces attaques nécessite généralement de trouver un équilibre entre deux objectifs contradictoires : la précision (performance sur des données propres) et la robustesse (résilience face aux attaques). Les méthodes traditionnelles d'entraînement adversaire tentent d'optimiser simultanément ces deux objectifs au sein d'un seul cadre de classificateur. Cependant, cette approche lie intrinsèquement ces objectifs, imposant souvent un compromis où l'augmentation de la robustesse dégrade considérablement la précision sur les données propres. De plus, les méthodes existantes de purification adversaire reposent souvent sur des heuristiques prédéfinies (par exemple, similarité de Jaccard, approximation de rang faible) ou sur des mécanismes simples de détection d'arêtes qui manquent d'adaptabilité et échouent à capturer les différences structurelles subtiles entre les graphes propres et les graphes adverses.

Méthodologie

Les auteurs proposent un cadre de Purification Adversaire Auto-supervisée qui découple les objectifs de précision et de robustesse en deux modules distincts : un classificateur GNN standard et un purificateur dédié.

1. Architecture du cadre

• Découplage : Le classificateur ($f_\psi$) se concentre exclusivement sur l'apprentissage de représentations précises à partir de graphes propres, tandis que le purificateur ($f_\theta$) est entraîné indépendamment pour reconstruire la structure du graphe propre à partir d'entrées perturbées. Cette séparation empêche l'interférence entre les objectifs de précision et de robustesse.
• Entraînement auto-supervisé : Le purificateur est entraîné selon une stratégie auto-supervisée. Il prend un graphe perturbé $G'$ (échantillonné à partir d'un espace de perturbation borné $B(G, \epsilon)$) et tente de reconstruire la matrice d'adjacence originale $A$. L'objectif d'entraînement minimise l'erreur de reconstruction sans recourir aux étiquettes des nœuds, permettant au purificateur d'apprendre des directions de purification générales sur un large éventail de perturbations.

2. Le modèle GPR-GAE

La contribution centrale est GPR-GAE, un nouveau Auto-Encodeur de Graphes (GAE) conçu spécifiquement pour la purification. Il répond aux limitations des GAE traditionnels, telles que le « lissage adversaire » (où les perturbations brouillent les distinctions entre les nœuds) et les difficultés à capturer des informations structurelles d'ordre supérieur.

• Filtres GPR multiples : Au lieu d'empiler des couches GNN statiques, GPR-GAE emploie $K+1$ filtres de PageRank Généralisé (GPR) distincts. Chaque filtre utilise des coefficients appris $\gamma$ pour pondérer dynamiquement les contributions provenant de différentes plages de voisinage (jusqu'à $K$ sauts).
• Représentations diversifiées : En exploitant plusieurs filtres GPR avec des échelles et des coefficients variés, le modèle capture des aspects structurels divers. Certains filtres peuvent supprimer des voisinages spécifiques (par exemple, 1-saut) tout en en mettant d'autres en évidence (par exemple, 2-sauts), permettant au modèle de distinguer efficacement les régions propres des régions adverses sans souffrir de sur-lissage.
• Architecture :
  • Encodage des nœuds : Concatène les sorties de tous les filtres GPR pour former des plongements de nœuds multi-échelles.
  • Encodage et décodage des arêtes : Calcule les plongements d'arêtes à partir des représentations de nœuds concaténées et prédit les probabilités de liens en utilisant une perte symétrique pour assurer la cohérence.

3. Processus de purification multi-étapes

Lors de l'inférence, la purification n'est pas un processus en une seule étape, mais un raffinement itératif et convergent.

• En partant d'un graphe perturbé $G^{(0)}$, le modèle prédit une matrice d'adjacence « plus propre » $\hat{A}^{(t)}$.
• Le graphe est mis à jour de manière itérative : $G^{(t+1)} = G^{(t)} + \alpha \cdot (\hat{A}^{(t)} - G^{(t)})$, où $\alpha$ est une taille de pas.
• Garantie théorique : Les auteurs démontrent que, sous l'hypothèse que le purificateur se comporte comme une fonction localement lipschitzienne (avec une constante $L < 1$), ce processus itératif converge linéairement vers un point stationnaire stable. Cette convergence est garantie quelle que soit la taille de pas, à condition que le modèle soit entraîné de manière auto-supervisée.

Contributions clés

1. Cadre découplé : L'article propose un cadre qui sépare explicitement la précision et la robustesse, les assignant à des modules spécialisés (classificateur et purificateur) pour atténuer le compromis inhérent trouvé dans l'entraînement adversaire.
2. Architecture GPR-GAE : Introduction d'un purificateur spécialisé utilisant plusieurs filtres GPR pour capturer des représentations structurelles multi-échelles, distinguant efficacement les régions de graphes propres des régions adverses tout en évitant les problèmes de sur-lissage des GAE traditionnels.
3. Purification multi-étapes convergente : Un processus de raffinement multi-étapes théorique et pratique qui récupère itérativement les structures de graphes. Les auteurs fournissent une preuve de convergence basée sur la continuité lipschitzienne du purificateur auto-supervisé.
4. Défense Plug-and-Play : La méthode sert de module indépendant compatible avec divers classificateurs GNN (par exemple, GCN, GAT, GPRGNN, APPNP), ne nécessitant aucun réentraînement du classificateur lui-même.

Résultats expérimentaux

Les auteurs ont évalué GPR-GAE sur divers jeux de données (Cora, Citeseer, Pubmed, Chameleon, OGB-arXiv) et scénarios d'attaque (PRBCD, LRBCD).

• Robustesse : GPR-GAE a atteint une robustesse de l'état de l'art contre les attaques adaptatives. Par exemple, sur le jeu de données Cora sous des perturbations sévères ($\epsilon = 0.5$), GPR-GAE couplé à un classificateur GPRGNN a amélioré la précision de test de 15,7 points de pourcentage par rapport à la meilleure ligne de base entraînée de manière adversaire.
• Préservation de la précision : Contrairement à l'entraînement adversaire, qui sacrifie souvent la précision sur les données propres pour la robustesse, GPR-GAE a maintenu une précision sur les données propres proche de celle du classificateur standard, démontrant une atténuation réussie du compromis précision-robustesse.
• Évolutivité : La méthode s'est adaptée efficacement aux grands jeux de données comme OGB-arXiv en utilisant un traitement par mini-lots, tandis que d'autres méthodes (par exemple, GOOD-AT, SVD-GCN) ont rencontré des contraintes de mémoire ou n'ont pas pu évoluer.
• Attaques non adaptatives : Dans les scénarios d'attaque par transfert, GPR-GAE a systématiquement surpassé les méthodes de purification basées sur des heuristiques (Jaccard-GCN, SVD-GCN) et les architectures GNN robustes (EvenNet, SoftMedianGDC).
• Validation empirique : Les expériences ont confirmé que la constante de Lipschitz du purificateur entraîné est strictement inférieure à 1, soutenant les affirmations théoriques de convergence. La visualisation des coefficients appris a montré que GPR-GAE apprend des motifs de filtres diversifiés et pilotés par les données, indépendamment de l'homophilie du graphe.

Importance et affirmations

L'article affirme que GPR-GAE représente une avancée significative dans la défense des GNN en redéfinissant fondamentalement le mécanisme de défense. En passant du paradigme d'entraînement adversaire « tout-en-un » à une approche de purification auto-supervisée, la méthode :

• Rompt le compromis : Elle découple avec succès la précision et la robustesse, permettant au classificateur de rester précis sur les données propres tandis que le purificateur gère la robustesse.
• Généralise : Elle agit comme un module de défense polyvalent et plug-and-play qui améliore la robustesse de diverses architectures GNN existantes sans nécessiter de modifications architecturales des classificateurs.
• S'adapte : Grâce à son entraînement auto-supervisé piloté par les données et ses filtres GPR multi-échelles, elle s'adapte plus efficacement aux structures de graphes diversifiées et aux motifs de perturbation complexes que les méthodes heuristiques ou statiques.

Les auteurs concluent que ce cadre offre une solution robuste, évolutive et théoriquement fondée pour sécuriser les réseaux de neurones graphiques contre les attaques adverses structurelles.