Attack by Unlearning: Unlearning-Induced Adversarial Attacks on Graph Neural Networks

1. Problématique et Contexte

Les réseaux de neurones graphiques (GNN) sont largement utilisés dans des domaines sensibles (réseaux sociaux, finance, recommandation). Pour se conformer à des réglementations strictes comme le RGPD (GDPR), le CCPA ou la PIPEDA, les systèmes doivent permettre le « droit à l'oubli », c'est-à-dire la suppression de l'influence de données spécifiques (nœuds ou arêtes) d'un modèle entraîné sans devoir le réentraîner entièrement. C'est ce qu'on appelle le désapprentissage de graphe (Graph Unlearning).

Cependant, le désapprentissage est souvent une approximation du réentraînement complet, ce qui entraîne inévitablement une légère dégradation des performances. Les auteurs posent une question fondamentale : Cette dégradation inévitable peut-elle être amplifiée et transformée en une attaque adversaire ?

L'article introduit le concept d'attaques de corruption par désapprentissage (Unlearning Corruption Attacks). Contrairement aux attaques classiques (empoisonnement ou backdoor) qui dégradent le modèle immédiatement, cette attaque exploite le processus de désapprentissage lui-même comme déclencheur.

2. Modèle de Menace et Scénario d'Attaque

L'attaque repose sur un scénario en deux étapes, exploitant le fait que les demandes de suppression sont légalement obligatoires et ne peuvent être refusées par le propriétaire du modèle :

1. Injection (Phase d'entraînement) : L'attaquant injecte un petit nombre de nœuds adversariaux (avec des caractéristiques et des connexions soigneusement conçues) dans le graphe d'entraînement. Ces nœuds sont étiquetés et intégrés au jeu de données.
   • Objectif (G2) : Le modèle entraîné sur ce graphe « empoisonné » doit maintenir des performances normales. L'attaque doit rester furtive (stealthy) pendant cette phase.
2. Demande de Désapprentissage : L'attaquant soumet ensuite une demande légale pour supprimer (désapprendre) spécifiquement les nœuds qu'il a injectés.
   • Objectif (G1) : Le processus de désapprentissage, en tentant d'effacer l'influence de ces nœuds, provoque un effondrement catastrophique des performances du modèle sur les nœuds non étiquetés (victimes).
   • Objectif (G3) : Le désapprentissage de nœuds « bénins » (non contrôlés par l'attaquant) ne doit pas déclencher cette dégradation, garantissant que l'attaque est spécifique à la demande de suppression.

3. Méthodologie Proposée

Formuler ce problème est difficile car l'attaquant opère souvent en boîte noire (il ne connaît pas les paramètres internes du modèle cible ni le mécanisme exact de désapprentissage) et manque d'étiquettes pour les nœuds de test. Les auteurs proposent un cadre d'optimisation bi-niveau innovant :

A. Approximation du Désapprentissage (Boîte Noire)

Pour contourner l'opacité du processus de désapprentissage, l'approche modélise le désapprentissage comme une mise à jour basée sur le gradient (ascension de gradient pour « oublier » les nœuds).

• Au lieu de simuler un réentraînement complet, l'attaquant utilise une approximation en une étape (one-step approximation) : il effectue une seule mise à jour de gradient sur les paramètres du modèle pour simuler l'effet du désapprentissage.
• Cela permet de calculer les gradients par rapport aux nœuds injectés via la différenciation automatique (gradient-of-gradient), rendant l'optimisation possible.

B. Objectif de Surrogat via Étiquettes Pseudo

Puisque l'attaquant ne connaît pas les vraies étiquettes des nœuds de test ($V_U$), il entraîne un modèle de substitution (surrogate model) sur le graphe injecté.

• Ce modèle génère des étiquettes pseudo pour les nœuds non étiquetés.
• L'objectif d'attaque est alors formulé comme une maximisation de la perte sur ces étiquettes pseudo après le désapprentissage, tout en minimisant la perte avant le désapprentissage (pour la furtivité).

C. Formulation de l'Optimisation

Le problème est résolu en optimisant les caractéristiques des nœuds injectés ($X_{inj}$) et les connexions (arêtes) entre les nœuds injectés et le graphe original ($A_{inter}$), ainsi que les connexions internes ($A_{intra}$).

• Contrainte de budget : Le nombre d'arêtes injectées est limité pour rester discret et furtif.
• Relaxation continue : Pour optimiser les arêtes (variables discrètes 0/1), les auteurs utilisent une paramétrisation continue via une fonction sigmoid, appliquant une projection discrète uniquement à la fin du processus d'optimisation (Algorithm 1). Cela évite le problème de gradients qui s'annulent lors de projections itératives.

4. Contributions Clés

1. Nouveau Paradigme d'Attaque : Introduction des « attaques de corruption par désapprentissage », une surface d'attaque unique où la conformité légale (droit à l'oubli) est utilisée comme vecteur d'attaque.
2. Cadre d'Optimisation Bi-niveau : Développement d'une méthode capable de maximiser les dommages post-désapprentissage tout en maintenant l'utilité pré-désapprentissage et en assurant la furtivité face aux demandes bénines.
3. Robustesse et Transférabilité : Démonstration que l'attaque fonctionne sur différents algorithmes de désapprentissage (basés sur les fonctions d'influence, l'ascension de gradient, etc.) et différents modèles de GNN (GCN, GAT, SGC), même lorsque l'attaquant utilise un modèle de substitution différent de la cible.

5. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks standards (Cora, Citeseer, Pubmed, Flickr) avec divers algorithmes de désapprentissage (GIF, CEU, Gradient Ascent).

• Efficacité Dévastatrice : L'attaque proposée (OptimAttack) provoque une chute drastique de la précision après désapprentissage.
  • Exemple : Sur le jeu de données Pubmed avec l'algorithme GIF, la précision chute de ~83% à ~24% (une baisse de ~59 points), alors que les méthodes de base (empoisonnement aléatoire ou simple copie) n'ont qu'un impact négligeable.
  • Sur Citeseer, la précision chute de ~74% à ~20% avec l'algorithme CEU.
• Furtivité (Stealthiness) : Avant le désapprentissage, la précision du modèle empoisonné est quasi identique à celle d'un modèle non attaqué (ex: 0.7381 vs 0.7357 sur Citeseer), rendant la détection de l'injection impossible.
• Spécificité (G3) : Le désapprentissage de nœuds bénins ne dégrade pas significativement les performances, prouvant que l'attaque est bien ciblée sur la demande de suppression spécifique.
• Évolutivité : Une stratégie de restriction aux voisins locaux permet d'appliquer l'attaque sur de grands graphes (Flickr) avec une complexité réduite.

6. Signification et Implications

Ce travail révèle une vulnérabilité critique et contre-intuitive dans l'écosystème de l'apprentissage automatique respectueux de la vie privée :

• Paradoxe de la Conformité : Les mécanismes conçus pour protéger la vie privée (le droit à l'oubli) peuvent être détournés pour détruire l'intégrité du modèle.
• Impossibilité de Refus : Puisque les demandes de suppression sont légalement obligatoires, les défenseurs ne peuvent pas simplement ignorer la demande pour éviter l'attaque.
• Urgence de Défense : Les résultats soulignent la nécessité de développer des algorithmes de désapprentissage non seulement efficaces et rapides, mais aussi robustes contre de telles manipulations. Les méthodes actuelles, basées sur des approximations, semblent particulièrement vulnérables à cette forme d'exploitation.

En conclusion, l'article démontre que le désapprentissage de graphes n'est pas une solution magique pour la confidentialité, mais introduit une nouvelle surface d'attaque où l'adversaire peut transformer une obligation légale en une arme de destruction massive pour les modèles de GNN.