COPYCOP: Ownership Verification for Graph Neural Networks

Résumé Technique : COPYCOP – Vérification de la Propriété pour les Réseaux de Neurones sur Graphes

1. Énoncé du Problème

L'article aborde la question critique de la vérification de la propriété des Réseaux de Neurones sur Graphes (GNN) déployés en tant que « Embeddings-as-a-Service ». Dans ce contexte, un modèle victime $M$ fournit des embeddings de nœuds pour des tâches en aval. Un adversaire peut mener une attaque d'extraction de modèle en interrogeant $M$ sur de nombreux graphes, en collectant des paires entrée-sortie, et en entraînant un modèle substitut $Z$ pour imiter ces embeddings.

Le défi central consiste à distinguer si un GNN candidat $Z$ a été entraîné indépendamment ou s'il s'agit d'un substitut dérivé de $M$. Cette tâche est compliquée par le fait qu'un adversaire peut appliquer diverses transformations aux embeddings de sortie du substitut (par exemple, rotation, mise à l'échelle, permutation ou modification des dimensions d'embedding) et utiliser différentes architectures ou poids. Les méthodes existantes échouent dans ces conditions :

• Filigranes (Watermarking) : Les méthodes qui intègrent des signaux spéciaux (par exemple, des portes dérobées) dans le modèle victime sont vulnérables car un adversaire entraîné sur des données de requête ordinaires n'a pas besoin de reproduire ces comportements spécifiques marqués par un filigrane.
• Empreintes digitales (Fingerprinting) : Les empreintes digitales basées sur les embeddings existantes reposent souvent sur des comparaisons de similarité directe, qui sont facilement contournées par des transformations linéaires ou non linéaires qui altèrent l'espace d'embedding tout en préservant l'utilité en aval.

2. Méthodologie : COPYCOP

COPYCOP propose une méthode d'empreinte digitale qui ne modifie pas le modèle victime. Au lieu de cela, elle repose sur les points stationnaires de la fonction d'embedding en tant qu'empreintes digitales intrinsèques et invariantes aux transformations.

Concept Central :
L'embedding d'un nœud $h_i(X)$ est une fonction de la structure du graphe et des caractéristiques des nœuds. Un point stationnaire est défini comme un tuple $(G, X, i, w)$ où la perturbation des caractéristiques du nœud $x_i$ dans une direction $w$ ne produit aucun changement du premier ordre sur l'embedding (c'est-à-dire que la dérivée directionnelle $\nabla_w h_i(X) = 0$).

Fondement Théorique :

• Invariance : Si un modèle substitut $Z$ produit des embeddings $h'_i = \phi(h_i)$ où $\phi$ est une transformation localement inversible (Hypothèse 3.4), les points stationnaires de $h_i$ sont également des points stationnaires de $h'_i$. Cela s'explique par le fait que si le gradient de $h_i$ est nul, le gradient de $\phi(h_i)$ doit également être nul (Lemme 3.6).
• Unicité : Les auteurs supposent que les modèles entraînés indépendamment convergent vers des optima locaux différents, ce qui signifie que leurs ensembles de points stationnaires $S(M)$ et $S(I)$ sont largement disjoints (Hypothèse 3.7).

Algorithme (Cas Général) :
Puisque les points stationnaires exacts peuvent ne pas exister ou être calculables dans le cas général (en raison d'erreurs de reconstruction ou de non-différentiabilité), COPYCOP utilise une métrique d'approximation $\beta_F$ :

1. Échantillonnage : L'algorithme échantillonne des tuples à partir des points stationnaires du modèle victime $S(M)$ et à partir d'une distribution aléatoire sur l'espace des requêtes.
2. Calcul de la Métrique : Pour un modèle candidat $Z$, il calcule $q_Z(t)$, la magnitude normalisée du changement d'embedding lorsque les caractéristiques sont perturbées. Il calcule ensuite $\beta_Z$, le rapport entre l'espérance de $q_Z$ près des points stationnaires et celle des points aléatoires.
3. Décision :
   • Si $Z$ est le modèle victime ou un substitut, $\beta_Z$ est faible (proche de 0) car les points stationnaires de $M$ restent « stationnaires » pour $Z$.
   • Si $Z$ est un modèle indépendant, $\beta_Z$ est significativement plus élevé car $Z$ ne partage pas les points stationnaires de $M$.
   • L'algorithme classe $Z$ comme un substitut si $\hat{\beta}_Z \leq \theta$ (Algorithme 2).

Détails d'Implémentation :

• Échantillonnage des Points Stationnaires : La méthode utilise un solveur d'optimisation (sans nécessiter l'accès aux gradients du modèle) pour trouver des vecteurs de caractéristiques $X$ qui minimisent la dérivée directionnelle normalisée, régularisés pour rester proches des distributions de données réalistes.
• Robustesse : La méthode est agnostique à l'architecture et gère les changements de dimensions d'embedding. Elle génère dynamiquement de nouveaux graphes de requête, empêchant les fuites de compromettre les vérifications futures.

3. Contributions Clés

• Mécanisme d'Empreinte Digitale Novel : COPYCOP est la première méthode d'empreinte digitale pour les embeddings GNN qui est robuste à une large classe de transformations adverses (rotation, mise à l'échelle, changements de dimensionnalité) et fonctionne à travers différentes architectures GNN.
• Garanties Théoriques : L'article fournit des preuves formelles (Théorèmes 3.8 et 3.15) démontrant que la méthode peut distinguer les substituts des modèles indépendants avec une haute probabilité sous des hypothèses raisonnables concernant les fonctions de transformation et les distributions de points stationnaires.
• Aucun Filigrane Requis : Contrairement aux travaux antérieurs, COPYCOP ne nécessite pas de modifier le processus d'entraînement du modèle victime, évitant ainsi la dégradation des performances et la vulnérabilité aux attaques d'extraction qui ignorent les entrées spéciales.
• Empreintes Digitales Aléatoires : Les empreintes digitales sont aléatoires et peuvent être régénérées, garantissant que les requêtes divulguées ne compromettent pas définitivement le système de vérification.

4. Résultats Expérimentaux

Les auteurs ont évalué COPYCOP sur 14 jeux de données (couvrant des molécules, des citations, des réseaux sociaux, etc.) et 5 architectures GNN (GCN, GIN, GraphSage, ARMA, MixHop).

• Précision d'Extraction de Modèle : COPYCOP a obtenu des scores parfaits ou quasi parfaits de Surface Sous la Courbe (AUC) (par exemple, AUC=1,00 pour GCN, 0,99 pour MixHop) dans la détection de substituts entraînés par extraction de modèle. Il a nettement surpassé la méthode de filigrane PreGIP (de 17 à 48 % selon les architectures) et la méthode d'empreinte digitale GrOVe. Les performances de PreGIP ont parfois chuté en dessous du hasard lorsque le substitut était entraîné uniquement sur des données ordinaires.
• Robustesse aux Transformations : COPYCOP est resté robuste (0 % de taux d'erreur) face à la rotation, à la mise à l'échelle et à la projection vers des dimensions supérieures. Bien que les performances aient légèrement diminué sous des transformations non linéaires extrêmes (par exemple, exponentiation), elles sont restées bien supérieures à PreGIP et GrOVe. Notamment, GrOVe a échoué complètement lorsque les dimensions d'embedding changeaient.
• Attaques Adverses :
  • Élagage (Pruning) : COPYCOP est resté robuste jusqu'à 40 % d'élagage des poids (stable pour GIN jusqu'à 70 %).
  • Affinement (Fine-tuning) : La précision de détection est restée stable même après que le substitut ait été affiné sur un petit ensemble de données étiquetées.
• Efficacité : La méthode ne nécessite que 20 à 40 points stationnaires pour atteindre un AUC proche du maximum.

5. Signification et Revendications

L'article revendique que COPYCOP comble une lacune fondamentale dans la sécurité des GNN en tant que Service. En exploitant l'invariance mathématique des points stationnaires, il fournit un mécanisme fiable pour la vérification de la propriété qui survit aux changements « cosmétiques » utilisés par les adversaires pour obscurcir le vol de modèle.

Les auteurs soulignent que leur approche est modeste dans ses hypothèses (par exemple, ne nécessitant que l'inversibilité locale des transformations) mais forte dans ses performances empiriques. Ils reconnaissent des limites, telles que la nécessité d'une validation supplémentaire des hypothèses concernant les distributions de transformation et le coût computationnel de la recherche de points stationnaires pour des graphes très grands ou des embeddings de haute dimension. Cependant, ils affirment que COPYCOP offre une solution pratique, robuste et théoriquement fondée là où les techniques existantes de filigranes et d'empreintes digitales échouent.