COPYCOP: Ownership Verification for Graph Neural Networks

Technische Samenvatting: COPYCOP – Eigendomsverificatie voor Graph Neural Networks

1. Probleemstelling

Het artikel behandelt het kritieke probleem van eigendomsverificatie voor Graph Neural Networks (GNN's) die worden ingezet als "Embeddings-as-a-Service". In deze setting levert een slachtoffermodel $M$ node-embeddings voor downstream-taken. Een adversary kan een model-extractieaanval uitvoeren door $M$ te bevragen op talrijke grafen, invoer-uitvoerparen te verzamelen en een surrogaatmodel $Z$ te trainen om deze embeddings na te bootsen.

De kernuitdaging is het onderscheid maken tussen een kandidaat-GNN $Z$ die onafhankelijk is getraind en een surrogaatmodel dat is afgeleid van $M$. Dit wordt bemoeilijkt door het feit dat een adversary diverse transformaties kan toepassen op de output-embeddings van het surrogaatmodel (bijvoorbeeld rotatie, schaling, permutatie of het wijzigen van de embedding-dimensie) en verschillende architecturen of gewichten kan gebruiken. Bestaande methoden falen onder deze omstandigheden:

• Watermerken: Methoden die speciale signalen (bijvoorbeeld backdoors) in het slachtoffermodel inbedden, zijn kwetsbaar omdat een adversary die op gewone query-gegevens traint, deze specifieke watermerkgedragingen niet hoeft na te bootsen.
• Vingerafdrukken: Bestaande vingerafdrukken op basis van embeddings vertrouwen vaak op directe vergelijkingsmethoden, die eenvoudig te doorbreken zijn door lineaire of niet-lineaire transformaties die de embedding-ruimte veranderen terwijl de downstream-gebruikswaarde behouden blijft.

2. Methodologie: COPYCOP

COPYCOP stelt een vingerafdruk-methode voor die het slachtoffermodel niet aanpast. In plaats daarvan vertrouwt het op de stationaire punten van de embedding-functie als intrinsieke, transformatie-invariante vingerafdrukken.

Kernconcept:
De embedding $h_i(X)$ van een node is een functie van de graafstructuur en de node-kenmerken. Een stationair punt wordt gedefinieerd als een tuple $(G, X, i, w)$ waarbij het verstoren van de node-kenmerken $x_i$ in een richting $w$ resulteert in geen eerste-orde verandering van de embedding (d.w.z. de richtingsafgeleide $\nabla_w h_i(X) = 0$).

Theoretische Basis:

• Invariantie: Als een surrogaatmodel $Z$ embeddings $h'_i = \phi(h_i)$ output waarbij $\phi$ een lokaal inverteerbare transformatie is (Aanneming 3.4), dan zijn de stationaire punten van $h_i$ ook stationaire punten van $h'_i$. Dit komt omdat als de gradiënt van $h_i$ nul is, de gradiënt van $\phi(h_i)$ ook nul moet zijn (Lemma 3.6).
• Uniciteit: De auteurs gaan ervan uit dat onafhankelijk getrainde modellen convergeren naar verschillende lokale optima, wat betekent dat hun verzamelingen van stationaire punten $S(M)$ en $S(I)$ grotendeels disjunct zijn (Aanneming 3.7).

Algoritme (Algemene Geval):
Omdat exacte stationaire punten in het algemene geval mogelijk niet bestaan of niet berekenbaar zijn (vanwege reconstructiefouten of niet-differentieerbaarheid), gebruikt COPYCOP een benaderingsmetriek $\beta_F$:

1. Sampling: Het algoritme steekproeft tuples uit de stationaire punten van het slachtoffermodel $S(M)$ en uit een willekeurige verdeling over de query-ruimte.
2. Metriekberekening: Voor een kandidaatmodel $Z$ berekent het $q_Z(t)$, de genormaliseerde grootte van de verandering in embedding wanneer kenmerken worden verstoord. Vervolgens berekent het $\beta_Z$, de verhouding van de verwachte $q_Z$ nabij stationaire punten versus willekeurige punten.
3. Besluitvorming:
   • Als $Z$ het slachtoffermodel is of een surrogaat, is $\beta_Z$ klein (dicht bij 0) omdat de stationaire punten van $M$ voor $Z$ "stationair" blijven.
   • Als $Z$ een onafhankelijk model is, is $\beta_Z$ aanzienlijk groter omdat $Z$ de stationaire punten van $M$ niet deelt.
   • Het algoritme classificeert $Z$ als een surrogaat als $\hat{\beta}_Z \leq \theta$ (Algoritme 2).

Implementatiedetails:

• Sampling van Stationaire Punten: De methode gebruikt een optimalisatiesolver (zonder dat toegang tot de gradiënt van het model vereist is) om kenmerkvectoren $X$ te vinden die de genormaliseerde richtingsafgeleide minimaliseren, geregulariseerd om dicht bij realistische gegevensverdelingen te blijven.
• Robuustheid: De methode is architectuur-onafhankelijk en omgaat met veranderingen in embedding-dimensies. Het genereert dynamisch nieuwe query-grafen, waardoor lekkage toekomstige verificaties niet kan compromitteren.

3. Belangrijkste Bijdragen

• Nieuwe Vingerafdruk-mechanisme: COPYCOP is de eerste vingerafdruk-methode voor GNN-embeddings die robuust is tegen een brede klasse van adversariële transformaties (rotatie, schaling, dimensiewijzigingen) en werkt over verschillende GNN-architecturen heen.
• Theoretische Garanties: Het artikel levert formele bewijzen (Stellingen 3.8 en 3.15) die aantonen dat de methode surrogaatmodellen met hoge waarschijnlijkheid kan onderscheiden van onafhankelijke modellen onder redelijke aannames over de transformatiefuncties en de verdeling van stationaire punten.
• Geen Watermerken Vereist: In tegenstelling tot eerdere werken vereist COPYCOP geen aanpassing van het trainingsproces van het slachtoffermodel, waardoor prestatiedegradering wordt vermeden en kwetsbaarheid voor extractieaanvallen die speciale inputs negeren.
• Geraandomiseerde Vingerafdrukken: De vingerafdrukken zijn geraandomiseerd en kunnen worden herboren, waardoor gelekte queries het verificatiesysteem niet permanent compromitteren.

4. Experimentele Resultaten

De auteurs hebben COPYCOP geëvalueerd op 14 datasets (die moleculen, citaties, sociale netwerken, enz. omvatten) en 5 GNN-architecturen (GCN, GIN, GraphSage, ARMA, MixHop).

• Accuraatheid van Model-extractie: COPYCOP behaalde perfecte of bijna-perfecte scores voor het Area Under the Curve (AUC) (bijvoorbeeld AUC=1.00 voor GCN, 0.99 voor MixHop) bij het detecteren van surrogaatmodellen die via model-extractie zijn getraind. Het presteerde aanzienlijk beter dan de watermerk-methode PreGIP (met 17–48% over alle architecturen heen) en de vingerafdruk-methode GrOVe. De prestaties van PreGIP daalden af en toe onder het niveau van toeval wanneer het surrogaatmodel uitsluitend op gewone gegevens was getraind.
• Robuustheid tegen Transformaties: COPYCOP bleef robuust (0% foutpercentage) tegen rotatie, schaling en projectie naar hogere dimensies. Hoewel de prestaties licht daalden onder extreme niet-lineaire transformaties (bijvoorbeeld exponentiatie), bleef het veruit superieur aan PreGIP en GrOVe. Opmerkelijk is dat GrOVe volledig faalde wanneer de embedding-dimensies veranderden.
• Adversariële Aanvallen:
  • Pruning: COPYCOP bleef robuust tot 40% gewichts-pruning (stabiel voor GIN tot 70%).
  • Fine-tuning: De detectie-accuraatheid bleef stabiel zelfs nadat het surrogaatmodel was gefine-tuned op een klein gelabeld dataset.
• Efficiëntie: De methode vereist slechts 20–40 stationaire punten om een bijna-maximale AUC te bereiken.

5. Betekenis en Claims

Het artikel claimt dat COPYCOP een fundamentele kloof in de beveiliging van GNN-as-a-Service oplost. Door gebruik te maken van de wiskundige invariantie van stationaire punten, biedt het een betrouwbare mechanisme voor eigendomsverificatie dat de "cosmetische" veranderingen overleeft die adversary's gebruiken om modeldiefstal te verdoezelen.

De auteurs benadrukken dat hun aanpak bescheiden is in zijn aannames (bijvoorbeeld dat slechts lokale inverteerbaarheid van transformaties vereist is), maar sterk in zijn empirische prestaties. Ze erkennen beperkingen, zoals de noodzaak van verdere validatie van aannames met betrekking tot transformatieverdelingen en de rekenkosten van het vinden van stationaire punten voor zeer grote grafen of embeddings met hoge dimensies. Echter, zij stellen dat COPYCOP een praktische, robuuste en theoretisch onderbouwde oplossing biedt waar bestaande watermerk- en vingerafdruktechnieken falen.