COPYCOP: Ownership Verification for Graph Neural Networks

Riepilogo Tecnico: COPYCOP – Verifica della Proprietà per le Reti Neurali su Grafi

1. Enunciato del Problema

Il documento affronta la questione critica della verifica della proprietà per le Reti Neurali su Grafi (GNN) distribuite come "Embeddings-as-a-Service". In questo scenario, un modello vittima $M$ fornisce embedding dei nodi per compiti a valle. Un avversario può eseguire un attacco di estrazione del modello interrogando $M$ su numerosi grafi, raccogliendo coppie input-output e addestrando un modello surrogato $Z$ per imitare tali embedding.

La sfida fondamentale consiste nel distinguere se un GNN candidato $Z$ sia stato addestrato indipendentemente o se sia un surrogato derivato da $M$. Ciò è complicato dal fatto che un avversario può applicare varie trasformazioni agli embedding di output del surrogato (ad esempio, rotazione, scalatura, permutazione o modifica delle dimensioni dell'embedding) e utilizzare architetture o pesi diversi. I metodi esistenti falliscono in queste condizioni:

• Marcatura digitale (Watermarking): I metodi che incorporano segnali speciali (ad esempio, backdoor) nel modello vittima sono vulnerabili perché un avversario che addestra su dati di interrogazione ordinari non è tenuto a riprodurre questi specifici comportamenti marcati.
• Impronte digitali (Fingerprinting): Le impronte digitali esistenti basate sugli embedding spesso si affidano a confronti di similarità diretta, che vengono facilmente compromessi da trasformazioni lineari o non lineari che alterano lo spazio degli embedding pur preservando l'utilità a valle.

2. Metodologia: COPYCOP

COPYCOP propone un metodo di impronta digitale che non modifica il modello vittima. Si basa invece sui punti stazionari della funzione di embedding come impronte digitali intrinseche e invarianti rispetto alle trasformazioni.

Concetto Fondamentale:
L'embedding di un nodo $h_i(X)$ è una funzione della struttura del grafo e delle caratteristiche dei nodi. Un punto stazionario è definito come una terna $(G, X, i, w)$ in cui perturbare le caratteristiche del nodo $x_i$ in una direzione $w$ non comporta alcuna variazione del primo ordine nell'embedding (cioè, la derivata direzionale $\nabla_w h_i(X) = 0$).

Base Teorica:

• Invarianza: Se un modello surrogato $Z$ produce embedding $h'_i = \phi(h_i)$ dove $\phi$ è una trasformazione localmente invertibile (Assunzione 3.4), i punti stazionari di $h_i$ sono anche punti stazionari di $h'_i$. Questo perché se il gradiente di $h_i$ è zero, anche il gradiente di $\phi(h_i)$ deve essere zero (Lemma 3.6).
• Unicità: Gli autori assumono che i modelli addestrati indipendentemente convergano verso ottimi locali diversi, il che significa che i loro insiemi di punti stazionari $S(M)$ e $S(I)$ sono in gran parte disgiunti (Assunzione 3.7).

Algoritmo (Caso Generale):
Poiché i punti stazionari esatti potrebbero non esistere o essere calcolabili nel caso generale (a causa di errori di ricostruzione o non differenziabilità), COPYCOP utilizza una metrica di approssimazione $\beta_F$:

1. Campionamento: L'algoritmo campiona terne dai punti stazionari del modello vittima $S(M)$ e da una distribuzione casuale sullo spazio delle interrogazioni.
2. Calcolo della Metrica: Per un modello candidato $Z$, calcola $q_Z(t)$, la grandezza normalizzata della variazione dell'embedding quando le caratteristiche vengono perturbate. Successivamente calcola $\beta_Z$, il rapporto tra il valore atteso di $q_Z$ vicino ai punti stazionari e quello dei punti casuali.
3. Decisione:
   • Se $Z$ è il modello vittima o un surrogato, $\beta_Z$ è piccolo (vicino a 0) perché i punti stazionari di $M$ rimangono "stazionari" per $Z$.
   • Se $Z$ è un modello indipendente, $\beta_Z$ è significativamente più grande perché $Z$ non condivide i punti stazionari di $M$.
   • L'algoritmo classifica $Z$ come surrogato se $\hat{\beta}_Z \leq \theta$ (Algoritmo 2).

Dettagli di Implementazione:

• Campionamento dei Punti Stazionari: Il metodo utilizza un solver di ottimizzazione (senza richiedere l'accesso ai gradienti del modello) per trovare vettori di caratteristiche $X$ che minimizzano la derivata direzionale normalizzata, regolarizzati per rimanere vicini a distribuzioni di dati realistiche.
• Robustezza: Il metodo è agnostico rispetto all'architettura e gestisce le variazioni nelle dimensioni degli embedding. Genera dinamicamente nuovi grafi di interrogazione, impedendo che le fughe di dati compromettano le verifiche future.

3. Contributi Chiave

• Nuovo Meccanismo di Impronta Digitale: COPYCOP è il primo metodo di impronta digitale per gli embedding GNN che è robusto a una vasta classe di trasformazioni avversarie (rotazione, scalatura, cambiamenti di dimensionalità) e funziona attraverso diverse architetture GNN.
• Garanzie Teoriche: Il documento fornisce dimostrazioni formali (Teoremi 3.8 e 3.15) che dimostrano come il metodo possa distinguere i surrogati dai modelli indipendenti con alta probabilità, sotto assunzioni ragionevoli riguardanti le funzioni di trasformazione e le distribuzioni dei punti stazionari.
• Nessuna Marcatura Digitale Richiesta: A differenza dei lavori precedenti, COPYCOP non richiede di modificare il processo di addestramento del modello vittima, evitando il degrado delle prestazioni e la vulnerabilità agli attacchi di estrazione che ignorano gli input speciali.
• Impronte Digitali Randomizzate: Le impronte digitali sono randomizzate e possono essere rigenerate, garantendo che le interrogazioni trapelate non compromettano permanentemente il sistema di verifica.

4. Risultati Sperimentali

Gli autori hanno valutato COPYCOP su 14 dataset (che coprono molecole, citazioni, reti sociali, ecc.) e 5 architetture GNN (GCN, GIN, GraphSage, ARMA, MixHop).

• Accuratezza nell'Estrazione del Modello: COPYCOP ha ottenuto punteggi Area Under the Curve (AUC) perfetti o quasi perfetti (ad esempio, AUC=1.00 per GCN, 0.99 per MixHop) nel rilevare surrogati addestrati tramite estrazione del modello. Ha superato significativamente il metodo di marcatura digitale PreGIP (del 17–48% attraverso le architetture) e il metodo di impronta digitale GrOVe. Le prestazioni di PreGIP sono occasionalmente scese sotto il caso casuale quando il surrogato era stato addestrato solo su dati ordinari.
• Robustezza alle Trasformazioni: COPYCOP è rimasto robusto (0% di tasso di errore) contro rotazione, scalatura e proiezione su dimensioni superiori. Sebbene le prestazioni siano diminuite leggermente sotto trasformazioni non lineari estreme (ad esempio, esponenziazione), sono rimaste di gran lunga superiori a PreGIP e GrOVe. Notabilmente, GrOVe ha fallito completamente quando le dimensioni degli embedding sono cambiate.
• Attacchi Avversari:
  • Potatura (Pruning): COPYCOP è rimasto robusto fino al 40% di potatura dei pesi (stabile per GIN fino al 70%).
  • Fine-tuning: L'accuratezza del rilevamento è rimasta stabile anche dopo che il surrogato è stato sottoposto a fine-tuning su un piccolo dataset etichettato.
• Efficienza: Il metodo richiede solo 20–40 punti stazionari per raggiungere un AUC vicino al massimo.

5. Significato e Affermazioni

Il documento afferma che COPYCOP risolve un divario fondamentale nella sicurezza dei servizi GNN-as-a-Service. Sfruttando l'invarianza matematica dei punti stazionari, fornisce un meccanismo affidabile per la verifica della proprietà che sopravvive alle modifiche "cosmetiche" che gli avversari utilizzano per oscurare il furto del modello.

Gli autori sottolineano che il loro approccio è modesto nelle sue assunzioni (ad esempio, richiedendo solo l'invertibilità locale delle trasformazioni) ma forte nelle sue prestazioni empiriche. Riconoscono le limitazioni, come la necessità di una ulteriore validazione delle assunzioni riguardanti le distribuzioni di trasformazione e il costo computazionale della ricerca dei punti stazionari per grafi molto grandi o embedding ad alta dimensionalità. Tuttavia, affermano che COPYCOP offre una soluzione pratica, robusta e teoricamente fondata laddove le tecniche esistenti di marcatura digitale e impronte digitali falliscono.