Riepilogo Tecnico: Purificazione Adversarial Auto-supervisionata per Reti Neurali su Grafi

Enunciato del Problema

Le Reti Neurali su Grafi (GNN) sono altamente vulnerabili ad attacchi adversarial, in particolare a perturbazioni strutturali come l'inserimento e la cancellazione di archi. La difesa contro questi attacchi richiede tipicamente di bilanciare due obiettivi conflittuali: accuratezza (prestazioni su dati puliti) e robustezza (resilienza agli attacchi). I metodi tradizionali di addestramento adversarial tentano di ottimizzare entrambi gli obiettivi simultaneamente all'interno di un unico framework di classificazione. Tuttavia, questo approccio intreccia intrinsecamente tali obiettivi, spesso costringendo a un compromesso in cui l'aumento della robustezza degrada significativamente l'accuratezza su dati puliti. Inoltre, i metodi esistenti di purificazione adversarial fanno spesso affidamento su euristiche predefinite (ad es. similarità di Jaccard, approssimazione a rango basso) o meccanismi semplici di rilevamento degli archi che mancano di adattabilità e non riescono a catturare le differenze strutturali intricate tra grafi puliti e grafi adversarial.

Metodologia

Gli autori propongono un framework di Purificazione Adversarial Auto-supervisionata che disaccoppia gli obiettivi di accuratezza e robustezza in due moduli distinti: un classificatore GNN standard e un purificatore dedicato.

1. Architettura del Framework

• Disaccoppiamento: Il classificatore ($f_\psi$) si concentra esclusivamente sull'apprendimento di rappresentazioni accurate da grafi puliti, mentre il purificatore ($f_\theta$) viene addestrato indipendentemente per ricostruire la struttura del grafo pulito a partire da input perturbati. Questa separazione previene l'interferenza tra gli obiettivi di accuratezza e robustezza.
• Addestramento Auto-supervisionato: Il purificatore viene addestrato utilizzando una strategia auto-supervisionata. Prende in input un grafo perturbato $G'$ (campionato da uno spazio di perturbazione limitato $B(G, \epsilon)$) e tenta di ricostruire la matrice di adiacenza originale $A$. L'obiettivo di addestramento minimizza l'errore di ricostruzione senza fare affidamento sulle etichette dei nodi, permettendo al purificatore di apprendere direzioni di purificazione generali su un'ampia gamma di perturbazioni.

2. Il Modello GPR-GAE

Il contributo centrale è GPR-GAE, un nuovo Auto-Encoder su Grafi (GAE) progettato specificamente per la purificazione. Esso affronta le limitazioni dei GAE tradizionali, come lo "smoothing adversarial" (dove le perturbazioni sfumano le distinzioni tra i nodi) e le difficoltà nel catturare informazioni strutturali di ordine superiore.

• Filtri GPR Multipli: Invece di impilare livelli GNN statici, GPR-GAE impiega $K+1$ filtri Generalized PageRank (GPR) distinti. Ogni filtro utilizza coefficienti apprendibili $\gamma$ per pesare dinamicamente i contributi provenienti da diversi intervalli di vicinato (fino a $K$-hop).
• Rappresentazioni Diversificate: Sfruttando filtri GPR multipli con scale e coefficienti variabili, il modello cattura aspetti strutturali diversificati. Alcuni filtri possono sopprimere specifici vicinati (ad es. 1-hop) mentre ne enfatizzano altri (ad es. 2-hop), permettendo al modello di distinguere efficacemente tra regioni pulite e adversarial senza subire problemi di eccessivo smoothing.
• Architettura:
  • Codifica dei Nodi: Concatena gli output da tutti i filtri GPR per formare embedding dei nodi multi-scala.
  • Codifica e Decodifica degli Archi: Calcola gli embedding degli archi dalle rappresentazioni dei nodi concatenate e prevede le probabilità di collegamento utilizzando una perdita simmetrica per garantire la coerenza.

3. Processo di Purificazione Multi-step

Durante l'inferenza, la purificazione non è un processo a singolo step ma un raffinamento iterativo e convergente.

• Partendo da un grafo perturbato $G^{(0)}$, il modello prevede una matrice di adiacenza "più pulita" $\hat{A}^{(t)}$.
• Il grafo viene aggiornato iterativamente: $G^{(t+1)} = G^{(t)} + \alpha \cdot (\hat{A}^{(t)} - G^{(t)})$, dove $\alpha$ è una dimensione del passo.
• Garanzia Teorica: Gli autori dimostrano che, sotto l'ipotesi che il purificatore si comporti come una funzione localmente lipschitziana continua (con costante $L < 1$), questo processo iterativo converge linearmente a un punto stazionario stabile. Questa convergenza è garantita indipendentemente dalla dimensione del passo, a condizione che il modello sia addestrato in modo auto-supervisionato.

Contributi Chiave

1. Framework Disaccoppiato: Il documento propone un framework che separa esplicitamente accuratezza e robustezza, assegnandole a moduli specializzati (classificatore e purificatore) per mitigare il compromesso intrinseco trovato nell'addestramento adversarial.
2. Architettura GPR-GAE: Introduzione di un purificatore specializzato che utilizza filtri GPR multipli per catturare rappresentazioni strutturali multi-scala, distinguendo efficacemente le regioni di grafo pulite da quelle adversarial evitando al contempo i problemi di eccessivo smoothing dei GAE tradizionali.
3. Purificazione Multi-step Convergente: Un processo di raffinamento multi-step teorico e pratico che recupera iterativamente le strutture dei grafi. Gli autori forniscono una prova di convergenza basata sulla continuità lipschitziana del purificatore auto-supervisionato.
4. Difesa Plug-and-Play: Il metodo funge da modulo indipendente compatibile con vari classificatori GNN (ad es. GCN, GAT, GPRGNN, APPNP), senza richiedere il riaddestramento del classificatore stesso.

Risultati Sperimentali

Gli autori hanno valutato GPR-GAE su dataset diversi (Cora, Citeseer, Pubmed, Chameleon, OGB-arXiv) e scenari di attacco (PRBCD, LRBCD).

• Robustezza: GPR-GAE ha raggiunto una robustezza state-of-the-art contro attacchi adattivi. Ad esempio, sul dataset Cora sotto perturbazioni severe ($\epsilon = 0.5$), GPR-GAE accoppiato a un classificatore GPRGNN ha migliorato l'accuratezza di test di 15,7 punti percentuali rispetto alla baseline addestrata adversarialmente con le migliori prestazioni.
• Preservazione dell'Accuratezza: A differenza dell'addestramento adversarial, che spesso sacrifica l'accuratezza su dati puliti per la robustezza, GPR-GAE ha mantenuto un'accuratezza su dati puliti vicina a quella del classificatore vanilla, dimostrando un'efficace mitigazione del compromesso accuratezza-robustezza.
• Scalabilità: Il metodo si è scalato efficientemente su dataset di grandi dimensioni come OGB-arXiv utilizzando l'elaborazione mini-batch, mentre altri metodi (ad es. GOOD-AT, SVD-GCN) hanno affrontato vincoli di memoria o non sono riusciti a scalare.
• Attacchi Non Adattivi: In scenari di attacco per trasferimento, GPR-GAE ha costantemente superato i metodi di purificazione basati su euristiche (Jaccard-GCN, SVD-GCN) e le architetture GNN robuste (EvenNet, SoftMedianGDC).
• Validazione Empirica: Gli esperimenti hanno confermato che la costante di Lipschitz del purificatore addestrato è strettamente inferiore a 1, supportando le affermazioni teoriche di convergenza. La visualizzazione dei coefficienti appresi ha mostrato che GPR-GAE apprende pattern di filtri diversificati e guidati dai dati indipendentemente dall'omofilia del grafo.

Significato e Affermazioni

Il documento afferma che GPR-GAE rappresenta un avanzamento significativo nella difesa delle GNN ridisegnando fondamentalmente il meccanismo di difesa. Spostandosi dal paradigma "tutto-in-uno" dell'addestramento adversarial a un approccio di purificazione auto-supervisionata, il metodo:

• Rompere il Compromesso: Disaccoppia con successo accuratezza e robustezza, permettendo al classificatore di rimanere accurato su dati puliti mentre il purificatore gestisce la robustezza.
• Generalizza: Agisce come un modulo di difesa versatile e plug-and-play che potenzia la robustezza di varie architetture GNN esistenti senza richiedere modifiche architetturali ai classificatori.
• Si Adatta: Grazie al suo addestramento auto-supervisionato guidato dai dati e ai filtri GPR multi-scala, si adatta a strutture di grafo diverse e a pattern di perturbazione complessi in modo più efficace rispetto a metodi euristici o statici.

Gli autori concludono che questo framework offre una soluzione robusta, scalabile e teoricamente fondata per proteggere le Reti Neurali su Grafi dagli attacchi adversarial strutturali.