Sintesi Tecnica: Impatto della Struttura del Grafo sul Rischio di Membership-Inference per le Graph Neural Networks

Definizione del Problema

Le Graph Neural Networks (GNN) sono ampiamente impiegate per compiti quali la classificazione dei nodi e la predizione dei collegamenti, tuttavia il loro utilizzo in domini sensibili solleva preoccupazioni significative riguardanti la fuga di dati di addestramento. Mentre il lavoro precedente sulla fuga di privacy nelle GNN ha ampiamente adattato assunzioni provenienti da domini i.i.d. (indipendenti e identicamente distribuiti), questo approccio trascura il ruolo critico della struttura del grafo. Nello specifico, gli studi esistenti trattano spesso le istanze di dati come indipendenti, fallendo nel considerare l'interdipendenza dei nodi causata dagli archi.

Questo articolo affronta il problema della membership inference (MI) a livello di nodo: dato un GNN addestrato, un avversario può determinare se un nodo specifico faceva parte dell'insieme di addestramento? Gli autori sostengono che, nell'apprendimento basato su grafi, la definizione di una "istanza di dato" non è semplicemente un vettore di caratteristiche del nodo, ma una coppia nodo–intorno ($node–neighborhood\ tuple$). Di conseguenza, il rischio di privacy è modulato da due dimensioni specifiche del grafo spesso ignorate nelle analisi standard:

1. Costruzione del grafo di addestramento: Come viene campionato il sottografo di addestramento (ad esempio, campionamento casuale vs. snowball sampling).
2. Accesso agli archi al momento dell'inferenza: L'entità della struttura del grafo (archi) disponibile all'avversario durante l'attacco.

L'articolo postula che i risultati standard di auditing della privacy, che si basano sulla scambiabilità statistica, potrebbero non applicarsi direttamente ai contesti grafici induttivi in cui i nodi di addestramento e di test sono strutturalmente dipendenti.

Metodologia

Framework Teorico

Gli autori formalizzano la MI a livello di nodo definendo l'istanza di input come una coppia $z_v = (x_v, y_v, N^L(v), \{x_u : u \in N^L(v)\})$, dove $N^L(v)$ è l'intorno a $L$-hop. Essi adattano la definizione di scambiabilità statistica alle GNN. L'articolo dimostra (Teorema 3.2) che nei contesti induttivi, sia utilizzando il campionamento casuale che lo snowball sampling, la distribuzione congiunta delle coppie nodo–intorno di addestramento e di test non è statisticamente scambiabile. Ciò accade perché la struttura dell'intorno di un nodo di test dipende dall'insieme specifico di nodi di addestramento campionati e dal processo di campionamento stesso (ad esempio, l'ordine di attraversamento nello snowball sampling), violando l'invarianza per permutazione richiesta per le garanzie di auditing della differential privacy (DP) standard.

Setup Sperimentale

Lo studio valuta l'impatto della struttura del grafo sul rischio di MI utilizzando tre dataset: Cora, Chameleon e PubMed.

• Strategie di Campionamento: Gli autori confrontano il Uniform Random Node Sampling (standard nella letteratura) contro lo Snowball Sampling (comune in scenari del mondo reale come il contact tracing e la costruzione di reti sociali). Lo snowball sampling parte da nodi seme e aggiunge iterativamente i vicini, introducendo un bias di copertura verso gli hub ad alto grado.
• Regimi di Inferenza: Gli autori analizzano tre scenari di accesso agli archi al momento dell'inferenza:
  1. Original: Vengono utilizzati solo gli archi all'interno del set di addestramento e all'interno del set di test (gli archi tra train e test sono disgiunti).
  2. FullGraph: Tutti gli archi del grafo sottostante, inclusi quelli che collegano i nodi di addestramento e di test, sono disponibili.
  3. NoEdges: Nessuna struttura di grafo viene utilizzata; le predizioni si basano esclusivamente sulle caratteristiche dei nodi.
• Modello di Attacco: Per isolare l'effetto della struttura del grafo dagli artefatti del modello ombra (shadow-model), gli autori bypassano l'approccio tradizionale del modello ombra. Inveve, addestrano direttamente un classificatore binario (un MLP a 2 strati) sullo stato di appartenenza reale di una frazione ($r \in \{0.1, 0.2, 0.5, 0.8\}$) di nodi membri e non membri, utilizzando le probabilità di predizione del modello target e la cross-entropy loss come input.
• Modelli: Gli esperimenti utilizzano architetture GCN, GAT e GraphSage.

Risultati Chiave

1. Impatto della Strategia di Campionamento sulla Generalizzazione

• Snowball Sampling vs. Random Sampling: Lo snowball sampling produce spesso un gap di generalizzazione (differenza tra accuratezza di addestramento e di test) maggiore rispetto al random sampling. Ciò è attribuito al bias di copertura, dove lo snowball sampling sovracampiona gli hub ad alto grado e regioni specifiche del grafo, pur sottorappresentando le comunità periferiche. Questo bias porta a una distribuzione di addestramento non-i.i.d. che generalizza scarsamente rispetto ai nodi tenuti in prova (held-out).
• Densità degli Archi: Lo snowball sampling tende a produrre grafi di addestramento con una connettività più elevata (eccetto in dataset a bassa omofilia come Chameleon, dove il random sampling può generare una densità maggiore a causa della mancanza di limitazione dei vicini).

2. Impatto dell'Accesso agli Archi al Momento dell l'Inferenza

• Performance: Consentire l'accesso agli archi FullGraph (inclusi gli archi tra train e test) generalmente migliora l'accuratezza del test e riduce il divario train–test, poiché il modello può sfruttare informazioni sull'intorno più complete.
• Leakage di Privacy (Membership Advantage): L'effetto sul rischio di MI è complesso e dipendente dal contesto:
  • Original Split: Spesso produce il maggior membership advantage, poiché il contesto strutturale dei nodi di addestramento (disgiunto dai nodi di test) crea una firma comportamentale distinta.
  • FullGraph: Sorprendentemente, fornire l'accesso completo agli archi spesso riduce il membership advantage (rendendo membri e non membri più difficili da distinguere), particolarmente per GCN e GAT. La miscelazione delle informazioni attraverso i confini tra train e test sfuma la distinzione tra i due gruppi.
  • NoEdges: Sebbene questo setting spesso aumenti il gap di performance (a causa della mancanza di contesto strutturale), risulta frequentemente in un minore membership advantage rispetto allo split Original. Ciò suggerisce che un grande gap di generalizzazione non è un proxy affidabile per un alto rischio di privacy nei grafi.

3. Decoupling tra Generalization Gap e Rischio di Privacy

L'articolo dimostra che il generalization gap è un proxy incompleto per il rischio di membership inference.

• In diversi scenari (ad esempio, nel setting NoEdges), il gap di performance aumenta mentre il membership advantage diminuisce.
• Al contrario, in alcuni casi (ad esempio, FullGraph su grafi omofilici come Cora), il membership advantage può essere superiore rispetto al setting NoEdges anche quando il gap di performance è minore.
• Questo decoupling indica che la fuga di privacy è guidata non solo dall'overfitting (memorizzazione), ma dalle dipendenze strutturali e dalle informazioni specifiche disponibili durante l'inferenza.

4. Sensibilità Specifica del Modello

• GCN e GAT: Questi modelli, che mediano le caratteristiche dei vicini, sono altamente sensibili all'accesso agli archi. Il setting "FullGraph" riduce significativamente la loro vulnerabilità agli attacchi MI, livellando le rappresentazioni attraverso l'intero grafo.
• GraphSage: Mostra un membership advantage più stabile attraverso i diversi setting di accesso agli archi. Gli autori ipotizzano che ciò sia dovuto al meccanismo di GraphSage di concatenare le caratteristiche proprie con le caratteristiche aggregate dei vicini anziché mediarle, preservando più segnali specifici del nodo.

Significato e Rivendicazioni

L'articolo sostiene che la struttura del grafo modella direttamente il rischio di privacy in modi che non possono essere catturati dalle assunzioni i.i.d. standard.

1. Invalidità dell'Auditing Standard: Gli autori stabiliscono teoricamente che l'apprendimento induttivo sui grafi rompe la scambiabilità statistica. Pertanto, l'empirical membership advantage non può essere direttamente tradotto in un limite inferiore per il budget della differential privacy, come avviene comunemente nei contesti non grafici. La distribuzione dei dati generati (tramite il bias di campionamento) può rivelare informazioni di membership indipendentemente dai parametri appresi dal modello.
2. Rivalutazione dei Modelli di Minaccia: Lo studio sostiene che le valutazioni realistiche della privacy per i GNN devono modellare esplicitamente la conoscenza dell'avversario riguardo alla struttura del grafo (sia durante la costruzione dell'addestramento che all'inferenza). Assumere che un avversario abbia accesso al grafo completo o a nessun arco porta a valutazioni del rischio drasticamente differenti.
3. Limiti delle Metriche di Generalizzazione: L'articolo conclude che fare affidamento esclusivamente sul gap di generalizzazione per stimare il rischio di privacy è insufficiente per i GNN. La fuga di privacy può aumentare o diminuire indipendentemente dal gap di generalizzazione, guidata dall'interazione specifica tra le strategie di campionamento e la disponibilità di archi al momento dell'inferenza.

Gli autori rilasciano il proprio codice e i propri dati per facilitare ulteriori ricerche sull'analisi della privacy specifica per i grafi, sottolineando la necessità di nuove nozioni di privacy che tengano conto delle strategie di costruzione del grafo di addestramento.