When does distribution shift break graph neural networks calibration?

Sintesi Tecnica: Spostamento della Distribuzione e Calibrazione delle GNN

Enunciato del Problema
Le Reti Neurali a Grafo (GNN) sono sempre più impiegate in ambienti dinamici in cui la distribuzione del grafo al tempo di test differisce dalla distribuzione di addestramento (ad esempio, reti sociali in evoluzione, infrastrutture riconfigurate). Mentre l'accuratezza predittiva è spesso oggetto di studio, la calibrazione delle GNN — ovvero l'accordo tra la confidenza predittiva e l'effettiva accuratezza — rimane scarsamente compresa in presenza di tali spostamenti di distribuzione (distribution shift). I metodi di calibrazione esistenti (ad esempio, temperature scaling, CaGCN, GATS) si basano tipicamente su dati di validazione etichettati della distribuzione target. Nella distribuzione reale, queste etichette non sono disponibili, e i calibratori standard adattati sui dati sorgente falliscono perché la relazione tra confidenza e accuratezza cambia quando le proprietà del grafo, come l'omofilia o il rumore delle feature, variano. La sfida centrale è caratterizzare come lo spostamento della distribuzione alteri la calibrazione delle GNN e sviluppare un metodo per la ricalibrazione senza accesso alle etichette target.

Metodologia e Quadro Teorico
Il documento affronta questo problema derivando una caratterizzazione teorica in forma chiusa della calibrazione delle GNN sotto spostamento di distribuzione. L'analisi si basa su un Modello a Blocchi Stocastici Contestuale (CSBM) in cui i nodi possiedono feature gaussiane e gli archi sono formati in base all'omofilia di classe. Il modello analizzato è una GNN lineare (aggregazione della media o GCN con normalizzazione simmetrica) seguita da un classificatore lineare.

L'intuizione teorica fondamentale è che la relazione tra l'ampiezza del logit del modello $t$ e la sua vera accuratezza è governata da un singolo parametro scalare, la pendenza di calibrazione $\kappa$:
$$\text{Confidenza}(t) = \sigma(t) \quad \text{vs.} \quad \text{Accuratezza}(t) = \sigma(\kappa t)$$
dove $\sigma$ è la funzione sigmoide. Il documento dimostra che $\kappa$ è determinato esplicitamente dai livelli di omofilia dei grafi sorgente ($h_s$) e target ($h_t$) e dal rapporto segnale-rumore ($\rho$) delle feature:
$$\kappa(h_t) = \frac{(2h_t - 1)(1 + 4h_s(1-h_s)\rho)}{(2h_s - 1)(1 + 4h_t(1-h_t)\rho)}$$
Le estensioni teoriche chiave includono:

• GCN con auto-anelli (Self-loop): La pendenza è aggiustata per tenere conto degli auto-anelli, che permettono al segnale di persistere anche in condizioni di eterofilia ($h < 0.5$).
• Classificazione multi-classe: La pendenza si generalizza tramite un coefficiente di segnale $c_K(h)$, mostrando che una singola temperatura globale è sufficiente per $K$ classi.
• Spostamento delle covariate (Covariate shift): Un aumento del rumore delle feature diminuisce monotonicamente $\kappa$, inducendo un eccesso di confidenza (over-confidence).
• Limite dell'Errore di Calibrazione Attesa (ECE): Viene derivato un limite teorico superiore sull'ECE come $\frac{1}{4}|\kappa - 1| \mathbb{E}[|\delta|]$, collegando direttamente la gravità della mancata calibrazione alla deviazione di $\kappa$ da 1.

Contributi Chiave

1. Pendenza di Calibrazione in Forma Chiusa: Il documento fornisce la prima formula analitica per la pendenza di calibrazione $\kappa$ sotto spostamento di distribuzione, collegandola esplicitamente ai cambiamenti strutturali (omofilia) e alla qualità delle feature. Questo spiega perché e quanto una GNN diventi eccessivamente fiduciosa ($\kappa < 1$) o poco fiduciosa ($\kappa > 1$).
2. Ottimalità della Temperatura Globale: Un corollario strutturale dimostra che sotto uno spostamento di distribuzione omogeneo (dove lo spostamento influenza tutti i nodi in modo simile), una singola temperatura globale $T^* = 1/\kappa$ è teoricamente ottimale. Ciò implica che i complessi metodi di ricalibrazione per singolo nodo non offrono alcun beneficio in scenari omogenei, poiché la soluzione ottimale per la popolazione è una funzione costante.
3. STAC (Structure-aware Test-time Adaptive Calibration): Sulla base della teoria, l'autore propone STAC, un metodo di ricalibrazione privo di sorgente (source-free) e privo di etichette (label-free). STAC stima l'accuratezza target $\hat{a}$ da dati non etichettati utilizzando statistiche di confidenza e disaccordo nelle predizioni sotto perturbazioni. Successivamente, imposta una singola temperatura globale $T^* = 1/\hat{\kappa}$ tale per cui la confidenza media corrisponda all'accuratezza stimata.
4. Identificazione del Collo di Bottiglia: Il lavoro identifica che la barriera principale alla calibrazione pratica delle GNN senza etichette non è il meccanismo di calibrazione in sé, ma la stima dell'accuratezza target su grafi spostati e non etichettati.

Risultati Sperimentali

• Validazione Sintetica: Sui dati CSBM sintetici, la pendenza $\kappa$ in forma chiusa corrisponde alle misurazioni empiriche con alta precisione ($r=0.99$). La temperatura ottimale prevista $T^*$ recupera la calibrazione (riducendo l'ECE a $\leq 0.02$) attraverso variabili omofilia e rapporti segnale-rumore.
• Grafi del Mondo Reale: La teoria regge su cinque dataset del mondo reale che coprono un ampio spettro di omofilia ($h=0.05$ a $0.84$) e diversi conteggi di classi ($K=2$ a $18$).
  • Performance Oracle: Quando viene applicata una temperatura "oracle" (derivata dalle vere etichette target), la calibrazione viene recuperata su tutti i dataset, confermando la sufficienza della teoria.
  • Performance STAC: STAC riesce a dimezzare il divario dell'errore di calibrazione rispetto ai baseline basati sulla sorgente in caso di spostamenti sintetici. Tuttavia, su grafi eterofili reali (es. roman-empire, amazon-ratings), le stime di accuratezza di STAC sono inaffidabili (spesso sovrastimando l'accuratezza reale), portando a una degradazione della calibrazione. Ciò conferma che il quadro teorico è solido, ma gli attuali stimatori di accuratezza privi di etichette sono insufficienti per grafi complessi.
• Spostamento Eterogeneo: Sotto spostamenti eterogenei (dove diversi nodi sperimentano diversi spostamenti), la singola temperatura globale non può correggere completamente il modello. Sebbene sia stato testato un modulo per singolo nodo, esso ha offerto benefici marginali con le caratteristiche strutturali utilizzate, supportando l'affermazione teorica secondo cui la calibrazione per singolo nodo è necessaria solo se lo spostamento è eterogeneo.

Significato e Rivendicazioni
Il documento sostiene di fornire il primo resoconto teorico in forma chiusa della calibrazione delle GNN sotto spostamento di distribuzione. La sua importanza risiede in:

• Spiegazione Meccanicistica: Va oltre l'osservazione empirica per spiegare la direzione e l'entità della mancata calibrazione tramite la pendenza $\kappa$ dipendente dall'omofilia.
• Semplificazione Principiata: Fornisce una giustificazione rigorosa per l'uso di una singola temperatura globale in scenari di spostamento omogeneo, sfidando la necessità di complessi calibratori per singolo nodo in tali contesti.
• Tabella di Marcia per il Lavoro Futuro: Riducendo il problema della calibrazione senza etichette al sottoproblema della stima dell'accuratezza senza etichette, il documento isola l'ostacolo tecnico specifico che impedisce l'implementazione di robusti calibratori per GNN. Suggerisce che la ricerca futura dovrebbe concentrarsi sullo sviluppo di stimatori di accuratezza nativi per i grafi che tengano conto dell'omofilia locale e degli effetti di aggregazione, piuttosto che sul design di architetture di calibrazione più complesse.

L'autore rimane modesto riguardo alla distribuzione pratica di STAC, riconoscendo che, sebbene la teoria sia robusta, la stima dell'accuratezza senza etichette per grafi reali ed eterofili rimane la sfida centrale ancora irrisolta.