Sintesi Tecnica: TIDE – Rilevamento Out-of-Distribution per Grafi tramite Decomposizione dell'Informazione a Tre Componenti

1. Enunciato del Problema

Le Reti Neurali su Grafi (GNN) sono ampiamente utilizzate per la classificazione dei nodi, ma rimangono vulnerabili agli shift fuori distribuzione (OOD) nelle caratteristiche dei nodi ($X$) e nella struttura del grafo ($A$). Gli approcci esistenti di apprendimento supervisionato (SL) tipicamente apprendono una rappresentazione mista $Z = f(X, A)$ che confonde tre tipi di segnali:

1. Segnali specifici delle caratteristiche: Correlazioni dipendenti esclusivamente da $X$.
2. Segnali specifici della struttura: Correlazioni dipendenti esclusivamente da $A$.
3. Segnali di input congiunti: Interazioni tra $X$ e $A$.

Sebbene tutti e tre possano essere predittivi all'interno della distribuzione di addestramento, i segnali basati solo sulle caratteristiche e quelli basati solo sulla struttura spesso catturano correlazioni spurie che falliscono sotto shift distribuzionali. Ad esempio, un modello che fa affidamento su correlazioni spurie tra struttura ed etichetta può classificare con sicurezza errata nodi OOD con caratteristiche spostate ma struttura intatta come in-distribution (ID). Lo SL standard non riesce a distinguere tra questi segnali, portando a previsioni eccessivamente confidenti su dati OOD e a una scarsa separazione tra nodi ID e OOD.

2. Metodologia: Il Framework TIDE

Gli autori propongono TIDE (Decomposizione dell'Informazione a Tre Componenti), un framework progettato per decomporre esplicitamente l'informazione predittiva in componenti specifiche delle caratteristiche, specifiche della struttura e congiunte. L'obiettivo principale è preservare solo l'informazione congiunta rilevante per l'etichetta, filtrando al contempo le correlazioni spurie su singolo input e il rumore non rilevante per l'etichetta.

2.1 Decomposizione dell'Informazione a Tre Componenti

TIDE formalizza l'informazione mutua tra gli input $(X, A)$ e l'etichetta $Y$ come somma di tre componenti:
$$I(X, A; Y) = I(Z; Y) + I(X; Y|Z) + I(A; Y|Z)$$
Dove:

• $I(Z; Y)$: Informazione congiunta di input (catturata dal codificatore principale $Z$).
• $I(X; Y|Z)$: Informazione specifica delle caratteristiche (catturata da una rete ausiliaria delle caratteristiche $V$).
• $I(A; Y|Z)$: Informazione specifica della struttura (catturata da una rete ausiliaria della struttura $Q$).

Il framework impiega tre reti dedicate:

1. Codificatore Congiunto ($Z$): Un classificatore GNN che cattura interazioni stabili tra caratteristiche e struttura.
2. Rete delle Caratteristiche ($V$): Un MLP che isola i segnali basati solo sulle caratteristiche.
3. Rete della Struttura ($Q$): Una GNN (con caratteristiche costanti) che isola i segnali basati solo sulla struttura.

2.2 Obiettivi di Ottimizzazione

Per ottenere la decomposizione desiderata, TIDE ottimizza una funzione obiettivo composita che combina un backbone Information Bottleneck (IB) con due regolarizzatori fondati su principi:

1. Obiettivo Information Bottleneck (IB):
   Applicato a tutte e tre le reti, l'obiettivo IB massimizza l'informazione rilevante per l'etichetta minimizzando il rumore non rilevante per l'etichetta:
   $$\max I(Z; Y) - \beta_Z I(X, A; Z)$$
   Ciò incoraggia la rappresentazione a comprimere i dettagli irrilevanti, affinando teoricamente le previsioni ID e aumentando il divario di entropia tra dati ID e OOD.

2. Regolarizzatore di Indipendenza Condizionata:
   Per garantire che $Z$ catturi il segnale congiunto e non le dipendenze residue, TIDE impone $A \perp\!\!\!\perp X | Z$:
   $$\min I(A; X | Z)$$
   Ciò è implementato tramite una funzione di perdita di ricostruzione, incoraggiando $Z$ a codificare tutte le informazioni di $X$ rilevanti per $A$ (e viceversa), trattando qualsiasi dipendenza residua come spuria.

3. Minimizzazione dell'Informazione Mutua a Coppie (PMI):
   Per impedire alle tre reti di codificare redundantemente le stesse informazioni, TIDE minimizza l'informazione mutua a coppie tra le rappresentazioni:
   $$\min \alpha_1 I(Z; V) + \alpha_2 I(Z; Q) + \alpha_3 I(V; Q)$$
   Ciò è implementato utilizzando lo stimatore CLUB (Contrastive Log-ratio Upper Bound).

2.3 Inferenza

Durante l'inferenza, viene utilizzato solo il Codificatore Congiunto ($Z$). Le reti ausiliarie ($V$ e $Q$) servono esclusivamente come regolarizzatori durante l'addestramento per guidare la disentanglement dei segnali. Il rilevamento OOD viene eseguito utilizzando un punteggio basato sull'energia derivato dai logit di $Z$.

3. Contributi Chiave

1. Metodologico: La proposta di TIDE, un framework innovativo che scompone esplicitamente l'informazione predittiva dei grafi in componenti specifiche delle caratteristiche, specifiche della struttura e congiunte. Introduce regolarizzatori specifici per sopprimere le correlazioni spurie e imporre l'indipendenza condizionata.
2. Teorico: Gli autori forniscono approfondimenti teorici che dimostrano come l'obiettivo IB migliori la confidenza delle previsioni in-distribution e ampli il divario di entropia tra dati ID e OOD rispetto allo SL standard. Ciò fornisce una base teorica per il motivo per cui i modelli addestrati con IB sono naturalmente più adatti al rilevamento OOD basato sui logit.
3. Empirico: Esperimenti estesi su sette dataset (inclusi Cora, Citeseer, Pubmed, Amazon, Twitch e Arxiv) sotto vari tipi di shift (shift di caratteristiche, struttura, congiunti ed etichette). TIDE ottiene fino a un miglioramento del 34% in FPR95 rispetto a baseline robuste, mantenendo al contempo un'accuratezza ID competitiva.

4. Risultati Sperimentali

• Prestazioni: TIDE supera significativamente le baseline non-OOD all'avanguardia (SOTA) (ad es. GNNSAFE, NODESAFE) e i metodi OOD generali (ad es. MSP, Energy).
  • Sul dataset Twitch, TIDE ha migliorato l'AUROC di oltre il 23% e ridotto l'FPR95 del 34% rispetto alle baseline.
  • Su Pubmed, TIDE ha ridotto l'FPR95 da ~37% (GNNSAFE) a ~12,75%.
• Studi di Ablazione: La rimozione del backbone IB aumenta l'FPR95 di circa il 20%, e la rimozione del vincolo di indipendenza condizionata degrada ulteriormente le prestazioni, confermando la necessità di entrambi i componenti.
• Confronto con Metodi Avanzati: Quando l'obiettivo di TIDE viene integrato in altri metodi avanzati (ad es. DeGEM, GOLD), migliora costantemente le loro metriche di rilevamento, suggerendo che il framework di decomposizione è complementare alle architetture esistenti.
• Efficienza: Sebbene TIDE comporti un aumento di 2-3 volte del tempo di addestramento a causa delle reti ausiliarie, il tempo di inferenza e l'utilizzo della memoria rimangono comparabili ai metodi SOTA.

5. Significato e Affermazioni

Il documento afferma che TIDE affronta una limitazione fondamentale nell'attuale rilevamento OOD per grafi: la dipendenza da rappresentazioni miste che catturano correlazioni spurie. Decomponendo esplicitamente l'informazione e sfruttando il principio dell'Information Bottleneck, TIDE costringe il modello a fare affidamento su segnali congiunti di input indicativi dello shift piuttosto che su fragili indicatori su singolo input.

Gli autori affermano che il loro lavoro fornisce un collegamento teorico tra compressione dell'informazione e prestazioni di rilevamento OOD, dimostrando che la minimizzazione delle informazioni irrilevanti porta a una confidenza ID più netta e a divari di entropia ID-OOD più ampi. Posizionano TIDE come un passo fondamentale per migliorare la robustezza nelle applicazioni reali sui grafi, dove gli shift distribuzionali nelle caratteristiche e nella struttura sono comuni, senza richiedere dati OOD ausiliari durante l'addestramento. Il lavoro è presentato come un avanzamento metodologico con ampia applicabilità ai compiti a livello di nodo sui grafi, sebbene gli autori notino che l'estensione del framework al rilevamento OOD a livello di grafo e ai grafi eterofili rimanga una direzione per la ricerca futura.