Riepilogo Tecnico: Gli Ensemble Profondi Catturano Effettivamente l'Incertezza nelle Reti Neurali su Grafi?

Enunciato del Problema

Gli ensemble profondi (DE) sono il metodo standard per la quantificazione dell'incertezza (UQ) nell'apprendimento profondo, in particolare nella visione artificiale, dove si basano sul disaccordo tra modelli addestrati indipendentemente per catturare l'incertezza epistemica. Tuttavia, la loro efficacia per dati strutturati a grafo, specificamente le Reti Neurali su Grafi (GNN) a passaggio di messaggi, è stata largamente assunta piuttosto che rigorosamente testata. Sebbene evidenze aneddotiche e studi limitati suggeriscano che i DE possano fallire sui grafi (ad esempio, nel benchmark della rete stradale PEMS), manca una valutazione sistematica su compiti grafici diversificati. Il problema centrale è se le proprietà strutturali delle GNN e la natura dei meccanismi a passaggio di messaggi impediscano ai DE di generare la necessaria diversità dei modelli per quantificare efficacemente l'incertezza.

Metodologia

Gli autori conducono una valutazione empirica completa degli ensemble profondi standard applicati alle GNN. La loro metodologia prevede:

1. Dataset: Una suite di benchmark composta da sette dataset di grafi diversificati che coprono la classificazione dei nodi (Cora, Citeseer, Tolokers2), la regressione dei nodi (Artnetviews, Chameleon) e la regressione del grafo (QM9-5%).
2. Modelli: Architetture standard a passaggio di messaggi (GCN e GATv2) addestrate come ensemble profondi (tipicamente $M=5$ modelli) con diverse inizializzazioni casuali dei pesi. Per i compiti di regressione, i modelli includono una testa di varianza dedicata per catturare l'incertezza aleatoria.
3. Baseline: I confronti sono effettuati contro singole GNN, una baseline "Triviale" (che predice una distribuzione Gaussiana costante derivata dalle etichette di addestramento) e, in casi specifici, GNN Bayesiane o Processi Gaussiani su Grafo.
4. Metriche:
   • Primarie: Log-verosimiglianza Negativa (NLL) per valutare le prestazioni predittive congiunte e l'incertezza.
   • Secondarie: Metriche di stima puntuale (RMSE per la regressione, Accuratezza per la classificazione) e metriche di calibrazione (Errore di Calibrazione Atteso - ECE).
   • Decomposizione: Separazione esplicita delle componenti di incertezza aleatoria ed epistemica mediante decomposizione della varianza per la regressione e decomposizione dell'entropia per la classificazione.
   • Analisi della Diversità: Indagine sul "crollo epistemico" analizzando il disaccordo tra i membri dell'ensemble e testando la convessità nello spazio dei pesi rispetto allo spazio funzionale tramite "zuppe di modelli" (media dei pesi).

Contributi Chiave

1. Benchmarking Sistematico: Il paper fornisce il primo benchmark su larga scala e sistematico degli ensemble profondi standard per le GNN su molteplici compiti e complessità, andando oltre i casi di studio isolati.
2. Identificazione del Crollo Epistemico: Gli autori dimostrano empiricamente un fenomeno denominato "crollo epistemico", in cui le GNN addestrate indipendentemente convergono verso funzioni predittive altamente simili indipendentemente dall'inizializzazione. Questa mancanza di diversità funzionale neutralizza il meccanismo primario (il disaccordo) mediante il quale gli ensemble catturano l'incertezza epistemica.
3. Decostruzione dei Guadagni NLL: Lo studio rivela che i miglioramenti marginali nell'NLL osservati con gli ensemble di GNN sono guidati quasi interamente dalla stabilizzazione delle previsioni puntuali (riducendo il rumore di ottimizzazione) piuttosto che da miglioramenti genuini nella calibrazione dell'incertezza o nella cattura dell'incertezza epistemica.
4. Analisi della Convessità: Attraverso esperimenti di mediazione nello spazio dei pesi, gli autori mostrano che, sebbene lo spazio dei pesi delle GNN rimanga altamente non convesso (i modelli risiedono in bacini di pesi diversi), lo spazio funzionale sembra esibire una forma di convessità. Soluzioni di pesi distinte inducono comportamenti quasi identici, suggerendo che la stessa architettura a passaggio di messaggi restringe lo spazio delle ipotesi.

Risultati

• Miglioramento Limitato: Su la maggior parte dei dataset, gli ensemble profondi forniscono miglioramenti marginali rispetto alle singole GNN in termini di NLL (ad esempio, un guadagno di verosimiglianza dello 0,1% all'1% per la classificazione, rispetto a ~20% nella visione artificiale).
• Degradazione della Calibrazione: In diversi casi (ad esempio, Chameleon, QM9-5%), gli ensemble peggiorano effettivamente la calibrazione (ECE) migliorando leggermente l'accuratezza puntuale, indicando che il guadagno NLL non è dovuto a stime di incertezza migliori.
• Crollo Epistemico: La decomposizione dell'incertezza mostra che l'incertezza epistemica negli ensemble di GNN è trascurabile (spesso vicina allo zero) rispetto all'incertezza aleatoria. Il rapporto tra incertezza epistemica e aleatoria è costantemente basso, in netto contrasto con i benchmark di visione artificiale dove l'incertezza epistemica è dominante.
• Fallimento della Zuppa di Modelli: La media dei pesi dei membri dell'ensemble ("zuppa di modelli") risulta in prestazioni degradate rispetto ai singoli modelli. Questo conferma che i modelli non condividono un semplice bacino convesso nello spazio dei pesi; piuttosto, trovano pesi diversi che mappano alla stessa funzione.
• Benchmark PEMS: Lo studio rivisita il benchmark della rete stradale PEMS, confermando che gli ensemble di GNN possono performare in modo catastroficamente peggiore rispetto a una baseline triviale nella quantificazione dell'incertezza, un fallimento attribuito all'interazione tra passaggio di messaggi e meccanismo dell'ensemble.

Significato e Affermazioni

Il paper conclude che il successo degli ensemble profondi nella visione artificiale non si trasferisce fluidamente all'apprendimento su grafi. Gli autori affermano che gli ensemble profondi standard sono inefficienti per le GNN a passaggio di messaggi perché falliscono nel catturare un'incertezza epistemica significativa.

• Inefficienza: L'addestramento e il dispiegamento di un ensemble comportano costi computazionali e di memoria significativi, eppure l'ensemble agisce meramente come un livellatore di riduzione della varianza per il rumore di ottimizzazione piuttosto che fornire stime di incertezza diversificate.
• Implicazione Pratica: Un singolo modello "fortunato" (selezionato tramite validazione) può spesso eguagliare o superare le prestazioni di un intero ensemble. Pertanto, il costo moltiplicativo dell'ensemble è ingiustificato per le GNN standard.
• Insight Teorico: I risultati suggeriscono che il meccanismo a passaggio di messaggi impone un pregiudizio architetturale fondamentale che omogeneizza il comportamento del modello, portando a una convessità funzionale anche in spazi dei pesi non convessi. Questo mette in discussione l'assunzione secondo cui la sola inizializzazione casuale sia sufficiente a generare la diversità richiesta per la UQ basata su ensemble nei domini grafici.

Il paper ipotizza che raggiungere una quantificazione di alta qualità dell'incertezza nell'apprendimento su grafi richieda di andare oltre l'ensembleing ingenuo di architetture standard a passaggio di messaggi, potenzialmente necessitando di nuovi metodi che affrontino esplicitamente la mancanza di diversità funzionale.