Riepilogo Tecnico: Spiegare gli Spiegatori nelle Reti Neurali su Grafi: uno Studio Comparativo

Enunciato del Problema

Le Reti Neurali su Grafi (GNN) sono diventate lo standard per l'apprendimento basato su grafi, eppure la loro natura di "scatola nera" ne limita il dispiegamento in scenari critici per la sicurezza. Sebbene siano emersi numerosi spiegatori per GNN per interpretare le decisioni del modello, il campo manca di una comprensione sistematica di come diverse architetture GNN influenzino l'interpretabilità, quale spiegatore sia ottimale per impostazioni specifiche e come diversi tipi di problemi (ad esempio, il conteggio di sottostrutture rispetto al rilevamento di motivi) influenzino la qualità delle spiegazioni. I precedenti sforzi di benchmarking sono stati limitati dalla valutazione di una singola architettura GNN (tipicamente GCN), dall'uso di metriche incoerenti o dal mancato distinguo tra la plausibilità di una spiegazione (allineamento con l'intuizione umana/verità fondamentale) e la sua fedeltà (allineamento con il reale processo decisionale del modello).

Metodologia

Gli autori hanno condotto uno studio sperimentale sistematico su larga scala che ha coinvolto:

• Architetture: Otto architetture rappresentative di GNN a passaggio di messaggi, categorizzate in base ai loro meccanismi computazionali: Spettrali (Cheb, GCN), Spaziali (GraphSAGE, GIN, GAT), di Ordine Superiore (GraphConv) e basate su Pooling (MinCutPool, Set2Set).
• Spiegatori: Dodici spiegatori basati su istanza che coprono cinque categorie: basati su Gradiente (GradExplNode, GuidedBP, IntegratedGradients, GradCam), basati su Perturbazione (GNNExplainer, PGExplainer, SubgraphX), basati su Decomposizione (CAM), basati su Surrogato (PGMExplainer) e basati su Generazione (RG-Explainer).
• Dataset: Sei dataset attentamente progettati per compiti di classificazione sia di grafi che di nodi. Questi includono benchmark sintetici (Grid, Grid-House, Stars, House-Color, Shapes, Infection) dove le spiegazioni della verità fondamentale sono note, consentendo una valutazione rigorosa.
• Metriche di Valutazione: Lo studio impiega due strategie principali:
  1. Plausibilità: Misura la somiglianza tra la maschera dello spiegatore e un concetto noto della verità fondamentale (utilizzando AUC-ROC).
  2. Fedeltà: Misura quanto bene la previsione del modello viene preservata quando calcolata sul solo sottografo della spiegazione. Questo viene scomposto in Sufficienza (previsione sulla spiegazione) e Completezza (previsione sul complemento), aggregati in un punteggio di fedeltà F1.
• Protocollo Sperimentale: I modelli sono stati addestrati per raggiungere almeno il 95% di accuratezza di addestramento. Le spiegazioni sono state generate sul set di addestramento, filtrate per informatività e aggregate attraverso classi e dataset per classificare architetture e spiegatori.

Contributi Chiave

1. Benchmarking Completo: Lo studio è il primo a valutare un ampio spettro di architetture GNN contro un insieme diversificato di spiegatori su più dataset, superando il pregiudizio delle architetture singole dei lavori precedenti.
2. Svincolo di Plausibilità e Fedeltà: Gli autori evidenziano un frequente compromesso in cui un'alta plausibilità (corrispondenza con le aspettative umane) non garantisce un'alta fedeltà (corrispondenza con il comportamento del modello), e viceversa. Dimostrano che fare affidamento su una singola metrica può portare a conclusioni fuorvianti sulla qualità di uno spiegatore.
3. Identificazione dell'Apprendimento "Pigro": Lo studio rivela che le GNN spesso mostrano "pigrizia", imparando caratteristiche discriminative solo per una classe (ad esempio, la classe positiva) e trattando l'altra come predefinita. Le spiegazioni per queste classi "predefinite" sono spesso inaffidabili o fuorvianti.
4. Impatto Architettonico sull'Interpretabilità: Il lavoro isola componenti architettonici specifici che influenzano significativamente l'interpretabilità, come la scelta della funzione di aggregazione (lineare vs non lineare) e la gestione delle caratteristiche degli archi.

Risultati Chiave

Domanda di Ricerca 1: Come influisce l'architettura sulle spiegazioni?

• Migliore in Assoluto: GraphConv (Ordine Superiore) ha ottenuto i punteggi aggregati più alti sia per plausibilità che per fedeltà nei compiti di classificazione di grafi.
• Più Facile da Spiegare: GCN è stata costantemente l'architettura più facile da spiegare nella maggior parte dei dataset e delle metriche. Gli autori suggeriscono che ciò possa essere dovuto al suo semplice meccanismo di passaggio di messaggi lineare, in contrasto con architetture più complesse.
• Più Difficile da Spiegare: GIN (Graph Isomorphism Network) è stata la più difficile da spiegare, nonostante la sua semplice struttura MLP a singolo strato. Ciò suggerisce un potenziale pregiudizio negli spiegatori esistenti, che sono spesso sviluppati e testati su GCN.
• Classificazione di Nodi: Per la classificazione di nodi, GraphSAGE ha fornito spiegazioni più allineate alla verità fondamentale (plausibilità), mentre GIN ha offerto la fedeltà più alta. Chebyshev (Cheb) è stata la più difficile da spiegare, probabilmente a causa del suo campo ricettivo più ampio.

Domanda di Ricerca 2: Come influiscono gli spiegatori sulle spiegazioni?

• Classificazione di Grafi: Gli spiegatori basati su archi hanno costantemente superato quelli basati su nodi. SubgraphX (basato su perturbazione) è stato lo spiegatore più robusto attraverso le architetture. I metodi basati su gradiente hanno eccelluto nella plausibilità, mentre i metodi basati su generazione hanno ottenuto i migliori risultati nella fedeltà.
• Classificazione di Nodi: La tendenza si è invertita; gli spiegatori basati su nodi (in particolare GNNExplainer e GradCam) hanno superato quelli basati su archi. I metodi basati su gradiente sono stati generalmente superiori per i compiti di classificazione di nodi.
• Tipo di Maschera: La superiorità delle maschere basate su archi nella classificazione di grafi è attribuita al fatto che sono progettate specificamente per i grafi, mentre le maschere basate su nodi sono spesso adattamenti da dati tensoriali.

Domanda di Ricerca 3: Come influenzano i diversi tipi di problema le spiegazioni?

• Conteggio dei Motivi: Nel dataset "Stars" (conteggio di sottostrutture), gli spiegatori hanno faticato ad allineare plausibilità e fedeltà. I modelli spesso richiedevano l'intero contesto del grafo (incluso il grafo di fondo ER) per fare previsioni corrette, il che significa che il solo "motivo" della verità fondamentale era insufficiente per un'alta fedeltà.
• Composizionalità: In "Grid-House", i modelli hanno mostrato pigrizia, imparando spesso a identificare solo un componente (griglia o casa) e prevedendo l'altra classe per assenza.
• Caratteristiche dei Nodi: In "House-Color", dove le caratteristiche dei nodi (colori) erano discriminative, gli spiegatori basati su archi hanno comunque funzionato bene, ma lo studio ha notato che i meccanismi di attenzione (GAT) che fanno molto affidamento sulle caratteristiche dei nodi sono stati spiegati male dai metodi basati su archi testati.

Significato e Affermazioni

Il documento afferma di fornire un "passo significativo verso la spiegazione dell'interpretabilità" spostandosi oltre le metriche di prestazione quantitative per offrire intuizioni qualitative sul perché certe architetture e spiegatori abbiano successo o falliscano.

• Raccomandazioni Pratiche: Gli autori forniscono linee guida attuabili: utilizzare spiegatori basati su archi, a perturbazione o basati su generazione (come SubgraphX) per la classificazione di grafi, e spiegatori basati su nodi, a gradiente (come GradCam o GNNExplainer) per la classificazione di nodi.
• Intuizione Critica sulle Metriche: Lo studio avverte che un'alta accuratezza non implica che il modello abbia appreso il concetto della verità fondamentale; una discrepanza tra plausibilità e fedeltà indica spesso che il modello è "pigro" o ha appreso correlazioni spurie.
• Direzioni Future: Gli autori identificano problemi aperti, tra cui la necessità di spiegazioni a livello di modello, la definizione di spiegazioni oltre i sottografi (ad esempio, centralità o proprietà globali) e lo sviluppo di spiegatori per architetture non a passaggio di messaggi (ad esempio, Transformer) e grafi dinamici. Sottolineano che l'interpretabilità dovrebbe essere considerata una metrica di progettazione quando si creano nuove architetture GNN.

Il documento conclude che, sebbene siano stati fatti progressi, una comprensione soddisfacente dell'interpretabilità delle GNN rimane sfuggente, in particolare per quanto riguarda l'interazione tra scelte architetturali, caratteristiche dei dataset e limitazioni delle attuali metriche di valutazione.