Why Self-Inconsistency Arises in GNN Explanations and How to Exploit It

Riepilogo Tecnico: Perché Sorge l'Auto-Incoerenza nelle Spiegazioni delle GNN e Come Sfruttarla

1. Enunciato del Problema

Le Reti Neurali su Grafi Auto-Interpretabili (SI-GNN) integrano la generazione delle spiegazioni direttamente nella pipeline di previsione, offrendo teoricamente spiegazioni più affidabili rispetto ai metodi post-hoc. Tuttavia, osservazioni recenti indicano che le SI-GNN soffrono di auto-incoerenza: quando un modello viene riapplicato al proprio sottoinsieme di grafo esplicativo generato, produce spesso una spiegazione diversa, rimuovendo archi precedentemente selezionati o aggiungendone di nuovi. Questo comportamento mina la fedeltà e l'utilità pratica delle SI-GNN. Sebbene l'esistenza di questo fenomeno sia documentata, il meccanismo sottostante che lo causa rimane poco compreso e mancano strategie efficaci per mitigarlo senza riaddestramento.

2. Metodologia e Analisi Teorica

Causa Radicale: Perturbazione del Contesto
Gli autori identificano la perturbazione del contesto indotta dalla ri-spiegazione come la causa diretta della variazione dei punteggi. Nelle GNN, le rappresentazioni dei nodi vengono aggiornate tramite passaggio di messaggi. Quando una SI-GNN genera una spiegazione (un sotto-grafo mascherato) e la reinvia al proprio interno, la mascheratura a livello di arco altera il contesto locale di passaggio dei messaggi. Poiché i punteggi di importanza degli archi sono derivati da queste rappresentazioni dei nodi, il contesto perturbato porta naturalmente a punteggi diversi nel secondo passaggio.

Ipotesi di Assegnazione del Segnale Latente
Per spiegare perché solo archi specifici (tipicamente quelli poco importanti) mostrano instabilità mentre gli archi importanti secondo la verità fondamentale rimangono stabili, il documento propone un'Ipotesi di Assegnazione del Segnale Latente. Gli autori partizionano gli archi in tre insiemi disgiunti:

• $E_p$ (Archi a segnale positivo): Archi assegnati punteggi elevati basati su caratteristiche intrinseche e invarianti al contesto. Questi rimangono stabili tra i passaggi.
• $E_n$ (Archi a segnale negativo): Archi assegnati punteggi bassi basati su caratteristiche intrinseche. Anche questi rimangono stabili.
• $E_c$ (Archi guidati dal contesto): Archi i cui punteggi sono determinati principalmente dal contesto locale di passaggio dei messaggi. Questi sono altamente sensibili alle perturbazioni causate dalla ri-spiegazione.

Gli autori sostengono che la regolarizzazione per concisione (che limita il "budget" totale di massa di importanza che una spiegazione può avere) modella questa allocazione. Sotto vincoli di budget stretti, il modello è costretto a riallocare l'importanza, potenzialmente spingendo archi non importanti da uno stato guidato dal segnale a uno stato guidato dal contesto, aumentando così la loro sensibilità alle perturbazioni.

Soluzione Proposta: Auto-Denoising (SD)
Sfruttando l'osservazione che l'auto-incoerenza agisce come un segnale per il rumore, gli autori propongono l'Auto-Denoising (SD), una strategia di post-processing agnostica rispetto al modello e priva di addestramento.

• Meccanismo: SD esegue un secondo passaggio in avanti sul grafo esplicativo per misurare l'instabilità ($\Delta s_{ij}$) del punteggio di importanza di ciascun arco.
• Calibrazione: Penalizza gli archi con alta instabilità riducendo la scala dei loro punteggi originali: $\tilde{m}_{ij} = \max(0, (1 - \eta \Delta s_{ij})m^{(1)}_{ij})$, dove $\eta$ è un parametro di forza di denoising.
• Selezione degli Iperparametri: Per gestire lo spostamento della distribuzione introdotto da SD, gli autori suggeriscono una strategia di adattamento leggera: congelare l'esplicatore e l'encoder, e affinare solo il classificatore sulle spiegazioni calibrate. La forza di denoising $\eta$ viene quindi selezionata in base all'accuratezza di validazione di questo classificatore adattato.

3. Contributi Chiave

• Insight Meccanicistico: Il documento fornisce la prima spiegazione teorica dell'auto-incoerenza, attribuendola alle perturbazioni del contesto locale e formalizzando il ruolo dell'assegnazione del segnale latente sotto vincoli di concisione.
• Calibrazione Efficiente: Introduce l'Auto-Denoising (SD), una strategia post-hoc che migliora la qualità delle spiegazioni con un sovraccarico computazionale minimo (solo un passaggio in avanti aggiuntivo, aggiungendo circa il 4–6% di costo).
• Complementarità: Il lavoro dimostra che SD cattura una fonte di rumore distinta (auto-incoerenza del singolo modello) che è complementare ai metodi esistenti di incoerenza tra modelli come l'Ensemble di Spiegazioni (EE).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro framework rappresentativi di SI-GNN (GAT, CAL, SMGNN, GSAT), su molteplici architetture backbone (GIN, GraphSAGE, GatedGCN) e su quattro dataset di riferimento (BA-2MOTIFS, 3MR, BENZENE, MUTAGENICITY).

• Qualità della Spiegazione: SD migliora costantemente l'AUC (plausibilità rispetto alla verità fondamentale) in tutte le 16 configurazioni testate, con guadagni fino al 3,9%. Riduce anche significativamente la SPA (Sparsità Soft), indicando spiegazioni più concise e meno ridondanti.
• Fedeltà: I risultati sulla FID (Fedeltà) sono misti, cosa che gli autori attribuiscono allo spostamento della distribuzione introdotto da SD e alle meccaniche specifiche di certi modelli (ad es. CAL). Tuttavia, dopo l'adattamento leggero del classificatore, la stabilità della FID migliora.
• Prestazioni Predittive: L'applicazione di SD da sola comporta cambiamenti minori nell'accuratezza. Quando combinata con l'adattamento leggero del classificatore (SD*), l'accuratezza di classizzazione a valle migliora costantemente, con guadagni fino all'8% in alcuni casi.
• Efficienza vs EE: A differenza dell'Ensemble di Spiegazioni (EE), che richiede l'addestramento di più modelli e comporta un sovraccarico di circa il 400%, SD richiede un solo modello e aggiunge un sovraccarico di circa il 4–6%. La combinazione di SD con EE produce ulteriori miglioramenti, suggerendo che i due metodi affrontano diverse fonti di rumore.

5. Significato e Affermazioni

Il documento afferma che l'auto-incoerenza non è meramente una modalità di fallimento, ma un segnale intrinseco che può essere sfruttato per calibrare le spiegazioni. Comprendendo il meccanismo della perturbazione del contesto e dell'assegnazione del segnale latente, gli autori dimostrano che un semplice passaggio di post-processing privo di addestramento può migliorare significativamente l'affidabilità e la concisione delle spiegazioni delle SI-GNN.

Gli autori mantengono una posizione modesta, notando che:

• La loro ipotesi sul segnale latente è una prospettiva meccanicistica dedotta dal comportamento piuttosto che un modello di variabile latente rigorosamente identificabile.
• SD non garantisce spiegazioni pienamente affidabili, poiché non può catturare tutte le fonti di rumore (ad es. quelle non correlate all'auto-incoerenza).
• Il metodo è progettato per la calibrazione post-hoc di modelli pre-addestrati esistenti, distinguendosi dagli approcci che richiedono un riaddestramento con obiettivi di auto-coerenza.

In definitiva, il lavoro mira a migliorare l'affidabilità dei sistemi di IA in domini ad alto rischio (ad es. scoperta di farmaci, scoperta scientifica) sopprimendo il rumore guidato dal contesto nelle spiegazioni su grafi senza richiedere cambiamenti architetturali o riaddestramento.