Overcoming Shortcut Learning in Graph Neural Networks through Active Explanation Guidance

Sintesi Tecnica: Superare l'Apprendimento di Scorciatoie nelle Reti Neurali a Grafo attraverso la Guida Esplicativa Attiva

Problematica
Le Reti Neurali a Grafo (GNN) soffrono frequentemente di "apprendimento di scorciatoie" (shortcut learning), in cui i modelli sfruttano correlazioni spurie (confonditori) invece di pattern causali per ottenere un'elevata accuratezza in-distribution. Queste scorciatoie — come specifici attributi dei nodi, metadati o semplici statistiche di input — permettono ai modelli di performare bene sui dati di addestramento, ma falliscono nel generalizzare quando la distribuzione dei dati cambia (out-of-distribution). Le soluzioni esistenti richiedono spesso l'accesso a dati multi-dominio o estesi dati osservazionali, che non sempre sono disponibili. Inoltre, sebbene le spiegazioni delle GNN possano rivelare la dipendenza dalle scorciatoie, ottenere spiegazioni ground-truth per un intero dataset è proibitivamente costoso e dispendioso in termini di tempo a causa della necessità di annotazione da parte di esperti.

Metodologia: XIGL
Gli autori propongono XIGL (xExplanatory Interactive Graph shortcut unLearning), una strategia agnostica rispetto all'architettura e "human-in-the-loop", progettata per deconfondere le GNN rimuovendo iterativamente le dipendenze dalle scorciatoie. Il framework opera su due intuizioni chiave: (1) le spiegazioni delle GNN possono esporre la dipendenza dalle scorciatoie, e (2) gli utenti esperti possono fornire feedback correttivi su queste spiegazioni per guidare il modello verso un ragionamento causale.

La metodologia centrale coinvolge tre componenti:

1. Funzione di Perdita Guidata dalla Spiegazione:
   XIGL utilizza i gradienti di input come proxy per l'importanza del nodo. Per penalizzare la dipendenza da nodi irrilevanti o spurii ($V_{ir}$), gli autori introducono una funzione di perdita $L = L_{ce} + \lambda L_e$.

   • $L_{ce}$ è la classica perdita di cross-entropy.
   • $L_e$ minimizza il rapporto tra i gradienti di input dei nodi irrilevanti e il totale dei gradienti di input.
   • È incluso un termine di normalizzazione al denominatore per evitare la soluzione banale in cui tutti i gradienti collassano a zero.
   • Il vettore di spiegazione ground-truth $e$ (dove $e_j=1$ per i nodi rilevanti e $0$ altrimenti) viene utilizzato per pesare questa penalità.

2. Pipeline di Apprendimento Attivo:
   Riconoscendo che annotare le spiegazioni per tutti i dati è impraticabile, XIGL impiega una strategia di apprendimento attivo (AL) con un budget di annotazione fisso $B$.

   • Inizializzazione: Il modello viene addestrato su un piccolo set iniziale di grafi con spiegazioni corrette dagli esperti.
   • Selezione Iterativa: In ogni iterazione, una strategia di query di apprendimento attivo seleziona un batch dei grafi più informativi dal pool non etichettato.
   • Correzione e Fine-tuning: Un esperto annota i grafi selezionati (indicando quali nodi il modello non dovrebbe utilizzare) e il modello viene sottoposto a fine-tuning utilizzando la funzione di perdita guidata dalla spiegazione.

3. Strategie di Query:
   Il documento propone e valuta due nuove strategie di query basate sulla spiegazione insieme alle basi standard basate sulla predizione:

   • Massima Entropia della Spiegazione (MaEE): Seleziona i grafi in cui la spiegazione del modello (gradienti di input) è più incerta (uniforme tra i nodi).
   • Minima Entropia della Spiegazione (MiEE): Seleziona i grafi in cui il modello è più fiducioso nella propria spiegazione. Questa strategia sfrutta il "bias di semplicità" delle reti neurali, ipotizzando che le spiegazioni altamente sicure siano spesso sovra-adattate a scorciatoie spurie e quindi necessitino maggiormente di correzione.
   • Baseline: Massima Entropia di Classificazione (MaCE) e Campionamento Casuale (Random Sampling).

Contributi Chiave

• Framework XIGL: Una pipeline interattiva che integra il feedback umano sulle spiegazioni delle GNN per rimuovere attivamente le dipendenze dalle scorciatoie.
• Nuove Strategie di Query: L'introduzione di strategie di apprendimento attivo basate sulla spiegazione (MaEE e MiEE) che danno priorità alle istanze in base alla qualità del ragionamento del modello piuttosto che solo sull'incertezza della predizione.
• Efficienza: Dimostrare che è possibile ottenere un deconfounding ad alte prestazioni con una frazione del budget di annotazione richiesto per la supervisione passiva (annotazione dell'intero dataset).

Risultati
Gli esperimenti sono stati condotti su due dataset: ER-color (sintetico) e CPatchMNIST (estensione nel mondo reale), su quattro architetture GNN (GCN, GIN, GraphSAGE, GAT).

• Supervisione Passiva: Quando fornite con le spiegazioni per l'intero dataset, XIGL migliora significativamente la generalizzazione sui set di test non confusi rispetto ai modelli addestrati senza supervisione della spiegazione. Ad esempio, su ER-color, i modelli senza supervisione hanno performato vicino al livello del caso, mentre quelli con supervisione passiva hanno mostrato guadagni di accuratezza sostanziali.
• Supervisione Attiva: Le strategie di apprendimento attivo hanno generalmente superato il campionamento casuale.
  • Su CPatchMNIST, le strategie basate sulla spiegazione (MaEE e MiEE) hanno costantemente superato le strategie basate sulla predizione (MaCE) in tutte le architetture.
  • MiEE è emersa come la strategia più coerentemente performante, suggerendo che mirare alle istanze in cui il modello è eccessivamente sicuro del proprio (potenzialmente spurio) ragionamento è altamente efficace.
  • Sebbene l'apprendimento attivo abbia raggiunto un'accuratezza leggermente inferiore rispetto all'apprendimento passivo (a causa del minore budget di annotazione), il divario è stato relativamente piccolo, con l'apprendimento attivo che utilizza meno del 20% dei dati di addestramento.

Significatività e Rivendicazioni
Il documento afferma che XIGL offre una via pratica per migliorare l'affidabilità delle GNN in scenari out-of-distribution senza richiedere dati multi-dominio. Sfruttando il fatto che le spiegazioni espongono naturalmente la dipendenza dalle scorciatoie, il metodo permette agli utenti esperti di "disimparare" efficientemente i pattern spurii. Gli autori sottolineano che il loro approccio riduce sia i costi di annotazione che quelli cognitivi, concentrando l'impegno dell'esperto solo sulle istanze in cui il feedback è più benefico.

Il lavoro conclude che l'apprendimento attivo basato sulla spiegazione è una direzione promettente per il deconfounding, in particolare le strategie che mirano alla fiducia del modello nel proprio ragionamento (MiEE). Gli autori osservano che il lavoro futuro esplorerà le GNN auto-esplicative, l'impatto della fedeltà della spiegazione sul successo del deconfounding e l'applicazione di questi metodi a una gamma più ampia di dataset reali e tipi di scorciatoie.