Overcoming Shortcut Learning in Graph Neural Networks through Active Explanation Guidance

Technische Samenvatting: Het overwinnen van Shortcut Learning in Graph Neural Networks door Actieve Verklaringsturing

Probleemstelling
Graph Neural Networks (GNNs) lijden vaak aan "shortcut learning", waarbij modellen gebruikmaken van spuriose correlaties (confounders) in plaats van causale patronen om een hoge in-distributie nauwkeurigheid te bereiken. Deze shortcuts—zoals specifieke node-features, metadata of eenvoudige inputstatistieken—zorgen ervoor dat modellen goed presteren op trainingsdata, maar falen wanneer de datadistributie verschuift (out-of-distribution). Bestaande oplossingen vereisen vaak toegang tot multi-domein data of uitgebreide observationele data, wat niet altijd beschikbaar is. Bovendien kan het verkrijgen van ground-truth verklaringen voor een volledige dataset, hoewel GNN-verklaringen kunnen onthullen dat er op shortcuts wordt vertrouwd, prohibitief duur en tijdrovend zijn vanwege de noodzaak van expert-annotatie.

Methodologie: XIGL
De auteurs stellen XIGL voor (xeplanatory Interactive Graph shortcut unLearning), een architectuur-agnostische, human-in-the-loop strategie die is ontworpen om GNN's te deconfounden door iteratief afhankelijkheden van shortcuts te verwijderen. Het framework werkt op basis van twee kerninzichten: (1) GNN-verklaringen kunnen de afhankelijkheid van shortcuts blootleggen, en (2) expertgebruikers kunnen corrigerende feedback geven op deze verklaringen om het model te sturen naar causaal redeneren.

De kernmethodologie bestaat uit drie componenten:

1. Verklaring-gestuurde Loss Functie:
   XIGL gebruikt inputgradiënten als een proxy voor node-belangrijkheid. Om de afhankelijkheid van irrelevante (spuriose) nodes ($V_{ir}$) te bestraffen, introduceren de auteurs een loss functie $L = L_{ce} + \lambda L_e$.

   • $L_{ce}$ is de standaard cross-entropy loss.
   • $L_e$ minimaliseert de ratio van de inputgradiënten van irrelevante nodes ten opzichte van de totale inputgradiënten.
   • Een normalisatieterm is opgenomen in de noemer om de triviale oplossing te voorkomen waarbij alle gradiënten naar nul convergeren.
   • De ground-truth verklaringsvector $e$ (waarbij $e_j=1$ voor relevante nodes en $0$ anders) wordt gebruikt om deze straf te wegen.

2. Active Learning Pipeline:
   Omdat het annoteren van verklaringen voor alle data onpraktisch is, gebruikt XIGL een active learning (AL) strategie met een vast annotatiebudget $B$.

   • Initialisatie: Het model wordt getraind op een kleine initiële set grafen met door experts gecorrigeerde verklaringen.
   • Iteratieve Selectie: In elke iteratie selecteert een active learning query-strategie een batch van de meest informatieve grafen uit de ongeannoteerde pool.
   • Correctie & Fine-tuning: Een expert annoteert de geselecteerde grafen (door aan te geven op welke nodes het model niet moet vertrouwen), en het model wordt gefine-tuned met de verklaring-gestuurde loss.

3. Query Strategieën:
   Het artikel stelt twee nieuwe verklaring-gebaseerde query-strategieën voor en evalueert deze naast standaard predictie-gebaseerde baselines:

   • Maximum Explanation Entropy (MaEE): Selecteert grafen waar de verklaring van het model (inputgradiënten) het meest onzeker is (uniform over de nodes).
   • Minimum Explanation Entropy (MiEE): Selecteert grafen waar het model het meest zelfverzekerd is in zijn verklaring. Deze strategie maakt gebruik van de "simplicity bias" van neurale netwerken, met de hypothese dat zeer zelfverzekerde verklaringen vaak overgefit zijn op spuriose shortcuts en daarom het meest behoefte hebben aan correctie.
   • Baselines: Maximum Classification Entropy (MaCE) en Random Sampling.

Belangrijkste Bijdragen

• XIGL Framework: Een interactieve pipeline die menselijke feedback op GNN-verklaringen integreert om actief afhankelijkheden van shortcuts te verwijderen.
• Nieuwe Query Strategieën: De introductie van verklaring-gebaseerde active learning strategieën (MaEE en MiEE) die instanties prioriteren op basis van de kwaliteit van het redeneren van het model, in plaats van alleen op predictie-onzekerheid.
• Efficiëntie: Het aantonen dat een hoogwaardige deconfounding kan worden bereikt met een fractie van het annotatiebudget dat nodig is voor passieve supervisie (volledige dataset annotatie).

Resultaten
Experimenten werden uitgevoerd op twee datasets: ER-color (synthetisch) en CPatchMNIST (real-world extensie), over vier GNN-architecturen (GCN, GIN, GraphSAGE, GAT).

• Passieve Supervisie: Wanneer voorzien van verklaringen voor de gehele dataset, verbetert XIGL de generalisatie op ongeconfounded testsets aanzienlijk vergeleken met modellen die zonder verklaring-supervisie zijn getraind. Bijvoorbeeld, op ER-color presteerden modellen zonder supervisie nabij het niveau van toeval, terwijl modellen met passieve supervisie substantiële winsten in nauwkeurigheid lieten zien.
• Actieve Supervisie: Active learning strategieën presteerden over het algemeen beter dan random sampling.
  • Op CPatchMNIST presteerden verklaring-gebaseerde strategieën (MaEE en MiEE) consistent beter dan predictie-gebaseerde strategieën (MaCE) over alle architecturen heen.
  • MiEE bleek de meest consistent hoog presterende strategie te zijn, wat suggereert dat het targeten van instanties waar het model overdreven zelfverzekerd is in zijn (mogelijk spuriose) redenering zeer effectief is.
  • Hoewel active learning een iets lagere nauwkeurigheid bereikte dan passieve learning (vanwege het kleinere annotatiebudget), was het verschil relatief klein, waarbij active learning minder dan 20% van de trainingsdata gebruikte.

Betekenis en Claims
Het artikel claimt dat XIGL een praktische route biedt om de betrouwbaarheid van GNN's in out-of-distribution scenario's te verbeteren zonder dat multi-domein data vereist is. Door gebruik te maken van het feit dat verklaringen van nature de afhankelijkheid van shortcuts blootleggen, stelt de methode expertgebruikers in staat om efficiënt spuriose patronen te "ontleren". De auteurs benadrukken dat hun aanpak zowel de annotatie- als de cognitieve kosten vermindert door de expertinspanning te concentreren op de instanties waar feedback het meest nuttig is.

Het werk concludeert dat verklaring-gebaseerde active learning een veelbelovende richting is voor deconfounding, in het bijzonder strategieën die zich richten op de zelfverzekerdheid van het model in zijn eigen redenering (MiEE). De auteurs merken op dat toekomstig werk zich zal richten op zelf-uitlegbare GNN's, de impact van de getrouwheid (faithfulness) van verklaringen op het succes van deconfounding, en de toepassing van deze methoden op een breder scala aan real-world datasets en soorten shortcuts.