Technische Samenvatting: Verklaring van de Verklarende Methoden in Graph Neural Networks: een Vergelijkende Studie

Probleemstelling

Graph Neural Networks (GNN's) zijn de standaard geworden voor leerprocessen op basis van grafen, maar hun "black box"-karakter beperkt hun inzet in veiligheidskritieke scenario's. Hoewel er talloze GNN-verklarende methoden zijn ontstaan om modelbeslissingen te interpreteren, ontbreekt er in het veld een systematisch inzicht in hoe verschillende GNN-architecturen de verklaarbaarheid beïnvloeden, welke verklarende methode optimaal is voor specifieke instellingen, en hoe verschillende probleemtypen (bijvoorbeeld het tellen van substructuren versus motiefdetectie) de kwaliteit van de verklaring beïnvloeden. Eerdere benchmark-inspanningen waren beperkt door slechts één GNN-architectuur te evalueren (meestal GCN), inconsistent gebruik van metrieken, of het niet onderscheiden tussen de plausibiliteit van een verklaring (overeenstemming met menselijke intuïtie/grondwahrheid) en de fideliteit ervan (overeenstemming met het daadwerkelijke beslissingsproces van het model).

Methodologie

De auteurs voerden een grootschalige, systematische experimentele studie uit die het volgende omvatte:

• Architecturen: Acht representatieve message-passing GNN-architecturen, gecategoriseerd op basis van hun rekenmechanismen: Spectraal (Cheb, GCN), Ruimtelijk (GraphSAGE, GIN, GAT), Hogere Orde (GraphConv) en op Pooling gebaseerd (MinCutPool, Set2Set).
• Verklarende methoden: Twaalf instantie-gebaseerde verklarende methoden die vijf categorieën bestrijken: Op gradiënten gebaseerd (GradExplNode, GuidedBP, IntegratedGradients, GradCam), Op perturbatie gebaseerd (GNNExplainer, PGExplainer, SubgraphX), Op decompositie gebaseerd (CAM), Op surrogate gebaseerd (PGMExplainer) en Op generatie gebaseerd (RG-Explainer).
• Datasets: Zes zorgvuldig ontworpen datasets voor zowel graf- als knoopclassificatietaken. Deze omvatten synthetische benchmarks (Grid, Grid-House, Stars, House-Color, Shapes, Infection) waarbij grondwahrheid-verklaringen bekend zijn, wat een rigoureuze evaluatie mogelijk maakt.
• Evaluatiemetrieken: De studie hanteert twee primaire strategieën:
  1. Plausibiliteit: Meet de gelijkenis tussen het masker van de verklarende methode en een bekend grondwahrheidsconcept (met behulp van AUC-ROC).
  2. Fideliteit: Meet hoe goed de voorspelling van het model behouden blijft wanneer deze alleen wordt berekend op het verklarende subgraaf. Dit wordt ontleed in Sufficientie (voorspelling op de verklaring) en Comprehensiveheid (voorspelling op het complement), geaggregeerd tot een F1-fideliteitsscore.
• Experimenteel protocol: Modellen werden getraind om ten minste 95% trainingsnauwkeurigheid te bereiken. Verklaringen werden gegenereerd op de trainingsset, gefilterd op informativiteit, en geaggregeerd over klassen en datasets om architecturen en verklarende methoden te rangschikken.

Belangrijkste Bijdragen

1. Uitgebreide Benchmarking: De studie is de eerste die een breed spectrum van GNN-architecturen evalueert tegen een diverse set verklarende methoden over meerdere datasets, en zo voorbijgaat aan de bias van eerdere werken die zich beperkten tot één architectuur.
2. Ontkoppeling van Plausibiliteit en Fideliteit: De auteurs benadrukken een frequente trade-off waarbij hoge plausibiliteit (overeenstemming met menselijke verwachtingen) geen hoge fideliteit (overeenstemming met modelgedrag) garandeert, en vice versa. Ze tonen aan dat vertrouwen op één enkele metriek kan leiden tot misleidende conclusies over de kwaliteit van een verklarende methode.
3. Identificatie van "Luierig" Leren: De studie onthult dat GNN's vaak "luiheid" vertonen, waarbij ze alleen discriminerende kenmerken leren voor één klasse (bijvoorbeeld de positieve klasse) en de andere als standaard behandelen. Verklaringen voor deze "standaard"-klassen zijn vaak onbetrouwbaar of misleidend.
4. Architecturale Impact op Verklaarbaarheid: Het werk isoleert specifieke architecturale componenten die de verklaarbaarheid significant beïnvloeden, zoals de keuze van de aggregatiefunctie (lineair versus niet-lineair) en de verwerking van randkenmerken.

Belangrijkste Resultaten

Onderzoeksvraag 1: Hoe beïnvloedt de architectuur de verklaringen?

• Beste Totaal: GraphConv (Hogere Orde) behaalde de hoogste geaggregeerde scores voor zowel plausibiliteit als fideliteit over grafclassificatietaken.
• Makkelijkst te Verklaren: GCN was consequent de makkelijkste architectuur om te verklaren over de meeste datasets en metrieken. De auteurs suggereren dat dit mogelijk te wijten is aan zijn eenvoudige, lineaire message-passing-mechanisme, in tegenstelling tot complexere architecturen.
• Moeilijkst te Verklaren: GIN (Graph Isomorphism Network) was het moeilijkst te verklaren, ondanks zijn eenvoudige enkel-laags MLP-structuur. Dit suggereert een potentiële bias in bestaande verklarende methoden, die vaak zijn ontwikkeld en getest op GCN's.
• Knoopclassificatie: Voor knoopclassificatie leverde GraphSAGE verklaringen op die het meest overeenkwamen met de grondwahrheid (plausibiliteit), terwijl GIN de hoogste fideliteit bood. Chebyshev (Cheb) was het moeilijkst te verklaren, waarschijnlijk vanwege zijn bredere receptieve veld.

Onderzoeksvraag 2: Hoe beïnvloeden verklarende methoden de verklaringen?

• Grafclassificatie: Op randen gebaseerde verklarende methoden presteerden consequent beter dan op knopen gebaseerde methoden. SubgraphX (Op perturbatie gebaseerd) was de meest robuuste verklarende methode over architecturen heen. Op gradiënten gebaseerde methoden excelleerden in plausibiliteit, terwijl Op generatie gebaseerde methoden het beste presteerden in fideliteit.
• Knoopclassificatie: Het patroon keerde om; Op knopen gebaseerde verklarende methoden (specifiek GNNExplainer en GradCam) presteerden beter dan op randen gebaseerde methoden. Op gradiënten gebaseerde methoden waren over het algemeen superieur voor knoopclassificatietaken.
• Maskertype: De superioriteit van op randen gebaseerde maskers bij grafclassificatie wordt toegeschreven aan het feit dat ze specifiek voor grafen zijn ontworpen, terwijl op knopen gebaseerde maskers vaak aanpassingen zijn van tensorgegevens.

Onderzoeksvraag 3: Hoe beïnvloeden verschillende probleemtypen de verklaringen?

• Motieftelling: In de "Stars"-dataset (het tellen van substructuren) hadden verklarende methoden moeite om plausibiliteit en fideliteit op één lijn te brengen. Modellen vereisten vaak de volledige grafcontext (inclusief de achtergrond ER-graf) om correcte voorspellingen te doen, wat betekent dat het "grondwahrheids"-motief alleen onvoldoende was voor hoge fideliteit.
• Compositionaliteit: In "Grid-House" vertoonden modellen luiheid, waarbij ze vaak slechts één component leerden te identificeren (grid of huis) en de andere klasse voorspelden op basis van afwezigheid.
• Knoopkenmerken: In "House-Color", waar knoopkenmerken (kleuren) discriminerend waren, presteerden op randen gebaseerde verklarende methoden nog steeds goed, maar de studie merkte op dat attention-mechanismen (GAT) die zwaar leunen op knoopkenmerken slecht werden verklaard door de geteste op randen gebaseerde methoden.

Betekenis en Aanspraken

Het artikel claimt een "beduidende stap richting het verklaren van verklaarbaarheid" te zetten door voorbij te gaan aan kwantitatieve prestatie-metrieken om kwalitatieve inzichten te bieden in waarom bepaalde architecturen en verklarende methoden slagen of falen.

• Praktische Aanbevelingen: De auteurs bieden uitvoerbare richtlijnen: gebruik op randen gebaseerde, op perturbatie of op generatie gebaseerde verklarende methoden (zoals SubgraphX) voor grafclassificatie, en op knopen gebaseerde, op gradiënten gebaseerde verklarende methoden (zoals GradCam of GNNExplainer) voor knoopclassificatie.
• Kritisch Inzicht in Metrieken: De studie waarschuwt dat hoge nauwkeurigheid niet impliceert dat het model het grondwahrheidsconcept heeft geleerd; een discrepantie tussen plausibiliteit en fideliteit geeft vaak aan dat het model "lui" is of spurious correlaties heeft geleerd.
• Toekomstige Richtingen: De auteurs identificeren openstaande problemen, waaronder de noodzaak van modelniveau-verklaringen, de definitie van verklaringen die verder gaan dan subgrafen (bijvoorbeeld centraliteit of globale eigenschappen), en de ontwikkeling van verklarende methoden voor niet-message-passing-architecturen (bijvoorbeeld Transformers) en dynamische grafen. Ze benadrukken dat verklaarbaarheid moet worden beschouwd als een ontwerpmetriek bij het creëren van nieuwe GNN-architecturen.

Het artikel concludeert dat hoewel vooruitgang is geboekt, een bevredigend inzicht in GNN-verklaarbaarheid nog steeds ontgaat, met name met betrekking tot de interactie tussen architecturale keuzes, datasetkenmerken en de beperkingen van huidige evaluatiemetrieken.