🤖 machine learning

Explaining Graph Neural Networks for Node Similarity on Graphs

Dit artikel onderzoekt uitlegbare vergelijkingszoekopdrachten op grafen door wederzijdse informatie en op gradiënten gebaseerde uitlegmethode voor Graph Neural Networks te evalueren, en toont aan dat op gradiënten gebaseerde benaderingen superieure, hanteerbare, consistente en verspreibare uitleg bieden voor knopgelijkheidsscores.

Oorspronkelijke auteurs: Daniel Daza, Cuong Xuan Chu, Trung-Kien Tran, Daria Stepanova, Michael Cochez, Paul Groth

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniel Daza, Cuong Xuan Chu, Trung-Kien Tran, Daria Stepanova, Michael Cochez, Paul Groth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, complexe kaart van connecties hebt, zoals een enorm sociaal netwerk of een web van wetenschappelijke citaten. Je hebt een slim computerprogramma (een Graph Neural Network, of GNN) gebouwd dat naar deze kaart kijkt en zegt: "Hé, deze twee mensen (of papers) zijn zeer vergelijkbaar."

Meestal, wanneer deze programma's een beslissing nemen, willen we weten waarom. Maar het grootste deel van de tijd werkt het "waarom" alleen voor duidelijke antwoorden zoals "Is dit een kat of een hond?" of "Zal deze persoon op deze advertentie klikken?"

Dit artikel stelt een andere vraag: Wat als de computer gewoon zegt: "Deze twee dingen zijn 85% vergelijkbaar"? Hoe leggen we dan uit waarom hij dat denkt?

De auteurs beseften dat de gebruikelijke hulpmiddelen voor het uitleggen van AI niet goed werken voor deze "vergelijkbaarheid"-taak. Dus bouwden ze een nieuwe set hulpmiddelen om te testen welke uitlegmethode daadwerkelijk zinvol is. Hier is hoe ze dat deden, met behulp van alledaagse analogieën.

Het Probleem: De "Black Box"-Vergelijkbaarheidsscore

Stel je de GNN voor als een chef die twee gerechten heeft geproefd en heeft verklaard: "Deze twee soepen zijn zeer vergelijkbaar."

De Oude Weg (Supervised Learning): Als de chef zei: "Dit is soep", konden we vragen: "Heb je de wortels geproefd?" of "Was het de zout?" We kennen het doel (Soep vs. Niet-soep).
Het Nieuwe Probleem (Vergelijkbaarheid): De chef zegt gewoon: "Soep A en Soep B zijn 90% op elkaar." Als we vragen: "Waarom?", dan wijzen de oude tools misschien op willekeurige ingrediënten die de vergelijkbaarheid eigenlijk niet verklaren. Ze kunnen zeggen: "Het is het zout!" maar als je het zout verwijdert, verandert de vergelijkbaarheidsscore niet veel. Dat is een slechte uitleg.

De Oplossing: Drie Regels voor een Goede Uitleg

De auteurs bedachten drie regels (criteria) die een goede uitleg voor vergelijkbaarheid moet volgen. Ze testten deze regels door "wat als"-spelletjes te spelen met de grafiek (de kaart).

1. Actiegericht (De "Wat Als"-Test)

De Analogie: Stel je voor dat de uitleg zegt: "De reden dat deze twee soepen vergelijkbaar zijn, is het basilicum."
De Test: Als je het basilicum uit beide soepen haalt, zou de vergelijkbaarheidsscore moeten dalen. Als je meer basilicum toevoegt, zou de score omhoog moeten gaan.
De Claim: Een goede uitleg moet je in staat stellen om de invoer (de grafiek) op een voorspelbare manier te veranderen. Als de uitleg zegt "basilicum" maar het verwijderen ervan doet niets, dan is de uitleg nutteloos.

2. Consistent (De "Tegenovergestelde Kanten"-Test)

De Analogie: Stel je voor dat de uitleg de ingrediënten in twee stapels verdeelt: "Goed voor vergelijkbaarheid" (Stapel A) en "Slecht voor vergelijkbaarheid" (Stapel B).
De Test: Als je alleen de "Goede" stapel behoudt, zouden de soepen meer vergelijkbaar moeten worden. Als je alleen de "Slechte" stapel behoudt, zouden ze minder vergelijkbaar moeten worden.
De Claim: De twee stapels moeten tegenovergestelde dingen doen. Als het behouden van de "Goede" stapel ze vergelijkbaar maakt, maar het behouden van de "Slechte" stapel ze ook vergelijkbaar maakt (of niets doet), dan is de uitleg verwarrend en inconsistent.

3. Spaarzaam (De "Alleen Essentiële"-Test)

De Analogie: Een goede uitleg zou niet moeten zeggen: "De vergelijkbaarheid komt door elk zoutkorreltje in de oceaan." Het zou moeten zeggen: "Het komt door deze drie specifieke kruiden."
De Test: Kun je 90% van de ingrediënten die de uitleg aanwees weggooien en toch hetzelfde resultaat krijgen?
De Claim: Een goede uitleg moet kunnen worden teruggebracht tot een kleine, essentiële lijst zonder zijn kracht te verliezen.

Het Experiment: Wie Haalde de Test?

De auteurs namen twee populaire soorten AI-uitleggers en testten ze tegen deze drie regels op diverse kaarten (datasets zoals citatienetwerken en kennisgrafieken).

Team A: De "Mutual Information"-Uitleggers (De Gissers)

Hoe ze werken: Ze proberen een kleine subgrafiek te vinden die het antwoord "bevat", een beetje zoals raden welk deel van het soeprecept het belangrijkst is door middel van trial and error.
Het Resultaat: Ze slaagden niet in de tests.
- Ze waren niet Actiegericht: Het verwijderen van de ingrediënten waarop ze wezen, veranderde de vergelijkbaarheidsscore niet betrouwbaar.
- Ze waren niet Consistent: Soms zorgde het behouden van de "belangrijke" ingrediënten ervoor dat de score omhoog ging, en soms ging hij omlaag. Het was een muntworp.
- Ze waren niet Spaarzaam: Je kon hun lijst met ingrediënten niet gemakkelijk verkleinen.

Team B: De "Op Gradient Gebaseerde"-Uitleggers (De Rekenaars)

Hoe ze werken: Ze gebruiken wiskunde om precies te berekenen hoeveel elke enkele rand (verbinding) in de kaart de vergelijkbaarheidsscore omhoog of omlaag duwt. Het is als een nauwkeurige weegschaal die het gewicht van elk ingrediënt meet.
Het Resultaat: Ze slaagden in alle drie de tests!
- Actiegericht: Als ze zeiden dat een rand de vergelijkbaarheid verhoogt, zorgde het verwijderen ervan ervoor dat de score daalde. Als ze zeiden dat het de vergelijkbaarheid verlaagt, zorgde het verwijderen ervan ervoor dat de score steeg.
- Consistent: De "omhoog"-randen en "omlaag"-randen deden precies tegenovergestelde dingen.
- Spaarzaam: Je kon 90% van de randen waarop ze wezen weggooien, en de overgebleven paar verklaarden de vergelijkbaarheid nog steeds perfect.

De Grote Conclusie

Het artikel concludeert dat wanneer je probeert uit te leggen waarom twee dingen vergelijkbaar zijn (een continue score), de "Op Gradient Gebaseerde" methoden de winnaars zijn. Ze geven je een duidelijk, betrouwbaar en compacte kaart van waarom de computer denkt dat twee knopen op elkaar lijken.

De "Mutual Information"-methodes, die geweldig werken voor simpele "Ja/Nee"-vragen (zoals "Is dit een kat?"), raken in de war wanneer de vraag is "Hoe zeer lijken deze twee dingen op elkaar?"

Kortom: Als je wilt weten waarom twee mensen in een netwerk vergelijkbaar zijn, vraag de AI dan niet om te raden welke connecties belangrijk zijn. Vraag het om de exacte duw en trek van elke connectie te berekenen. Dat geeft je een duidelijk, betrouwbaar antwoord.

Technische Samenvatting: Uitleg van Graph Neural Networks voor Knoop-ähnelijkheid in Grafen

Probleemdefinitie

Het artikel adresseert een kritieke lacune in de verklaarbaarheid van Graph Neural Networks (GNN's). Hoewel er uitgebreid onderzoek bestaat naar het verklaren van GNN's voor supervised taken (bijvoorbeeld knoopclassificatie, linkpredictie), blijft het probleem van het verklaren van knoop-ähnelijkheid in unsupervised settings grotendeels onbehandeld. In veel toepassingen, zoals citatienetwerken of kennisgrafieken, worden GNN's getraind om knoop-embeddings te leren waarbij de ähnelijkheid wordt berekend via metrieken zoals cosinus-ähnelijkheid. In tegenstelling tot discrete classificatielabels is ähnelijkheid een continue grootheid, en bestaande evaluatieprotocollen voor verklaarbaarheid zijn hier niet direct van toepassing. De auteurs onderzoeken hoe waarden aan randen in een grafiek kunnen worden toegeschreven om te verklaren waarom twee specifieke knopen een hoge of lage ähnelijkheidsscore hebben, en onderscheiden dit van taken waarbij het doel is om een discrete voorspelling te rechtvaardigen.

Methodologie

Kader en Criteria

De auteurs stellen een kader voor om verklaringen van knoop-ähnelijkheid te evalueren op basis van drie criteria die zijn afgeleid van algemene principes voor Explainable AI (XAI):

Actiebaarheid: Een verklaring moet toelaten tot interventies (bijvoorbeeld het toevoegen of verwijderen van randen) die leiden tot een voorspelbare verandering in de ähnelijkheidsscore.
Consistentie: Het effect van het behouden van randen boven een verklaringsthrshold moet onderscheidend zijn van het effect van het verwerpen ervan (d.w.z. het behouden van randen onder de threshold). De twee sets randen mogen geen overlappende of niet-onderscheidbare effecten op de score hebben.
Sparsiteit: Een verklaring moet comprimeerbaar zijn; een kleine subset van de meest relevante randen moet het merendeel van het verklarende effect behouden dat wordt waargenomen in de volledige set.

Op Interventie Gebaseerde Metrieken

Om deze criteria te operationaliseren, introduceren de auteurs model-agnostische, op interventie gebaseerde metrieken:

Fidelity ($Fid$): Meet de verandering in de ähnelijkheidsscore na interventie op de grafiek op basis van de verklaring. Specifiek berekenen zij $Fid_a$ (verandering bij het behouden van randen boven een threshold) en $Fid_b$ (verandering bij het behouden van randen onder de threshold).
Effect Overlap (EO): Een gegeneraliseerde Jaccard-ähnelijkheidsmetriek die de overlap kwantificeert tussen de tekens van de fideliteitswaarden voor de twee interventies. Een lage EO geeft aan dat de twee interventies onderscheidende, complementaire effecten hebben (bijvoorbeeld: de ene verhoogt de ähnelijkheid, de andere verlaagt deze), wat voldoet aan het consistentiecriterium.
Sparsiteitsevaluatie: De auteurs simuleren toenemende sparsiteitsniveaus door de minst relevante randen uit de verklaringmaskers te verwijderen en fideliteit en EO opnieuw te evalueren. Een robuuste verklaring behoudt haar actieerbare en consistente eigenschappen zelfs wanneer het aantal randen wordt gereduceerd.

Experimentele Opzet

De studie evalueert twee families van verklaringmethoden:

Mutual Information (MI) Methoden: Specifiek GNNExplainer, dat streeft naar een subgrafiek die de mutual information met de voorspelling maximaliseert.
Op Gradient Gebaseerde (GB) Methoden: Directe gradientberekening met betrekking tot de adjacentiematrix en Integrated Gradients.

Deze methoden worden toegepast op knoop-embeddings gegenereerd door vier unsupervised leeralgoritmen: Graph Autoencoders (GAE), Variational Graph Autoencoders (VGAE), Deep Graph Infomax (DGI) en Graph Contrastive Representation Learning (GRACE). Experimenten worden uitgevoerd op zes datasets: citatienetwerken (Cora, Citeseer, Pubmed), heterofiele grafieken (Chameleon, Squirrel, Actor) en een kennisgrafiek (DBpedia50k).

Belangrijkste Resultaten

De experimenten leveren drie primaire bevindingen op met betrekking tot de prestaties van GB versus MI-methoden in de context van knoop-ähnelijkheid:

Actiebaarheid: Op gradient gebaseerde verklaringen zijn consequent actiebaar. Interventies gebaseerd op GB-verklaringen (het behouden van randen boven de threshold) verhogen voorspelbaar de ähnelijkheidsscore, terwijl interventies gebaseerd op randen onder de threshold deze voorspelbaar verlagen. In tegenstelling hiermee vertoont GNNExplainer (MI) inconsistent gedrag; het effect van het behouden van randen met hoge waarden hangt vaak af van het specifieke embedding-model en de dataset, en faalt om een voorspelbare richting van verandering te produceren in alle scenario's.
Consistentie: GB-methoden bereiken aanzienlijk lagere Effect Overlap (EO)-scores (vaak dicht bij 0 of < 0,1) in vergelijking met MI-methoden (vaak > 0,4 of > 0,5). Dit geeft aan dat GB-verklaringen duidelijk onderscheid maken tussen randen die de ähnelijkheid verhogen en die welke deze verlagen. MI-verklaringen resulteren vaak in overlappende effecten waarbij zowel randen met hoge als lage waarden vergelijkbare veranderingen in de score produceren, waardoor ze het consistentiecriterium niet halen.
Sparsiteit: De actieerbare en consistente eigenschappen van GB-verklaringen blijven behouden, zelfs wanneer de verklaring wordt geprepareerd om slechts de top 10% van de randen te behouden (90% sparsiteit). Dit suggereert dat GB-verklaringen aanzienlijk kunnen worden vereenvoudigd zonder hun verklarende kracht te verliezen, terwijl MI-verklaringen deze robuustheid niet vertonen.

De auteurs merken ook op dat hoewel MI-methoden soms lagere EO-scores vertonen in specifieke gevallen (bijvoorbeeld DGI met GraphSAGE), dit vaak te wijten is aan effecten die dicht bij nul liggen (lage actiebaarheid) in plaats van aan ware consistentie. In dergelijke regimes maakt het gebrek aan significante impact op de score een op teken gebaseerde scheiding moeilijk voor elke verklarer.

Betekenis en Claims

Het artikel claimt de eerste te zijn dat het probleem van het verklaren van knoop-ähnelijkheid in GNN's formeel definieert en evalueert. De betekenis hiervan ligt in:

Overbruggen van een Kruis: Het gaat voorbij aan de dominante focus op supervised taken om de verklaarbaarheid van continue, unsupervised ähnelijkheidsscores aan te pakken.
Evaluatiekader: Het biedt een reeks kwantitatieve, op interventie gebaseerde metrieken (Fidelity, EO, Sparsiteit) die noodzakelijk zijn voor het beoordelen van de kwaliteit van ähnelijkheidsverklaringen, wat standaard op classificatie gebaseerde metrieken niet kunnen vangen.
Methodologische Inzicht: De resultaten tonen aan dat op gradient gebaseerde methoden superieur zijn aan op mutual information gebaseerde methoden voor deze specifieke taak. GB-methoden leveren verklaringen die niet alleen actiebaar en consistent zijn, maar ook spaarzaam, waardoor ze een meer praktische en interpreteerbare tool bieden om te begrijpen waarom knopen vergelijkbaar zijn.
Generaliseerbaarheid: De voorgestelde metrieken zijn model-agnostisch en toepasbaar op elke ähnelijkheidsfunctie die is gedefinieerd over knoop-embeddings (bijvoorbeeld Euclidische afstand), en bieden een fundament voor de toekomstige ontwikkeling van verklaarbare systemen voor ähnelijkheidszoekopdrachten.

De auteurs concluderen dat hoewel computatiekosten een factor zijn (GB-methoden zijn over het algemeen efficiënter dan de iteratieve optimalisatie die door MI-methoden wordt vereist), het primaire voordeel van GB-methoden in deze setting hun vermogen is om betrouwbare, gerichte en spaarzame verklaringen te bieden voor knoop-ähnelijkheid.