💻 computer science

Towards the Explainability of Temporal Graph Networks via Memory Backtracking and Topological Attribution

Dit artikel stelt MemExplainer voor, een nieuw framework dat de verklaarbaarheid van Temporal Graph Networks verbetert door topologie-attributie en geheugen-terugspoelbomen te introduceren om de invloed van historische gebeurtenissen op voorspellingen te kwantificeren, waardoor het bestaande methoden over diverse temporele graaftaken heen overtreft.

Oorspronkelijke auteurs: Yazheng Liu, Xi Zhang, Sihong Xie, Hui Xiong

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yazheng Liu, Xi Zhang, Sihong Xie, Hui Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken waarom een superintelligente robotvriend voorspelde dat twee mensen in een sociaal netwerk binnenkort beste vrienden zullen worden. De robot, een Temporal Graph Network (TGN) genoemd, is erg goed in het doen van dit soort gokjes, maar het is meestal een "black box". Als je vraagt: "Waarom dacht je dat?", dan haalt de robot alleen maar zijn schouders op.

Het probleem is dat eerdere pogingen om in deze black box te gluren, naar het verkeerde dingen keken. Ze keken naar de huidige verbindingen tussen mensen, maar negeerden het geheugen van de robot. Denk aan het geheugen van de robot als een dagboek waarin hij elke interactie die hij ooit heeft gezien, opschrijft. Als je het dagboek negeert, mis je het hele verhaal van hoe de robot leerde om zijn voorspelling te doen.

De doorbraak van "Memory Backtracking"

De auteurs van dit paper, Liu en team, zeggen: "Wacht eens even! Om de voorspelling te begrijpen, moeten we het dagboek lezen!"

Ze hebben een nieuw hulpmiddel gebouwd genaamd MemExplainer. In plaats van alleen te kijken wie er nu vrienden met elkaar is, doet dit hulpmiddel twee coole dingen:

De Topology Tree (De "Wie is wie"): Het brengt de directe omgeving in kaart. Het vraagt: "Wie zijn de buren van deze twee mensen, en wat is hun huidige 'vibe' (geheugensvectoren)?"
De Memory Backtracking Tree (De "Tijdreis"): Dit is het magische deel. Het volgt de dagboekvermeldingen van de robot terug in de tijd. Het vraagt: "Welke specifieke gebeurtenissen uit het verleden (zoals een berichtje drie dagen geleden of een reactie van vorige week) hebben het geheugen van de robot daadwerkelijk bijgewerkt om hem te laten denken dat deze twee vrienden zijn?"

Waarom de oude methode faalde

Het paper argumenteert expliciet tegen de oude methoden (zoals TGNNExplainer of TempME). Deze oudere tools behandelden het geheugen van de robot als een bevroren standbeeld. Ze keken naar het geheugen op het exacte moment van de voorspelling en zeiden: "Oké, dit is de staat, laten we het verklaren."

De auteurs laten zien dat dit een enorme fout is. Het is also al proberen te begrijpen waarom een chef-kok een specifieke soep heeft gemaakt door alleen naar de pan te kijken nadat het koken klaar is, zonder ooit naar de ingrediënten te kijken die hij erin heeft gegooid. Door het geheugen te bevriezen, misten de oude methoden de "langetermijnimpact" van historische gebeurtenissen. Ze konden niet zien dat een kleine interactie van weken geleden de echte reden was dat de robot zijn keuze maakte.

De "Conserveringsregel"

Hier wordt de wiskunde speels. De auteurs gebruiken een methode genaamd Layer-wise Relevance Propagation (LRP). Denk aan dit als een spelletje "hot potato" waarbij de "hitte" (de voorspellingsscore) helemaal teruggegeven moet worden van het uiteindelijke antwoord naar de oorspronkelijke gebeurtenissen.

Het paper bewijst een strikte regel: De totale hitte van alle gebeurtenissen uit het verleden moet gelijk zijn aan de uiteindelijke voorspellingsscore. Niets gaat verloren, en niets wordt erbij verzonnen. Als de robot een kans van 100% op vriendschap voorspelt, moet de som van alle "vriendschapspunten" van elke gebeurtenis uit het verleden precies 100 zijn. Dit zorgt ervoor dat de uitleg "getrouw" is—het is niet zomaar een gok; het is een wiskundig gegarandeerde verantwoording van de gedachten van de robot.

De Resultaten: Werkt het?

Het team heeft hun methode getest op negen verschillende real-world datasets, variërend van Wikipedia-bewerkingen en Reddit-berichten tot e-mailketens en zelfs menselijke bewegingsvideo's (zoals het doen van een pull-up of hardlopen).

Het Bewijs: Ze vergeleken hun methode met vier andere top-tier explainers. In 77% van de gevallen was hun methode statistisch significant beter in het verklaren van waarom het model een voorspelling deed (gemeten met een metriek genaamd FidelityKL).
De Visuele Aspecten: In een casestudy met betrekking tot menselijke acties (zoals klimmen of hardlopen), highlightten de oude methoden meestal bijna het hele skelet, waardoor het moeilijk was om te zien wat er echt toe deed. MemExplainer koos echter specifiek de gewrichten en bewegingen uit die de voorspelling daadwerkelijk aanstuurden (zoals de heup-knie-enkelketen voor hardlopen), terwijl de rest in het donker bleef.

Wat ze niet hebben opgelost

Het paper is eerlijk over de beperkingen. Hoewel de methode goed werkt, kan het rekentechnisch zwaar worden als de "memory backtracking tree" te diep en breed wordt. De auteurs suggereren dat je voor enorme grafieken de diepte van de boom (hoe ver je terugkijkt in de tijd) moet beperken om te voorkomen dat de computer de geest geeft. Ze beweerden niet dat ze dit al perfect hebben opgelost; ze lieten alleen zien dat hun huidige aanpak de beste is die we tot nu toe hebben.

De Kernboodschap

Het paper suggereert dat als je een Temporal Graph Network wilt vertrouwen, je niet alleen naar het heden kunt kijken. Je moet de kruimels van zijn geheugen terug volgen door de tijd. Door deze "backtracking trees" te bouwen, geeft MemExplainer ons een getrouwe, wiskundig onderbouwde kaart van precies welke momenten uit het verleden de toekomstige voorspellingen van de robot hebben gevormd. Het verandelt een black box in een transparant verhalenboek.

Technische Samenvatting: Naar de verklaarbaarheid van Temporal Graph Networks via Memory Backtracking en Topologische Attributie

Probleemstelling
Temporal Graph Networks (TGNs) hebben superieure voorspellende nauwkeurigheid bereikt in real-world toepassingen zoals fraudedetectie en gezondheidsvoorspellingen. Echter, ze opereren als black-box modellen, die weinig transparantie bieden over hoe historische gebeurtenissen voorspellingen aansturen. Bestaande verklarmingsmethoden voor TGNs (bijv. TGNNExplainer, TempME) richten zich primair op de topologische structuur van de graaf, maar laten het geheugenmodule (memory module) buiten beschouwing, een kerncomponent die verantwoordelijk is voor het registreren en bijwerken van de geschiedenis van knooppunten. Door de uiteindelijke geheugenvectoren vast te zetten, negeren deze methoden de temporele evolutie van knooptoestanden, wat leidt tot ongetrouwe verklaringen die er niet in slagen te vatten hoe eerdere interacties zich cumulatief vormen tot toekomstige voorspellingen.

Methodologie
De auteurs stellen MemExplainer voor, een framework dat TGN-voorspellingen toeschrijft aan zowel naburige gebeurtenissen (ruimtelijk) als historische gebeurtenissen (temporeel) door de geheugenmodule expliciet te modelleren. De methodologie bestaat uit drie hoofdfasen:

Topologische Attributieboom (Ruimtelijke Decompositie):
Het framework construeert een topologische attributieboom om de bijdrage van naburige gebeurtenissen en knoopgeheugenvectoren aan de doelknoop-embedding te kwantificeren. Met behulp van Layer-wise Relevance Propagation (LRP) deelt de methode de doelknoop-embedding ( $z^t_u$ ) op in bijdragen van het doelgeheugen, buurgeheugens en gebeurteniskenmerken. Een belangrijke theoretische bijdrage is het bewijs van een behoudseigenschap (conservation property), die garandeert dat de som van de bijdragen van alle buurgebeurtenissen en knoopgeheugens gelijk is aan de oorspronkelijke logits.
Memory Backtracking Boom (Temporele Decompositie):
Om de beperking van vaste geheugenvectoren aan te pakken, construeren de auteurs een memory backtracking boom. Deze boom volgt recursief de invloed van historische gebeurtenissen op de huidige knoopgeheugenvectoren. Door LRP toe te passen op de geheugenupdatefunctie (bijv. GRU of RNN), schrijft de methode de bijdrage van de huidige geheugentoestand terug aan de specifieke historische gebeurtenissen die de updates hebben getriggerd. Dit proces zorgt ervoor dat de totale bijdrage van alle historische gebeurtenissen gelijk is aan de totale geheugenbijdrage, waardoor de behoudseigenschap door de temporele dimensie heen behouden blijft.
Gebeurtenisselectie via Optimalisatie:
Vanwege de niet-lineaire mapping van logits naar waarschijnlijkheden, is een eenvoudige top- $k$ selectie van gebeurtenissen mogelijk ongetrouw. Om dit aan te pakken, leiden de auteurs de KL-divergentie af tussen de oorspronkelijke voorspelling en de voorspelling die wordt gemaakt met slechts een subset van geselecteerde gebeurtenissen. Ze formuleren een optimalisatieprobleem om een subset van belangrijke gebeurtenissen ( $E^*$ ) te selecteren die deze divergentie minimaliseert, wat ervoor zorgt dat de verklaring het gedrag van het model getrouw reproduceert.

Kernbijdragen

Geheugenbewuste Verklaring: In tegenstelling tot voorgaande werken die geheugenvectoren vastzetten, volgt deze methode expliciet hoe historische gebeurtenissen knoopgeheugens bijwerken, wat een getrouwere attributie van voorspellingen biedt.
Behoudseigenschap: Het framework garandeert dat de som van de bijdragen van alle gebeurtenissen (zowel naburige als historische) gelijk is aan de uiteindelijke logits van het model, een cruciale eigenschap voor een rigoureuze verklaring.
Dual-Tree Architectuur: De combinatie van een topologische attributieboom (ruimtelijk) en een memory backtracking boom (temporeel) maakt een uitgebreide decompositie van TGN-voorspellingen mogelijk.
Optimalisatiegebaseerde Selectie: Het gebruik van KL-divergentie minimalisatie voor gebeurtenisselectie vermijdt de valkuilen van heuristische top- $k$ selectie in niet-lineaire modellen.

Experimentele Resultaten
De methode werd geëvalueerd op negen temporele graafdatasets die link-voorspelling, knoop-eigenschap voorspelling en grafenclassificatietaken beslaan (inclusief Wikipedia, Reddit, Enron, UCI en menselijke actieherkenningsdatasets).

Prestaties: MemExplainer presteerde consistent beter dan state-of-the-art baselines (TGNNExplainer, TempME, GNNExplainer, PGExplainer) in termen van Fidelity (gemeten als $Fidelity_{KL}$ en $Fidelity_{prob}$ ) over alle datasets.
Statistische Significantie: Een t-toets tussen MemExplainer en de op één na beste baseline toonde statistische significantie in 77% van de gevallen voor $Fidelity_{KL}$ en 74% voor $Fidelity_{prob}$ .
Casestudies: In menselijke pose-gebaseerde actieclassificatie selecteerde MemExplainer kleinere, meer gefocuste subsets van randen die overeenkwamen met belangrijke biomechanische ketens (bijv. heup-knie-enkel voor hardlopen), terwijl baselines vaak overmatige, oninformatieve randen selecteerden.
Efficiëntie: De methode blijft computationeel haalbaar, met totale looptijden onder de 6 seconden, zelfs met diepe memory backtracking (diepte 10) op grote datasets.

Betekenis en Claims
Het artikel beweert dat door de integratie van memory backtracking met topologische attributie, MemExplainer getrouwe verklaringen biedt die de cruciale rol van de geheugenmodule in TGNs onthullen. De auteurs stellen dat hun methode het vertrouwen in TGNs versterkt, wat essentieel is voor hun veilige inzet in domeinen met hoge belangen. Het werk benadrukt dat het negeren van de temporele evolutie van knoopgeheugens leidt tot onnauwkeurige attributies, en dat hun behoudsgebaseerde aanpak een robuuste oplossing biedt voor het begrijpen van complexe temporele afhankelijkheden. De auteurs merken bescheiden op dat er een beperking is wat betreft de computationele kosten op zeer grote grafen met diepe memory backtracking, en suggereren toekomstig werk op het gebied van pruning of dieptebeperking.