🤖 machine learning

Model-Level GNN Explanations via Rule-to-Graph Readout for Logit Reconstruction

Dit artikel introduceert een nieuw modelniveau GNN-verklaringskader dat ruwe multiclass-logits reconstrueert door onderbouwde subgraafconcepten te combineren tot symbolische regels en deze door een bevroren classifier te leiden, waardoor hoogtrouw, op testtijd instantieerbare globale verklaringen met bijdrageanalyse op regelniveau worden bereikt die aanzienlijk sneller zijn dan eerdere methoden.

Oorspronkelijke auteurs: Shengyao Lu, Jiuding Yang, Aedan J. DeFrates, Keith G. Mills, Baochun Li, Di Niu

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shengyao Lu, Jiuding Yang, Aedan J. DeFrates, Keith G. Mills, Baochun Li, Di Niu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot hebt (een Graph Neural Network, of GNN) die complexe netwerken van stippen en lijnen bekijkt—zoals moleculen of sociale netwerken—en voorspellingen doet. Het is ongelooflijk nauwkeurig, maar het is een "black box". Je vraagt het: "Waarom zei je dat dit molecuul gevaarlijk is?" en het antwoordt gewoon: "Omdat ik het zei", zonder uit te leggen hoe het tot die conclusie kwam.

Bestaande methoden proberen de robot uit te leggen door specifieke patronen aan te wijzen die het leuk vindt. Bijvoorbeeld: "Oh, het houdt van moleculen met een rode ring." Maar dit is als proberen het complexe recept van een chef uit te leggen door alleen de ingrediënten op te sommen die hij leuk vindt. Het vertelt je niet hoe de chef ze mengt, hoeveel hij van elk gebruikt, of hoe hij de smaken in evenwicht brengt om de uiteindelijke smaak te krijgen.

TreeX is een nieuw gereedschap dat het spel verandert. In plaats van alleen ingrediënten op te sommen, probeert TreeX het hele besluitvormingsproces van de robot opnieuw op te bouwen met eenvoudige, voor mensen leesbare regels.

Hier is hoe TreeX werkt, met enkele creatieve analogieën:

1. De "Reconstructie van het Recept" Analogie

Beschouw de uiteindelijke voorspelling van de robot niet als een enkel "Ja/Nee"-antwoord, maar als een complex smaakprofiel (zoals een score voor "Scherp", "Zoet" en "Zuur").

Oude manier: Vorige hulpmiddelen probeerden een regel te vinden zoals "Als het een rode ring heeft, is het Scherp." Ze matchden gewoon patronen aan labels.
TreeX-methode: TreeX zegt: "Laten we de rauwe smaak-scores van de robot nemen en ze opnieuw opbouwen vanaf nul met een recept." Het breekt het besluit van de robot op in logische regels (zoals "Als het een rode ring heeft EN geen blauw vierkant, voeg 5 punten toe aan Scherp").

TreeX raadt niet alleen het uiteindelijke label; het probeert wiskundig de exacte getallen (logits) te reconstrueren die de robot gebruikte voordat het zijn uiteindelijke keuze maakte. Als TreeX het "smaakprofiel" van de robot perfect kan herbouwen met eenvoudige regels, weten we dat die regels een ware uitleg zijn van hoe de robot denkt.

2. De "Bouwpakket" (Concept Mining)

Om deze regels te bouwen, heeft TreeX bouwstenen nodig. Het kijkt in het brein van de robot (zijn verborgen lagen) en vindt subgraaf-concepten.

De Analogie: Stel je voor dat de robot een molecuul ziet. TreeX kijkt naar het interne beeld van de robot en zegt: "Ah, ik zie hier een 'Nitro-groep' en daar een 'Ringstructuur'." Het groepeert vergelijkbare delen van de graaf in herbruikbare "concepten".
De Twist: TreeX is slim hierin. Het pakt niet zomaar willekeurige stukken; het vindt stabiele, terugkerende patronen (zoals het vinden van hetzelfde type baksteen in verschillende huizen) zodat het ze kan gebruiken als betrouwbare bouwstenen voor zijn regels.

3. De "Regelboek" (Symbolische Logica)

Zodra het de bouwstenen heeft, schrijft TreeX een Regelboek.

Het gebruikt logica zoals: "ALS (Concept A aanwezig is) EN (Concept B ontbreekt), VERHOOG dan de score voor Klasse 1."
De "Negatieve" Truc: Een belangrijk kenmerk van TreeX is dat het afwezigheid begrijpt. Net zoals een chef zou kunnen zeggen: "Deze soep is goed omdat er geen zout in zit", kan TreeX regels maken op basis van wat ontbreekt. Dit is cruciaal voor complexe beslissingen waarbij het ontbreken van een eigenschap net zo belangrijk is als de aanwezigheid ervan.

4. De "Live Optreden" (Test-Time Grounding)

Hier blinkt TreeX uit in vergelijking met anderen.

Oude manier: Sommige hulpmiddelen geven je een statisch regelboek dat van toepassing is op de hele dataset, maar ze kunnen je niet laten zien hoe het werkt op een specifiek nieuw molecuul dat je net aan hen hebt gegeven.
TreeX-methode: Wanneer je TreeX een nieuwe graaf geeft, activeert het direct de relevante regels. Het wijst naar de exacte delen van de graaf die de regel hebben geactiveerd (grounding) en laat je precies zien hoeveel die regel de score omhoog of omlaag heeft geduwd.
De Analogie: Het is als een live sportcommentator. In plaats van je alleen de eindstand te geven, zegt TreeX: "Op dit moment wint het team omdat Speler A (Regel 1) een doelpunt maakte, wat +2 punten toevoegde, terwijl Speler B (Regel 2) een schot miste, wat -1 punt aftrok."

Waarom is dit beter?

Het artikel beweert dat TreeX om drie hoofdredenen superieur is:

Betrouwbaarheid: Het raadt niet alleen het juiste antwoord; het reconstrueert wiskundig de interne "vertrouwensscores" (logits) van de robot met hoge nauwkeurigheid. Als TreeX's regels de exacte getallen van de robot kunnen nabootsen, is de uitleg betrouwbaar.
Snelheid: Het is tot 20 keer sneller dan eerdere methoden. Het is als overstappen van het met de hand schrijven van een roman naar het gebruik van een high-speed typemachine.
Handelbare inzichten: Het zegt niet alleen "Dit is waarom". Het zegt: "Deze regel ondersteunt het winnende team, terwijl die regel het verliezende team onderdrukt." Het stelt je in staat te zien welke regels de "sterren" van de show zijn en welke slechts achtergrondruis zijn.

Samenvatting

TreeX neemt een black-box-robot, ontleedt zijn besluitvorming tot een reeks eenvoudige, logische "Als-Dan"-regels, en bewijst dat die regels werken door de exacte voorspellingen van de robot opnieuw op te bouwen. Het behandelt zowel wat aanwezig is als wat ontbreekt, werkt ongelooflijk snel en geeft je een live, gedetailleerde uitleg van hoe de robot denkt voor elk nieuw voorbeeld dat het ziet.

Technische Samenvatting: TreeX - Modelniveau-GNN-verklaringen via regel-naar-graf-uitlezing

Probleemstelling

Hoewel Graph Neural Networks (GNN's) sterke voorspellende prestaties leveren, blijft het begrijpen van hun besluitvormingslogica uitdagend. Bestaande benaderingen richten zich voornamelijk op instantieniveau-verklaringen, waarbij specifieke knopen of subgrafen worden geïdentificeerd die verantwoordelijk zijn voor een enkele voorspelling. Lokale verklaringen falen echter om aan te tonen of bewijs systematisch over een dataset wordt gebruikt, of modellen vertrouwen op valse shortcuts, of hoe meerdere concepten gezamenlijk klassen-specifieke besluitvormingsgrenzen definiëren.

Huidige modelniveau-verklarende methoden proberen doorgaans grafpatronen of symbolische regels te identificeren die geassocieerd zijn met een specifieke klasse. Een kritieke beperking van deze methoden is dat ze regels behandelen als post-hoc klassenbeschrijvers in plaats van functionele rekenunits. Ze leggen niet uit hoe meerdere regels gezamenlijk de uiteindelijke beslissing van de GNN produceren of de ruwe voorspellingslogits van het model reconstrueren. Bijgevolg missen ze het vermogen om op testtijd een bijdrageanalyse op regelniveau uit te voeren of de onderdrukking van concurrerende klassen te verklaren.

Methodologie: TreeX

De auteurs stellen TreeX voor, een innovatief modelniveau-GNN-verklaringskader dat het verklaringstarget verschuift van klassenspecifieke regelonttrekking naar regelgebaseerde logit-reconstructie. TreeX grijpt in op de uitleesinterface van een voorgetrainde GNN, waarbij de berichten-doorstuur-lagen en de classifier-kop bevroren blijven, terwijl de oorspronkelijke knop-naar-graf-uitlezing wordt vervangen door een gewogen regel-naar-graf-uitlezing.

De methodologie bestaat uit vier hoofdfasen:

1. Subboom-geïnspireerde Conceptmijnbouw

Om globale regels te verankeren in lokale instanties, mijn TreeX subgrafconcepten uit de verborgen toestanden van de GNN:

Lokale Mijnbouw: Knop-embeddings binnen een graf worden gekluster. Elk cluster wordt omgezet in een ondersteunende subgraf door de $l$ -hop receptieve velden van de lidknopen te aggregeren (subbomen). Dit beïnvloedt concepten naar structureel stabiel bewijs in plaats van ruis.
Globale Mijnbouw: Lokale concept-embeddings worden opnieuw gekluster om een globale conceptbank te vormen. Representatieve subgrafen worden geselecteerd met behulp van een twee-traps lexicografische meerderheidsfilter (gebaseerd op vorm en graadhandtekeningen), gevolgd door een centroid-afstandstiebreak.
Theoretische Rechtvaardiging: Het artikel betoogt dat voor maximaal krachtige MPNN's (zoals GIN) de $l$ -de laag knop-embedding een "Perfecte Gewortelde Boomrepresentatie" is van de volledige $l$ -hop subboom, wat het gebruik van knop-embeddings om substructuren te representeren rechtvaardigt.

2. Neuro-symbolische Regellearning

TreeX leert symbolische regels over de globale subgrafconcepten met behulp van een CNF (Conjunctive Normal Form)-structuur, specifiek een OR-van-CNF-relaxatie:

Klassenspecifieke Ontdekking: Regels worden aanvankelijk geleerd in een one-vs-rest-methode voor elke doelklasse. Positieve literalen ( $P[k]$ ) en negatieve literalen ( $\neg P[k]$ ) worden geïnstancierd op basis van het discriminerend vermogen van globale concepten.
Differentieerbare Logica: Een hiërarchische differentieerbare logica-parametrisatie wordt gebruikt. Clausules worden voldaan via een Gödel-t-conorm (maximum over gegateerde literalen), en regels worden gevormd via een product-stijl zachte EN over clausules. De uiteindelijke klassenvoorspelling maakt gebruik van een probabilistische som (ruisige-OR) over kandidaatregels.
Samenvoegen: Klassenspecifieke regelkandidaten worden samengevoegd tot een geünificeerde gedeelde regelbank. Dit twee-traps ontwerp zorgt voor de ontdekking van discriminerende regels per klasse, terwijl een gedeelde structuur wordt behouden voor multiclass-reconstructie.

3. Regel-naar-Graf Uitlezing

De kerninnovatie is het herformuleren van de uitleeslaag:

Regel-embeddings: Regel-embeddings worden berekend door de embeddings van hun constitutieve literalen te aggregeren (gewogen met gate-activeringen). Negatieve literalen worden weergegeven als de genegateerde embeddings van hun positieve tegenhangers.
Logit-reconstructie: Actieve regels worden gewogen met een geleerde globale gewichtsvector $w$ . De gewogen combinatie van actieve regel-embeddings wordt door de bevroren classifier-kop van de basis-GNN gevoerd om de ruwe multiclass-logits ( $\hat{o}_G$ ) te reconstrueren.
Doel: Het model wordt getraind om de Mean Squared Error (MSE) tussen de gereconstrueerde logits en de ruwe logits van de oorspronkelijke GNN te minimaliseren.

4. Testtijd-verankering en Analyse

Tijdens de testfase projecteert TreeX onbekende grafen in de gedeelde conceptruimte, evalueert de vaste regels en produceert instantie-specifieke verklaringen. Het stelt het volgende in staat:

Verankering: Het in kaart brengen van voldane literalen naar concreet lokaal subgrafbewijs (voor positieve literalen) of de afwezigheid van concepten (voor negatieve literalen).
Ablatie: Het meten van de bijdrage van elke regel door het gewicht ervan op nul te zetten en de verandering in gereconstrueerde logits te observeren ( $\Delta_{g,r}$ ).

Belangrijkste Bijdragen

Nieuw Verklaringstarget: Formuleert modelniveau-GNN-verklaring als regelgebaseerde logit-reconstructie, verdergaand dan de eenvoudige associatie van patronen met labels, naar het verklaren van de generatie van ruwe voorspellingslogits.
Symbolische Uitleesinterface: Introduceert een regel-naar-graf-uitlezing waarbij verankerde logische regels fungeren als rekenunits. Actieve regel-embeddings worden geaggregeerd en door de bevroren classifier gevoerd om multiclass-logits te reconstrueren.
Verankerde en Compositional Regelconstructie: Mijn subboom-geïnspireerde subgrafconcepten voor continue embeddings en concreet bewijs. Het leert OR-van-CNF-regels, die alternatieve realisaties binnen vereiste beperkingen behouden, waardoor ze meer structurele uitdrukkingskracht bieden dan DNF-stijl formuleringen onder hetzelfde regelbudget.
Functionele en Trouwe Verklaringen: Toont aan dat geïdentificeerde kritieke regels actief de voorspelde klasse ondersteunen en niet-doelklassen onderdrukken, en fungeren als functionele units in plaats van louter post-hoc artefacten.

Experimentele Resultaten

TreeX werd geëvalueerd op drie synthetische (BA-2Motifs, BAMultiShapes, BA-Neg) en twee real-world moleculaire (Mutagenicity, NCI1) datasets.

Logit-Trouwheid: TreeX reconstrueert trouw de ruwe multiclass-logits van de basis-GNN, met hoge Absolute Probability Fidelity (APF) (bijv. >97% op BA-2Motifs, >75% op real-world datasets).
Regelimpact: Ablatiestudies tonen aan dat de meest actieve regels consistent de logit van de doelklasse verhogen terwijl ze niet-doelklassen onderdrukken, wat hun functionele rol in het besluitvormingsproces bevestigt.
Noodzaak van Ontwerp: Ablaties bevestigen dat het verwijderen van de regelmodule, de samenvoegstap of negatieve literalen de prestaties aanzienlijk verslechtert, met name bij het reconstrueren van ruwe logits.
Efficiëntie en Vergelijking: In vergelijking met eerdere klassenspecifieke regelgebaseerde verklarende methoden (LogicXGNN, GLGExplainer, GraphTrail) bereikt TreeX concurrerende of betere Prediction Agreement (PA) terwijl het tot 20× sneller is. In tegenstelling tot baselines biedt TreeX regelgewichten, testtijd-verankering en bijdrageanalyse op logit-niveau.

Betekenis en Claims

Het artikel stelt dat TreeX een globaal, op testtijd instantieerbaar en subgraf-verankerd verklaringskader biedt. Door de focus te verschuiven naar logit-reconstructie, biedt TreeX een strengere evaluatie van verklaarbaarheid: regels zijn niet alleen beschrijvend, maar blijken functionele units te zijn die actief de besluitvormingsmarge vormen.

De auteurs benadrukken dat TreeX niet louter een post-hoc samenvattingstool is, maar een mechanisme dat onthult hoe de besluitvormingslogica van een GNN kan worden ontleed in herbruikbare, gewogen symbolische regels. Deze aanpak maakt analyse mogelijk van hoe regels voorspelde klassen ondersteunen en concurrenten onderdrukken, waardoor een gat in de huidige modelniveau-interpreteerbaarheid wordt gedicht waar de interactie tussen meerdere regels en de uiteindelijke besluitvormingsgrens ondoorzichtig blijft. Het kader suggereert een bredere route voor het verklaren van neurale modellen door menselijk interpreteerbare concepten te identificeren, deze te combineren tot symbolische regels, en deze regels te gebruiken als uitleesniveau-eenheden om modelgedrag te reconstrueren.