🤖 machine learning

Agentic Graph Token Reasoning

Dit artikel introduceert "Agentic Graph Token Reasoning", een nieuw framework dat graaf-tokenisatie transformeert van een statisch, eenmalig proces naar een dynamische, stapsgewijze redeneercapaciteit waarbij grote taalmodellen actief grafische weergaven selecteren en coderen op aanvraag, wat de bestaande baselines in diverse domeinen aanzienlijk overtreft en zero-shot transfer naar onbekende taken mogelijk maakt.

Oorspronkelijke auteurs: Zhuoyi Peng, Yi Yang

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhuoyi Peng, Yi Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een mysterie probeert op te lossen, maar in plaats van één enkele aanwijzing heb je een enorme, verstrengelde web van verbindingen. In de wereld van data science wordt dit web een graaf genoemd. Denk aan een graaf als een gigantisch sociaal netwerk waar elke persoon een "node" is en elke vriendschap een "lijn" die hen verbindt. Maar hier komt de twist: in veel echte grafen zijn deze mensen (of nodes) niet zomaar stippen; ze dragen rijke verhalen met zich mee, zoals het onderzoekspaper van een wetenschapper, de beschrijving van een product of de functie van een eiwit.

Lange tijd hadden computers moeite om deze webben te lezen omdat ze een andere taal spreken dan de tekst die aan de nodes is gekopperd. Maak kennis met Large Language Models (LLMs), de superintelligente AI-chatbots die essays kunnen schrijven en raadsels kunnen oplossen. Om deze AI-bots de grafen te laten begrijpen, hebben onderzoekers graaf-tokens uitgevonden. Denk aan een graaf-token als een "magische samenvattingskaart". In plaats van de AI de hele rommelige web te voeren, comprimeert een speciaal hulpmiddel een klein deel van de graaf (zoals een persoon en hun vrienden) tot een kleine, dichte blok code die de AI direct kan lezen. Het is alsof je een hele bibliotheek omzet in één enkel, perfect bladwijzer.

Maar er was een probleem. De oude manier van het gebruiken van deze magische kaarten was als een detective die één aanwijzing kiest, deze in een doos vergrendelt, en vervolgens probeert het hele mysterie op te lossen zonder de doos ooit weer te openen. Als de eerste aanwijzing niet genoeg was, zat de detective vast. De AI kon niet vragen: "Wacht, ik moet de buur van de buur zien!" omdat het systeem in steen gebeiteld was. Dit paper stelt een simpele maar revolutionaire vraag: Wat als de AI als een echte detective zou kunnen optreden, die stap voor stap precies kiest welke aanwijzingen hij bekijkt, en alleen de informatie ophaalt die hij op dat moment nodig heeft?

De Detective die Zelf zijn Aanwijzingen Kiest

Dit paper introduceert een nieuwe manier van denken die Agentic Graph Token Reasoning wordt genoemd. De auteurs, Zhuoyi Peng en Yi Yang van de Hong Kong University of Science and Technology, stellen voor dat we, in plaats van een AI te dwingen om naar een graaf te kijken in één statische snapshot, de AI een "agent" moeten laten worden die actief op zoek gaat naar bewijs.

In de oude methode (die het paper "single-shot" noemt), beslist het systeem voordat de AI zelfs maar de vraag ziet, welk deel van de graaf samengevat moet worden. Het is als een bibliothecaris die je een boek geeft op basis van een gok, en jij moet een vraag beantwoorden over dat boek zonder dat je de cover mag openen of om een ander boek mag vragen. Als de gok fout was, faalt de AI.

De nieuwe methode, AGT, verandert het spel volledig. Zo werkt het:

De Vraag: Je stelt de AI een vraag over een specifieke node (zoals "Is dit eiwit gevaarlijk?").
De Keuze: De AI pauzeert en denkt: "Ik heb nog niet genoeg informatie. Ik moet naar mijn directe buren kijken." Hij geeft een commando af om dat specifieke overzicht op te halen.
De Magische Kaart: Een graaf-encoder zet dat specifieke overzicht onmiddellijk om in een verse "graaf-token" (een magische samenvattingskaart) en schuift deze in het geheugen van de AI.
De Lus: De AI leest deze nieuwe kaart, denkt opnieuw na, en kan besluiten: "Oké, nu moet ik kijken naar de hele gemeenschap waar deze persoon deel van uitmaakt." Hij haalt een andere kaart op.
Het Antwoord: Deze cyclus herhaalt zich totdat de AI het gevoel heeft dat hij genoeg bewijs heeft om een zelfverzekerd antwoord te geven.

De auteurs realiseerden zich dat de "bewijslast" die nodig is voor een graafprobleem zelden aan het begin duidelijk is. Soms zit het antwoord in de tekst van de node zelf; soms in de mensen waarmee zij verbonden zijn; soms in de hele cluster. Door de AI de view op aanvraag te laten kiezen, past het systeem zich aan de moeilijkheidsgraad van het probleem aan. Makkelijke problemen krijgen een snelle blik; moeilijke problemen krijgen een diepe duik.

De Drie-Stappen Training Bootcamp

Het aanleren van dit proces aan een AI was niet eenvoudig. De auteurs ontdekten dat als je een AI simpelweg laat praten met een graaf, de AI de neiging heeft om de graaf-tokens te negeren en gewoon te gokken op basis van de tekst, omdat tekst makkelijker te begrijpen is. Om dit op te lossen, bouwden ze een driefasige trainingspijplijn:

Fase 1: Leren Lezen. Eerst leerden ze de AI wat de "magische kaarten" (graaf-tokens) eigenlijk betekenen. Ze gebruikten zelfgesuperviseerde taken waarbij de AI de tekst van een node moest reconstrueren of moest voorspellen of twee nodes verbonden waren door alleen naar de token te kijken. Dit zorgde ervoor dat de AI de graaf-data daadwerkelijk begreep, en niet alleen de woorden.
Fase 2: De Robuuste Detective. Vervolgens leerden ze de AI om een spoor van aanwijzingen te volgen. Ze creëerden scenario's waarin de graaf-data licht vervormd was (zoals het verwijderen van sommige verbindingen) om de AI te dwingen te vertrouwen op de inhoud van de tokens in plaats van in de war te raken door kleine veranderingen. Dit maakte de redenering van de AI "robuust".
Fase s 3: De Waarheidstest. Ten slotte gebruikten ze een techniek genaamd "preference optimization". Ze lieten de AI twee paden zien: één waarbij de graaf-bewijslast en de tekstuele bewijslast overeenkwamen, en één waarbij de tekst corrupt was waardoor deze niet meer overeenkwam met de graaf. De AI werd beloond voor het kiezen van het pad waar de graaf en de tekst overeenkwamen, wat de AI leerde om de graafstructuur meer te vertrouwen dan misleidende tekst.

De Resultaten: Slimmer, Sneller en Zero-Shot

Het paper testte deze nieuwe aanpak op zeven verschillende soorten grafen, variërend van citatienetwerken (papers die andere papers citeren) tot eiwitinteracties en online winkelgewoonten.

De resultaten waren indrukwekkend. Het nieuwe AGT-model presteerde aanzienlijk beter dan bestaande methoden. Op een dataset van academische papers (ogbn-arxiv) behaalde de 3-miljard parameter versie van hun model bijvoorbeeld 73,0%, waarmee het de op één na beste vergelijkbare modellen met meer dan 9 punten versloeg. Op productnetwerken bereikte het 76,8%.

Maar de echte magie gebeurde bij de zero-shot transfer. De onderzoekers trainden het model op één type graaf (academische papers) en testten het vervolgens op volledig andere grafen die het nog nooit had gezien, zoals sociale netwerken of eiwitketens, zonder extra training. Het AGT-model overleefde niet alleen, het bloeide op. Op de eiwitdataset (STRING-db) behaalde het een nauwkeurigheid van 37,4% in een zero-shot setting, terwijl andere methoden moeite hadden om boven de 20% uit te komen.

De auteurs ontdekten ook waarom het zo goed werkte. Ze vergeleken hun "graaf-token" aanpak met een versie waarbij de AI de graaf als gewone tekst moest lezen (zoals het lezen van een lange lijst met namen). De graaf-token versie was veel beter, vooral op nieuwe, onbekende data. Dit suggereert dat het "magische kaart" formaat de structurele vorm van de graaf op een manier behoudt die gewone tekst niet kan. De tekstversie verloor de "vorm" van de verbindingen, terwijl de tokenversie deze intact hield, waardoor de AI over de structuur zelf kon redeneren.

Waarom Dit Belangrijk Is

Dit werk suggereert een verschuiving in hoe we AI gebruiken voor complexe data. In plaats van grafen te behanden als statische plaatjes die we eenmalig moeten samenvatten, kunnen we ze behandelen als interactieve omgevingen waarin de AI stap voor stap verkent. Het paper betoogt dat het "medium" van de redenering even belangrijk is als de redenering zelf. Door de redenering in de taal van de graaf te houden (tokens) in plaats van alles naar woorden te vertalen, blijft de AI geworteld in de ware structuur van de data.

De auteurs concluderen dat deze "agentic" aanpak het volledige potentieel van Large Language Models voor graafanalyse ontsluit, waardoor we bewegen van een wereld waarin de AI een passieve lezer is van een vooraf gekozen samenvatting naar een actieve ontdekkingsreiziger die precies weet welke aanwijzingen hij moet volgen.

Technische Samenvatting: Agentic Graph Token Reasoning

1. Probleemstelling

Grafen zijn alomtegenwoordig in de wetenschap en industrie en dragen vaak rijke tekstuele attributen op hun knopen (bijv. paper-abstracts, productbeschrijvingen, eiwitannotaties). Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken bij het analyseren van dergelijke tekst, bestaat er een fundamentele mismatch: LLM's zijn getraind op taal, terwijl grafiekgegevens structureel van aard zijn.

Bestaande oplossingen proberen deze kloof te overbruggen met behulp van grafiek-tokens (graph tokens), waarbij een grafische encoder een specifieke "weergave" van de graaf (bijv. de $k$ -hop buurt van een knoop) comprimeert tot een blok van een vaste lengte bestaande uit continue tokens. Echter, huidige methoden lijden aan een statisch, single-shot paradigma:

Predefiniënte weergaven: De grafische weergave die gecodeerd moet worden, wordt gekozen voordat het model de vraag ziet (bijv. altijd de 2-hop buurt).
Geen revisie: Eenmaal gecodeerd, worden de tokens nooit herzien, ongeacht het redeneerproces.
Inefficiëntie: Deze aanpak dwingt een "one-size-fits-all" strategie voor bewijsverzameling af. Gemakkelijke instanties worden overbelast met onnodige data, terwijl moeilijke instanties mogelijk onvoldoende bewijs missen, omdat het model niet specififieke structurele informatie kan opvragen op basis van zijn tussenliggende redeneerstappen.

De kernuitdaging is hoe men een LLM kan laten uitvoeren op stap-voor-stap agentic reasoning, waarbij de bewijsverzameling (grafiek-tokenisatie) dynamisch, trajectafhankelijk en gestuurd wordt door de eigen behoeften van het model.

2. Methodologie: Agentic Graph Token (AGT) Reasoning

De auteurs stellen Agentic Graph Token (AGT) reasoning voor, wat grafiek-tokenisatie transformeert van een preprocessing-stap naar een integraal onderdeel van de redeneerlus.

Het AGT-framework

In plaats van een enkele forward pass, opereert het model in een multi-step lus:

Context Initialisatie: Het model begint met de graaf $G$ en de vraag $Q$ .
Actie Emissie: In elke stap $t$ emitteert het model een discrete actie $a_t$ uit een vooraf gedefinieerde actieruimte (bijv. one_hop_token, cluster_token, retrieval_token). Deze actie specificeert een grafische weergave $GV_t$ (bijv. de 3-hop buurt van een knoop).
On-Demand Encoding: Een Graph Neural Network (GNN) encoder $f_{GNN}$ wordt on demand aangeroepen om de geselecteerde weergave $GV_t$ te coderen naar een blok van vaste grootte bestaande uit soft tokens $Z^{AGT}_t$ .
Context Splicing: Het resulterende token-blok wordt in de lopende context $\tau_t$ geplakt.
Iteratie: Het model leest de bijgewerkte context (inclusclusief de nieuwe grafiek-tokens) en bepaalt de volgende actie. Dit gaat door totdat een afsluitende answer actie wordt geëmitteerd.

Cruciaal is dat de grafiek-tokens die het model leest trajectafhankelijk zijn; het model kiest wat te coderen en wanneer, gebaseerd op het tot nu toe verzamelde bewijs.

Driefasig Trainingsproces

Het oproepen van dit gedrag is niet triviaal, aangezien modellen de neiging hebben om grafiek-tokens te negeren ten gunste van tekst. De auteurs hanteren een driefasig trainingsproces:

Fase 1: Self-Supervised Reading (Grounding)
- Doel: De LLM leren om grafiek-token-blokken te interpreteren die geen natuurlijke taal bevatten.
- Taken:
  1. Tekstreconstructie: Gegeven een token-blok van een knoop, de titel en het abstract reconstrueren.
  2. Masked Link Prediction: Gegeven een token-blok van een knoop en een kandidaat-buur, voorspellen of er een verbinding bestaat.
- Resultaat: De outputruimte van de GNN-encoder wordt uitgelijnd met de embeddingruimte van de LLM, waardoor wordt gewaarborgd dat het model de tokens als betekenisvol bewijs behandelt.
Fase 2: Token-Robuuste Traject SFT
- Doel: Het model leren om acties te emitteren en te redeneren over een sequentie van tokens, terwijl wordt voorkomen dat er te veel vertrouwd wordt op broze oppervlaktekenmerken.
- Mechanisme:
  1. Warm-up: Standaard supervised fine-tuning (SFT) op gesynthetiseerde trajecten (actie-sequenties + antwoorden).
  2. Consistentie Regularisatie: Het model wordt getraind op paren van encodings: een "schone" weergave en een "geaugmenteerde" weergave (waarbij randen zijn verwijderd of tokens zijn gemaskeerd). Een Kullback-Leibler (KL) divergentie-loss dwingt het model om consistente reacties te geven, ongeacht deze perturbaties.
- Resultaat: Het model leert te vertrouwen op de inhoud van de grafiek-tokens in plaats op oppervlakkige patronen, wat het redeneren robuust maakt tegen ruis.
Fase 3: Graph-Text Consistentie Preference Optimization (IPO)
- Doel: Het model stimuleren om zijn voorspellingen te funderen in de grafische structuur in plaats van alleen op de tekst van de knoop (die misleidend kan zijn).
- Mechanisme: Voorkeursparen worden geconstrueerd waarbij:
  - Voorkeur ( $\tau^+$ ): Een traject waarbij de grafiek-tokens en de tekst van de knoop overeenstemmen, wat leidt tot het juiste antwoord.
  - Afwijzing ( $\tau^-$ ): Een traject waarbij de tekst van de knoop is gecorrumpeerd (vervangen door de tekst van een andere knoop) zodat deze niet meer overeenstemt met de grafiek-tokens, wat leidt tot een foutief antwoord.
- Optimalisatie: Identity Preference Optimization (IPO) wordt gebruikt om de waarschijnlijkheid van het consistente traject te maximaliseren ten opzien van het inconsistente traject.
- Resultaat: Het beleid (policy) leert de grafische bewijslast te vertrouwen wanneer deze conflicteert met de tekst, waardoor de "tekst-shortcut" effectief wordt geëlimineerd.

3. Belangrijkste Bijdragen

Agentic Graph-Token Framework: Het eerste framework dat grafiek-tokenisatie direct integreert in de redeneerlus, waardoor modellen dynamisch grafische weergaven kunnen selecteren (van enkele knopen tot clusters) op aanvraag.
Driefasig Trainingsrecept: Een nieuw proces bestaande uit self-supervised grounding, token-robuuste traject SFT met consistentie-regularisatie, en graph-text preference optimization.
Empirische Superioriteit: Heeft state-of-the-art prestaties aangetoond over zeven grafiek-domeinen (citatie, e-commerce, sociale netwerken en eiwitnetwerken) voor zowel knoopclassificatie als link-predictie, waarbij het superieur is aan statische grafiek-token methoden en tekst-gebaseerde agentic baselines.

4. Experimentele Resultaten

Het model werd geëvalueerd op tien tekst-geattributueerde grafen (bijv. OGBN-Arxiv, OGBN-Products, PubMed, STRING-db) met gebruik van Qwen2.5-3B en 7B backbones.

In-Domain Prestaties: Het AGT-model (3B) behaalde 73,0% nauwkeurigheid op de OGBN-Arxiv knoopclassificatie, waarmee het de sterke AgentGL-3B baseline (63,9%) met 9,1 punten versloeg. Het was leidend op zes van de zeven domeinen voor knoopclassificatie en zes van de zeven voor link-predictie.
Zero-Shot Transfer: Een model dat alleen op OGBN-Arxiv is getraind, werd getest op zeven ongeziene domeinen zonder fine-tuning. Het presteerde significant beter dan alle baselines (bijv. 82,0% op PubMed versus 39,8% voor AgentGL), wat duidt op sterke generalisatie.
Ablatie-studies:
- Het verwijderen van de consistentie-regularisator (Fase 2) veroorzaakte de grootste daling in prestaties, wat de noodzaak voor robuust token-lezen bevestigt.
- Het verwijderen van specifieke acties (bijv. neighbor tokens) verslechterde de prestaties, wat de waarde van de dynamische actieruimte bewijst.
- Medium Vergelijking: Het vervangen van grafiek-tokens door verbaal geëxprimeerde tekst (met behoud van dezelfde agentic loop) resulteerde in een daling van 29,3% in zero-shot nauwkeurigheid. Dit bevestigt dat het grafiek-token medium zelf, en niet alleen de agentic loop, de primaire drijfveer is voor de prestatiewinst, omdat het compacte structurele signalen behoudt die verloren gaan bij tekst-serialisatie.
Foutanalyse: Het model verminderde de foutpercentages aanzienlijk bij uitdagende, knopen met een lage graad waar tekst alleen ambigu is, wat aantoont dat de agentic aanpak effectief ontbrekend structureel bewijs verzamelt.

5. Betekenis en Claims

Het artikel claimt de verschuiving van LLM-gebaseerde grafiekanalyse van een statisch, single-shot paradigma naar een graph-native agent paradigma.

Paradigmaverschuiving: In tegenstelling tot vorige methoden die grafiek-tokens behandelen als een vast invoerpatroon, behandelt AGT grafiek-tokens als een instrument dat het model tijdens het redeneren aanroept. Dit stelt het model in staat om adaptief bewijs te verzamelen (bijv. eerst de tekst van een knoop controleren, dan de buren, dan de gemeenschap) op basis van de moeilijkheidsgraad van de specifieke instantie.
Efficiëntie en Effectiviteit: De aanpak bereikt een hoge nauwkeurigheid met beperkt token-verbruik (vaste blokken per actie) vergeleken met tekst-gebaseerde agents die last hebben van context-inflatie.
Grounding: Het trainingsproces dwingt het model expliciet om beslissingen te funderen in de consistentie tussen de grafische structuur en de tekst, om te voorkomen dat het model enkel vertrouwt op potentieel misleidende knoop-attributen.

Samenvattend toont dit werk aan dat het mogelijk maken voor LLM's om grafiek-tokens dynamisch te "opvragen" en te "lezen", in plaats van ze passief als samenvatting te ontvangen, superieure redeneerkracht voor grafiek-gestructureerde gegevens ontsluit.