💬 NLP

Explore-on-Graph: Incentivizing Autonomous Exploration of Large Language Models on Knowledge Graphs with Path-refined Reward Modeling

Dit paper introduceert Explore-on-Graph (EoG), een innovatief framework dat Large Language Models aanmoedigt om via versterkingstheorie met pad-gerefineerde beloningen autonoom diverse redeneringspaden op kennisgrafieken te verkennen, waardoor hallucinaties worden verminderd en state-of-the-art prestaties worden behaald op kennisgrafiek-vraagbeantwoordingsopgaven.

Oorspronkelijke auteurs: Shiqi Yan, Yubo Chen, Ruiqi Zhou, Zhengxi Yao, Shuai Chen, Tianyi Zhang, Shijie Zhang, Wei Qiang Zhang, Yongfeng Huang, Haixin Duan, Yunqi Zhang

Gepubliceerd 2026-02-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shiqi Yan, Yubo Chen, Ruiqi Zhou, Zhengxi Yao, Shuai Chen, Tianyi Zhang, Shijie Zhang, Wei Qiang Zhang, Yongfeng Huang, Haixin Duan, Yunqi Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🗺️ De Grote Uitdaging: Verdwalen in de Kennisbibliotheek

Stel je voor dat een Kunstmatige Intelligentie (een Large Language Model of LLM) een enorme, onoverzichtelijke bibliotheek is vol met feiten. Als je deze AI een vraag stelt, probeert hij vaak het antwoord te "gissen" op basis van wat hij eerder heeft geleerd. Het probleem? Hij maakt vaak hallucinaties. Hij verzint feiten die niet bestaan, alsof hij een verhaal bedenkt in plaats van een waarheid te vinden.

Om dit op te lossen, geven we de AI een Kennisgrafiek (Knowledge Graph). Dit is als een gigantisch, digitaal stadsplan waar alle feiten (zoals "Google zit in Mountain View") als straten en kruispunten zijn aangelegd. De AI moet nu niet meer gissen, maar het juiste pad door dit stadsplan vinden om het antwoord te vinden.

🚧 Het Probleem met de Huidige Methoden: De "Vaste Route"

Tot nu toe volgden slimme AI's twee saaie strategieën om dit stadsplan te navigeren:

De Regelboer: Ze volgden strikte regels. "Als je X ziet, ga dan altijd naar Y." Dit werkt goed voor bekende routes, maar als er een nieuw pad is dat ze nooit eerder hebben gezien, raken ze in de war.
De Kloon: Ze keken naar voorbeelden van hoe anderen het deden en probeerden die na te bootsen. Dit is alsof je alleen maar de wegen rijdt die je al kent op je GPS.

Het grote probleem: Als de vraag een nieuw, onbekend pad vereist (bijvoorbeeld: "Wie is de collega van de baas van de dochteronderneming die in Londen woont?"), falen deze methoden. Ze durven niet af te wijken van hun vaste routes. Ze zijn te bang om het onbekende in te gaan.

🚀 De Oplossing: "Explore-on-Graph" (EoG)

De auteurs van dit paper hebben een nieuwe methode bedacht genaamd Explore-on-Graph (EoG). Ze vergelijken dit met het trainen van een avontuurlijke ontdekkingsreiziger in plaats van een blinde kloon.

De methode werkt in twee fases, net als het trainen van een hond of een kind:

Fase 1: De Lerenfase (Supervised Fine-Tuning)

Eerst leren we de AI de basis. We geven haar een boek met voorbeelden van hoe je logisch redeneert in dit stadsplan. We zeggen: "Kijk, als je deze vraag krijgt, ga dan eerst hierheen, dan daarheen, en zo kom je tot het antwoord."

Metafoor: Dit is als een schoolvak waar de leerlingen leren hoe ze een kaart moeten lezen en hoe ze logisch moeten denken. Ze krijgen een "lange denkketen" (Long Chain-of-Thought) om te oefenen.

Fase 2: De Ontdekkingsfase (Reinforcement Learning)

Dit is het echte geheim. Nu laten we de AI los in het stadsplan, maar we geven haar een beloningssysteem dat haar aanmoedigt om te verkenen.

De Beloning voor het Antwoord: Als de AI het juiste antwoord vindt, krijgt ze een punt.
De Nieuwe Beloning voor het Pad (Path-Refined Reward): Dit is de innovatie. De AI krijgt ook punten als ze een goed pad heeft bewandeld, zelfs als ze even afdwaalt. Ze krijgt een bonus als ze logische stappen zet die dicht bij de waarheid liggen, in plaats van zomaar rond te springen.

De Creatieve Analogie: De Schatzoeker
Stel je voor dat de AI een schatzoeker is in een donker bos (de Kennisgrafiek).

Oude methoden: De schatzoeker loopt alleen op de verlichte paden die hij al kent. Als de schat (het antwoord) net buiten dat pad ligt, vindt hij hem niet.
EoG: De schatzoeker krijgt een magische kompasnaald. Als hij een stap zet in de richting van de schat, krijgt hij een lichtje (een beloning). Als hij een stap zet die totaal in de verkeerde richting is, gaat het lichtje uit.
- De nieuwe truc is dat de kompasnaald ook kijkt hoe hij loopt. Als hij een mooie, logische route door het bos vindt (zelfs als die route nieuw is), krijgt hij extra punten. Dit moedigt hem aan om nieuwe, spannende paden te ontdekken die niemand eerder heeft gelopen, in plaats van alleen maar de oude, veilige routes te volgen.

🏆 Wat is het Resultaat?

Door deze methode van "belonen voor het verkennen van nieuwe paden" te gebruiken, wordt de AI veel slimmer in het oplossen van complexe puzzels.

Ze raakt niet meer in de war bij moeilijke vragen die afwijken van het bekende.
Ze vindt antwoorden die zelfs de duurste, gesloten AI's (zoals GPT-5 of Gemini) soms missen.
Ze maakt minder fouten en "hallucineert" minder, omdat ze zich echt laat leiden door de feiten in de grafiek.

🎯 Conclusie in één zin

In plaats van de AI te dwingen om alleen de bekende wegen te bewandelen, geven we haar de vrijheid en de motivatie om het hele bos te verkennen, zolang ze maar logisch blijft nadenken onderweg. Hierdoor wordt ze de beste schatzoeker in de wereld van feiten.

Probleemstelling

Grote Taalmodellen (LLMs) presteren indrukwekkend in veel NLP-taken, maar kampen in vraag-antwoord (QA) taken vaak met hallucinaties en het missen van feitelijke informatie. Een veelbelovende oplossing is het koppelen van LLMs aan externe, verifieerbare kennisbronnen zoals Kennisgrafieken (Knowledge Graphs - KGs).

Bestaande methoden voor KG-versterkt redeneren vallen meestal in twee categorieën:

Regelgebaseerde methoden: Deze dwingen logica af via vooraf gedefinieerde regels.
Imitatiegebaseerde methoden: Deze trainen modellen om redeneerpatronen na te bootsen uit een vaste set demonstraties (fine-tuning).

De kernbeperking: Beide benaderingen beperken het redeneervermogen van LLMs tot patronen die al bekend zijn uit de trainingsdata of de vooraf gedefinieerde regels. Ze falen vaak bij Out-of-Distribution (O.O.D.) problemen, waarbij de redeneringstap complexer is dan de meest voorkomende patronen (bijvoorbeeld het gebruik van zeldzame relaties zoals "collega" of "dochteronderneming" in plaats van de standaard "werknemer"). De huidige modellen hebben geen vermogen om autonoom nieuwe, onbekende gebieden in de grafiek te verkennen.

Methodologie: Explore-on-Graph (EoG)

Het paper introduceert EoG, een nieuw raamwerk dat LLMs aanmoedigt om autonoom een diverser redeneringsruimte te verkennen op kennisgrafieken. De methode bestaat uit twee fasen:

1. Supervised Fine-Tuning (SFT)

Om een basis te leggen voor grafische exploratie, wordt eerst een Long Chain-of-Thought (CoT) dataset geconstrueerd.

Een krachtig model (Gemini 2.5 Flash) genereert gestructureerde redeneerpaden en antwoorden voor complexe vragen.
Het doelmodel (bijv. Qwen2.5-7B of Llama-3.1-8B) wordt gefinetuned op deze dataset om gestructureerd, meervoudig-staps redeneren te leren. Dit dient als een "koudstart" (cold start) voor de volgende fase.

2. Reinforcement Learning (RL) met Path-Refined Reward

De tweede fase is het hart van de innovatie. Om het model te stimuleren om buiten de trainingsverdeling te gaan, wordt Reinforcement Learning (specifiek GRPO - Group Relative Policy Optimization) toegepast. De beloning (reward) is tweeledig:

Outcome Reward ( $R_{outcome}$ ):
- Gebaseerd op de juistheid van het uiteindelijke antwoord.
- Gemeten via de F1-score tussen de voorspelde entiteiten en de ground-truth antwoorden.
- Dit zorgt ervoor dat het model uiteindelijk het juiste antwoord vindt.
Path-Refined Reward ( $R_{path}$ ):
- Dit is de unieke bijdrage van het paper. In plaats van alleen te kijken naar het eindresultaat, wordt ook de kwaliteit van het redeneerpad beloond.
- Een "Search-and-Verify" pipeline (met BFS en semantische verificatie door een LLM) genereert de ground-truth redeneerpaden ( $r_g$ ).
- De reward berekent het percentage van de ground-truth triplets (onderwerp, relatie, object) dat correct in het gegenereerde redeneerproces van het model voorkomt.
- Doel: Dit straft inefficiënte of semantisch zinloze paden af en moedigt het model aan om diepere, logisch samenhangende routes te verkennen, zelfs als deze zeldzaam zijn.

De totale reward is een combinatie: $R_{joint} = R_{outcome} + \alpha \cdot R_{path}$ , waarbij $\alpha$ de weging bepaalt.

Belangrijkste Bijdragen

Autonome Exploratie: EoG is het eerste framework dat LLMs actief aanmoedigt om onbekende redeneerpatronen in een kennisgrafiek te ontdekken, in plaats van alleen bekende patronen te imiteren.
Path-Refined Reward Modeling: De introductie van een reward die specifiek kijkt naar de semantische volledigheid van het redeneerpad (niet alleen het eindantwoord) verbetert de efficiëntie en de kwaliteit van de exploratie aanzienlijk.
State-of-the-Art Prestaties: De methode presteert beter dan bestaande open-source modellen en verslaat zelfs krachtige gesloten modellen (zoals GPT-5 en Gemini 2.5 Pro) op meerdere benchmarks.
Robuustheid: Het model toont sterke generalisatievermogen op Out-of-Distribution (O.O.D.) data, wat cruciaal is voor real-world toepassingen.

Resultaten

De auteurs hebben EoG getest op vijf populaire KGQA-benchmarks: WebQSP, CWQ, GrailQA, QALD10-en en 2WikiMultihopQA.

Algemene Prestaties: EoG (gebaseerd op Llama-3.1-8B) behaalde de beste scores op bijna alle datasets, met name op Hit@1 en F1-score.
- Voorbeeld: Op CWQ behaalde EoG een Hit@1 van 82.6 en F1 van 73.9, wat hoger is dan gesloten modellen zoals GPT-5 (Hit@1: 74.1) en Gemini 2.5 Pro (Hit@1: 71.9).
Ablatie Studies:
- Zonder de RL-fase (alleen SFT) daalt de prestatie drastisch, wat aantoont dat de exploratiecapaciteit voornamelijk uit het RL-proces komt.
- Het verwijderen van de path reward leidt tot minder efficiënte exploratie (langere paden, minder relevantie) en lagere scores, wat de noodzaak van de path-refined reward bevestigt.
O.O.D. Generalisatie: EoG behoudt zijn prestaties veel beter dan concurrenten wanneer getest op data die sterk afwijkt van de trainingsverdeling (bijv. complexe meerhop-paden of superlatieve patronen).
Efficiëntie: Ondanks de complexiteit van RL, is het trainingsproces efficiënt. Voor het CWQ-dataset waren slechts 108 stappen en ongeveer 510 GPU-uren nodig om optimale prestaties te bereiken.

Betekenis en Conclusie

Het paper "Explore-on-Graph" biedt een paradigmaverschuiving in hoe LLMs worden geïntegreerd met kennisgrafieken. In plaats van LLMs te beperken tot vooraf bepaalde regels of imitatie, biedt EoG een mechanisme voor autonome ontdekking.

De belangrijkste inzichten zijn:

Exploratie is essentieel: Om complexe, zeldzame redeneringsvragen te beantwoorden, moeten modellen bereid zijn om "onbekende" paden in een grafiek te verkennen.
Reward Design is cruciaal: Een reward die alleen kijkt naar het eindantwoord is niet genoeg; het moet ook de kwaliteit van het pad belonen om "futile efforts" (zinloze zoektochten) te voorkomen.
Toekomstperspectief: De methode opent de deur voor meer robuuste, minder hallucinerende AI-systemen die echt kunnen redeneren in plaats van alleen tekst te voorspellen, met name in domeinen waar feitelijke juistheid en logische consistentie van het grootste belang zijn.

Samenvattend demonstreert EoG dat door slimme combinatie van Supervised Fine-Tuning en Reinforcement Learning met een path-gebaseerde reward, open-source modellen kunnen worden getraind om superieure redeneercapaciteiten te ontwikkelen die zelfs gesloten, commerciële modellen overtreffen.