💬 NLP

Extracting and Following Paths for Robust Relational Reasoning with Large Language Models

Dit paper introduceert Path-of-Thoughts (PoT), een nieuw raamwerk dat relationeel redeneren met grote taalmodellen verbetert door de taak te ontleden in grafextractie, padidentificatie en redenering, waardoor aanzienlijk betere prestaties worden behaald zonder fine-tuning en met meer weerstand tegen fouten.

Oorspronkelijke auteurs: Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao

Gepubliceerd 2026-03-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Samenvatting: "Paden van Gedachten" – Hoe AI beter kan redeneren

Stel je voor dat een Large Language Model (LLM), zoals de slimme chatbots die we vandaag de dag gebruiken, een enorm brein heeft dat alles in de wereld weet. Het kent alle woorden, verhalen en feiten. Maar als je het vraagt om een complex raadsel op te lossen – bijvoorbeeld: "Als Jan de oom van Piet is, en Piet de neef van Lisa, wat is dan de relatie tussen Jan en Lisa?" – dan raakt de AI soms in de war. Het begint te gissen, te hallucineren of de draad kwijt te raken, net als iemand die probeert een ingewikkeld labyrint te doorlopen zonder kaart.

De auteurs van dit paper, een team van onderzoekers van Huawei en McGill University, hebben een nieuwe oplossing bedacht die ze Path-of-Thoughts (PoT) noemen. Laten we uitleggen hoe dit werkt met een paar creatieve vergelijkingen.

1. Het Probleem: De Verwarde Reis

Stel je voor dat je een reis moet maken door een groot, donker bos (het verhaal) om van punt A naar punt B te komen (het antwoord).

Hoe het nu vaak gaat: De AI probeert het bos in één keer te oversteken. Ze loopt blindelings, stuit op struiken, loopt in cirkels en raakt de weg kwijt. Dit heet "Chain-of-Thought" (Keten van Gedachten), maar bij complexe puzzels is die keten vaak te lang en te rommelig.
Het risico: Als de AI één stap verkeerd zet (bijvoorbeeld: "Jan is de oom van Piet" verwarren met "Jan is de broer van Piet"), stort het hele antwoord in.

2. De Oplossing: De "Paden van Gedachten" (PoT)

In plaats van blindelings door het bos te rennen, doet PoT drie dingen, alsof je een expeditie plant:

Stap 1: De Kaart Tekenen (Graph Extraction)

In plaats van het hele verhaal in één keer te lezen, maakt de AI eerst een kaart van het bos.

De Analogie: Stel je voor dat je een detective bent die een dossier opent. Je haalt niet alle tekst eruit, maar je schrijft alleen de belangrijke namen (de bomen) en de wegen ertussen (de relaties) op een groot vel papier.
Wat de AI doet: De AI haalt alle namen en relaties uit de tekst en zet ze in een strakke structuur (een grafiek). Het is alsof je een 3D-model bouwt van het verhaal. Als de AI hier een foutje maakt (bijvoorbeeld een weg verkeerd tekenen), is dat niet direct het einde van de reis, want we hebben nu een overzicht.

Stap 2: De Route Zoeken (Path Identification)

Nu je de kaart hebt, moet je de specifieke route vinden van je startpunt naar je bestemming.

De Analogie: Je kijkt op je kaart en ziet dat er misschien meerdere wegen zijn. Soms is er een directe weg, soms een omweg. De AI zoekt nu alle mogelijke paden tussen de twee mensen in de vraag.
De Kracht: Dit is het slimme deel. Als er in het verhaal een dubbelzinnigheid zit (bijvoorbeeld: "Jan staat achter Piet", maar is dat echt achter of misschien voor?), dan tekent de AI beide paden. Het is alsof je twee routes pland: "Route A" en "Route B". Je bent voorbereid op elke mogelijkheid.

Stap 3: De Reis Afleggen (Reasoning)

Nu de routes bekend zijn, laat je de AI (of een strikte rekenmachine) elke route apart afleggen.

De Analogie: In plaats van één lange, vermoeiende wandeling te maken, maak je drie korte, duidelijke wandelingen. Voor elke route vraag je: "Als we deze weg volgen, waar komen we uit?"
Het Resultaat: Omdat de AI nu alleen hoeft te kijken naar een klein stukje van de kaart (het pad) in plaats van het hele bos, maakt het veel minder fouten. Als één route leidt tot een onzin-antwoord, kan de AI zien dat een andere route een logisch antwoord geeft.

Waarom is dit zo goed?

Fouttolerantie (Het Veiligheidsnet): Stel dat de AI bij het tekenen van de kaart één boom verkeerd zet. Bij de oude methoden zou de hele reis mislukken. Bij PoT, omdat ze meerdere paden checken, kan de AI zeggen: "Oké, op pad 1 is het antwoord X, maar op pad 2 is het antwoord Y. Laten we kijken welke logisch is." Het systeem is veel robuuster.
Geen Nieuwe Training: Ze hoeven de AI niet opnieuw te leren (fine-tuning). Ze gebruiken gewoon slimme instructies (prompting) om de AI te dwingen eerst de kaart te maken en dan te redeneren.
Resultaat: Op tests met familie-relaties en ruimtelijke puzzels (waarbij je moet weten of iets links, rechts, boven of onder iets anders staat) presteert deze meth tot 21% beter dan de beste bestaande methoden.

Conclusie

Kortom: Path-of-Thoughts is als het verschil tussen iemand die blindelings door een donker bos rent en iemand die eerst een kaart tekent, alle mogelijke routes uitkiest, en dan pas de beste weg kiest. Het maakt de AI niet alleen slimmer, maar ook veel betrouwbaarder bij het oplossen van complexe puzzels. Het is een manier om de "flitsende" intelligentie van de AI te koppelen aan de "strakke" logica van een menselijke planner.

Titel: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models (PoT)

Auteurs: Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao (Huawei Technologies & McGill University/Mila).

1. Het Probleem

Grote Taalmodellen (LLMs) beschikken over uitgebreide semantische kennis, maar worstelen vaak met complexe relatie-redeneringstaken (zoals verwantschap of ruimtelijke redenering). Hoewel ze goed zijn in generatieve taken, falen ze vaak bij "multi-hop" redenering, waarbij een antwoord wordt afgeleid door een keten van relaties te doorlopen (bijv. "A is de vader van B, B is de broer van C, wat is de relatie tussen A en C?").

Bestaande aanpakken hebben verschillende tekortkomingen:

Prompt-based methoden (zoals Chain-of-Thought): Zijn vaak oppervlakkig, gevoelig voor irrelevante context en kunnen "hallucineren" bij lange redeneerketens.
Neuro-symbolische methoden: Combineren LLMs met symbolische oplosprogramma's, maar zijn vaak breekbaar (brittle) bij fouten in de extractie door de LLM en vereisen vaak veel specifieke aanpassingen of fine-tuning.
Afbakening: Veel bestaande methoden gaan ervan uit dat de gevraagde entiteiten al bekend zijn, terwijl in een algemene setting deze uit de vraag moeten worden geëxtraheerd.

2. Methodologie: Path-of-Thoughts (PoT)

Het paper introduceert PoT, een nieuw raamwerk dat relationele redenering decomposeert in drie specifieke fasen. In tegenstelling tot eerdere methoden die proberen het hele probleem in één keer op te lossen, bouwt PoT een "cognitieve kaart" (graf) op en volgt specifieke paden.

De drie fasen zijn:

Graf-extractie (Graph Extraction):
- Een enkele LLM-call wordt gebruikt om de tekstuele context te analyseren.
- De LLM extrahert alle genoemde entiteiten, hun attributen (zoals geslacht of grootte) en de relaties ertussen.
- Deze informatie wordt omgezet in een gestructureerde graaf $G = (N, E)$ , waarbij knopen entiteiten zijn en randen de relaties (triplets: head, relatie, tail).
- De methode maakt gebruik van geavanceerde prompt-engineering (gestructureerde markering, syntactische scheidingen en taak-decompositie) om de nauwkeurigheid van de extractie te maximaliseren en fouten te minimaliseren.
Pad-identificatie (Path Identification):
- Zodra de graaf is opgebouwd, identificeert dit module alle mogelijke redeneringspaden tussen de twee gevraagde entiteiten (bron en doel).
- Het algoritme gebruikt Depth-First Search (DFS) om deze paden te vinden.
- Kerninnovatie: In plaats van één pad te volgen, identificeert PoT alle mogelijke paden. Dit is cruciaal omdat de graaf door extractiefouten of ambiguïteiten in de tekst onjuiste of tegenstrijdige informatie kan bevatten. Door meerdere paden te evalueren, kan het systeem robuuster zijn.
Redenering (Reasoning):
- Voor elk geïdentificeerd pad wordt een externe redeneraar aangeroepen om het antwoord af te leiden.
- De auteur test twee soorten redenaars:
  - LLM-Redeneraar: De LLM krijgt alleen het specifieke pad (in plaats van de hele tekst) en leidt het antwoord af. Dit vermindert afleiding door irrelevante context.
  - Symbolische Redeneraar: Een ASP-oplosser (Answer Set Programming, specifiek CLINGO) gebruikt logische regels om het antwoord te berekenen op basis van de feiten in het pad.

3. Belangrijkste Bijdragen

Efficiënte Extractie: Een prompting-aanpak die in één LLM-call zowel de graaf als de query-entiteiten extrahert, zonder fine-tuning.
Pad-identificatie: Een unieke stap die meerdere onafhankelijke redeneringspaden identificeert. Dit verhoogt de robuustheid tegen extractiefouten en ambiguïteiten, omdat het systeem niet afhankelijk is van één enkel, mogelijk foutief pad.
Compositionaliteit: Het gebruik van grafen maakt het mogelijk om tegenstrijdige informatie te isoleren en op te lossen door verschillende paden onafhankelijk te evalueren.
Benchmarking: Uitgebreide evaluatie op vier datasets (StepGame, CLUTRR, SPARTUN en een nieuw Chinees verwantschapsdataset) met diverse LLMs (GPT-3.5, GPT-4, Llama3, en reasoning-specialisten zoals o1-mini).

4. Resultaten

De experimenten tonen aan dat PoT aanzienlijk beter presteert dan state-of-the-art baselines:

Prestatieverbetering: PoT overtreft bestaande methoden (zoals Chain-of-Thought, Few-shot prompting en LLM-ASP) met een marge van tot 21,3% in nauwkeurigheid.
Robuustheid: PoT is aanzienlijk minder gevoelig voor fouten in de extractie door de LLM. Waar traditionele methoden vaak volledig falen bij een extractiefout, kan PoT door het volgen van alternatieve paden toch het juiste antwoord vinden.
Scalabiliteit: De prestaties blijven stabiel of verbeteren zelfs naarmate het aantal redeneringsstappen (hops) toeneemt, terwijl de prestaties van directe prompting-methoden sterk dalen bij complexere taken.
Efficiëntie: Ondanks dat PoT twee LLM-calls vereist (extractie + redenering), is de totale rekentijd en token-gebruik vergelijkbaar met of lager dan complexe Chain-of-Thought methoden, omdat de redenering zich richt op korte paden in plaats van de volledige tekst.

5. Betekenis en Conclusie

Dit paper is een belangrijke stap in het verbeteren van de redeneercapaciteiten van LLMs voor relationele taken. De kernboodschap is dat het decomponeren van een probleem in een gestructureerde graaf en het isoleren van relevante paden effectiever is dan het laten "gokken" van een LLM op basis van de hele tekst.

PoT demonstreert dat neuro-symbolische systemen niet noodzakelijk breekbaar hoeven te zijn; door de kracht van grafen te benutten, kan het systeem fouten in de data-opbouw opvangen. Dit biedt een veelbelovende richting voor het oplossen van complexe logische problemen in domeinen zoals robotica, planning en semantische zoekopdrachten, zonder dat er zware fine-tuning nodig is.