💻 computer science

Reinforced Graph of Thoughts: RL-Driven Adaptive Prompting for LLMs

Dit artikel stelt Reinforced Graph of Thoughts (RGoT) voor, een geautomatiseerd kader dat gebruikmaakt van versterkend leren om het grafiek van operaties in Graph of Thoughts-prompting dynamisch aan te passen, waardoor de rigiditeit van handmatig gedefinieerde structuren wordt overwonnen om complexere probleemoplossingstaken beter aan te kunnen.

Oorspronkelijke auteurs: Manuel Noah Riesen, Peter Alfred von Niederhäusern

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Manuel Noah Riesen, Peter Alfred von Niederhäusern

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat verspreide assistent hebt (een Large Language Model, of LLM) die uitstekend is in het schrijven van verhalen, maar moeite heeft met complexe wiskunde of het organiseren van rommelige data. Als je ze gewoon vraagt "dit op te lossen", raken ze misschien in de war of maken ze fouten, vooral als het probleem enorm is.

Om hen te helpen, geven onderzoekers hen meestal een "recept" of een stap-voor-stap plan.

Chain of Thought: Als een rechte lijn van instructies: "Doe A, dan B, dan C."
Tree of Thoughts: Als een stamboom waarbij de assistent verschillende takken uitprobeert, kijkt welke er goed uitziet, en terugkruipt als hij op een doodlopende weg terechtkomt.
Graph of Thoughts (GoT): De meest geavanceerde versie. Stel je een metrokaart voor. De assistent kan een probleem opsplitsen in verschillende lijnen, ze afzonderlijk oplossen en de resultaten vervolgens weer samenvoegen. Dit is geweldig voor grote problemen, maar het is moeilijk te gebruiken. Jij, de mens, moet de volledige metrokaart zelf tekenen voordat de assistent aan het werk gaat. Als je de verkeerde kaart tekent, faalt de assistent.

Het probleem: De "statische kaart"

De originele "Graph of Thoughts" is als een stijve, vooraf getekende metrokaart. Het werkt perfect als het probleem precies is wat je verwachtte. Maar als het probleem groter of ingewikkelder wordt (zoals een lijst met getallen die twee keer zo lang is als je dacht), breekt je vaste kaart. De assistent raakt in de war omdat de kaart geen rekening hield met de nieuwe grootte.

De oplossing: Reinforced Graph of Thoughts (RGoT)

De auteurs van dit artikel, Manuel Noah Riesen en Peter Alfred von Niederhäusern, bouwden een systeem genaamd RGoT. In plaats van dat jij de kaart tekent, gaven ze de assistent een GPS die leert terwijl hij rijdt.

Hier is hoe het werkt, met een eenvoudige analogie:

Het "Optellen"-spel
Stel je voor dat de taak is om een zeer lange lijst met getallen op te tellen.

De oude manier: Je vertelt de assistent: "Tel deze getallen op." Als de lijst 5 getallen heeft, doen ze het. Als er 50 zijn, raken ze in de war en geven ze een verkeerd antwoord.
De RGoT-methode: Het systeem heeft een gereedschapskist met basisbewegingen:
- Opsplitsen: De grote lijst in twee kleinere lijsten snijden.
- Optellen: Een kleine lijst optellen.
- Samenvoegen: Twee kleine resultaten combineren tot één groot resultaat.

In plaats van dat jij bepaalt wanneer je moet splitsen of samenvoegen, gebruikt het systeem een Reinforcement Learning (RL)-agent. Denk aan deze agent als een videospelletjespersonage dat probeert een level te verslaan.

Het spel: Het "level" is de lijst met getallen.
De zetten: Het personage kan kiezen voor "Opsplitsen", "Optellen", "Samenvoegen" of "Stoppen".
De beloning: Als het eindantwoord correct is, krijgt het personage punten. Als het faalt, verliest het punten.

De magie van leren
Aan het begin is de agent nietsvermoedend. Het probeert misschien een lijst van 100 getallen in één keer op te tellen en faalt. Maar omdat het een "spel" speelt (met behulp van Reinforcement Learning), leert het van zijn fouten.

Het beseft: "Hé, als de lijst enorm is, krijg ik een straf als ik probeer alles in één keer op te tellen. Maar als ik het eerst Opsplits, dan de kleine delen Optel, en ze uiteindelijk Samenvoeg, krijg ik een enorme beloning!"
Na verloop van tijd leert de agent zijn eigen "metrokaart" (de Graaf van Operaties) onderweg te bouwen, perfect afgestemd op de grootte van het probleem.

Wat ze eigenlijk deden

De onderzoekers testten dit op verschillende taken:

Lijsten optellen: Getallen bij elkaar optellen.
Lijsten sorteren: Getallen in de juiste volgorde zetten.
Tellen van trefwoorden: Uitzoeken hoe vaak een woord in een tekst voorkomt.
Documenten samenvoegen: Verschillende teksten combineren tot één zonder informatie te herhalen.

Ze gebruikten niet alleen de echte AI-modellen om te trainen (wat te duur en te traag zou zijn). In plaats daarvan creëerden ze een simulatie. Ze berekenden hoe waarschijnlijk het was dat de AI een fout maakte op een lijst met 10 items, 20 items, 50 items, enzovoort, en programmeerden dat in het spel. De agent leerde in deze simulatie, en vervolgens testten ze het op de echte AI.

De resultaten

Het artikel beweert dat:

Aanpasbaarheid: De agent leerde automatisch zijn strategie te veranderen op basis van hoe moeilijk het probleem was. Als de lijst kort was, deed hij een simpele som. Als de lijst enorm was, besloot hij automatisch om hem eerst op te splitsen.
Beter dan de basis: De agent loste complexe problemen veel betrouwbaarder op dan door de AI gewoon te vragen het "in één keer te doen" (de "Input-Output"-methode).
Generalisatie: Zelfs toen ze de agent een lijstgrootte gaven die hij tijdens de training nooit had gezien (zoals een lijst van 60 items terwijl hij alleen had geoefend met lijsten tot 30), bedacht hij toch een goede strategie.

De kernboodschap

Het artikel presenteert een manier om geavanceerde AI-probleemoplossing automatisch te maken. In plaats dat een menselijke expert precies moet weten hoe een complexe taak gestructureerd moet worden, gebruikt het systeem een "lerende agent" om het beste stap-voor-stap plan (de graaf) voor elke gegeven probleemgrootte uit te zoeken. Het verandert een stijf, handmatig proces in een flexibel, zelfaanpassend proces.

Opmerking: Het artikel richt zich uitsluitend op deze specifieke taken (wiskunde, sorteren, tellen, samenvoegen) en beweert niet dat deze methode werkt voor medische diagnose, juridisch advies of andere real-world toepassingen buiten deze gedefinieerde logische problemen.

Technische Samenvatting: Geversterd Graf van Gedachten (RGoT)

Probleemstelling

Grote Taalmodellen (LLM's) hebben aanzienlijke vaardigheden aangetoond in doelbewust probleemoplossen door middel van promptingsparadigma's zoals Chain of Thought (CoT), Tree of Thoughts (ToT) en Graph of Thoughts (GoT). Hoewel GoT een veralgemeend kader biedt waarin gedachten worden gestructureerd als willekeurige grafen om aggregatie en complex redeneren mogelijk te maken, vertrouwt de bestaande implementatie op een statische, handmatig gedefinieerde graf van bewerkingen.

Deze handmatige definitie presenteert twee primaire beperkingen:

Toegankelijkheid: Het construeren van een GoT-graf vereist diepgaande kennis van de probleemoplossing en de specifieke volgorde van bewerkingen, wat een hoge instapdrempel creëert voor gebruikers.
Aanpasbaarheid: Statische grafen zijn stijf. Ze kunnen zich niet aanpassen aan de variërende complexiteit van invoerinstanties of het niet-deterministische, entropische karakter van LLM-uitvoer. Bijgevolg kan een graf die is ontworpen voor een specifiek complexiteitsniveau falen wanneer deze wordt toegepast op invoer met andere eigenschappen.

Hoewel eerdere werken (Ha et al., 2024) hebben geprobeerd GoT te automatiseren, vertrouwen ze op de logische capaciteiten van de onderliggende LLM om de graf te construeren. Dit artikel adresseert de behoefte aan een aanpak die niet afhankelijk is van de planningsvaardigheden van de LLM om de redeneertopologie zelf te genereren.

Methodologie

De auteurs stellen Reinforced Graph of Thoughts (RGoT) voor, een geautomatiseerde aanpak die Reinforcement Learning (RL) gebruikt om adaptief een graf van bewerkingen te genereren vanuit een door de mens gedefinieerde set beschikbare bewerkingen.

Kerncomponenten van het Kader

Het systeem ontkoppelt de Graf van Bewerkingen (GoO) van de Graf van Gedachten (GoT):

Graf van Bewerkingen (GoO): Een gerichte acyclische graf (DAG) die de volgorde en structuur van bewerkingen definieert. Deze is beperkt door een maximale diepte ( $d_{max}$ ) en breedte ( $b_{max}$ ). Om convergentie te waarborgen, wordt een divergentie-afkapdiepte ( $d_{\neg div}$ ) afgedwongen, waarna de graf moet convergeren naar een enkele sink.
Graf van Gedachten (GoT): De daadwerkelijke uitvoeringstrace waarbij LLM-gedachten worden gegenereerd. Elke gedachte verwijst naar de bewerking die deze heeft gegenereerd.
Bewerkingen: Gedefinieerd als Prompt-bewerkingen (LLM-aanroepen) of Uitvoeringsbewerkingen (programmatieke functies). Een Score-bewerking evalueert de kwaliteit van een gedachte en retourneert een numerieke score.

Formulering van Reinforcement Learning

De RGoT-agent opereert binnen een aangepaste RL-omgeving om de GoO laag voor laag te construeren.

Toestandruimte ( $S$ ): Een samenstelling van discrete ruimtes, waaronder huidige grafdiepte, breedte, taakcomplexiteit, lokale complexiteit, de volgorde van bewerkingen in de huidige graf, eerdere acties en de vorige score.
Actieruimte ( $A$ ): Discrete acties waaronder stop (einde grafconstructie), backtrack (de sink-laag verwijderen) en append(o) (een nieuwe laag toevoegen met bewerking $o$ ).
Beloningsfunctie: Ontworpen via beloningsvorming om excessive diepte te bestraffen, geldige bewerkingen te belonen en een aanzienlijke positieve beloning te geven voor het succesvol oplossen van de taak (eindtoestand).
Simulatie: Om de hoge kosten van training met echte LLM-aanroepen te mitigeren, wordt het gedrag van de LLM gesimuleerd. De succeskans van een bewerking bij een gegeven complexiteit $c$ wordt gemodelleerd als een Bernoulli-experiment met kans $P(c)$ , empirisch geschat door de doel-LLM (bijv. gpt-3.5-turbo-0125) 100 keer per complexiteitsniveau te prompten.

Experimentele Opstelling

De auteurs hebben RGoT geëvalueerd op vijf taken:

Som Lijst: Het optellen van een lijst met gehele getallen (hoofdvoorbeeld).
Sorteer Lijst: Het sorteren van gehele getallen.
Sneid Set: Het vinden van doorsneden van verzamelingen.
Tel Sleutelwoorden: Het tellen van het voorkomen van sleutelwoorden in tekst.
Voeg Documenten Samenvoegen: Het samenvoegen van documenten terwijl retentie wordt gemaximaliseerd en redundantie wordt geminimaliseerd.

De experimenten maakten gebruik van het Proximal Policy Optimization (PPO)-algoritme met een netwerkarctitectuur van 2 lagen (64 eenheden). De agenten werden getraind op een specifiek bereik van complexiteiten en vervolgens geëvalueerd op zowel in-distributie- als out-of-distributie-instanties (hogere complexiteit).

Belangrijkste Resultaten

Adaptieve Constructie: De RL-agenten leerden succesvol grafen van bewerkingen te construeren die zich aanpassen aan taakcomplexiteit. Naarmate de complexiteit toenam, verhoogden de agenten automatisch de vertakking (divergentie) en diepte van de graf om het probleem te decomponeren; een gedrag dat niet expliciet geprogrammeerd was maar geleerd werd via het beloningssignaal.
Prestaties versus Baseline: RGoT-agenten presteerden aanzienlijk beter dan de standaard Input-Output (IO) promptingsbaseline. Waar IO-strategieën faalden naarmate de complexiteit toenam boven de directe capaciteit van de LLM, handhaafden RGoT-agenten hoge successpercentages door taken te decomponeren.
Generalisatie: De agenten toonden het vermogen om out-of-distributie complexiteiten op te lossen (complexiteiten hoger dan die tijdens training werden gezien), met een totaal gemiddeld opgelost percentage van $0.7512 \pm 0.1089$ .
Variantie: De auteurs observeerden variantie in de prestaties van agenten over verschillende random seeds, met name in out-of-distributie gebieden. Dit wordt toegeschreven aan het schaarse beloningssignaal bij hoge complexiteiten en de on-policy aard van PPO, wat het vermogen van de agent beperkt om zich te herstellen van vroege suboptimale trajecttoewijzingen.

Betekenis en Claims

Het artikel claimt het eerste werk te zijn dat een geautomatiseerde aanpak presenteert voor het construeren van een graf van gedachten door het genereren en traverseren van een graf van bewerkingen, zonder afhankelijk te zijn van het vermogen van het taalmodel om te plannen of de eigenschappen van de taak te begrijpen.

Belangrijke bijdragen zijn:

Automatisering van GoT: Het verwijderen van de behoefte aan handmatige grafdefinitie, waardoor het GoT-paradigma toegankelijker wordt voor gebruikers die alleen de set beschikbare bewerkingen hoeven te definiëren.
Aanpasbaarheid: Het aantonen dat een geautomatiseerde agent de redeneertopologie dynamisch kan aanpassen op basis van invoercomplexiteit, waardoor de stijfheid van statische grafen wordt overwonnen.
Modelonafhankelijkheid: Het kader is onafhankelijk van de specifieke gebruikte LLM. Door de succeskansen van de LLM te simuleren, kan het systeem kosteneffectief worden getraind en toegepast op diverse modellen, inclusief die met verschillende capaciteitsbereiken.
Complementariteit: De auteurs merken op dat RGoT (het structureren van de redeneertopologie) complementair is aan Knowledge Graph of Thoughts (KGoT), dat extern opgehaalde kennis structureert, wat potentie suggereert voor gecombineerde toekomstige toepassingen.

De auteurs behouden een bescheiden toon, waarbij ze erkennen dat hoewel de aanpak veelbelovend is onder specifieke beperkingen en voor gedefinieerde taken, de variantie in prestaties en de afhankelijkheid van simulatie voor training gebieden blijven die aandacht vereisen. Ze claimen geen universele superioriteit boven alle promptingsmethoden, maar benadrukken de specifieke bruikbaarheid van adaptieve, geautomatiseerde grafconstructie voor complexe, decomposeerbare taken.