💬 NLP

Deep Reasoning in General Purpose Agents via Structured Meta-Cognition

Het artikel introduceert Deep Reasoning, een meta-cognitief raamwerk dat is geïmplementeerd in het DOLOLES-agent en dat tijdens de inferentie dynamisch taakspecifieke redeneringssteigers construeert, waardoor het prestaties opent die de state-of-the-art-methoden op diverse complexe benchmarks overtreffen en zelfs schaalverschillen tussen kleinere en grotere modellen overbrugt.

Oorspronkelijke auteurs: Dean Light, Michael Theologitis, Kshitish Ghate, Shuyue Stella Li, Benjamin Newman, Chirag Shah, Aylin Caliskan, Pang Wei Koh, Dan Suciu, Yulia Tsvetkov

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dean Light, Michael Theologitis, Kshitish Ghate, Shuyue Stella Li, Benjamin Newman, Chirag Shah, Aylin Caliskan, Pang Wei Koh, Dan Suciu, Yulia Tsvetkov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer ingewikkeld raadsel op te lossen, zoals het uitvinden welke volleybalbaan in San Francisco de meeste tie-break-wedstrijden heeft gehost.

De Oude Manier (Huidige AI-agenten):
Beschouw huidige AI-agenten als een enkele, overwerkte detective die een stijve handleiding heeft gekregen. De handleiding zegt: "Stel eerst een vraag. Zoek vervolgens een antwoord op. Schrijf tenslotte een conclusie."
Als de detective vastloopt op stap twee, of als het raadsel vereist dat ze halverwege hun strategie veranderen, raken ze vaak in paniek. Ze proberen te veel in één keer te doen, raken in de war, verzinnen dingen (hallucineren) of geven helemaal op, omdat de mentale last te zwaar is voor één persoon om te dragen.

De Nieuwe Manier (Diep Redeneren & DOLORES):
Het artikel introduceert een nieuw systeem genaamd DOLORES. In plaats van dat één detective alles alleen probeert te doen, fungeert DOLORES als een briljante projectmanager die weet hoe ze een enorm, angstaanjagend probleem moet opsplitsen in kleine, hanteerbare stukjes.

Hier is hoe het werkt, met eenvoudige analogieën:

1. De "Just-in-Time" Blauwdruk

De meeste AI-systemen hebben een vast plan (een steigerwerk) dat is opgebouwd voordat ze het probleem zelfs maar zien. Het is als een fabrieksassemblagelijn die alleen is ontworpen voor het maken van rode auto's. Als je een blauwe vrachtwagen binnenbrengt, breekt de lijn.

DOLORES is anders. Het maakt gebruik van Diep Redeneren, wat vergelijkbaar is met het hebben van een meester-architect die naar het specifieke raadsel kijkt dat je op dit moment hebt en ter plekke een aangepaste blauwdruk tekent. Het volgt geen vooraf geschreven script; het bedenkt de beste manier om dit specifieke probleem op te lossen terwijl het gaande is.

2. De Drie Superkrachten

Het artikel legt uit dat mensen goed zijn in het oplossen van problemen omdat we schakelen tussen verschillende denkwijzen. DOLORES nabootst dit door drie distincte "tools" te gebruiken:

De Intuïtieve Detective (Associatief Redeneren): Dit is het deel dat gebruikmaakt van buikgevoel en patroonherkenning. Bijvoorbeeld, weten dat "City by the Bay" "San Francisco" betekent zonder een woordenboek nodig te hebben. DOLORES gebruikt hiervoor een LLM (een groot taalmodel).
De Rekenmachine (Formeel Redeneren): Dit is het deel dat strikte regels volgt. Als je een lijst met scores hebt zoals "3-2, 3-0, 2-3", telt de rekenmachine ze exact. DOLORES gebruikt hiervoor computercode (Python), omdat computers perfect zijn in wiskunde en logica.
De Projectmanager (Meta-Redeneren): Dit is de baas. Het kijkt naar het hele plaatje en zegt: "Oké, eerst moeten we de stad vinden (Intuïtief), dan moeten we de banen opsommen (Intuïtief), dan moeten we de scores tellen (Rekenmachine), en tot slot kiezen we de winnaar."

3. Het Doorbreken van de "Cognitieve Last"

Het grootste probleem met huidige AI is dat het probeert deze drie stappen in één grote hersenstort te doen. Het is alsof je één persoon vraagt om een telefoonnummer te onthouden, lange deling te doen en een gedicht te schrijven, allemaal tegelijk. Ze zullen falen.

DOLORES lost dit op door te delegeren.

Het vraagt de "Intuïtieve Detective" om de stad te vinden.
Het neemt dat antwoord en geeft het door aan een "Rekenmachine" om de wiskunde te doen.
Het houdt de "Projectmanager" verantwoordelijk voor de stroom.

Door het werk op te splitsen in kleine, aparte draden, raakt geen enkel deel van het systeem overbelast. Dit voorkomt dat de AI "hallucineert" (dingen verzint) of te vroeg opgeeft.

4. Leren van Menselijke "Sporen"

Hoe weet DOLORES hoe ze deze blauwdrukken moet bouwen? Het leert van mensen.
De onderzoekers namen voorbeelden van hoe een mens zou praten terwijl ze een probleem oplossen (bijvoorbeeld: "Eerst ga ik de stad uitvinden, dan zal ik de banen opsommen..."). Ze vertaalden deze menselijke gedachten naar een speciale "taal" die de AI kan begrijpen.
Het is alsof je een robot leert door haar een video te laten zien van een menselijke chef die groenten snijdt, en vervolgens tegen de robot te zeggen: "Doe precies wat je zag, maar split het op in deze specifieke stappen."

De Resultaten

Het artikel testte DOLORES tegen de beste huidige AI-methoden op vier zeer moeilijke tests (zoals het vinden van informatie in enorme documenten of het oplossen van meerstaps logische raadsels).

Het Resultaat: DOLORES won bijna elke keer, zelfs wanneer het een kleiner, goedkoper computermodel gebruikte (8 miljard parameters) dat veel grotere, duurdere modellen (32 miljard parameters) versloeg die door de andere methoden werden gebruikt.
Waarom? Omdat het kleinere model, wanneer geleid door DOLORES's slimme "Projectmanager", niet de volledige last van het probleem op zijn eigen schouders hoefde te dragen. Het hoefde alleen maar kleine, makkelijke stukjes te dragen.

Samenvattend:
Het artikel beweert dat we door AI leren te handelen als een menselijke projectmanager – grote problemen opsplitsen in kleine, specifieke taken en schakelen tussen "buikgevoel" en "strikte wiskunde" waar nodig – AI veel slimmer, betrouwbaarder en minder foutgevoelig kunnen maken, zelfs als de AI zelf niet het grootste of krachtigste beschikbare model is.

Technische Samenvatting: Diep Redeneren in Algemene Agenten via Gestructureerde Meta-Cognitie

Probleemstelling

Huidige Large Language Model (LLM)-agenten vertrouwen op vaste inferentiepatronen (steigers) zoals ReAct, CodeAct of Deep Research. Hoewel deze effectief zijn wanneer de taakstructuur overeenkomt met de vooraf gedefinieerde decompositie van de steiger, missen deze systemen flexibiliteit. Ze "hard-coden" redeneerbeslissingen vooraf, waardoor ze breekbaar worden wanneer het oplossen van taken het aanpassen van de redeneerstructuur zelf vereist. Bovendien vertonen LLM's vaak "oppervlakkig redeneren", waarbij ze het onderliggende denkproces niet betrouwbaar bijhouden, wat leidt tot voortijdige beëindiging en hallucinaties wanneer de cognitieve last de capaciteit van één contextdraad overschrijdt. Mensen daarentegen lossen complexe problemen op via meta-redeneren: een flexibel proces van het modelleren van taken, het selecteren van strategieën, het decomponeren van problemen in hanteerbare stappen, en het afwisselen van associatieve (intuïtieve) en formele (regelgebaseerde) redeneermodi.

Methodologie: Diep Redeneren en DOLORES

Het artikel introduceert Diep Redeneren, een formele taal en een aanpak tijdens de inferentie die is ontworpen om taakspecifieke steigers te construeren via gestructureerd meta-redeneren. Deze aanpak wordt geïnstancierd in een algemene agent genaamd DOLORES (Deep Layered Reasoning Scaffold).

1. De Taal van Diep Redeneren

De auteurs formaliseren menselijke meta-redeneersporen in een taal die werkt over drie orthogonale dimensies:

D1: Associatief vs. Formeel: Onderscheidt tussen redeneren gebaseerd op intuïtie/associatie (afgehandeld door LLM's) en redeneren gebaseerd op expliciete regels/logica (afgehandeld door formele interpreters zoals Python).
D2: Object vs. Meta: Scheidt redeneren over de inhoud van het probleem (objectniveau) van redeneren over de probleemoplossingsstrategie (metaniveau).
D3: Atomair vs. Monolithisch: Decomponeert cognitief veeleisend meta-redeneren in composeerbare atomaire eenheden die over verschillende contextdraden kunnen worden verdeeld.

De taal definieert specifieke interpreters:

$A$ (Associatieve Interpreter): Een LLM die ambigu of intuïtieve taken afhandelt (bijv. "The City by the Bay" $\to$ "San Francisco").
$E$ (Formele Interpreter): Een deterministische uitvoerder (bijv. Python) die regelgebaseerde taken afhandelt (bijv. tellen, sorteren, regex-matchen).
$m$ (Modelfunctie): Een LLM die een taakzin decomposeert in een formeel model (een reeks $A$ , $E$ en recursieve $ID$-aanroepen).
$ID$ (Diep Redeneren Agent): De recursieve agent die het gedecomposeerde model uitvoert.

2. De DOLORES Agent Architectuur

DOLORES operationaliseert de taal van Diep Redeneren door taken recursief te decomponeren:

Invoer: Een natuurlijke taal-taak $x$ .
Decompositie: De modelfunctie $m$ (een LLM) converteert $x$ naar een atomair formeel model met behulp van in-context voorbeelden afgeleid van menselijke meta-redeneersporen.
Uitvoering: De formele interpreter $E$ (Python) voert het model uit. Het kan $A$ (LLM-aanroepen) oproepen voor associatieve stappen en recursief $ID$ (DOLORES zelf) oproepen voor sub-problemen.
Stroombesturing: De agent draait in een Read-Eval-Print Loop (REPL)-omgeving, waardoor het variabelen kan opslaan, inspecteren en hergebruiken over stappen heen. Cruciaal: recursieve aanroepen naar $ID$ draaien in aparte REPL-omgevingen, waardoor de cognitieve last wordt verdeeld over meerdere draden in plaats van één context te overbelasten.

3. In-Context Leren

In plaats van het model te trainen om decompositiestrategieën te leren, gebruikt DOLORES in-context voorbeelden. Deze voorbeelden worden gegenereerd door menselijke meta-redeneersporen (verbaliseerde denkprocessen) te formaliseren in de taal van Diep Redeneren. De agent gebruikt deze few-shot voorbeelden om zijn eigen decompositie van nieuwe taken tijdens het testen te sturen.

Belangrijkste Bijdragen

De Taal van Diep Redeneren: Een formele taal voor het vastleggen van menselijke meta-redeneersporen, waardoor de vertaling van intuïtieve menselijke decompositiestrategieën naar uitvoerbare agent-steigers mogelijk wordt.
DOLORES Agent: Een algemene agent die deze taal gebruikt om dynamisch "just-in-time" steigers te construeren. Het verdeelt complexe taken over kleinere, gecontroleerde redeneerdraden terwijl afhankelijkheden behouden blijven.
Empirische Validatie: Uitgebreide evaluatie die aantoont dat het structureren van redeneren via meta-cognitie beter presteert dan vaste steigers.

Experimentele Resultaten

De auteurs evalueerden DOLORES tegen state-of-the-art baselines (ReAct, CodeAct, Deep Research en RLM's) over vier uitdagende benchmarks:

SynthWorlds: Gebonden multi-hop redeneren over synthetische kennisgrafieken.
PhantomWiki: Synthetische vraag-antwoord over lange ketens.
DeepSearchQA: Diep onderzoek-achtig informatieverwerven.
Oolong-(real): Aggregatie van lange context over real-world documenten (bijv. D&D-transcripten).

Prestaties:

DOLORES presteerde beter dan alle geëvalueerde steigers over vier benchmarks, drie modelgroottes (8B, 32B, 70B) en twee model families (Qwen3, Llama-3.3).
Gemiddeld verbeterde DOLORES de sterkste baseline met 24,8%.
Overbrugging van Schalingsgat: Een 8B-versie van DOLORES overtrof in meer dan de helft van de instellingen alle geëvalueerde 32B-baselines van dezelfde familie.
Foutanalyse: Baseline methoden faalden vaak door voortijdige beëindiging (78%) en hallucinaties (45%) veroorzaakt door het overbelasten van één LLM-contextdraad. DOLORES mitigeerde dit door de cognitieve last per draad te verlagen (71% minder redeneertokens per draad) en cognitie te verdelen over gestructureerde draden.

Ablatiestudies:

Het verwijderen van in-context decompositievoorbeelden veroorzaakte een prestatiedaling van ongeveer 70%.
Het vervangen van voorbeelden door natuurlijke taalprincipes (zonder voorbeelden) presteerde zelfs slechter, wat suggereert dat huidige LLM's vertrouwen op concrete voorbeelden om gestructureerd meta-redeneren operationeel te maken in plaats van abstracte regels.

Betekenis en Claims

Het artikel betoogt dat huidige LLM-steigers breekbaar zijn omdat ze de structuur van redeneren vastleggen voordat ze de taak zien. Door steigerbouw te behandelen als adaptief redeneren, construeert DOLORES de noodzakelijke structuur just-in-time. De auteurs beweren dat:

LLM's niet enkel moeten worden gezien als oppervlakkige experts die worden beheerd door glue-code, maar als associatieve redeneerprocessen die flexibel kunnen interageren met formele processen om robuuste meta-redeneersystemen te creëren.
Deze aanpak zelfs kleinere modellen (8B) in staat stelt om grotere modellen (32B) te overtreffen door de structuur van redeneren te optimaliseren in plaats van uitsluitend te vertrouwen op parameter-schaling.
De methode de drempel verlaagt voor domeinexperts om betrouwbare agenten te bouwen door expertise te coderen als een kleine set in-context decomposities in plaats van uitgebreide trainingsdata of complexe engineering te vereisen.

Het werk concludeert dat, hoewel de tokenkosten momenteel hoger zijn door gedistribueerd redeneren, het vermogen om schalingsgaten te overbruggen en hallucinaties te verminderen via gestructureerde meta-cognitie wijst op een toekomst waarin agentische systemen hun redeneerarchitectuur aanpassen aan de specifieke eisen van elke taak.