💬 NLP

How Much LLM Does a Self-Revising Agent Actually Need?

Deze paper introduceert een reflecterend runtime-protocol dat agentgedrag ontleedt in inspecteerbare componenten, waarbij experimenten aantonen dat expliciete wereldmodelplanning en symbolische reflectie de prestaties aanzienlijk verbeteren, terwijl de toevoeging van LLM-herziening slechts een beperkt en niet-monotoon effect heeft.

Oorspronkelijke auteurs: Seongwoo Jeong, Seonil Son

Gepubliceerd 2026-04-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seongwoo Jeong, Seonil Son

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernvraag: Hoeveel "Hersenen" (LLM) heeft een slimme robot echt nodig?

Stel je voor dat je een zeer slimme robot bouwt die een spelletje Battleship (Scheepsgevecht) speelt. Vaak doen onderzoekers dit door de robot één grote "super-LLM" (een AI die alles kan) te geven. Die AI doet dan alles: hij denkt na over waar de schepen liggen, maakt een plan, en controleert zichzelf als hij een fout maakt.

Het probleem hiermee is dat het een zwarte doos is. Je ziet niet wat er gebeurt. Is de robot slim omdat de AI zo goed is, of omdat de regels van het spel slim zijn opgezet?

De auteurs van dit papier zeggen: "Laten we die zwarte doos openmaken." Ze willen precies meten hoeveel werk de AI doet en hoeveel werk de vaste regels doen.

De Vergelijking: De Chef-kok en de Keukenassistent

Om dit te begrijpen, kun je het vergelijken met een sterke keuken:

De AI (LLM) is de Chef-kok. Hij is creatief, kan improviseren en nieuwe dingen bedenken, maar hij is traag en kost veel geld (rekenkracht).
De Vaste Structuur (De Agent) is de Keukenassistent met een strakke receptenkaart. Hij weet precies wat hij moet doen, is snel en goedkoop.

De vraag van het onderzoek is: "Hoe vaak moeten we de Chef-kok echt roepen om iets te doen, en kunnen we de rest gewoon door de Assistent laten regelen?"

Hoe hebben ze dit onderzocht?

Ze hebben een nieuw systeem gebouwd waar de "Assistent" en de "Chef" duidelijk gescheiden zijn. Ze hebben vier versies van hun robot gebouwd, van simpel tot complex:

De Blinde Schutter (Basis): Een robot die puur gokt op basis van waarschijnlijkheid. Hij denkt niet na, hij schiet gewoon.
De Planner (Met een Kaart): De robot heeft nu een kaart (een wereldmodel). Hij denkt vooruit: "Als ik hier schiet, wat gebeurt er dan?" Hij gebruikt geen AI, alleen logische regels.
De Reflecterende Robot (Zelfcorrectie): Deze robot heeft een systeem dat zegt: "Hé, ik maak veel fouten, ik moet mijn plan aanpassen." Dit gebeurt puur symbolisch (met regels), zonder de AI in te schakelen.
De Robot met AI-Backup: Dezelfde robot, maar als hij echt vastloopt, mag hij de Chef-kok (AI) bellen voor een advies.

Wat vonden ze? (De Resultaten)

Hier zijn de belangrijkste ontdekkingen, vertaald naar onze keuken-vergelijking:

1. Een goede kaart is belangrijker dan een slimme kok
De grootste winst kwam niet van de AI, maar van het hebben van een goed wereldmodel (de kaart).

Vergelijking: Een kok die blindelings probeert te koken, maakt veel fouten. Maar een assistent met een perfecte receptenkaart en een tijdsplanning wint veel vaker.
Resultaat: De robot met de "kaart" won 24% vaker dan de robot zonder kaart. De AI was hier nog niet eens nodig!

2. Zelfreflectie werkt, maar moet goed afgesteld zijn
De robot die zichzelf controleerde (zonder AI) deed het soms heel goed, maar soms ook slecht.

Vergelijking: Het is alsof de assistent soms zegt: "Ik denk dat ik de pan moet omdraaien!" Soms is dat een briljant idee dat het spel redt. Maar soms roept hij het ook als het niet nodig is, waardoor hij de pan verbrandt.
Resultaat: Het mechanisme werkt, maar de regels moeten nog fijner worden afgesteld. Het is niet altijd een winnaar, maar het is wel een bruikbaar hulpmiddel.

3. De AI (Chef-kok) is niet altijd nodig en kan zelfs storend zijn
Toen ze de AI toevoegden om alleen te helpen als het echt nodig was (in slechts 4% van de gevallen), gebeurde er iets verrassends:

Het resultaat werd niet beter. Sterker nog, de winstpercentage daalde zelfs iets.
Vergelijking: Het is alsof je de Chef-kok roept om te zeggen: "Doe de potloden in de lade." De assistent had dat ook kunnen doen. De Chef-kok komt dan, praat erover, en vergeet misschien dat je eigenlijk een andere taak had (zoals vragen stellen in het spel). De AI verstoort soms de flow van de slimme assistent.
Conclusie: De AI helpt lokaal (bij het vinden van een schip), maar kan het grotere plan (het hele spel winnen) verstoren.

De Grote Les

De belangrijkste boodschap van dit papier is niet dat ze de beste robot hebben gemaakt, maar dat ze een nieuwe manier van kijken hebben bedacht.

Ze laten zien dat we niet hoeven te vertrouwen op een "magische AI" die alles doet. In plaats daarvan moeten we:

Duidelijke regels maken (de wereldstructuur).
Slimme zelfcontrole bouwen (symbolische reflectie).
De AI alleen gebruiken als laatste redmiddel (voor de dingen die de regels niet kunnen oplossen).

Samengevat:
Je hebt geen supercomputer nodig om elke seconde na te denken. Je hebt een goed systeem nodig dat zelf kan nadenken, en je gebruikt de dure, slimme AI alleen als het systeem echt vastloopt. Door dit te scheiden, kunnen we precies zien wat er werkt en wat niet, in plaats van te gissen in het donker.

Titel: Hoeveel LLM heeft een zichzelf herziende agent eigenlijk nodig?

Ondertitel: Empirische decompositie van wereldmodelleren, reflectie en spaarzame LLM-revisie.

1. Het Probleem

Recente agenten op basis van Large Language Models (LLM) integreren vaak wereldmodelleren, planning en reflectie in één enkele loop binnen het taalmodel. Hoewel dit tot capabel gedrag kan leiden, maakt het een fundamentele wetenschappelijke vraag moeilijk te beantwoorden: welk deel van de competentie van de agent komt daadwerkelijk van het LLM, en welk deel van de expliciete structuur eromheen?

In de praktijk zijn prompts, latente redeneringen en externe controlelogica vaak verweven. Het paper stelt dat er behoefte is aan een methode om deze componenten empirisch te ontwarren en de marginale bijdrage van het LLM te isoleren.

2. Methodologie

De auteurs introduceren een aangekondigd reflectief runtime-protocol (declared reflective runtime protocol) dat agent-toestand, vertrouwenssignalen, beveiligde acties en hypothetische transities externaliseert naar een inspecteerbare runtime-structuur.

Kerncomponenten van het protocol:

Expliciete staat: Wereldtoestand, voorspellingrecords, fout-tracking en beleidsparameters.
Berekende vertrouwenssignalen: Modelvertrouwen en revisie-geschiktheid die deterministisch worden afgeleid uit de staat.
Beveiligde acties (Guarded actions): Acties die alleen uitgevoerd mogen worden als aan specifieke precondities is voldaan (bijv. lage vertrouwensgraad gedurende meerdere beurten).
Hypothetische transities: Simulatie van toekomstige toestanden (sim.next()) voor evaluatie voordat een actie wordt uitgevoerd.

De Agent-Familie (Experimentele Opstelling):
De auteurs evalueren vier progressief gestructureerde agenten op een ruwe versie van het spel Collaborative Battleship (8x8 bord, 14 schipcellen, ruis $\epsilon=0.1$ ) over 54 spellen (18 borden x 3 zaden):

Greedy+MCMC: Een baseline die een posterior (500 deeltjes) bijhoudt en schiet op de meest waarschijnlijke cel. Geen vragen, geen revisie.
WMA (World-Model Agent): Voegt expliciete wereldmodelplanning toe met sim.next() evaluatie voor schieten en het stellen van vragen binnen een begroting.
MRA (Symbolic Reflective Agent): Voegt een "voorspel-vergelijk-reviseer"-loop toe met symbolische revisie-presets (bijv. ROI-collaps, cluster-cleanup) zonder LLM-beroep.
MRA-LLM: Dezelfde reflectieve protocol, maar kan bij lage vertrouwen de revisie delegeren aan een lokaal 9B LLM. De frequentie van LLM-gebruik is een afhankelijke variabele van de vertrouwensdrempel.

3. Belangrijkste Bijdragen

Protocol voor Externalisatie: Een protocol dat reflectie omzet van een "latent prompt-patroon" naar een expliciete, inspecteerbare runtime-structuur met beveiligde acties.
Empirische Decompositie: Het scheiden van vier lagen van agent-competentie (geloofstracking, wereldmodelplanning, symbolische reflectie en spaarzame LLM-revisie) binnen één agentfamilie.
Meetbaarheid: Het maken van de marginale rol van LLM-interventie meetbaar en afbreekbaar, in plaats van het te beschouwen als een monolithisch geheel.

4. Resultaten

RQ1: Wat levert expliciete wereldmodellen op?

Het toevoegen van wereldmodelplanning (WMA) aan de baseline (Greedy+MCMC) resulteert in een aanzienlijke verbetering: +24,1% winpercentage (van 50% naar 74,1%) en een kleine stijging in F1-score (+0,017).
De asymmetrie tussen de bescheiden F1-stijging en de grote winst in winpercentage suggereert dat geplande vragen een "laatste mijl"-functie hebben: ze zetten kant-en-klare spellen om in overwinningen zonder de algehele doelwitrekening drastisch te veranderen.

RQ2: Kan een agent symbolisch zelf-reviseren zonder LLM?

De symbolische reflectie (MRA) bestaat als een echt runtime-mechanisme, maar de huidige presets zijn niet netto-positief in de aggregate (gemiddelde winst daalde licht van 57,4% naar 55,6% bij het inschakelen van revisie).
Echter, in specifieke gevallen (bijv. bord B17) is het mechanisme beslissend en redt het de agent van verlies. Dit toont aan dat het mechanisme werkt, maar dat de regels (presets) nog ge-calibreerd moeten worden.

RQ3: Hoeveel LLM is er nodig?

Het toevoegen van conditionele LLM-revisie (MRA-LLM) bij ongeveer 4,3% van de beurten levert slechts een kleine, niet-monotone verandering op.
De gemiddelde F1-score stijgt licht (+0,005), maar het winpercentage daalt (van 31 naar 29 overwinningen).
Conclusie: LLM-revisie verbetert lokaal de doelwitrekening (F1), maar kan de spelstrategie (vraagbegroting en beurtverdeling) verstoren, wat leidt tot minder overwinningen.

5. Betekenis en Conclusie

De belangrijkste bijdrage van dit werk is methodologisch in plaats van een claim op een nieuwe state-of-the-art score.

Externalisatie van Reflectie: Door reflectie te externaliseren naar een aangekondigde runtime-structuur, verandert de vraag "hoeveel LLM heeft een agent nodig?" van een onoplosbare verwarring in een meetbare decompositie.
Ontwerpprincipe: De auteurs stellen een ontwerpprincipe voor: "Declareer wat je kunt, reflecteer symbolisch waar mogelijk, en bewaar het LLM voor de rest die het aangekondigde substraat niet kan oplossen."
Diagnose: Het maakt het mogelijk om falen te diagnosticeren (bijv. onderscheid maken tussen een fout in het wereldmodel en een fout in de revisiestrategie), wat onmogelijk is bij een "black-box" LLM-loop.

Samenvattend toont het paper aan dat expliciete planning de grootste winst oplevert, dat symbolische reflectie een bruikbaar mechanisme is dat nog kalibratie nodig heeft, en dat spaarzame LLM-interventie een beperkte, meetbare en soms zelfs contraproductieve rol kan spelen in deze specifieke context.