💻 computer science

Towards Improving Sequential Decision-Making in LLM Agents via Experience Memory

Dit artikel onderzoekt de suboptimale prestaties van grote taalmodellen bij sequentiële besluitvormingstaken zoals zero-sum games en stelt een agentisch framework voor met een ervaringengeheugen dat gebruikmaakt van reflectie na het spel en regelextractie om strategisch spel te verbeteren zonder de modelgewichten aan te passen.

Oorspronkelijke auteurs: Jakub Rada (AI Center, Department of Computer Science, Faculty of Electrical Engineering, Czech Technical University in Prague), Viliam Lisý (AI Center, Department of Computer Science, Faculty of Elec

Gepubliceerd 2026-08-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jakub Rada (AI Center, Department of Computer Science, Faculty of Electrical Engineering, Czech Technical University in Prague), Viliam Lisý (AI Center, Department of Computer Science, Faculty of Electrical Engineering, Czech Technical University in Prague)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, erudiete robot probeert te leren hoe hij een spelletje moet spelen. Je geeft het een bibliotheek met elk ooit geschreven boek, en het kan poëzie reciteren, complexe wiskundige problemen oplossen en code schrijven. Maar wanneer je het naast een bord zet voor een simpel spelletje zoals Boterkaas-en-eieren, maakt het stomme fouten. Het maakt een zet die aan de oppervlakte goed lijkt, maar waardoor het vijf zetten later het spel verliest. Dit is de wereld van Large Language Models (LLM's): superintelligente AI die kan praten en redeneren, maar soms worstelt wanneer het een reeks beslissingen moet nemen waarbij één slechte zet alles verpest.

De grote vraag die onderzoekers stellen is: Waarom gebeurt dit? Is de robot slecht in het doordenken van de stappen op het moment zelf? Of is het gewoon "hallucinerend" omdat het probeert een spel te herinneren dat het in een boek heeft gezien, maar de logica er niet echt van begrijpt? Om dit te ontdekken, gebruiken wetenschappers sequentiële besluitvorming, wat gewoon een chique manier is om te zeggen: "een keten van keuzes maken waarbij het resultaat van de ene keuze de situatie voor de volgende keuze verandert." Ze testen dit in zero-sum games (nulsomspellen), zoals schaken of dammen, waarbij de winst van de ene speler het verlies van de andere is. Deze spellen zijn perfect om dit te testen omdat de regels strikt zijn en we wiskunde kunnen gebruiken om precies te weten wat de "perfecte" zet is. Als een robot niet kan winnen van een perfect computerprogramma bij Boterkaas-en-eieren, dan is er iets mis met zijn brein.

Het Puzzelstukje van de Redeneer-bottleneck

In dit onderzoek besloten onderzoekers van de Tsjechische Technische Universiteit in Praag de beer te provoceren. Ze namen de slimste beschikbare AI-modellen — variërend van efficiënte, kleinere modellen tot "frontier" giganten zoals GPT-5.4 en Gemini 3.1 Pro — en daagden ze uit om simpele spellen te spelen: Boterkaas-en-eieren, Nim (een spel met stenenstapels) en Connect Four.

De resultaten waren een beetje beschamend voor de AI. Zelfs de meest geavanceerde modellen, die competitieniveau wiskundeproblemen kunnen oplossen, speelden suboptimaal. In Boterkaas-en-eieren, waarbij een menselijk kind binnen een middag kan leren om nooit te verliezen, maakten deze AI-modellen vier tot twaalf fouten per honderd zetten. In Connect Four verloren de "frontier" modellen bijna elk spel tegen een standaard computertegenstander, waarbij ze vaak al binnen de eerste tien zetten instortten in een spel dat veertig zetten zou moeten duren.

De onderzoekers wilden weten: Vergeet de AI het spel gewoon? Misschien probeert het een strategie te herinneren die het in zijn trainingsdata heeft gezien, maar ziet het spel er net iets anders uit, waardoor de AI in de war raakt. Om dit te testen, speelden ze een trucje met de AI. Ze hielden het spel eronder exact hetzelfde, maar veranderden de "huid" aan de buitenkant. Ze veranderden Boterkaas-en-eieren in een "Magisch Vierkant" waarbij je wint door drie getallen te kiezen die samen 15 vormen, of ze vertelden een "Verhaal" over het oversteken van een rivier.

Hier is de wending: De AI werd niet veel beter of slechter. Zelfs toen het spel werd vermomd als een wiskundepuzzel of een verhaal, maakte de AI nog steeds evenveel fouten. Dit suggerekt dat het probleem niet is dat de AI een memoriseerde strategie vergeet of de regels niet begrijpt; het is dat de AI een redeneer-bottleneck heeft op het moment zelf. Het is als een student die een geschiedenisboek kan reciteren en de logica perfect begrijpt, maar bevriest wanneer hij ter plekke gevraagd wordt een simpele logische puzzel op te lossen omdat hij de huidige situatie niet kan verbinden met de juiste volgende stap. De kloof tussen wat de AI weet en wat het kan doen in een veranderende omgeving is reëel en hardnekkig.

De Oplossing: Een "Reflectief" Notitieblok

Omdat het hertrainen van deze enorme AI-modellen duur en riskant is (het kan ervoor zorgen dat ze vergeten hoe ze code schrijven of spreken), vroegen de onderzoekers: Kunnen we de AI helpen zonder haar brein te veranderen?

Ze bouwden een nieuw framework genaamd REAPER (Reflective Experiental Agent with Periodic Extraction of Rules). Denk aan REAPER niet als een nieuw brein, maar als een slim notitieblok en een strenge coach die naast de AI zit.

Zo werkt het:

Het Spel: De AI speelt een spel tegen een tegenstander.
De Reflectie: Nadat het spel eindigt, kijkt de AI niet alleen naar de eindscore (Winst/Verlies). In plaats daarvan dwingt het REAPER-systeem de AI om naar elke enkele zet te kijken die het heeft gemaakt. Het vraagt: "Was deze zet goed voor het bord op dat moment? Hielp het mij om te winnen, of benadeelde het mij?"
De Credit Assignment (Toeschrijving van krediet): Dit is het magische deel. In een normaal spel, als je verliest, denk je misschien dat elke zet slecht was. Maar REAPER zegt: "Wacht, je maakte in het midden een geweldige zet, ook al verloor je uiteindelijk." Het geeft krediet voor goede zetten en schuld voor slechte zetten, zelfs als het eindresultaat een verlies was.
Het Regelboek: Elke paar spellen neemt REAPER al deze reflecties en schrijft ze op als eenvoudige regels in natuurlijke taal. In plaats van alleen te onthouden "Zet X was goed op deze specifieke plek," leert het: "Als de tegenstander een hoek bedreigt, blokeer deze."
De Lus: De AI speelt opnieuw, maar leest dit keer zijn eigen notitieblok met regels en eerdere fouten voordat hij een zet doet.

De Resultaten: Slimmer, Niet Sterker

De onderzoekers testten dit op Boterkaas-en-eieren met een kleiner, efficiënt AI-model (GPT-5 nano). De resultaten waren duidelijk:

De Baseline: Zonder het notitieblok speelde de AI slecht en maakte het veel fouten.
De "Originele" Poging: Ze probeerden een simpele versie van het notitieblok, maar het was te rommelig en de AI bleef vormfouten maken.
Het REAPER Succes: Met het volledige systeem van reflectie en regelextractie verbeterde de prestatie van de AI aanzienlijk. Het begon wedstrijden gelijk te spelen (de best mogelijke uitkomst tegen een perfecte tegenstander) in ongeveer 86,8% van de gevallen, vergeleken met 81,8% voor de verbeterde baseline.

Cruciaal is dat de AI niet opnieuw getraind hoefde te worden. Het leerde puur van zijn eigen ervaring, net zoals een menselijke speler die zijn eigen eerdere wedstrijden bestudeert om beter te worden. De onderzoekers ontdekten dat deze methode de AI niet alleen beter liet spelen, maar het maakte ook efficiënter: het gebruikte minder woorden (tokens) om zijn beslissingen te nemen, omdat het een duidelijke strategie had om te volgen.

Wat dit Betekent

Dit paper suggereert dat het probleem met AI in spellen niet is dat ze niet slim genoeg zijn om de regels te begrijpen; het is dat ze moeite hebben om een lange keten van acties te verbinden met een eindresultaat. Door hen een manier te geven om te reflecteren op hun fouten en algemene regels te extraheren uit specifieke spellen, kunnen we een onhandige speler veranderen in een strategische speler zonder ook maar één regel van hun code aan te passen.

De onderzoekers merken er voorzichtig bij op dat dit een simulatie is op simpele spellen. Ze beweren niet dat dit alle AI-problemen oplost of dat het al perfect zal werken in complexe, echte scenario's. Maar het bewijst een essentieel punt: Ervaringsgeheugen en zelfreflectie zijn krachtige instrumenten. Als we AI kunnen leren om terug te kijken naar wat ze hebben gedaan, hiervan te leren en de lessen op te schrijven, kunnen we agenten bouwen die niet alleen "denken" in een vacuüm, maar ook daadwerkelijk leren van de wereld om hen heen.

Technische Samenvatting: Naar het verbeteren van sequentiële besluitvorming in LLM-agenten via Ervaringsgeheugen

Probleemstelling

Hoewel Large Language Models (LLMs) substantiële verbeteringen hebben laten zien in single-shot redeneertaken, blijft hun prestatie in sequentiële besluitvorming slecht begrepen en vaak suboptimaal. Deze kloof is bijzonder zichtbaar in omgevingen die niet-stationair, adversarieel en voorzien van vertraagde beloningen zijn. Huidige benchmarks vertrouwen vaak op LLM-judges of proxy-metrieken die de kwaliteit van redeneren verwarren met oppervlakkige plausibiliteit, wat het moeilijk maakt om werkelijke strategische competentie te meten.

De auteurs onderzoeken deze kloof aan de hand van deterministische, perfecte-informatie, twee-speler zero-sum spellen (Tic-Tac-Toe, Nim en Connect Four). Deze domeinen bieden een grondwaarheid voor evaluatie waarbij uitkomsten regelgebaseerd zijn en de optimaliteit van zetten exact kan worden berekend. De studie toont aan dat zelfs frontier-modellen (bijv. GPT-5.4, Gemini 3.1 Pro) suboptimaal spelen in eenvoudige spellen en regelmatig verliezen van gematigde Monte Carlo Tree Search (MCTS) tegenstanders. Cruciaal is dat dit falen voortduurt, zelfs wanneer spelregels worden geobfusceerd om de onderliggende spelboom te behouden terwijl de oppervlakte-representatie verandert, wat suggereert dat het probleem niet louter een gebrek aan opgeslagen strategieën is, maar een fundamentele bottleneck in de redenering tijdens de besluitvorming.

Methodologie

1. Evaluatiekader: PlyBench

Om een breed spectrum aan spelers rigoureus te evalueren, hebben de auteurs PlyBench ontwikkeld, een modulair framework gebouwd op OpenSpiel.

Adapters: Het maakt gebruik van een Interface Adapter om OpenSpiel-toestanden/acties te vertalen naar een uniforme representatie en een LLM Adapter om dit om te zetten in tekstgebaseerde prompts.
Tegenstanders: Modellen worden getest tegen drie tegenstanders: Random, MCTS (met gebonden simulatiebudgetten) en een Optimale tegenstander (Minimax).
Obfuscatie: Het framework test robuustheid door oppervlakkige regeltransformaties toe te passen (bijv. het mappen van Tic-Tac-Toe naar een Magisch Vierkant of een narratief verhaal) die de spelboom behouden maar de natuurlijke taalbeschrijving veranderen.

2. Empirische Diagnose

De studie evalueerde modellen over drie capaciteitsniveaus (Efficient, Intermediate, Frontier).

Bevindingen: Efficient en Intermediate modellen misten 4–12 optimale zetten per 100 in Tic-Tac-Toe. Frontier-modellen waren bijna optimaal in Tic-Tac-Toe en Nim, maar stortten binnen 10 zetten in in Connect Four tegen MCTS.
Obfuscatie-resultaten: De prestaties bleven grotendeels invariant over obfuscaties. Modellen identificeerden de onderliggende game vaak nog steeds, zelfs met vermomde regels, maar maakten nog steeds fouten. Dit geeft aan dat fouten stabiele eigenschappen zijn van de interactie van het model met posities, in plaats van artefacten van specifieke representaties of eenvoudige recall-fouten.

3. Voorgestelde Oplossing: REAPER

Gesterkt door het onvermogen van standaard fine-tuning (vanwege kosten en het risico op regressie van capaciteiten) en de beperkingen van bestaande case-based reasoning methoden (ontworpen voor stationaire taken, niet voor adversariële sequentiële gameplay), introduceren de auteurs REAPER (Reflective Experiential Agent with Periodic Extraction of Rules).

REAPER is een agentic framework dat de LLM als primaire redeneerder behoudt, maar deze uitbreidt met een extern ervaringsgeheugen ontworpen voor sequentiële settings. Het pakt twee specifieke uitdagingen aan:

Credit Assignment: In sequentiële spellen zijn beloningen vertraagd tot het einde van de episode. Standaardmethoden wijzen een enkele terminale beloning toe aan de hele trajectorie. REAPER introduceert een Self-Reflector die de volledige trajectorie post-game analyseert om per-zet credit toe te wijzen. Het scoort zetten op twee assen: lokale kwaliteit (was de zet solide gegeven de staat?) en uitkomstbijdrage (hielp het bij het eindresultaat of schaadde het dat?). Dit maakt het mogelijk om een lokaal goede zet in een verloren spel als een positief voorbeeld te registreren.
Generalisatie: Om te voorkomen dat er alleen geleerd wordt van de ontmoete toestanden, bevat REAPER een Rule Extractor. Periodiek destilleert het de gereflecteerde gevallen tot een compacte set natuurlijke taal strategische regels. Deze regels worden in de prompt van de planner ingevoegd, waardoor de agent principes kan toepassen op ongeziene toestanden.

Het framework werkt via een Planner-Executor loop met gestructureerde JSON-communicatie om robuuste actie-parsing te garanderen, een functie die ontbreekt in standaard adaptaties van eerder werk zoals Memento.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op Tic-Tac-Toe met GPT-5 nano (medium reasoning effort) tegen een Optimale tegenstander.

Baseline Falen: Een directe port van het Memento framework (Original) slaagde er niet in een bruikbare agent te produceren vanwege parsing-fouten en breekbare formattering, wat resulteerde in een draw rate van 0%.
Engineered Baseline: Een verfijnde versie met gestructureerde outputs en geheugen-deduplicatie (Baseline) bereikte een gemiddelde draw rate van 0,818.
REAPER Prestaties: Het volledige REAPER framework, inclusief reflectie en regelextractie, verbeterde de gemiddelde draw rate naar 0,868. Deze winst was statistisch significant ( $p=0,018$ ) vergeleken met de Baseline.
Component Ablatie:
- Het toevoegen van regelextractie aan reflectie-alleen verbeterde de draw rate van 0,826 naar 0,868 ( $p=0,039$ ).
- Per-zet optimaliteit verbeterde van 0,959 naar 0,970 ( $p=0,027$ ).
Efficiëntie: Tegen de intuïtie in dat meer redeneren meer tokens vereist, verminderde REAPER het output tokengebruik per zet tijdens de training, eindigend onder zowel de Baseline als de single-call referentie. Dit suggereert dat de verbetering voortkomt uit nuttigere beslissingstijd-context in plaats van langere redeneersporen.

Betekenis en Claims

Het artikel claimt dat extern ervaringsgeheugen LLM-agenten kan verbeteren in sequentiële besluitvorming zonder de modelgewichten aan te passen.

Diagnose: De studie stelt vast dat de kloof in sequentiële redenering een persistente, representatie-invariante eigenschap is van huidige LLM's, en niet louter een falen van recall.
Mechanisme: Het demonstreert dat per-zet reflectie (het oplossen van het credit assignment probleem in settings met vertraagde beloningen) en regelextractie (generaliseren van specifieke gevallen) effectieve mechanismen zijn om deze kloof te dichten.
Praktische toepasbaarheid: De aanpak biedt een levensvatbaar pad voor het inzetten van betrouwbare autonome agenten in adversariële omgevingen zonder de prohibitieve kosten van het fine-tunen van frontier-modellen.

De auteurs blijven bescheiden over de schaalbaarheid en merken op dat hoewel REAPER succesvol is in eenvoudige, volledig observeerbare spellen, het een open vraag blijft hoe goed de aanpak schaalt naar grotere spellen, langere horizonten en gedeeltelijke observeerbaarheid. Het werk positioneert REAPER als een stap richting het overbruggen van de kloof tussen de redeneercapaciteiten van LLM's en de eisen van sequentiële, adversariële besluitvorming.