💬 NLP

Empirical-MCTS: Continuous Agent Evolution via Dual-Experience Monte Carlo Tree Search

Empirical-MCTS introduceert een dual-loop framework dat het redeneervermogen van Large Language Models verbetert door lokale zoektochten te integreren met een globaal geheugensysteem, waarbij gebruik wordt gemaakt van Pairwise-Experience-Evolutionary Meta-Prompting en een Memory Optimization Agent om adaptieve meta-prompts continu te evolueren en inzichten over problemen heen te distilleren, waardoor het stateless MCTS-strategieën op complexe redeneerbenchmarks aanzienlijk overtreft.

Oorspronkelijke auteurs: Hao Lu, Haoyuan Huang, Yulin Zhou, Chen Li, Ningxin Zhu

Gepubliceerd 2026-02-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hao Lu, Haoyuan Huang, Yulin Zhou, Chen Li, Ningxin Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer moeilijke puzzel op te lossen, zoals een complex wiskundig probleem of een logische raadsel.

De Oude Manier: Het "Amnesische" Genie
Momenteel gedragen de meeste geavanceerde AI-modellen zich als een briljant genie dat lijdt aan totale amnesie na elke puzzel. Ze proberen misschien 100 verschillende manieren om een probleem op te lossen, vinden de ene die werkt, en vieren het. Maar zodra ze naar de volgende puzzel gaan, vergeten ze alles wat ze net hebben geleerd. Ze beginnen vanaf nul en behandelen het nieuwe probleem alsof ze nog nooit eerder een puzzel hebben gezien. Ze "herinneren" zich niet dat een specifieke truc de vorige keer werkte, dus verspillen ze tijd aan het opnieuw ontdekken ervan.

De Nieuwe Manier: Empirical-MCTS (De "Wijsheid-Verzamelende" Detective)
Dit paper introduceert een nieuw systeem genaamd Empirical-MCTS. Denk aan deze AI niet als een amnesische, maar als een detective die een groeiend, georganiseerd dossier bijhoudt. Elke keer dat ze een aanwijzing oplossen of een fout maken, gooien ze het papier niet zomaar weg. Ze analyseren het, schrijven op wat er werkte, en voegen het toe aan hun permanente "Wijsheidsbibliotheek".

Dit systeem werkt met twee hoofd-"loops" of gewoontes:

1. De Lokale Loop: De "Debatclub" (PE-EMP)

In de geest van de AI, terwijl hij een specifieke probleem probeert op te lossen, gokt hij niet zomaar wat. Hij fungeert als een Debatclub.

Het genereert twee verschillende mogelijke antwoorden (laten we ze Kandidaat A en Kandidaat B noemen).
Het brengt hen in een "debat" waarbij de AI zelf als rechter optreedt.
In plaats van alleen een winnaar te kiezen, vraagt de rechter: "Waarom won A? Welke specifie-ke regel volgde het dat B miste?"
Op basis van dit debat schrijft de AI zijn eigen instructiehandleiding (een "meta-prompt") in real-time over. Het is als een student die beseft: "O, ik moet mijn wiskunde controleren voordat ik het definitieve antwoord opschrijf," en direct hun studiegids aanpast voor de volgende stap.

2. De Globale Loop: De "Librarian" (Geheugenoptimalisatie)

Terwijl de "Debatclub" aan het huidige probleem werkt, kijkt een aparte "Librarian" (bibliothecaris) mee.

Als de Debatclub een briljante nieuwe truc of een veelvoorkomende fout ontdekt, bewaart de Librarian niet alleen de ruwe tekst.
De Librarian fungeert als een slimme redacteur. Het kan een nieuwe regel toevoegen aan de bibliotheek, twee vergelijkbare regels samenvoegen tot één om ruimte te besparen, een oude regel wijzigen die er net iets naast zat, of een regel verwijderen die niet langer nuttig is.
Dit creëert een "levende" bibliotheek van wijsheid die slimmer en nauwkeuriger wordt met elke enkele puzzel die de AI oplost.

Het Resultaat: Slimmer Worden Zonder te "Studeren"

Normaal gesproken, om een AI slimmer te maken, moet je hem "trainen", wat is alsof je een mens dwingt om maandenlang terug te gaan naar school om alles opnieuw te leren. Dat is duur en traag.

Empirical-MCTS is anders. Het verandert niet het "brein" van de AI (de weights). In plaats daarvan verandert het de context van de AI.

Het neemt een standaard AI-model (zoals een slimme maar onervaren student).
Het geeft die student een constant bijwerkende "spiekbrief" van hun eigen successen en fouten uit het verleden.
Omdat de student deze spiekbrief heeft, kunnen ze ongelooflijk moeilijke problemen (zoals geavanceerde wiskundige wedstrijden of abstracte logische puzzels) veel beter oplossen dan voorheen, zelfs al is het onderliggende brein van de student niet veranderd.

Wat het Paper Vond

De auteurs testten dit op enkele van de moeilijkste logische en wiskundige tests die beschikbaar zijn (zoals de AIME wiskundige wedstrijd en taken voor abstract redeneren).

De Amnesische AI (standaard methoden) kwam vaak vast te zitten of gaf op bij de moeilijkste problemen.
De Wijsheid-Verzamelende AI (Empirical-MCTS) loste aanzienlijk meer problemen op.
Kostenefficiëntie: Ze ontdekten dat het gebruik van deze methode met een kleiner, goedkoper AI-model veel grotere, duurdere modellen versloeg. Het is alsof een klein team met een perfect, gedeeld speelboek een gigantisch team verslaat dat geen enkel geheugen heeft van eerdere wedstrijden.

Kortom: Dit paper laat zien dat als je een AI leert om zijn eigen redeneerpatronen te "onthouden" en zijn eigen instructies gaandeweg bij te werken, het een meester in probleemoplossing wordt zonder dat het van voren af aan getraind hoeft te worden. Het verandert een "staatloze" zoektocht in een continue reis van leren.

Technische Samenvatting: Empirical-MCTS

1. Probleemstelling

Huidige strategieën voor schaling tijdens de inferentie, met name Monte Carlo Tree Search (MCTS) en "Best-of-N" sampling, hebben de redeneervermogens van Large Language Models (LLM's) aanzienlijk verbeterd. Echter, een kritieke beperking blijft bestaan: deze benaderingen zijn stateloos. Zodra een zoekproces voor een specifieke probleemstelling is afgerond, worden succesvolle redeneerpatronen en geldige strategieën weggegooid. Dit staat in schril contrast met menselijke probleemoplossing, die empirisch is en steunt op de accumulatie van zowel langetermijn domeinkennis als kortetermijn directe feedback. Bestaande pogingen om geheugen te integreren, zoals FLEX (dat retrieval scheidt van redeneren) of Training-Free GRPO (dat geen gestructureerde boomzoekopdracht heeft), falen in het verenigen van continue ervaring-accumulatie met gestructureerde exploratie. Bijgevolg kunnen agenten hun zoekstrategieën niet dynamisch evolueren over verschillende probleeminstanties heen zonder dure parameter-updates.

2. Methodologie: Het Empirical-MCTS Framework

De auteurs stellen Empirical-MCTS voor, een dual-loop framework ontworpen om stateless zoeken te transformeren in een continu, non-parametrisch leerproces. Het systeem verenigt lokale exploratie met globale gehele optimalisatie via twee kernmechanismen:

A. Pairwise-Experience-Evolutionary Meta-Prompting (PE-EMP)

PE-EMP fungeert als een reflexieve optimizer binnen de lokale zoeklus. In plaats van statische systeem-prompts te gebruiken voor knoop-expansie, evolueert PE-EMP de meta-prompt in real-time op basis van pairwise feedback.

Mechanisme: Bij het expanderen van een knoop vergelijkt het systeem een kandidaat-toestand ( $S_c$ ) met een baseline-toestand ( $S_p$ ). Een Judge-model verwerkt de query, eerdere ervaringen en de twee toestanden om een triadische output te genereren: een ruwe scorevector, nieuwe empirische inzichten en een geëvolueerde meta-prompt ( $P_{evolved}$ ).
Zevenstaps Cognitief Proces: De PE-EMP module voert een strikte sequentie uit:
1. Adaptieve Criteria Generatie: Het model genereert specifieke evaluatiedimensies afgestemd op de query (geïnspireerd door Self-Principled Critique Tuning).
2. Comparatieve Chain-of-Thought: Een stapsgewijze kritiek contrasteert de kandidaat en de baseline tegenover deze criteria.
3. Dynamische Gewichtstoewijzing: Gewichten worden aan criteria toegewezen op basis van contextuele relevantie.
4. Gewogen Scoring: Kwantitatieve scores worden berekend.
5. Ruwe Score Generatie: Een precieze scalaire waarde (0–10) wordt afgeleid.
6. Context-bewuste Inzicht-synthese: Directe feedback wordt gesynthetiseerd met opgehaalde historische wijsheid om hoogwaardige empirische inzichten ( $E_{new}$ ) te distilleren.
7. Strategische Prompt Evolutie: Het model analyseert verschillen in uitvoering om een geavanceerdere meta-prompt te synthetiseren, waarbij kritieke succesfactoren en lessen uit fouten worden gecodeerd.
Retrieval: Om semantische drift te voorkomen, haalt het systeem ervaringen ( $E_{prior}$ ) op uit een globale bibliotheek, maar alleen als deze dezelfde taak-taxonomie (bijv. meetkundig bewijs) delen als de huidige query.

B. Memory Optimization Agent

Deze component beheert een globale ervaringen-repository als een dynamische policy prior, die functioneert als een optimizer in de contextruimte in plaats van een statische database.

Atomische Operaties: Bij ontvangst van nieuwe inzichten ( $E_{new}$ $E_{n e w}$ ) van PE-EMP, voert de agent vier atomische operaties uit om de bibliotheek ( $D_t$ $D_{t}$ ) bij te werken:
- Add (Toevoegen): Voegt onderscheidende, hoogwaardige ervaringen toe.
- Modify (Wijzigen): Verfijnt bestaande ervaringen op basis van nieuwe semantische voordelen.
- Merge (Samenvoegen): Synthetiseert gefragmenteerde ervaringen tot coherente principes om redundantie te verminderen.
- Delete (Verwijderen): Schaft verouderde of kwalitatief minderwaardige ervaringen (een "vergetelheid"-mechanisme).
Non-Parametrische Update: Dit proces verschuift de outputdistributie $\pi(y|q, D)$ naar hogere beloningen over tijd zonder gradiënt-gebaseerde training.

C. Waarde-estimatie en Zoekstrategie

Hybride Preferentie Integratie: Om discrete inzichten om te zetten in continue beloningen, gebruikt het framework een Hybrid-Reward signaal. Het brengt ruwe pairwise scores in kaart naar lokale transitiekansen via het Bradley-Terry model en gebruikt een Enhanced Borda Count (EBC) om een globale rangschikking te construeren, wat de niet-transitiviteit aanpakt die inherent is aan LLM-preferenties.
Zoeken: Het framework gebruikt Upper Confidence Bound (UCB) voor knoopselectie en een decay-gebaseerde backpropagation regel om ervoor te zorgen dat hoogwaardige inzichten efficiënt omhoog in de boom worden gepropageerd.

3. Belangrijkste Bijdragen

Empirical-MCTS Paradigma: Een nieuw framework dat gestructureerd zoeken koppelt aan continue leerprocessen, waardoor MCTS wordt getransformeerd van een stateless inferentie-techniek naar een non-parametrische online leeragent die in staat is tot het accumuleren van "wijsheid" over uiteenlopende problemen heen zonder gewicht-updates.
PE-EMP Mechanisme: Een reflexieve optimizer die "zelf-principes" synthetiseert uit pairwise feedback om meta-prompts dynamisch te evolueren, waardoor agenten in staat zijn hun redeneerbeleid in real-time te verfijnen.
Empirische Validatie: Demonstratie dat Empirical-MCTS standaard MCTS en eerdere ervaring-gebaseerde modellen overtreft op hoog-moeilijke benchmarks, wat bewijst dat het "onthouden" van redeneerpatronen cruciaal is voor het oplossen van complexe, meerstaps logische problemen.

4. Experimentele Resultaten

Het framework werd geëvalueerd op AIME25, MathArena Apex, en ARC-AGI-2 met modellen waaronder DeepSeek-V3.1-Terminus, gpt-oss-120b, en Gemini 3 Flash.

Wiskundig Redeneren (AIME25): Empirical-MCTS behaalde een nauwkeurigheid van 73,3%, waarmee het de stateless LLaMA-Berry (63,3%) en de geheugen-geaugmenteerde FLEX-agent (66,6%) overtrof.
Extreme Moeilijkheidsgraad (MathArena Apex): Het basismodel scoorde 0,00%. Terwijl LLaMA-Berry 2,08% bereikte, behaalde Empirical-MCTS 4,17%, wat de bekwaamheid demonstreert om nieuwe oplossingspaden te synthetiseren door empirische accumulatie waar standaardmethoden faalden.
Kostenefficiëntie (ARC-AGI-2 & MathArena): Door gebruik te maken van de kostenefficiënte Gemini 3 Flash, behaalde Empirical-MCTS 38,33% op ARC-AGI-2 en 35,42% op MathArena Apex. Deze prestatie overtrof veel duurdere modellen (bijv. GPT-5.2 tegen $12,00 kosten vs. Ours tegen $5,24 kosten), waarmee een nieuwe Pareto-front werd gevestigd voor redeneerefficiëntie.
Ablatie-studies: Het verwijderen van PE-EMP verminderde de prestaties tot 56,7% (gelijk aan naïeve herhaalde sampling), wat bevestigt dat de evolutie van prompts gedreven door pairwise signalen de kernmotor van verbetering is. Het verwijderen van meta-prompting terwijl het geheugen behouden bleef, liet de prestaties dalen naar 66,7%, wat het belang van dynamische instructie onderstreept.

5. Betekenis en Claims

Het paper claimt dat Empirical-MCTS een nieuw paradigma vestigt waarbij gestructureerd zoeken wordt gekoppeld aan empirische accumulatie. De auteurs stellen dat de kritieke noodzaak voor het beheersen van complexe, open-eind redeneertaken niet alleen ligt in de zoekcapaciteit zelf, maar in het vermogen om voorbijgaande redeneerpatronen te "onthouden" en te verfijnen.

Door de zoekgeschiedenis om te zetten in actiegerichte policy priors, stelt het framework aanzienlijk kleinere modellen in staat om grotere, stateless baselines te overtreffen. De resultaten onderstrepen dat continu, non-parametrisch leren via gehele-optimalisatie en meta-prompt evolutie een levensvatbaar en effectief alternatief is voor traditionele gradiënt-gebaseerde training voor het verbeteren van LLM-redeneren.

Erkende Beperkingen: De auteurs merken op dat het framework ervan uitgaat dat het basismodel de redeneerstappen accuraat kan verifiëren. Voor taken die de verificatiegrens van het model overschrijden, bestaat er een risico op het integreren van "gehallucineerde wijsheid", wat kan leiden tot degeneratieve evolutie. Toekomstig werk beoogt robuuste consistentiecontroles en onzekerheidskwantificering te introduceren om dit te mitigeren.