🤖 AI

Recursive Self-Evolving Agents via Held-Out Selection

Dit artikel introduceert RSEA, een recursieve zelfevoluerende agent die een compacte natuurlijke taaltoestand behoudt en een strikte helden-selectiepoort hanteert om de prestaties veilig te verbeteren over diverse benchmarks zonder het risico op regressie te lopen, waarbij wordt aangetoond dat hoewel geen enkel type artefact universeel domineert, bewaakte evolutie monotone veiligheid garandeert vergeleken met onbewaakte contextcuratie.

Oorspronkelijke auteurs: Michael Nguyen, Quoc Nguyen, Paul Vuong

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael Nguyen, Quoc Nguyen, Paul Vuong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar lichtelijk eigenwijze robotassistent hebt. Deze robot is geweldig in denken, maar leert niet bij door zijn brein (zijn "gewichten") te veranderen; in plaats daarvan geven we hem een spiekbriefje geschreven in gewone mensentaal voordat hij aan een klus begint.

De grote vraag die het artikel stelt is: Hoe schrijven we het beste spiekbriefje zonder dat we de robot per ongeluk slecht advies geven?

Het Probleem: De "Slecht Spiekbriefje" Valstrik

Eerdere methoden probeerden deze spiekbriefjes te verbeteren door de robot te laten oefenen, fouten te maken en vervolgens zijn eigen aantekeningen te laten herschrijven. Maar ze hadden een groot gebrek: ze waren als een student die alleen studeert voor een specifieke toets, de antwoorden uit het hoofd leert, en vervolgens faalt tijdens het echte examen omdat hij niet het concept heeft geleerd, maar alleen de specifieke vragen.

De auteurs noemen dit "Context Distraction" (Contextafleiding).

Analogie: Stel je een chefkok voor die probeert zijn kookkunsten te verbeteren door een nieuw receptenboek te lezen. Als hij gewoon het eerste boek dat hij vindt pakt en het in zijn keuken dwingt, kan hij per ongeluk chocolade in een hartige soep doen.
Het Resultaat: Sommige methoden werkten geweldig op één type taak (zoals het organiseren van een virtueel huis), maar stortten volledig in wanneer ze werden gevraagd iets anders te doen (zoals online winkelen), omdat de "verbeteringen" die ze maakten eigenlijk afleidingen waren.

De Oplossing: RSEA (De "Strenge Redacteur")

De auteurs introduceren een nieuw systeem genaamd RSEA (Recursive Self-Evolving Agent). Denk aan RSEA niet alleen als een schrijver, maar als een strenge redacteur met een vangnet.

Zo werkt RSEA, gebruikmakend van een eenvoudige metafoor:

1. Het Drielagige Notitieblok

In plaats van één grote, rommelige pagina met aantekeningen, houdt RSEA een net, drieledig notitieblok bij:

De Strategie (De "Mantra"): Een korte, krachtige regel om te onthouden (bijv. "Controleer altijd de lamp voordat je naar het bureau kijkt").
De Vaardigheden (De "Gereedschapskist"): Een lijst met herbruikbare trucjes (bijv. "Hoe je twee dingen tegelijk oppakt").
Het Playbook (Het "Spelplan"): Stap-voor-stap instructies voor veelvoorkomende scenario's (bijv. "Verwarm eerst het water, voeg dan de theezak toe").

2. Het "Oefenveld" versus de "Echte Wedstrijd"

Dit is het belangrijkste deel. RSEA herschrijft niet zomaar zijn notitieblok en hoopt dan op het beste. Het gebruikt een strenge selectiepoort:

Stap A: De robot oefent op een "Oefenveld" (een reeks trainingsopdrachten) en herschrijft zijn notitieblok op basis van wat er gebeurde.
Stap B: Voordat hij toestemming krijgt om dit nieuwe notitieblok te gebruiken in de "Echte Wedstrijd" (de eigenlijke test), moet hij het proberen op een Held-Out Split (een geheime oefentoets die hij nog niet heeft gezien).
De Regel: Als het nieuwe notitieblok slechter of zelfs even goed presteert op de geheime test, wordt het nieuwe notitieblok weggegooid. De robot houdt vast aan zijn oude, veilige versie. Hij houdt de nieuwe versie alleen als deze strikt beter blijkt te zijn.

Analogie: Stel je een coach voor die een nieuwe tactiek probeert tijdens de training. Voordat hij deze in het spelplan opneemt, test hij deze tegen een "schaduwteam" (de held-out set). Als het schaduwteam scoort op die tactiek, zegt de coach: "Nee, weg ermee. We houden vast aan de oude tactiek." Dit zorgt ervoor dat de robot nooit slechter wordt; hij wordt alleen beter of blijft hetzelfde.

Wat Ze Vonden

De auteurs hebben dit getest tegen zes andere methoden op vier zeer verschillende uitdagingen (het organiseren van een huis, online winkelen, gereedschap gebruiken en algemene vragen beantwoorden).

Geen "Magic Bullet": Er is niet één type spiekbriefje dat overal in wint. Wat werkt bij het organiseren van een huis, kan je winkelrit verpesten.
Het Gevaar van "Onbewaakte" Evolutie: Een methere die zijn aantekeningen bijwerkt zonder een strikte veiligheidscontrole (genaamd "Dynamic Cheatsheet"), was fantastisch bij de huis-taak, maar faalde jammerlijk bij winkelen (met een score nabij nul). Het was als een chefkok die fancy werd, maar vergat hoe hij basisvoedsel moest bereiden.
RSEA is de Veilige Keuze: RSEA was de beste bij de huis-taak. Maar belangrijker nog, op de andere taken waar het niet verbeterde, maakte het de boel nooit slechter. Het viel simpelweg terug op zijn oorspronkelijke, betrouwbare zelf.
De Poort is de Held: De auteurs beargumenteren dat de inhoud van het spiekbriefje er minder toe doet dan de strengheid van de redacteur. De veiligheidspoort is wat het hele proces betrouwbaar maakt.

De Kernboodschap

Als je wilt dat een AI-agent leert van zijn eigen fouten zonder gek te worden, heb je niet alleen een slimme schrijver nodig; je hebt een strenge poortwachter nodig.

RSEA bewijst dat door een drieledig notitieblok te gebruiken en een strikte "eerst testen op een geheime test"-regel, je een AI-agent kunt maken die veilig evolueert. Het zal verbeteren wanneer het kan, maar het zal zichzelf nooit per ongeluk kapotmaken wanneer het dat niet kan.

Technisch Overzicht: Recursieve Zelf-Evolverende Agenten via Held-Out Selectie

Probleemstelling

Het artikel behandelt het paradigma van het verbeteren van Large Language Model (LLM) agenten zonder de modelgewichten bij te werken. In plaats daarvan evolueren deze methoden een natuurlijke taal-artefact (bijv. reflecties, workflows, prompts) dat een bevroren beleid (policy) conditioneert. Hoewel dit veelbelovend is, lijden bestaande benaderingen onder twee kritieke problemen:

Benchmark-afhankelijkheid: Geen enkele vorm van artefact (bijv. een platte prompt versus een lijst met workflows) presteert universeel beter dan andere; een methode die uitblinkt op de ene benchmark, presteert vaak minder goed of faalt op een andere.
Onbeheerde Evolutie en Context-afleiding: Methoden die context online evolueren zonder strikte validatie (onbeheerd/unguarded), vertonen een hoge variantie. Ze riskeren "context-afleiding" (context distraction), waarbij het geïnjecteerde artefact de prestaties van het basisbeleid verslechtert. Het artikel citeert de "Dynamic Cheatsheet"-methode als een primair voorbeeld: deze behaalt bijna de beste resultaten op ALFWorld, maar stort catastrofaal in op WebShop (een daling van een baseline van 0,43 naar 0,14) door ongeverifieerde context-injectie.

De auteurs stellen dat de betrouwbaarheid van context-evolutie minder afhangt van de verfijning van het geëvolueerde artefact en meer van de selectiepoort (selection gate) die beslist of een wijziging wordt doorgevoerd.

Methodologie: RSEA

De auteurs stellen RSEA (Recursive Self-Evolving Agent) voor, een framework dat is ontworpen om recursieve zelf-evolutie "monotoon-veilig" te maken (gegarandeerd niet significant slechter te presteren dan de basisagent).

1. Drielagige Evoluerende Staat

In tegen tegenover methoden die een enkele platte string optimaliseren, houdt RSEA een gestructureerde, drielagige natuurlijke taal-staat ( $s$ ) bij:

Strategie (Strategy): Een imperatief natuurlijke taal-preambule (hoog-niveau beleid).
Vaardigheden (Skills): Een lijst met herbruikbare sub-routines of conditionele regels.
Speelboek (Playbook): Een lijst met procedurele stappen gedestilleerd uit succesvolle trajecten.

2. De Evolutie-loop

RSEA opereert over generaties ( $G$ ) met behulp van een disjuncte splitsing van data: een evolutie-set ( $D_e$ ) en een held-out validatie-set ( $D_v$ ).

Rollout: De huidige staat wordt uitgevoerd op $D_e$ om trajecten en uitkomsten te verzamelen.
Zelf-herschrijven (Self-Rewrite): De bevroren LLM fungeert als meta-optimizer en herschrijft alle drie de lagen van de staat op basis van de verzamelde trajecten (successen en mislukkingen). In tegen tegenover "alleen-toevoegen"-methoden, kan deze operator lagen herschrijven of verwijderen om ongecontroleerde contextgroei te voorkomen.
Strikte Held-Out Selectie: De kandidaat-staat wordt geëvalueerd op de held-out $D_v$ $D_{v}$ .
- Laterale Acceptatie: Als de kandidaat niet regresseert op $D_v$ , wordt dit de werkende staat voor de volgende generatie (maakt exploratie mogelijk).
- Strikte Best-Update: De bevroren beste staat ( $s^*$ ) wordt alleen bijgewerkt als de kandidaat de score op $D_v$ strikt verbetert.
- Veiligheidsmechanisme: Als geen enkele kandidaat de held-out score strikt verbetert, valt het systeem terug op de lege staat (vanilla ReAct). Alleen de bevroren beste staat wordt gebruikt voor de uiteindelijke test.

3. RSEAR (Evolutie × Retry)

De auteurs introduceren ook RSEAR, dat de bevroren geëvolueerde prior injecteert in een per-taak retry-loop (vergelijkbaar met Reflexion), waardoor een sterke start-policy wordt gecombineerd met zelfcorrectie binnen de taak.

Belangrijkste Bijdragen

Monotoon-veilige Formulering: Een cross-task natuurlijke taal zelf-evolutie framework gecentreerd rond een strikte held-out "keep-better" poort, wat garandeert dat de geëvolueerde agent nooit significant slechter presteert dan de basisagent.
Getrouwe Re-implementatie: Een verenigde experimentele harness die zes klassieke en recente baselines (ReAct, Reflexion, GEPA, AWM, ACE, Dynamic Cheatsheet) opnieuw implementeert op een gedeelde backbone en decoding-budget om een eerlijke vergelijking (apples-to-apples) mogelijk te maken.
Empirische Scope-condities: Een studie met vier benchmarks die aantoont dat geen enkel artefact universeel wint en dat ongecontroleerde evolutie onveilig is.
Ablatie-studies: Gecontroleerde experimenten die de bijdrage van elke staat-laag isoleren en de ernstige overfitting kwantificeren die wordt veroorzaakt door het verwijderen van de held-out selectiepoort.

Experimentele Resultaten

De studie evalueert methoden over vier diverse benchmarks (ALFWorld, GAIA, $\tau$ -bench, WebShop) met gedeelde lokale backbones (Qwen2.5-7B voor ALFWorld, Qwen3-30B voor tool-use taken).

ALFWorld (Procedurele Strategie Bottleneck):
- RSEA (single-pass) presteert significant beter dan vanilla ReAct (69,3% vs. 64,6%, $p=0,015$ ) en andere single-pass baselines.
- RSEAR (met retry) bereikt het beste algemene succespercentage (79,4%).
- Winsten zijn interpreteerbaar: verbeteringen concentreren zich in taakfamilies waar de geëvolueerde staat direct specifieke foutmodi aanpakt (bijv. "gebruik voordat je objecten onderzoekt").
Tool-Use Benchmarks (GAIA, $\tau$ -bench, WebShop):
- Geen Universele Winnaar: Op sterke-backbone tool-use taken domineert geen enkel natuurlijk taal-artefact. AWM (concrete workflows) presteert marginaal het best op $\tau$ -bench en WebShop.
- Veiligheid van RSEA: RSEA presteert nooit significant slechter dan ReAct op deze benchmarks. Op WebShop, waar geëvolueerde context de prestaties schaadde, zorgde de strikte poort ervoor dat RSEA terugviel op de lege staat, wat resulteerde in prestaties die statistisch gelijk waren aan ReAct (0,437 vs. 0,429).
- Falen van Onbeheerde Methoden: Dynamic Cheatsheet (onbeheerd) was bijna de beste op ALFWorld (70,7%), maar stortte in op WebShop (0,136 vs. 0,429), wat de hoge variantie van ongecontroleerde evolutie illustreert.
Ablatie-bevindingen:
- Laag-bijdrage: Elke laag (Strategie, Vaardigheden, Speelboek) verbetert de prestaties ten opzichte van ReAct, hoewel ze overlappende in plaats van strikt orthogonale kennis coderen.
- Risico op Overfitting: Het verwijderen van de held-out poort leidt tot ernstige overfitting. Een onbeheerde variant behaalde 100% in-sample selectie, maar daalde 33 punten op de testset vergeleken met de beveiligde versie.

Betekenis en Claims

Het artikel claimt dat de betrouwbaarheid van context-evolutie primair wordt bepaand door de selectiepoort, en niet door de vorm van het artefact. Door de held-out selectie strikt en centraal te maken, transformeert RSEA een proces met een hoge variantie en risico in een "monotoon-veilige" operatie.

Scope-conditie: Geëvolueerde natuurlijke taal-staten zijn het meest voordelig wanneer de bottleneck de procedurele strategie is (bijv. tekstgebaseerde huishoudelijke taken zoals ALFWorld) en het minst voordelig wanneer de bottleneck retrieval/grounding is of wanneer de backbone al gedetailleerde tool-API's volgt.
Veiligheidsgarantie: De strikte poort zorgt ervoor dat recursieve zelf-evolutie veilig inzetbaar is; als evolutie niet helpt, valt het systeem terug op de bekende baseline (ReAct) in plaats van de prestaties te verslechteren.
Reproduceerbaarheid: De auteurs publiceren de volledige harness, de herimplementaties van zes baselines en de pre-geregistreerde manifesten om een getrouwe vergelijking te ondersteunen in toekomstig onderzoek.