💬 NLP

EvoTest: Evolutionary Test-Time Learning for Self-Improving Agentic Systems

Dit paper introduceert EvoTest, een evolutionair test-tijdsleringskader dat agenten zonder fijne aanpassing of gradiënten laat verbeteren door na elke episode de hele systemconfiguratie te evolueren, wat resulteert in superieure prestaties op de nieuwe J-TTL-benchmark ten opzichte van bestaande methoden.

Oorspronkelijke auteurs: Yufei He, Juncheng Liu, Yue Liu, Yibo Li, Tri Cao, Zhiyuan Hu, Xinxing Xu, Bryan Hooi

Gepubliceerd 2026-04-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yufei He, Juncheng Liu, Yue Liu, Yibo Li, Tri Cao, Zhiyuan Hu, Xinxing Xu, Bryan Hooi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

EvoTest: De "Onuitputtelijke Intern" die Eindelijk Leert

Stel je voor dat je een nieuwe, zeer moeilijke puzzel krijgt. Je probeert het op te lossen, maar je blijft vastlopen in dezelfde hoek. Een slimme mens zou denken: "Ah, ik loop hier vast. Volgende keer probeer ik een andere route." Maar de meeste huidige AI-agenten (kunstmatige intelligenties) gedragen zich als "slimme maar verwarde stagiairs". Ze kunnen instructies uitvoeren, maar als ze een fout maken, herhalen ze die fout keer op keer, alsof ze geen geheugen hebben en niet kunnen nadenken over wat er misging.

De auteurs van dit paper (uit 2026) zeggen: "Dit moet anders." Ze hebben een nieuw systeem bedacht dat heet EvoTest. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Stuck in a Loop" Situatie

Stel je voor dat je een tekstavontuurspel speelt (zoals een oude Zork-game). Je probeert naar het westen te gaan, maar de game zegt: "Je kunt daar niet naartoe."

De oude AI: Probeer het opnieuw. En opnieuw. En opnieuw. Ze leert niets.
De mens: Zegt: "Oké, westen is een doodlopende weg. Ik ga oost."

Bestaande methoden om AI te laten leren (zoals het toevoegen van een 'geheugen' of het laten 'nadenken' over fouten) werken vaak niet goed genoeg. Ze zijn te traag of kunnen de fout niet echt begrijpen.

2. De Oplossing: Het Duo "Acteur" en "Evolveur"

EvoTest werkt met twee verschillende rollen, net als in een toneelstuk met een regisseur:

De Acteur (De Speler): Dit is de AI die het spel speelt. Hij probeert zo goed mogelijk te doen wat hij kan.
De Evolveur (De Regisseur): Zodra het spel (een "episode") voorbij is, kijkt deze regisseur naar de volledige transcriptie van wat er gebeurd is. Hij is niet tevreden met alleen een score; hij leest het verhaal.

De Magie: De Regisseur schrijft het script voor de volgende ronde volledig om. Hij doet vier dingen:

Herschrijft de instructies: "Vergeet niet: ga nooit naar het westen in de hal!"
Vult het geheugen: Hij noteert precies welke bewegingen punten opleverden, zodat de Acteur die onthoudt.
Past de instellingen aan: Misschien was de Acteur te voorzichtig? De Regisseur zegt: "Wees deze keer iets meer avontuurlijk."
Verbeterd de hulpmiddelen: Hij zorgt dat de Acteur sneller de juiste informatie vindt.

Het is alsof je na elke ronde van een bordspel niet alleen de score bekijkt, maar direct het hele spelbord, de regels en je strategie aanpast om de volgende ronde beter te spelen.

3. Waarom is dit zo slim? (De Creatieve Analogie)

Stel je voor dat je een chef-kok bent die een nieuw recept probeert.

De oude manier (Gradient-based learning): Je proeft de soep, en als hij te zout is, moet je de hele pot soep in de grond verwerken en het recept van de grond af opnieuw opschrijven. Dit kost enorm veel tijd en energie (rekenkracht).
EvoTest: Je proeft de soep, en je zegt tegen je assistent: "Volgende keer minder zout, en gebruik de grote lepel in plaats van de kleine." Je past alleen de instructies aan. Je gooit de soep niet weg, je past alleen de aanpak aan.

EvoTest doet precies dit: het leert zonder de "hersenen" van de AI te herschrijven (geen zware training), maar door de instructies en strategie te evolueren.

4. Het Resultaat: Een Super-Intern

De auteurs hebben dit getest op een reeks moeilijke spelletjes.

Andere methoden: De meeste andere AI's bleven steken op een laag scoreniveau of wisten geen enkel spel te winnen.
EvoTest: Dit systeem leerde snel. Het won zelfs twee van de moeilijkste spellen volledig, terwijl alle andere methoden faalden. Het leerde in één sessie (tijdens het spelen) wat andere systemen nooit zouden leren.

Conclusie

EvoTest is een doorbraak omdat het AI-agenten echt autonoom maakt. Ze hoeven niet te wachten tot iemand hen opnieuw traint. Ze kunnen, net als mensen, van hun eigen ervaringen leren, hun strategie aanpassen en steeds slimmer worden terwijl ze bezig zijn. Het is de eerste stap naar AI-agenten die niet alleen "slimme stagiairs" zijn, maar echte meesters die zichzelf voortdurend verbeteren.

Probleemstelling

Huidige AI-agenten hebben een fundamentele beperking: ze kunnen complexe vaardigheden niet "on the fly" leren tijdens het uitvoeren van een taak (test-time learning). Ze gedragen zich vaak als "slimme maar onwetende stagiairs" die instructies kunnen uitvoeren, maar hun eigen proces niet kunnen herschikken op basis van ervaring. Dit beperkt hun betrouwbaarheid in dynamische omgevingen.

Bestaande aanpassingsmethoden zoals reflectie (bijv. Reflexion), geheugen (memory), of online versterkende leer (RL) blijken ontoereikend voor deze uitdaging:

Reflectie/Geheugen: Deze methoden voegen vaak alleen tekstuele samenvattingen of feiten toe, maar veranderen niet de kern van de besluitvormingslogica of hyperparameters.
Online Fine-tuning (SFT/RL): Deze methoden zijn te traag, data-inefficiënt en afhankelijk van schaarse beloningen (sparse rewards). In omgevingen met lange horizon en complexe puzzels (zoals tekstavonturenspellen) is een enkele episode vaak onvoldoende data voor effectieve gradiëntupdates.

Om dit probleem systematisch te meten, stellen de auteurs het Jericho Test-Time Learning (J-TTL) benchmark voor. Hierin moet een agent hetzelfde complexe tekstgebaseerde spel meerdere keren spelen en proberen de prestaties van episode tot episode te verbeteren, uitsluitend gebruikmakend van de ervaring binnen die sessie.

Methodologie: EvoTest

Om de uitdagingen van J-TTL aan te pakken, introduceren de auteurs EvoTest, een evolutionair framework voor test-time learning dat geen gradiënten of fine-tuning vereist. In plaats van de gewichten van het Large Language Model (LLM) aan te passen, evolueert EvoTest de hele configuratie van het agentensysteem na elke episode.

Het framework bestaat uit twee rollen die in een continue lus werken:

Actor Agent:
- Speelt een volledige episode met een vaste configuratie $\chi$ .
- De configuratie $\chi$ $χ$ omvat vier componenten:
  - Policy Prompt ( $p$ ): De systemprompt met strategische richtlijnen.
  - Deploy-time Geheugen ( $M$ ): Een gestructureerde database met successen (state-action paren die punten opleverden) en mislukkingen (loops of fouten).
  - Hyperparameters ( $h$ ): Instellingen zoals temperatuur en exploratiesterkte.
  - Tool-Use Routines ( $u$ ): Python-functies voor het abstraheren van de staat en regels voor het benaderen van het geheugen.
Evolver Agent:
- Analyseert na afloop de volledige transcriptie van de episode.
- Voert een "whole-system evolution" uit door nieuwe kandidaat-configuraties te genereren via evolutionaire operatoren:
  - Prompt Mutatie: Schrijft de prompt om om nieuwe strategieën te coderen of fouten te voorkomen (bijv. "vermijd herhaalde navigatielussen").
  - Geheugen Update: Programmeert het loggen van succesvolle state-action paren en patronen van mislukkingen in het gestructureerde geheugen.
  - Hyperparameter Tuning: Past parameters aan (bijv. temperatuur verhogen bij vastlopen in een loop).
  - Tool-Use Refinement: Past de logica aan voor wanneer en hoe het geheugen wordt geraadpleegd.
Selectie via UCB (Upper Confidence Bound):
- Om de afweging tussen exploitatie (een bewezen goede configuratie gebruiken) en exploratie (een nieuwe mutatie proberen) te beheren, selecteert EvoTest de volgende configuratie voor de volgende episode met het UCB-algoritme.
- Dit zorgt voor stabiliteit: als een nieuwe mutatie slecht presteert, valt het systeem terug op de betrouwbare ouder-configuratie, wat voorkomt dat de agent vastloopt in een suboptimale evolutionaire weg.

Belangrijkste Bijdragen

J-TTL Benchmark: Een nieuwe evaluatieframework dat de capaciteit van agenten meet om tijdens een sessie te leren en te verbeteren op dezelfde complexe taak, in plaats van alleen generalisatie over verschillende taken.
EvoTest Framework: Een nieuw, gradiëntvrij leerparadigma dat de volledige agentconfiguratie (prompt, geheugen, hyperparameters, tools) evolueert op basis van semantische analyse van episode-transcripties.
State-of-the-Art Resultaten: Empirisch bewijs dat EvoTest aanzienlijk beter presteert dan bestaande methoden, inclusief reflectie, geheugen-gebaseerde benaderingen en zelfs online fine-tuning (SFT en GRPO).

Resultaten

De experimenten zijn uitgevoerd op zes Jericho-spellen (o.a. Detective, Library, Zork1) met verschillende LLM-backbones (Gemini 2.5 Flash, Claude 4 Sonnet).

Prestatieverbetering: EvoTest toont een 38% verbetering ten opzichte van de sterkste prompt-evolutie baseline (EvoPrompt) en een 57% verbetering ten opzichte van online RL (GRPO).
Unieke Succes: EvoTest is de enige methode die in staat is om twee van de moeilijkste spellen (Detective en Library) te winnen. Alle baselines (inclusief SFT en GRPO) faalden om deze spellen te winnen.
Efficiëntie:
- Data-efficiëntie: EvoTest gebruikt de rijke, narratieve feedback van de volledige transcriptie voor "credit assignment" (toewijzing van verdiensten/fouten), wat veel effectiever is dan het vertrouwen op schaarse numerieke beloningen in RL.
- Rekenkracht: In tegenstelling tot online fine-tuning (die 5-10 minuten en dure GPU's vereist), kost een leerstap van EvoTest slechts 20-30 seconden en één API-call, zonder lokale GPU-vereisten.
Ablatie Studies: De studie toont aan dat elk onderdeel (prompt-evolutie, geheugen, UCB-selectie, hyperparameters) essentieel is. Het verwijderen van de UCB-selectie leidt tot instabiliteit en catastrofale prestatiedalingen.

Betekenis en Conclusie

De paper demonstreert dat zelfverbeterende agenten niet noodzakelijkerwijs de neurale gewichten van het model hoeven aan te passen om effectief te leren. Door de configuratie van het agentensysteem te evolueren, kan een agent snel en data-efficiënt complex gedrag aanleren in real-time.

EvoTest biedt een concrete stap naar het bouwen van echt autonome agenten die kunnen leren van ervaring. De methode is bijzonder relevant voor toepassingen waar snelle aanpassing nodig is, maar waar data schaars is of waar het fine-tunen van modellen te duur of te traag is. De auteurs benadrukken dat dit een fundamentele verschuiving is van "credit assignment via backpropagation" naar "credit assignment via narratieve analyse".