Stel je een wereld voor waarin computerprogramma's niet alleen een rigide instructiehandleiding volgen die door een mens is geschreven, maar ook daadwerkelijk kunnen leren van hun fouten en hun eigen regels kunnen herschrijven om beter te worden. Dit is de droom van "zelfevoluerende agenten". Denk aan een personage in een videogame dat, na een verloren baasgevecht, niet simpelweg opnieuw begint; het pauzeert, uitzoekt waarom het verloor, zijn eigen strategieboekje aanpast en het opnieuw probeert. Lange tijd geloofden wetenschappers dat hiervoor een mens een zeer specifieke, stapsgewijze receptuur moest bouwen voor de computer om te volgen. Dit recept was als een strenge coach die de speler precies vertelt wanneer hij naar het scorebord moet kijken, wanneer hij van wapen moet wisselen en wanneer hij moet stoppen met oefenen. Maar naarmate computers slimmer zijn geworden — in staat tot complexe redeneringen als "frontier models" — begonnen onderzoekers zich af te vragen: Hebben we die strenge coach nog wel nodig? Of kan de computer zijn eigen oefenroutine bepalen als we het alleen een doel en een budget geven?

Dit artikel, getiteld "Rethinking Self-Evolving Agents", duikt direct in die vraag. De onderzoekers, Hui Xue en Fan Yang van Microsoft Research, hebben een fascinerend experiment opgezet om te zien of een superintelligente AI zijn eigen leerproces kan organiseren zonder een vooraf geschreven script. Ze vergeleken de ouderwetse methode, waarbij het framework (de "coach") elke stap van het verbeteringsproces dicteert, met een nieuwe methode genaamd "Open-Ended Optimization" (OEO). In OEO krijgt de AI een duidelijk doel, een lijst met toegestane zetten en een limiet op hoeveel "energie" (of tokens) het mag uitgeven, maar mag de AI zelf beslissen hoe het die energie gebruikt om beter te worden. Het is alsof je een chef-kok een lijst met ingrediënten en een tijdslimiet geeft, maar hem laat beslissen of hij een taart bakt of een roerbakmaaltijd maakt, in plaats van hem te dwingen een specift recept te volgen.

De resultaten waren verrassend duidelijk. Wanneer een top-AI (GPT-5.5) als de "chef" werd gebruikt, was de open-ended benadering net zo goed, en vaak zelfs veel beter, dan de strikte, vooraf geschreven recepten. Sterker nog, in 14 verschillende tests won de open-ended AI 12 keer, eindigde één keer gelijk en verloor slechts één keer met een minimale marge (0,21 procentpunt). Nog indrukwekkender is dat dit werd bereikt terwijl de AI slechts ongeveer 34,3% van het "energiebudget" gebruikte dat de strikte methode vereiste. Het blijkt dat als de AI slim genoeg is, hij geen coach nodig heeft om hem te vertellen hoe hij moet oefenen; hij kan ter plekke de beste manier vinden om te leren.

De paper trekt echter ook een zeer belangrijke grens. Deze vrijheid werkt alleen als de AI werkelijk bekwaam is. Wanneer de onderzoekers het systeem testten met een "medium" of "zwakke" AI, faalde de open-ended benadering. De minder capabele AI's raakten in de war, wisten niet meer wat ze verder moesten doen en produceerden gebrekkige resultaten. In die gevallen was het strikte, vooraf geschreven recept (de "coach") essentieel om de boel draaiende te houden. De studie suggereert dat de strikte regels niet altijd noodzakelijk zijn, maar dat ze fungeren als een nuttige steiger voor minder capabele breinen. De belangrijkste les is niet dat we alle regels moeten weggooien, maar dat we de slimste AI's hun eigen leerproces moeten laten aansturen, terwijl we de strikte zijwieltjes aanhouden voor hen die nog leren lopen.

De Kernontdekking: Wie Moet Er Aan het Stuur Zitten?

De belangrijkste bevinding van dit artikel is dat voor hoogwaardige AI-modellen de "prescribed optimization pipeline" — dat rigide, stapsgewijze plan dat mensen vroeger voor de computer schreven — niet langer een vereiste is voor succes. In het verleden waren systemen zoals SKILLOPT (dat een gefaseerde, stapsgewijze trainingspipeline gebruikt) en GEPA (dat een reflectieve evolutionaire zoektocht gebruikt) de gouden standaard. Ze werkten als een lopende band in een fabriek: het framework bepaalde exact hoe er bewijs werd verzameld, hoe de code werd bewerkt en wanneer er gestopt moest worden.

De onderzoekers introduceerden Open-Ended Optimization (OEO) om te testen of de AI het stuur kon overnemen. In OEO stelt het framework nog steeds de verkeersregels vast (het doel, het budget en welke data is toegestaan), maar de AI bepaalt de route. De AI kan ervoor kiezen om bewijs te verzamelen, zijn eigen instructies te herschrijven of te stoppen wanneer hij denkt dat hij klaar is.

Toen ze de door GPT-5.5 aangestuurde OEO tegenover de strikte methoden plaatsten, waren de resultaten opmerkelijk. In 8 verschillende benchmark-instellingen versloeg of trok OEO de strikte SKILLOPT-methode in elk geval. Tegen de GEPA-methode won OEO 5 van de 6 keren, waarbij het enige verlies een microscopisch klein verschil van 0,21 procentpunt was. Misschien wel het meest opwindende deel is de efficiëntie: OEO gebruikte een mediaan van slechts 34,3% van het tokenbudget dat SKILLOPT zou gebruiken. Dit betekent dat de AI niet alleen beter werd, maar ook beter werd terwijl hij minder dan de helft van de "brandstof" van de oude methode verbruikte.

Het Uitsluiten van de "Makkelijke Weg"

Voordat ze de euforie deelden, moesten de onderzoekers er zeker van zijn dat ze niet werden misleid. Ze vroegen zich af: "Wordt de AI niet gewoon gelukkig omdat hij het antwoord al wist?" of "Heeft hij de code gewoon één keer herschreven en zei hij dat het wel goed was?"

Om dit te testen, voerden ze een "zero-interaction" controle uit. Ze gaven de AI de initiële vaardigheid en vroegen de AI om deze één keer te herschrijven zonder enige oefening of feedbackloops. De resultaten lieten zien dat deze "one-shot" herschrijving niet voldoende was. Bij sommige taken maakte de one-shot herschrijving de AI zelfs slechter. Bij andere taken verbeterde het de score, maar bleef het nog steeds aanzienlijk achter bij het interactieve OEO-systeem (bijvoorbeeld bij de LiveMath-taak, waar de one-shot herschrijving meer dan 30 procentpunt achterliep op de interactieve OEO). Dit bewijst dat de winst niet voortkwam uit de bestaande kennis van de AI alleen; de winst kwam uit de interactieve loop waarbij de AI in staat was om te leren, zich aan te passen en zijn strategie in de loop van de tijd te verfijnen.

De Grens van Bekwaamheid: Wanneer Hebben We een Coach Nodig?

Het artikel ontdekte ook een cruciale limiet aan deze vrijheid. De "open-ended" benadering is geen wondermiddel dat voor elke AI werkt. De onderzoekers testten het systeem met "medium" en "zwakke" optimizers (minder capabele modellen).

Hier draaide het verhaal om. Wanneer de optimizer slechts "medium" bekwaam was, presteerde de strikte SKILLOPT-pipeline feitelijk beter dan OEO. Wanneer de optimizer "zwak" was, stortte het OEO-systeem volledig in; de zwakke AI kon niet eens een geldige actie uitvoeren via de open interface, waardoor er geen enkele vooruitgang werd geboekt. In contrast hiermee hield de strikte pipeline de zwakke AI in beweging, ook al was het niet de meest efficiënte manier.

Dit suggereert dat de strikte, vooraf geschreven pipeline fungeert als een "steiger". Voor een genie-niveau AI is de steiger overbodig en kan deze zelfs in de weg zitten. Maar voor een leerling die nog zijn evenwicht zoekt, is die steiger essentieel om te voorkomen dat hij van de klif valt.

Het Pad versus de Bestemming

Ten slotte keken de onderzoekers onder de motorkap om te zien hoe de AI leerde. Ze vergeleken de "reis" (de specifieke wijzigingen en veranderingen die de AI maakte) met de "bestemming" (de uiteindelijke prestatiescore).

Ze ontdekten dat de twee methoden zeer verschillende paden bewandelden. Het OEO-systeem maakte grotere, dapperdere veranderingen en herschreef zijn eigen geschiedenis vaker dan het strikte SKILLOPT-systeem. Ondanks deze totaal verschillende routes, kwamen ze vaak tot dezelfde oplossingen. In veel gevallen waren de uiteindelijke vaardigheden die door beide methoden werden geproduceerd correct op dezelfde set testvragen, ook al zag de tekst van de vaardigheden er heel verschillend uit.

Dit vertelt ons dat er niet slechts één "juiste" manier is om een probleem op te lossen. De strikte pipeline dwingt de AI op een smal, veilig pad, terwijl de open-ended benadering het toelaat om een breder, chaotischer landschap te verkennen. Beide kunnen naar dezelfde bestemming leiden, maar de open-ended benadering komt er met meer flexibiliteit en minder brandstof aan, mits de bestuurder bekwaam genoeg is om de open weg te berijden.

De Conclusie

Het artikel concludeert dat we anders moeten nadenken over hoe we zelfevoluerende agenten bouwen. We hoeven niet elke AI in een rigide, vooraf geschreven doos te dwingen. In plaats daarvan moeten we een "capability-adaptive" benadering adopteren. Als de AI slim genoeg is (een "frontier" model), kunnen we hem de sleutels overhandigen en hem zijn eigen leerproces laten samenstellen. We moeten alleen de vangrails in stand houden: de doelen, het budget en de spelregels. Maar voor minder capabele modellen is de ouderwetse, strikte coaching nog steeds de beste manier om te zorgen dat ze effectief leren. Het is een verschuiving van "one size fits all" naar "het juiste gereedschap voor het juiste brein".