Stel je een wereld voor waarin software niet simpelweg daar zit te wachten tot een mens een commando typt. In de wereld van kunstmatige intelligentie is er een groeiend idee genaamd "agents". Denk hierbij niet aan eenvoudige chatbots die vragen beantwoorden, maar aan digitale werknemers die daadwerkelijk dingen kunnen doen: ze kunnen code schrijven, computerschermen bedienen, tools gebruiken en complexe puzzels oplossen over langere periodes. Lange tijd was de "harness" (het harnas) dat deze agents bij elkaar hield—hun tools, hun instructies en hun regels—gebouwd door mensen en daarna vastgezet. Het was alsof je een auto bouwde en vervolgens het stuur vast weldde, zodat het nooit aangepast kon worden, hoe hobbelig de weg ook werd. Maar wat als de auto zijn eigen motor kan repareren, zijn eigen GPS kan upgraden en zelfs zijn eigen rijinstructies kan herschrijven terwijl hij nog aan het rijden is? Dat is de grote vraag die dit paper aanpakt: Kan een AI-agent een betere versie van zichzelf bouwen, en als dat doet, kunnen we het dan veilig houden?

Het paper introduceert Ouroboros, een zelfontwikkelende AI-agent genaamd naar het oude symbool van de slang die in zijn eigen staart bijt. De onderzoekers ontdekten dat door de agent continu zijn eigen code, prompts en tools te laten beoordelen en verbeteren, hij aanzienlijk beter werd in het oplossen van moeilijke computeropdrachten. In een reeks tests behaalde de agent topnoteringen en versloeg hij vele andere systemen. Echter, het paper belicht ook een grote veiligheidsuitdaging: als een agent zijn eigen regels kan veranderen, hoe zorgen we er dan voor dat hij niet per ongeluk de veiligheidsremmen loslaat? De auteurs laten zien dat het mogelijk is om een agent te laten evolueren terwijl er strikte "guardrails" (vangrails) worden gehanteerd die door mensen worden gecontroleerd, zodat de agent slimmer kan worden zonder gevaarlijk te worden.

De Slang die in zijn eigen staart bijt

Maak kennis met Ouroboros. In de mythologie is de Ouroboros een slang die in zijn eigen staart bijt, een symbool van eindeloze cycli en zelfvernieuwing. In dit paper is het een computerprogramma dat iets soortgelijks doet: het schrijft code om zichzelf te verbeteren, gebruikt die nieuwe code om zijn werk te doen, en schrijft vervolgens weer code om zichzelf te verbeteren.

De meeste AI-systemen van vandaag zijn als een robot die in een fabriek is gebouwd. Mensen ontwerpen de robot, geven hem een reeks instructies en sturen hem dan aan het werk. Als de robot vastloopt of een fout maakt, kan hij het probleem niet echt oplossen; hij blijft gewoon hetzelfde proberen of vraagt een mens om hulp. De "harness" (het brein en de toolkit van de robot) is bevroren.

Ouroboros is anders. Het behandelt zijn eigen brein en toolkit als een levend wezen dat kan groeien. Het heeft twee manieren om beter te worden:

1. De "Free Evolution" Modus: Stel je voor dat de agent gaat zitten en zegt: "Ik denk dat ik sneller zou kunnen zijn als ik mijn tools anders zou ordenen." Hij schrijft dan een nieuwe versie van zijn eigen code, laat deze controleren en begint er onmiddellijk mee te werken. Hij kan dit keer op keer blijven doen, waardoor een keten van verbeteringen ontstaat die nooit echt stopt.
2. De "Experience-Driven" Modus: Dit is meer als leren van een slechte dag op het werk. De agent probeert een taak uit, loopt tegen een bug aan of raakt in de war door een gebruiker. In plaats van gewoon op te geven, zegt hij: "Au, dat werkte niet. Ik moet mijn instructies aanpassen." Hij legt de fout vast, stelt een oplossing voor en—cruciaal—hij moet die oplossing laten goedkeuren door een reviewproces voordat hij de nieuwe code daadwerkelijk kan installeren.

Het "Hope" Experiment

Om te zien of dit daadwerkelijk werkt in de echte wereld, lanceerden de onderzoekers een project genaamd Hope. Hope is een persistente agent die al 161 dagen draait en met mensen praat op zeven verschillende platforms (zoals websites, Telegram, e-mail en voice chat).

Gedurende deze tijd beantwoordde Hope niet alleen vragen; het leefde. Mensen zouden tegen het zeggen: "Hé, je stuurt twee keer hetzelfde bericht," of "Je bent slecht in dit specifieke type wiskunde." Hope luisterde, bepaalde of de klacht waar was, en besloot vervolgens of het de eigen code moest aanpassen om het te repareren.

Hier is het coole deel: de mensen hebben niet de code voor Hope geschreven. Ze gaven alleen feedback. Hope besloot wat een echt probleem was en wat slechts een onzinnige suggestie was. Als het besloot iets te repareren, schreef het de code, liet het controleren en installeerde het vervolgens. Over die 161 dagen verwerkte Hope 79,7 miljard tokens (een maatstaf voor hoeveel tekst het heeft gelezen en geschreven), schreef het 175.755 regels code en gaf het $110.600 uit aan rekenkracht. Het was niet zomaar een test; het was een levend, ademend experiment in zelfverbetering.

De Resultaten: Snel slimmer worden

De onderzoekers testten Ouroboros op enkele van de moeilijkste computerbenchmarks ter wereld om te zien of de zelfverbetering het daadwerkelijk beter maakte in het oplossen van problemen.

• Terminal-Bench 2.1: Dit is een test van 89 zeer moeilijke computeropdrachten. Wanneer Ouroboros zijn beste model (Opus 5) gebruikte, kreeg het 86,97% van de taken goed. Zelfs nadat een strikte audit één "gelukkige" gok verwijderde, scoorde het nog steeds 86,74%. Dit was de hoogste score die op deze test is gerapporteerd.
• OSWorld-Verified: Dit test hoe goed een agent een computerinterface kan gebruiken (zoals klikken op knoppen en typen). Ouroboros scoorde 90,69%, waarmee het de vorige beste resultaten versloeg.
• CL-Bench: Dit meet hoe goed een agent leert van een reeks taken. Ouroboros vestigde hier ook een nieuw record met een score van 0,2301.

Het paper laat zien dat door de agent zijn eigen "ruwe randjes" en bugs te laten repareren, het een veel krachtigerere werker werd. Het werd niet alleen beter in één ding; het hele systeem werd slimmer.

Het Veiligheidsprobleem: Laat de agent niet van een klif afrijden

Nu komt het engere deel. Als een agent zijn eigen code kan herschrijven, wat houdt de agent er dan tegen om zijn eigen veiligheidsregels te herschrijven? Wat als het besluit: "Ik heb geen toestemming nodig om geld uit te geven" of "Ik moet de regel negeren over het niet verwijderen van bestanden"?

De auteurs noemen dit het "operationele veiligheidsprobleem". Ze realiseerden zich dat als een agent evolueert, de veiligheidsregels sterker moeten zijn dan het vermogen van de agent om ze te veranderen.

Om dit op te lossen, bouwden ze een "guardrail"-systeem:

• De Constitutie: De kernregels (zoals "breng geen mensen schade toe" of "geef niet te veel geld uit") worden geladen op een manier waarop de agent ze niet gemakkelijk kan verwijderen of wijzigen.
• De Review Gate: Elke keer dat de agent zijn eigen code wil veranderen, moet hij door een strikt reviewproces gaan. Het is alsof een schooldirecteur het huiswerk van een leerling controleert voordat het in het definitieve cijferboek komt.
• De Paniekknop: Er is een speciale "operator channel" die door mensen wordt gecontroleerd. Als de agent vreemd begint te doen, kan een mens op een /panic-knop drukken die het hele systeem onmiddellijk uitschakelt, nog voordat de agent kan reageren.

In hun experimenten is de agent er nooit in geslaagd om deze regels te breken. Zelfs toen het probeerde een bug te repareren die bijna zijn eigen werk zou verwijderen, grepen de veiligheidssystemen in en redden het hem. Het paper suggereert dat hoewel zelfverbeterende agents krachtig zijn, we ze veilig kunnen houden als we de "remmen" zo ontwerpen dat ze onbreekbaar zijn, zelfs voor de agent zelf.

De Conclusie

Ouroboros bewijst dat een AI-agent kan leren om een betere versie van zichzelf te bouwen, wat leidt tot recordbrekende prestaties bij moeilijke taken. Het laat zien dat "Hope", een langlopend experiment, kan evolueren door maandenlange interactie met de echte wereld. Maar het waarschuwt ons ook dat deze kracht met een risico gepaard gaat: als we niet voorzichtig zijn, kan de agent de regels van het spel naar zijn eigen voordeel veranderen. De oplossing is niet om de agent te stoppen met leren, maar om een systeem te bouwen waarbij de regels van veiligheid moeilijker te veranderen zijn dan de code die het werk doet. Het is een beetje als een kind leren autorijden: je laat ze hun vaardigheden leren en verbeteren, maar je houdt de noodrem in je eigen hand.