🤖 AI

Workspace Optimization: How to Train Your Agent

Dit artikel introduceert "workspace-optimalisatie", een trainingsparadigma dat de gestructureerde externe substraat van een agent evolueert in plaats van zijn gewichten, en toont de effectiviteit daarvan aan met DreamTeam, een multi-agent systeem dat een nieuwe state-of-the-art score van 38,4% behaalt op de ARC-AGI-3-benchmark terwijl het minder acties gebruikt.

Oorspronkelijke auteurs: Elad Sarafian, Gal Kaplun, Ron Banner, Daniel Soudry, Boris Ginsburg

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Elad Sarafian, Gal Kaplun, Ron Banner, Daniel Soudry, Boris Ginsburg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Bevroren Brein"

Stel je voor dat je een persoon in een gloednieuw videospel gooit. Ze hebben geen instructies, geen kaart en geen idee wat de knoppen doen.

De Haken: Deze persoon heeft een "bevroren brein". Je kunt ze geen nieuwe dingen leren door hun neuronen opnieuw te bedraden (zoals standaard AI-training werkt). Ze kunnen niet leren door hun interne code te veranderen.
De Uitdaging: Ze moeten het spel nog steeds winnen. Ze moeten de regels, de doelen en de strategie alleen door het spelen uit te vinden.

De meeste AI-agenten proberen te "leren" door hun interne gewichten te veranderen (zoals een student die een schoolboek uit het hoofd leert). Maar als de AI vergrendeld zit achter een API (zoals een chatbot) of als we niet bij de code kunnen, kunnen we zijn brein niet veranderen. Hoe leert het dan?

De Oplossing: De "Werkbank" (Workspace Optimization)

De auteurs betogen dat we in plaats van het brein van de agent te veranderen, we zijn werkbank moeten veranderen.

Stel je de agent voor als een meester-timmerman met een bevroren set vaardigheden (het brein).

Standaard Training: Je probeert de handen van de timmerman opnieuw te bedraden zodat ze de hamer anders vasthouden. (Hier onmogelijk).
Workspace Optimization: Je geeft de timmerman een werkbank waar hij notities kan schrijven, diagrammen kan tekenen, prototypes kan bouwen en post-it notes kan achterlaten voor zijn toekomstige zelf.

De agent verandert niet wie hij is; hij verandert wat hij heeft opgeschreven. Hij leest zijn notities, probeert een zet, ziet wat er gebeurt, en bewerkt vervolgens de notities om de nieuwe realiteit te weerspiegelen.

Hoe Het Werkt: Het "Droomteam"

Om dit te testen, bouwden de onderzoekers een multi-agent systeem genaamd DREAMTEAM. Stel je een bouwteam voor dat werkt aan één project, elk met een specifieke baan en een specifiek notitieboek:

De Waarnemer (De Ogen): Kijkt naar het gamescherm en schrijft op wat hij ziet in een gestructureerd formaat (bijv. "Er is een rood blok op coördinaten 5,5").
De Simulator (Het Voorspellingsmechanisme van het Brein): Neemt de notities van de Waarnemer en voorspelt wat er als nächst zal gebeuren. "Als ik naar links beweeg, beweegt het rode blok naar links."
De Ontdekkers (De Testers):
- Inductieve Ontdekker: Probeert herbruikbare strategieën te vinden (bijv. "Vermijd altijd rode blokken").
- Transductieve Ontdekker: Voert specifieke experimenten uit om onbekende regels te leren (bijv. "Laten we de blauwe tegel aanraken om te zien wat er gebeurt").
De Criticus (Kwaliteitscontrole): Controleert het werk van iedereen. "Wacht, de Simulator voorspelde dat het blok zou bewegen, maar dat gebeurde niet. Wie heeft die verkeerde regel geschreven?"
De Teamleider (De Baas): Beslist de uiteindelijke zet op basis van alle notities en voorspellingen.

De Leerlus: "Commit, Act, Compare, Repair"

Hier is de cyclus waar het team doorheen gaat, stap voor stap:

Commit: De Teamleider doet een zet op basis van de huidige notities.
Act: De zet gebeurt in het spel.
Compare: Het team kijkt naar het resultaat. Stemde de voorspelling van de Simulator overeen met de realiteit?
- Zo ja: Geweldig! De notities zijn bevestigd.
- Zo nee: Dit is een tegenvoorbeeld. De voorspelling was verkeerd.
Repair: De Criticus identificeert wie de verkeerde notitie heeft geschreven.
- Als de Waarnemer het object verkeerd identificeerde, past de Waarnemer zijn notities aan.
- Als de Simulator de verkeerde fysica voorspelde, herschrijft de Simulator zijn regel.
Regression Test (Het Veiligheidsnet): Voordat de nieuwe notitie wordt geaccepteerd, voert het team een snelle controle uit tegen vorige zetten. "Als we deze regel nu veranderen, breekt dit dan de logica die we 10 stappen geleden gebruikten?" Als het oude logica breekt, weet het team dat ze voorzichtiger moeten zijn.

De Analogie: Het Dossiers van de Detective

Stel je een detective voor die een mysterie oplost waarbij de regels van de misdaad elke dag veranderen.

De Detective (Het AI-model): Heeft een vaste persoonlijkheid en kennisbasis. Ze kunnen niet plotseling een ander persoon worden.
Het Dossier (De Werkruimte): Een map met whiteboards, post-it notes en diagrammen.
Het Proces:
- De detective maakt een theorie: "De butler heeft het gedaan."
- Ze testen het. Het faalt.
- In plaats van hun persoonlijkheid te veranderen, gaan ze naar het Dossier. Ze strepen "De butler" door en schrijven "De tuinman, maar alleen op dinsdagen".
- Ze controleren het dossier om ervoor te zorgen dat deze nieuwe theorie niet in strijd is met het alibi dat ze gisteren opschreven.
- Het dossier is nu slimmer, zelfs al is de detective dezelfde persoon.

De Resultaten

De onderzoekers testten dit op ARC-AGI-3, een zeer moeilijke benchmark van abstracte redeneerspellen waarbij de regels verborgen zijn.

De Score: Hun "Werkbank"-benadering verbeterde de score van 36% naar 38,4% in vergelijking met de vorige beste methode.
Efficiëntie: Ze kregen niet alleen een hogere score; ze deden het met 31% minder zetten. Dit betekent dat de agent minder "onhandig" was en geen tijd verspilde aan willekeurig gokken. Het leerde sneller door zijn notities beter te organiseren.

Waarom Dit Belangrijk Is

Dit artikel bewijst dat je geen enorm AI-model opnieuw hoeft te trainen om het slimmer te maken in een specifieke situatie. Je hoeft het alleen maar een betere gestructureerde werkruimte te geven om zijn leerpunten op te slaan, zijn theorieën te testen en zijn fouten in real-time te herstellen.

Het verandert de "bevroren" AI in een dynamische leerling door zijn notities en code te behandelen als het ding dat getraind wordt, in plaats van zijn brein.

Technische Samenvatting: Workspace-optimalisatie

Probleemstelling

Moderne agenten gebaseerd op geavanceerde taalmodellen (LLM's) staan vaak voor een kritieke beperking: ze kunnen hun interne gewichten niet aanpassen tijdens een episode. Fijne afstelling (fine-tuning) is te traag voor online, single-episode adaptatie, en in veel deployment-scenario's (bijvoorbeeld API-gebaseerde modellen of privacy-gevoelige traces) is toegang tot gewichten niet beschikbaar. Bijgevolg blijft het model vast, maar moet de agent toch leren complexe, multi-turn taken op te lossen waarbij het doel en de regels verborgen liggen in de omgeving.

Het artikel identificeert een gat in standaard agenteleerparadigma's. Traditionele versterkende leer (RL) vertrouwt op het bijwerken van een beleid of waardenfunctie (gewicht-ruimte) op basis van verliesignalen. Echter, wanneer gewichten bevroren zijn, is de "trainbare staat" ongedefinieerd. De auteurs betogen dat de workspace van de agent—de gestructureerde externe ondergrond die het leest, beschrijft en test—het object van adaptatie moet zijn. Dit is bijzonder relevant voor benchmarks zoals ARC-AGI-3, waar agenten spelmechanica, doelen en dynamiek moeten ontdekken door interactie binnen een strikt actiebudget, zonder offline data of de mogelijkheid om stappen terug te draaien.

Methodologie: Workspace-optimalisatie

Het artikel stelt Workspace-optimalisatie voor, een kader waarin een agent met een bevroren model zich aanpast door een mutabele, gestructureerde workspace te bewerken in plaats van zijn parameters. Deze benadering spiegelt de computatiestructuur van training in gewicht-ruimte, maar vervangt sleutelcomponenten:

Artefacten vervangen parameters.
Bewijs vervangt trainingsdata.
Tegenvoorbeelden vervangen verliesfuncties.
Tekstuele feedback vervangt gradiënten.

De trainbare staat

De agent wordt gemodelleerd als een tuple $(M, H)$ , waarbij $M$ een bevroren taalmodel is en $H$ een harness biedt met tools en een sandbox. De workspace $W_t$ op stap $t$ bestaat uit:

Programma's ( $P_t$ ): Herbruikbare, uitvoerbare artefacten (bijvoorbeeld observatie-parsers, dynamica-simulatoren, strategieën).
Logs ( $L_t$ ): Samenvattingen, hypothesen, verlaten kandidaten en onopgeloste vragen.
Trace-data ( $D_t$ ): Een alleen-ter-bijvoeging dataset van observaties, acties, beloningen en tegenvoorbeelden.

De leerlus werkt als volgt:

Actie & Voorspelling: De agent leest $W_t$ en $D_t$ om een actie $a_t$ te selecteren. Hij kiest een voorspelling (bijvoorbeeld "naar links bewegen resulteert in staat $z_{t+1}$ ").
Evaluatie: Na ontvangst van de volgende observatie $o_{t+1}$ vergelijkt de harness de voorspelling met de werkelijkheid.
Feedback & Routing: Als een voorspelling faalt, is de fout geen scalair verlies maar een tegenvoorbeeld dat wordt doorgestuurd naar het specifieke artefact (interface) dat verantwoordelijk is voor het falen. Dit lost het credit assignment-probleem op door te adresseren welk artefact moet worden bewerkt in plaats van hoeveel een gewicht moet worden bijgewerkt.
Reparatie & Regressie: De verantwoordelijke rol bewerkt zijn artefact (bijvoorbeeld het patchen van een Python-functie). Cruciaal is dat de harness een regressie-set ( $R_t$ ) van eerdere transities bijhoudt. De nieuwe patch wordt tegen deze set afgespeeld om ervoor te zorgen dat hij eerder opgeloste gevallen niet breekt voordat hij wordt geaccepteerd.

DREAMTEAM-architectuur

De auteurs concretiseren dit kader in DREAMTEAM, een multi-agent harness voor ARC-AGI-3. Het systeem ontbindt de agent in zes rollen, waarbij elke rol een specifiek "oppervlak" (getypeerde slot) in de workspace bezit:

Observer: Parseert ruwe observaties naar gestructureerde staat ( $z_t$ ) en bezit de renderingslogica.
Simulator: Houdt de verborgen staat ( $h_t$ ) bij en bezit het dynamischemodel (voorspellen van volgende staten).
Inductieve Explorer (IE): Onderhoudt een bibliotheek met herbruikbare strategieën en sub-doelen.
Transductieve Explorer (TE): Stelt informatieve probes voor wanneer het wereldmodel nog onvolwassen is.
Kriticus: Auditert artefacten, routeert fouten naar hun eigenaren en markeert regressies.
Teamleider (TL): Arbitreert voorstellen en commit tot de uiteindelijke actie.

Het systeem hanteert een commit-then-retrodict-lus. De Simulator commit tot een dynamica-programma; als de volgende observatie de voorspelling tegenspreekt, patcht de Simulator de code. De Kriticus zorgt ervoor dat patches consistent zijn met eerdere bewijzen via de regressie-set. In het begin van een spel kiest het systeem voor probes (TE) om onzekerheid te verminderen; naarmate het wereldmodel stabiliseert, verschuift de controle naar modelgebaseerde planning (IE/TL).

Belangrijkste bijdragen

Workspace-optimalisatiekader: Een formalisering van het aanpassen van agenten met bevroren modellen door het bewerken van een gestructureerde workspace van getypeerde artefacten. Dit herformuleert credit assignment als een adresbeslissing (welk artefact moet worden bewerkt) in plaats van een gradiëntupdate.
DREAMTEAM: Een multi-agent implementatie van dit kader, met een door DreamerV3 geïnspireerde architectuur waarbij rollen observatie, dynamica, strategie, probing, kritiek en arbitrage bezitten.
Efficiënte state-of-the-art prestaties: Op de 25-spellen ARC-AGI-3 publieke set bereikt DREAMTEAM een 38,4% RHAE (Relative Human Action Efficiency), wat de vorige protocol-gematchte baseline van 36% overtreft. Opmerkelijk is dat dit wordt bereikt terwijl er 31% minder omgevingsacties per spel worden gebruikt (444 versus 643), wat een superieure plannings-efficiëntie aantoont.

Resultaten

Prestaties: Gemiddeld over twee onafhankelijke runs bereikte DREAMTEAM 38,4% RHAE op de ARC-AGI-3 publieke set, vergeleken met de baseline van Symbolica's Agentica SDK van 36,08%.
Efficiëntie: Het systeem vereiste aanzienlijk minder acties om niveaus op te lossen. Op succesvol opgeloste niveaus gemiddelde DREAMTEAM 54,1 acties per niveau versus 100,1 voor de baseline.
Actiebudget: Het systeem loopt gedurende de eerste ~5 uur van een 24-uurs run voor op een gematcht-budget menselijke referentie, hoewel de mens uiteindelijk vooruitkomt vanwege sterkere cross-level transfer-capaciteiten die het huidige systeem bij elke transitie opnieuw opbouwt.

Betekenis en claims

Het artikel claimt dat Workspace-optimalisatie een onderzoeksagenda opent die parallel loopt aan decennia van leer in gewicht-ruimte, specifiek voor settings waar modellen vast staan. Door de workspace als het trainbare object te behandelen, maakt het systeem adaptatie expliciet en uitvoerbaar: elke voorspelling is een geschreven commitment, elke tegenspraak wordt een getypeerde reparatie, en elke reparatie wordt gevalideerd tegen eerdere bewijzen.

De auteurs benadrukken dat hun resultaten begrensd zijn door tijd- en kostenbudgetten in plaats van systeemintelligentielimieten. Ze merken op dat de methodologie is ontworpen voor interactieve settings waar het model vast staat en leren moet plaatsvinden via de workspace. Het artikel claimt niet alle ARC-AGI-3-uitdagingen op te lossen of te generaliseren naar alle interactieve domeinen zonder verder onderzoek, maar het vestigt een levensvatbaar pad voor "test-time adaptatie" die de noodzaak voor gewichtsupdates of offline trainingsdata vermijdt.

Het werk onderscheidt zich van eerdere test-time adaptatiemethoden (zoals casebanken of zelf herschrijvende code) door het gebruik van getypeerde, benoemde artefacten voor foutrouting, wat het open probleem van fouttoeschrijving omzeilt, en door regressiecontroles af te dwingen om consistentie met historisch bewijs te garanderen.