💻 computer science

ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents

Dit artikel introduceert ClawForge, een door een generator ondersteund benchmarkkader dat commandoregelagenten evalueert op uitvoerbare workflows met persistente statenconflicten, en blootlegt dat huidige state-of-the-art-modellen aanzienlijk moeite hebben met het inspecteren van bestaande staten en het verwerken van reeds bestaande artefacten, met een maximale strikte nauwkeurigheid van 45,3%.

Oorspronkelijke auteurs: Yuxiang Lai, Peng Xia, Haonian Ji, Kaiwen Xiong, Kaide Zeng, Jiaqi Liu, Fang Wu, Jike Zhong, Zeyu Zheng, Cihang Xie, Huaxiu Yao

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuxiang Lai, Peng Xia, Haonian Ji, Kaiwen Xiong, Kaide Zeng, Jiaqi Liu, Fang Wu, Jike Zhong, Zeyu Zheng, Cihang Xie, Huaxiu Yao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Rommelige Bureau"-Probleem

Stel je voor dat je een zeer slimme robotassistent inhuurt om je leven te organiseren. De meeste tests die we aan deze robots geven, zijn als hen een brandnieuw, leeg bureau geven en zeggen: "Schrijf alsjeblieft een takenlijst." De robot schrijft de lijst, en we controleren of de woorden correct zijn.

Maar in de echte wereld is je bureau nooit leeg. Het is bedekt met halffinished projecten, oude post-it nota's, tegenstrijdige instructies en bestanden die verouderd zijn. Een echte test van de intelligentie van een robot is niet alleen "Kan het een lijst schrijven?", maar "Kan het naar dit rommelige bureau kijken, uitzoeken wat er kapot is, de oude dingen repareren zonder de goede dingen te verwijderen, en de klus klaren?"

Dit papier introduceert ClawForge, een nieuwe manier om AI-agenten (robots) te testen die zich volledig richt op dit "rommelige bureau"-scenario.

Wat is ClawForge? (De "Scenariofabriek")

De auteurs realiseerden zich dat het maken van deze "rommelige bureau"-tests met de hand te moeilijk en te langzaam is. Als je 100 verschillende rommelige scenario's wilt testen, moet je handmatig 100 verschillende rommels bouwen.

ClawForge is een geautomatiseerde fabriek.
In plaats dat mensen elke test schrijven, hebben de onderzoekers een systeem gebouwd dat de tests gegenereert. Het neemt een sjabloon (zoals "Repareer een gebroken release-schema") en vult automatisch de details in (verschillende steden, verschillende data, verschillende fouten).

De Output: Het creëert een complete "uitvoerbare taak". Dit is niet zomaar een vraag; het is een mini-simulatie met een starttoestand (het rommelige bureau), een reeks regels en een manier om het resultaat te beoordelen.
Het Doel: Om te zien of de AI Staatconflicten aankan. Dit betekent omgaan met dingen die al aanwezig zijn, waarvan sommige misschien verkeerd, verouderd of dubbel zijn.

Hoe de Test Werkt (De "Spelcyclus")

Denk aan de test als een videospelleniveau waar de AI de speler is:

De Setup: Het spel laadt een "opslagbestand" dat al items op het bord heeft. Misschien staat er een taak genaamd "Repareer de Server" die al aanwezig is, maar gemarkeerd als "Lage Prioriteit" (wat verkeerd is).
De Instructie: De AI krijgt een opdracht: "De serverreparatie is verkeerd. Repareer het, maar verwijder de andere geldige taken niet."
De Actie: De AI typt commando's één voor één in (zoals een mens die een commandoregel gebruikt).
De Beoordeling: Dit is het belangrijkste deel. Het systeem controleert niet of de AI exact dezelfde woorden heeft getypt als een mens zou hebben gedaan. In plaats daarvan controleert het de eindtoestand van het bureau.
- Is de oude, verkeerde taak verwijderd?
- Staat de nieuwe, correcte taak er?
- Heeft de AI per ongeluk een dubbel van de taak gemaakt?
- Heeft het de geldige dingen met rust gelaten?

Als het eindbureau er perfect uitziet, slaagt de AI. Als het er rommelig uitziet, faalt het.

De Resultaten: De Robots Leren Nog Steeds

De auteurs testten zeven van de slimste beschikbare AI-modellen (van bedrijven zoals OpenAI, Anthropic en Kimi) op deze nieuwe benchmark. De resultaten waren verrassend en nederig:

De "Perfecte Score" is Zeldzaam: Zelfs het beste AI-model kreeg ongeveer 45% van de taken perfect goed. Dit betekent dat de benchmark moeilijk is en nog niet "opgelost" is.
Het "Verkeerde Reparatie"-Probleem: Een specifiek type falen kwam zeer vaak voor. Als ze werden gevraagd een verkeerd item te vervangen, bleven de modellen vaak steken. Ze verwijderden misschien het verkeerde item, maar vergaten het nieuwe toe te voegen, of ze voegden het nieuwe toe maar lieten het oude, kapotte item daar staan.
- Analogie: Stel je voor dat je wordt gevraagd een platte band te vervangen. De AI haalt de platte band eraf, maar vergeet de reservewiel erop te zetten. Of, het zet de reservewiel erop, maar laat de platte band op de grond rollen.
Het "Raak Het Niet Aan"-Probleem: Een ander veelvoorkomend falen was wanneer het bureau al grotendeels klaar was. De AI zou een taak zien die al correct was en in plaats van het gewoon met rust te laten, zou het proberen het opnieuw te "repareren", waardoor een dubbel ontstond.
- Analogie: Je vertelt de robot: "De koffie is al gezet." De robot zegt: "Oké," en zet direct een tweede pot koffie, waardoor er rommel ontstaat.
Efficiëntie Maakt Uit: Sommige modellen deden veel te veel stappen om simpele problemen op te lossen, terwijl anderen snel waren maar fouten maakten. De beste presteerders waren diegenen die eerst de bestaande toestand controleerden voordat ze handelden.

De Twee Zwaarste Uitdagingen

Het papier benadrukt twee specifieke soorten "rommelige bureau"-scenario's die bijna alle modellen op hol deden slaan:

Verkeerde-Toestand Vervanging: De AI moet iets identificeren dat verkeerd is en het vervangen door iets juists, terwijl alles andere veilig blijft. Dit was de moeilijkste taak; het beste model kreeg het maar 17% van de tijd goed.
Hervatten van Onderbroken Werkstroom: De AI moet een kamer binnenlopen waar iemand anders een project is gestart, de ontbrekende stukken afmaken en de delen die al klaar waren niet opnieuw doen. De kloof tussen de beste en slechtste modellen was hier enorm (van 17% tot 90%), wat laat zien dat sommige modellen veel beter zijn in "de kamer lezen" voordat ze erin springen.

Waarom Dit Belangrijk Is

De auteurs betogen dat we AI niet langer alleen op "schone" taken kunnen testen. Echt werk houdt in omgaan met geschiedenis, fouten en gedeeltelijke vooruitgang. ClawForge is een hulpmiddel om te meten of een AI echt klaar is om in een echt kantoor te werken, waar dingen zelden perfect zijn en het opnieuw beginnen zelden een optie is.

Kortom: ClawForge is een sportschool voor AI-agenten om te leren hoe ze een rommelige kamer schoonmaken zonder de meubels kapot te maken die al werken. Op dit moment struikelen zelfs de sterkste AI-agenten nog over hun eigen voeten in deze sportschool.

Technische Samenvatting: ClawForge

Probleemstelling

Interactieve agent-benchmarks staan momenteel voor een fundamentele spanning tussen schaalbare constructie en realistische workflow-evaluatie. Bestaande benaderingen vertrouwen sterk op handmatig geschreven taken, die duur zijn om uit te breiden en te herzien, of statische prompt-evaluaties die fouten missen die alleen optreden wanneer agents werken met persistente staat. Cruciaal is dat de meeste huidige interactieve benchmarks taken initialiseren vanuit een "schone staat", waardoor ze niet systematisch testen hoe agents omgaan met bestaande gedeeltelijke, verouderde of conflicterende artefacten. Deze lacune laat een centraal aspect van workflow-competentie ongemeten: correctheid die afhankelijk is van de eindstaat van een live-omgeving in plaats van slechts van een plausibel tekstueel antwoord of een reeks commando's.

Methodologie

De auteurs presenteren ClawForge, een door een generator ondersteund benchmarkkader dat is ontworpen voor uitvoerbare commandoregel-workflows onder staatconflicten. In tegenstelling tot statische prompt-collecties behandelt ClawForge elke taak als een uitvoerbare specificatie die bestaat uit vijf gekoppelde componenten:

Instructie ( $x$ ): Een commando in natuurlijke taal.
Geïnitieerde Staat ( $S_0$ ): Een gezaaide omgevingsstaat die bestaande artefacten bevat (die geldig, verouderd of conflicterend kunnen zijn).
Referentietraject ( $C^\star$ ): Een grondwaarheid-commandoreeks afgeleid van het uitvoeren van de beoogde workflow tegen de geïnitieerde staat.
Uitvoerbare Checks ( $E$ ): Validators die vereiste staatsovergangen en waarneembare neveneffecten verifiëren.
Metadata ( $m$ ): Gestructureerde informatie met betrekking tot scenario-families en vaardigheidscategorieën.

Generatie- en Uitvoeringspijplijn

Het kader compileert scenario-sjablonen en verankerde slots (bijvoorbeeld stad, tijdzone, ontvanger) tot reproduceerbare taakspecificaties. De uitvoeringsomgeving biedt een CLI-achtige interface voor workflows op vlakken zoals taken, agenda's, e-mail, berichten, bestanden, runtime-configuratie en weer.

Staatgebonden Uitrol: Agents interageren stap voor stap in een staatgebonden lus. De omgeving voert commando's uit, registreert staatveranderende effecten en bouwt de volgende observatie op basis van de bijgewerkte staat.
Resultaat-eerst Evaluatie: Evaluatie wordt uitgevoerd op een genormaliseerde eindstaat ( $\hat{S}$ ) en waarneembare neveneffecten in plaats van exacte trajectmatching. Dit staat toe dat meerdere geldige commandoreeksen slagen als ze de vereiste staatsovergangen produceren.
Scoren: Het kader rapporteert twee metrieken:
- Strenge Nauwkeurigheid: Het aandeel taken waarbij elke vereiste check slaagt.
- Deelkrediet-score: Een gewogen gemiddelde dat meet hoeveel van de workflow correct is voltooid, met onderscheid tussen vroege storingen en "near-miss"-afsluitingen.

Belangrijkste Bijdragen

ClawForge-kader: Een systeem voor geautomatiseerde taakconstructie, staatgebonden uitvoering en resultaat-eerst evaluatie dat reproduceerbaarheid en uitbreidbaarheid in interactieve benchmarks behoudt.
ClawForge-Bench: Een concrete instantiatie van het kader met 17 scenario-families georganiseerd in 6 vaardigheidscategorieën:
- Dubbelvermijding
- Gatenvulling
- Informatieoverdracht
- Redenering uit meerdere bronnen
- Staatreparatie
- Workflowvoltooiing
Foutmodusanalyse: De benchmark richt zich specifiek op realistische foutmodi zoals dubbelbewuste voltooiing, reparatie van verouderde staat, vervanging van verkeerde staat, oplossen van takken uit meerdere bronnen en volledige workflow-afsluiting.

Experimentele Resultaten

De auteurs evalueerden zeven frontier-modellen (waaronder Kimi-K2.5, GPT-5-varianten en Claude 4.6-varianten) op ClawForge-Bench. Belangrijkste bevindingen zijn:

Lage Saturatie: De benchmark is verre van verzadigd. Het best presterende model (Claude Opus 4.6) behaalde slechts 45,3% strenge nauwkeurigheid.
Staatconflictdifficultie: "Verkeerde-staatvervanging" bleek de meest uitdagende gedeelde slice, waarbij alle modellen onder de 17% scoorden (de beste bereikte 17,4%). Dit duidt op een aanzienlijk onvermogen om verouderde staat te identificeren, geldige delen te behouden en ongeldige delen gelijktijdig te vervangen.
Modelseparatie: De grootste prestatiekloof (17% tot 90%) werd waargenomen in het scenario "Hervatten van onderbroken workflows". Deze scheiding wordt voornamelijk gedreven door of agents bestaande staat inspecteren voordat ze handelen; modellen die inspectie overslaan, hebben de neiging om bestaande objecten opnieuw te creëren, wat dubbelguards activeert.
Foutstijlen: Analyse van deelkrediet en stap-efficiëntie toonde aan dat veel fouten "near-miss"-afsluitingen zijn in plaats van vroege storingen. Modellen identificeren vaak de juiste reparatierichting maar missen een laatste neveneffect. Bovendien vertonen modellen kwalitatief verschillende foutstijlen: sommige zijn stap-efficiënt maar missen laatste bewerkingen, terwijl andere excessive stappen verbruiken zonder de afsluiting te verbeteren.

Betekenis

Het artikel stelt dat ClawForge een kritieke blinde vlek in agent-evaluatie aanpakt: het vermogen om staatconflicten in persistente workflows te beheren. Door verder te gaan dan initialisatie vanuit een schone staat, blootlegt de benchmark foutmodi—zoals incorrecte staatvervanging en het niet herkennen van bestaande geldige artefacten—die statische of schone-staat-benchmarks niet kunnen waarnemen. De resultaten suggereren dat huidige frontier-modellen aanzienlijk worstelen met de oordeelsvragen die nodig zijn in staatconflict-scenario's, specifiek het onderscheid maken tussen wat gerepareerd moet worden versus wat behouden moet blijven. Het kader biedt een mechanisme om deze capaciteiten systematisch te meten en biedt een meer diagnostisch beeld van agent-betrouwbaarheid in operationele contexten uit de echte wereld.