💻 computer science

TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks

Het artikel introduceert TerminalWorld, een schaalbare data-engine die automatisch 1.530 hoogwaardige terminaltaken reverse-engineert uit 80.870 real-world opnames om AI-agenten te benchmarken, en onthult dat huidige frontier-modellen moeite hebben met authentieke workflows en slecht presteren in vergelijking met bestaande door experts samengestelde benchmarks.

Oorspronkelijke auteurs: Zhaoyang Chu, Jiarui Hu, Xingyu Jiang, Pengyu Zou, Han Li, Chao Peng, Peter O'Hearn, Earl T. Barr, Mark Harman, Federica Sarro, He Ye

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhaoyang Chu, Jiarui Hu, Xingyu Jiang, Pengyu Zou, Han Li, Chao Peng, Peter O'Hearn, Earl T. Barr, Mark Harman, Federica Sarro, He Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe je een computer's "command line" gebruikt—dat zwarte scherm waar programmeurs tekstcommando's intypen in plaats van op pictogrammen te klikken. Lange tijd was de manier waarop we deze robots testten als het geven van een puzzel die door een strenge leraar was bedacht. De leraar zou zeggen: "Hier is een lastig raadsel; los het op!" Als de robot het raadsel oploste, dachten we dat het slim was.

Maar de auteurs van dit artikel, TERMINALWORLD, realiseerden zich dat er een probleem is: Het echte leven is geen raadsel. Het echte leven is rommelig, onvoorspelbaar en vol met specifieke tools die mensen daadwerkelijk elke dag gebruiken. Een robot die een raadsel kan oplossen, kan nog steeds falen wanneer het wordt gevraagd om daadwerkelijk een server te repareren of bestanden te organiseren in een echt kantoor.

Hier is hoe ze dit hebben opgelost, eenvoudig uitgelegd:

1. De "Vlieg aan de Muur"-benadering

In plaats van nep-taken te verzinnen, gingen de onderzoekers naar een openbare website genaamd asciinema. Dit is als een YouTube-kanaal, maar voor computerschermen. Ontwikkelaars laden vrijwillig opnames van hun echte werksessies op.

De Analogie: Stel je voor dat je een student wilt leren koken. In plaats van een kookboek van scratch te schrijven (wat te perfect of raar zou kunnen zijn), ga je naar een keuken, neem je 80.000 uur op van echte koks die echte maaltijden bereiden, en vraag je dan: "Oké, wat hebben ze net gedaan?"
Het Resultaat: Ze verzamelden 80.870 echte opnames van ontwikkelaars aan het werk.

2. De "Robot-kok"-motor

Ruw opgenomen materiaal is rommelig. Het bevat typefouten, mislukte pogingen en lange lijsten met systeemberichten die er niet toe doen. De onderzoekers bouwden een speciale "data-engine" (een slim softwaresysteem) om dit op te schonen.

Stap 1: Het doel begrijpen. De engine bekijkt een rommelige opname en vraagt een superslimme AI: "Wat probeerde deze persoon eigenlijk te bereiken?" Het zet een rommelig logboek om in een duidelijke instructie: "Blokkeer deze slechte IP-adressen en sla de lijst op in dit bestand."
Stap 2: De keuken bouwen. De opname vertelt je niet welke tools de kok had. De engine moet raden welke software en bestanden nodig waren, een perfecte digitale kopie maken van die computeromgeving (met behulp van iets dat een "Docker-container" heet), en ervoor zorgen dat de originele commando's daar echt zouden werken.
Stap 3: Het veiligheidsnet. Omdat er geen leraar is om het werk te beoordelen, creëert de engine zijn eigen "test". Het voert de oplossing uit en controleert: "Verscheen het bestand? Is de lijst correct?" Als de test faalt, repareert het de test totdat deze perfect is.

3. Het nieuwe "Real World"-examen

Vanuit die 80.000 opnames creëerden ze een enorme nieuwe testbank genaamd TERMINALWORLD.

Het bevat 1.530 gevalideerde taken.
Het dekt 18 verschillende soorten echte banen, van het opzetten van cloud-servers tot het repareren van databasefouten.
Het gebruikt 1.280 verschillende computercommando's, waarvan 91% nooit eerder in eerdere tests was gezien.

Ze creëerden ook een kleinere, super-moeilijke versie genaamd TERMINALWORLD-VERIFIED (200 taken) die door mensen dubbelgecontroleerd werd om ervoor te zorgen dat deze 100% accuraat is.

4. De schokkende resultaten

Ze zetten 's werelds slimste AI-modellen (zoals de nieuwste versies van Claude, GPT en Gemini) en hun "agent"-frameworks (de software die de AI helpt de computer te gebruiken) door deze nieuwe test.

Hier is wat ze ontdekten:

De "Efficiëntie-paradox": Hoe slimmer de AI, hoe meer het soms worstelt. De beste AI slaagde slechts voor 62,5% van de taken. Wanneer ze faalden, gaven ze niet op; ze bleven proberen, waardoor enorme hoeveelheden tijd en geld werden verspild aan het verkennen van de verkeerde paden. Het is als een student die dezelfde verwarrende alinea keer op keer opnieuw leest in plaats om hulp te vragen.
De "Puzzel versus Realiteit"-kloof: Er was bijna geen connectie tussen hoe goed een AI presteerde op de oude "raadsel"-tests (Terminal-Bench) en hoe goed het presteerde op deze nieuwe "real life"-test.
- Analogie: Een AI kan een kampioen zijn in het oplossen van Sudoku-puzzels (de oude test), maar volledig falen bij het daadwerkelijk rijden met een auto in het verkeer (de nieuwe test). De oude tests waren gewoon te verschillend van echt werk.
Agents versus Mensen: Wanneer de AI een taak oploste, deed het dit zelden op dezelfde manier als de mens in de opname. Ze namen verschillende paden om naar dezelfde bestemming te komen. Dit is eigenlijk goed! Het betekent dat de AI niet gewoon kopieert; het bedenkt zijn eigen manier, zelfs als die manier langer is dan die van de mens.

De Conclusie

Het artikel stelt dat we niet langer tests kunnen vertrouwen die door experts in een lab zijn bedacht. Om te weten of een AI echt klaar is om in de echte wereld te werken, moeten we het testen op echte menselijke workflows die rommelig, complex en voortdurend veranderend zijn.

TERMINALWORLD is een tool die automatisch echt menselijk werk omzet in een test, waardoor wordt gegarandeerd dat naarmate ontwikkelaars veranderen hoe ze werken, onze tests voor AI er direct naast evolueren. Het is een verschuiving van het testen van "kun je een puzzel oplossen?" naar "kun je de baan doen?".

Technische Samenvatting: TERMINALWORLD: Benchmarken van Agents op Real-World Terminaltaken

Probleemstelling

Autonome agents aangedreven door Large Language Models (LLM's) worden steeds bekwaamer in het automatiseren van complexe terminalworkflows door commando's uit te voeren, tools te combineren en feedback te interpreteren binnen interactieve Command Line Interface (CLI)-sessies. Het betrouwbaar evalueren van deze agents op authentieke, real-world terminaltaken blijft echter een open uitdaging.

Huidige evaluatiestandaarden vertrouwen sterk op handmatig samengestelde benchmarks (bijvoorbeeld Terminal-Bench, LongCLI-Bench). Deze benchmarks lijden onder drie primaire beperkingen:

Authenticiteitskloof: Experts geven vaak de voorkeur aan adversariele puzzels om de moeilijkheidsgraad te maximaliseren, waardoor taken afwijken van de authentieke, routinematige workflows die ontwikkelaars daadwerkelijk uitvoeren.
Schalingsknelpunt: Handmatige curatie is arbeidsintensief en kan geen gelijke tred houden met evoluerende terminalpraktijken en diverse opkomende tools, wat leidt tot benchmarks met een nauwe scope die snel verouderen.
Validatietekort: Recente methoden voor geautomatiseerde synthese proberen handmatige curatie te omzeilen, maar zijn primair ontworpen voor het genereren van trainingsdata. Ze ondergaan zelden de strenge validatie die nodig is om ware authenticiteit en testvaliditeit te garanderen.

Gevolg hiervan is dat er een evaluatiesysteem ontbreekt dat zowel authentiek is voor real-world ontwikkelaarspraktijken als schaalbaar genoeg om samen met hen te evolueren.

Methodologie: De TERMINALWORLD Data-engine

Om deze beperkingen aan te pakken, introduceren de auteurs TERMINALWORLD, een schaalbare data-engine die automatisch high-fidelity evaluatietaken reverse-engineert vanuit "in-the-wild" terminalopnames. De engine werkt op een corpus van 80.870 terminalsessie-opnames verzameld van het asciinema-platform, een openbare repository waar ontwikkelaars vrijwillig sessietranscripten delen.

De engine verwerkt ruwe opnames via vier systematische fasen om ruisige logs om te zetten in rigoureuze benchmarks:

1. Verzamelen en Filteren van Menselijke Opnames

De engine haalt transcripten en metadata op bij asciinema. Een meerfasig filterproces zorgt voor datakwaliteit en veiligheid:

Privacy & Veiligheid: Uitsluiting van opnames met Persoonlijk Identificeerbare Informatie (PII), gevoelige referenties of kwaadaardige commando's (bijvoorbeeld rm -rf *).
Scope-definitie: Verwerpen van opnames die Text User Interfaces (TUI's zoals vim of nano) of GUI's betrekken, met strikte focus op pure CLI-workflows.
Reproduceerbaarheid: Verwijderen van sessies afhankelijk van ontoegankelijke URL's, Windows-omgevingen of propriëtaire software die niet in containers kan worden ondergebracht.
Kwaliteitsscore: Gebruik van een LLM om ondoorzichtige of puur verkennende sessies te filteren, waarbij alleen hoogwaardige, deterministische workflows worden behouden.
Resultaat: 9.492 hoogwaardige opnames werden behouden voor synthese.

2. Synthetiseren van Terminaltaken

Ruwe transcripten zijn ruisig, met typefouten, opnieuw proberen en uitgebreide systeemoutput. De engine gebruikt een LLM (bijvoorbeeld Claude Sonnet 4.6) om deze te distilleren tot twee artefacten:

Formalisatie van Taak-instructie: De LLM infereert de onderliggende intentie van de ontwikkelaar om een op resultaat gerichte instructie te genereren. Cruciaal is dat de instructie de eindtoestand specificeert (bijvoorbeeld "opgeslagen geblokkeerde IP-adressen naar /app/result.txt") in plaats van het procedurale pad, waardoor hints die specifiek zijn voor een oplossing niet in de taak lekken.
Extraheren van Referentie-oplossing: De LLM extrahert een schone, uitvoerbare Bash-script uit het transcript, verwijdert duplicaten en mislukte pogingen om een ground-truth referentie-oplossing te creëren.

3. Reproductie van Uitvoerbare Omgevingen

Omdat ruwe opnames afhankelijk zijn van de specifieke systeemtoestand van de oorspronkelijke ontwikkelaar, moet de engine de uitvoeringsomgeving reverse-engineeren.

Omgevingssynthese: Een LLM-agent (bijvoorbeeld Claude Code) infereert afhankelijkheden (basisimages, systeempackages, runtimes) vanuit de referentie-oplossing om een Dockerfile en docker-compose.yaml te synthetiseren.
Executie-gebaseerde Verfijningsslus: Om te waarborgen dat de omgeving trouw is en niet gehallucineerd, bouwt de agent het Docker-image, probeert de referentie-oplossing te herhalen en gebruikt runtime-fouten (bijvoorbeeld ontbrekende bibliotheken, niet geconfigureerde variabelen) als feedback om het Dockerfile iteratief te repareren.
Resultaat: Deze lus slaagt erin uitvoerbare omgevingen te reproduceren voor 5.035 taken.

4. Genereren van Testsets

Om taaksucces automatisch te beoordelen, genereert de engine een testset binnen de gereproduceerde Docker-container met behulp van een trial-gebaseerde verfijningsslus:

Testsynthese: Een agent genereert asserties op basis van de geformaliseerde instructie en de daadwerkelijke filesystem-veranderingen (toestandsdelta's) veroorzaakt door de referentie-oplossing.
Validatie in Drie Trials:
1. AllPassing Trial: Voert de referentie-oplossing uit; alle tests moeten slagen (zorgt voor oplosbaarheid).
2. Nop Trial: Voert niets uit; alle tests moeten falen (zorgt voor non-trivialiteit).
3. Partial Trials: Voert afgeknipte/ablatieve oplossingen uit; minstens één test moet falen (zorgt voor discriminatie tegen onvolledige oplossingen).
Resultaat: Alleen taken waarbij de testset alle drie de trials doorstaat, worden toegelaten. Dit proces levert 1.530 gevalideerde terminaltaken op voor de volledige benchmark.

Uit deze volledige set hebben de auteurs een VERIFIED subset van 200 taken samengesteld, handmatig beoordeeld door de auteurs om semantische uitlijning en correctheid te waarborgen, dienend als een rigoureuze testomgeving voor frontiermodellen.

Belangrijkste Bijdragen

TERMINALWORLD Benchmark: Een dataset van 1.530 gevalideerde taken die 18 real-world categorieën bestrijken (bijvoorbeeld container-orchestration, CI/CD, beveiliging) en 1.280 unieke commando's omvatten. Opmerkelijk is dat 91% van deze commando's ontbreekt in bestaande benchmarks zoals Terminal-Bench.
Geautomatiseerde Data-engine: Een volledig geautomatiseerde pijplijn die taken reverse-engineert vanuit real-world opnames, waardoor de benchmark "authentiek en schaalbaar bij constructie" is.
VERIFIED Subset: Een handmatig gecontroleerde kern van 200 taken ontworpen voor high-fidelity evaluatie van complexe workflows.
Uitgebreide Benchmarking: Uitgebreide evaluatie van acht frontier-LLM's en zes toonaangevende terminalagents op de VERIFIED subset.

Experimentele Resultaten

De auteurs evalueerden frontiermodellen (bijvoorbeeld Claude Opus 4.7, GPT-5.5, Gemini 3.1 Pro) en agents (bijvoorbeeld Terminus-2, Claude Code, OpenHands) op de TERMINALWORLD-VERIFIED subset.

Prestatieplafond: Huidige systemen hebben aanzienlijke moeite met authentieke terminalworkflows. Het best presterende model (Claude Opus 4.7) behaalde een slaagpercentage van slechts 62,5%.
Efficiëntieparadox: Er is een zwakke negatieve correlatie tussen resourceverbruik (rondes, tokens) en succes. Modellen besteden vaak excessive rekenkracht aan het verkennen van omgevingen zonder vooruitgang te boeken. Mislukte pogingen verbruiken aanzienlijk meer resources (3,3× meer tokens) dan succesvolle pogingen.
Domeinspecificiteit: Prestaties variëren sterk per domein. Modellen presteren goed bij het opzetten van omgevingen (87,5%) maar worstelen met prestatieoptimalisatie (28,1%) en scripting/automatisering (39,1%).
Impact van Agent-frameworks: Agent-frameworks beïnvloeden primair de kosteneffectiviteit in plaats van het onderliggende capaciteitsplafond. Bijvoorbeeld, Terminus-2 en mini-SWE-agent behaalden vergelijkbare slaagpercentages als Claude Code, maar voor een fractie van de kosten.
Zwakke Correlatie met Bestaande Benchmarks: Scores op Terminal-Bench 2.0 tonen slechts een zwakke correlatie (Pearson $r = 0.20$ ) met TERMINALWORLD-VERIFIED scores. Modellen die expert-gecureerde uitdagingen domineren (bijvoorbeeld GPT-5.5) presteren vaak ondermaats op real-world workflows, wat suggereert dat bestaande benchmarks niet volledig de benodigde capaciteiten vastleggen.
Afwijking van Menselijke Workflows: Agents nabootsen zelden de specifieke commandopaden van de oorspronkelijke menselijke opnames. De mediaan overlap van commando-sets tussen agenttrajecten en menselijke referentie-oplossingen is slechts 21,4%, wat aangeeft dat agents taken vaak oplossen via geldige maar verschillende alternatieve strategieën.

Betekenis en Beweringen

Het artikel beweert dat TERMINALWORLD een nieuwe standaard vestigt voor het evalueren van terminalagents door over te schakelen van adversariele, expert-gecureerde puzzels naar authentieke, schaalbare, real-world workflows.

Authenticiteit: Door taken te reverse-engineeren vanuit daadwerkelijke ontwikkelaarsopnames, vangt de benchmark de nuances van real-world afhankelijkheden, tooldiversiteit en workflowcomplexiteit die synthetische of handmatig vervaardigde benchmarks missen.
Schalbaarheid: Het geautomatiseerde karakter van de engine stelt de benchmark in staat om continu te evolueren naarmate nieuwe opnames worden geüpload naar asciinema, waardoor het dataset niet verouderd raakt.
Diagnostische Waarde: De benchmark onthult dat huidige state-of-the-art modellen en agents gebrek hebben aan robuuste tool-gebruikscapaciteiten in open-ended, real-world actie-ruimtes. Het benadrukt dat hoge scores op bestaande benchmarks de competentie van een agent in praktische, evoluerende terminalomgevingen kunnen overschatten.

De auteurs concluderen dat TERMINALWORLD een noodzakelijke basis biedt voor het ontwikkelen van agents die betrouwbaar zijn in real-world terminalomgevingen, en de gemeenschap voorbij de statische, expert-gecureerde evaluaties brengt.