Technische Samenvatting: Long-Horizon-Terminal-Bench

Probleemstelling

Huidige AI-agenten, gebouwd op Large Language Models (LLM's), hebben een bewezen bekwaamheid getoond in korte, goed afgebakende terminaltaken (bijv. het oplossen van een specifiek codeprobleem of het uitvoeren van enkele shell-commando's). Echter, bestaande terminal-benchmarks (zoals Terminal-Bench en SWE-Bench) richten zich grotendeels op deze kortetermijnproblemen, die doorgaans binnen minuten worden geëvalueerd en uitsluitend worden beoordeeld op basis van een binaire "pass/fail"-uitkomst. Dit evaluatieparadigma creëert twee kritieke hiaten:

1. Onderschatting van de moeilijkheidsgraad: Korte horizonten slagen er niet in de complexiteit van real-world workflows te vatten die honderden stappen, langdurige planning over uren en iteratief debuggen vereisen.
2. Schaarse beloningssignalen: Binaire beoordeling negeert tussenliggende progressie. Een agent die 90% van een complexe workflow voltooit maar de laatste stap niet haalt, krijgt dezelfde score als een agent die direct faalt, wat de werkelijke capaciteit van de agent vertroebelt en het moeilijk maakt om specifieke foutmodi te diagnosticeren (bijv. voortijdig stoppen versus tijdoverschrijding).

Methodologie

De auteurs introduceren Long-Horizon-Terminal-Bench (LHTB), een benchmark die is ontworpen om agenten te testen op langdurige, domeinspecifieke terminaltaken met behulp van dichte, procesgebaseerde beloningsbeoordeling.

Taakconstructie

• Omvang: De benchmark bestaat uit 46 taken verspreid over negen categorieën, waaronder experimentreproductie, software engineering, multimodale analyse, interactieve games en wetenschappelijke computing.
• Formaat: Taken volgen de Terminal-Bench-formulering: een gecontaineriseerde Docker-omgeving met een instructie in natuurlijke taal, relevante bestanden/tools en een oracle-oplossing. Agenten interageren volledig via de terminal.
• Complexiteit: Taken zijn expliciet ontworpen om honderden stappen te vereisen en uitvoeringstijden te beslaan die variëren van tientallen minuten tot uren. Ze omvatten het lezen/wijzigen van code, het draaien van lange scripts en het inspecteren van gedeelde outputs.
• Kalibratie van de moeilijkheidsgraad: Taken werden gebouwd door "bewust defecte" terminal-only projecten te creëren. Om overfitting te voorkomen, zijn publieke controles minimaal (het valideert enkel CLI-gedrag en eenvoudige voorbeelden), terwijl het merendeel van de beloning wordt afgeleid van verborgen stressgevallen (bijv. geneste manifesten, schema-variaties, geïnjecteerde ruis) die robuuste, generaliseerbare oplossingen vereisen.

Beoordelingsmechanisme: Dichte Beloningen

In tegen tegenstelling tot binaire evaluatie, maakt LHTB gebruik van een subtaak-gebaseerd beoordelingsschema:

• Elke taak wordt gedecomposeerd in semantisch betekenisvolle subtaken ($s_1, \dots, s_K$).
• Een deterministische grader wijst een genormaliseerde score $r_k \in [0, 1]$ toe aan elke subtaak op basis van objectief bewijs (bestanden, outputs, testresultaten).
• De uiteindelijke beloning $R$ is een gewogen gemiddelde: $R = \frac{\sum w_k r_k}{\sum w_k}$.
• Dit maakt gedeeltelijke credit mogelijk, waarbij wordt vastgelegd hoe ver een agent vorderingen boekt, zelfs als deze er niet in slaagt het einddoel te bereiken.

Evaluatie-opzet

• Modellen: 15 frontier-modellen werden geëvalueerd (waaronder GPT-5.5, DeepSeek V4 Pro, Kimi K2.7 Code, etc.).
• Harnas: Het Terminus-2 agent-harnas werd gebruikt voor de meeste modellen, waarbij interactie plaatsvindt via één enkele long-horizon terminal sessie.
• Restricties: Taken hebben een wall-clock timeout van 90 minuten.
• Metrieken: Pass@1 (bij drempelwaarden $R \ge 0.9, 0.95, 1.0$), gemiddelde genormaliseerde beloning, episodes per taak, executietijd en geschatte kosten.

Belangrijkste Resultaten

De evaluatie laat zien dat langdurige uitvoering (long-horizon execution) een significante bottleneck blijft, zelfs voor de meest geavanceerde modellen.

• Lage succespercentages: Zelfs het sterkste model, GPT-5.5, behaalde een pass rate van slechts 15,2% bij de $R \ge 0.95$ drempelwaarde en 10,9% bij volledige voltooiing ($R=1.0$). De gemiddelde pass rate over alle 15 modellen was slechts 4,3% bij $R \ge 0.95$.
• Resourceconsumptie: Taken zijn extreem veeleisend, met een gemiddelde van 231 episodes, 9,9 miljoen tokens en 85,3 minuten aan uitvoeringstijd per run.
• Kostenefficiëntie: Er is een grote variantie in kostenefficiëntie. GPT-5.5 is het duurst ($21/taak) maar ook het meest effectief. Hy3 vormt het lage-kostenfront ($2,5/taak) met een matig succes. Veel modellen brengen hoge kosten met verwaarloosbaar succes met zich mee, wat aangeeft dat verhoogde investeringen in inferentie alleen het probleem van long-horizon falen niet oplossen.
• Foutmodi:
  • Timeouts: 79% van de onopgeloste runs eindigde omdat het 90-minuten budget verliep terwijl de agent nog aan het werk was, vaak met lage gemiddelde beloningen (0.10–0.35).
  • False Finishes: Een aanzienlijk deel van de "early exits" (agenten die vrijwillig stopten) vond plaats bij hoge beloningsniveaus ($R \ge 0.75$), waar de agent onterecht oordeelde dat de taak voltooid was. Dit benadrukt een zwakte in zelfverificatie en stopcriteria.
  • Binair vs. Dicht: Onder strikte binaire beoordeling ($R \ge 1.0$) losten 10 van de 15 modellen nul taken op. Dichte beoordeling onthulde dat 62,8% van de runs betekenisvolle gedeeltelijke progressie maakte, waardoor modellen die "bijna" waren versus modellen die direct faalden, van elkaar onderscheiden konden worden.

Betekenis en Claims

Het artikel stelt dat Long-Horizon-Terminal-Bench noodzakelijk is om voorbij de beperkingen van outcome-only evaluatie te gaan. De primaire bijdragen zijn:

1. Onthullen van verborgen progressie: Dichte beloningen leggen "near-misses" en gedeeltelijke progressie bloot die binaire beoordeling verbergt, wat een genuanceerder beeld geeft van de capaciteiten van agenten.
2. Identificeren van de bottleneck: De resultaten suggereren dat de primaire beperking voor huidige agenten niet de lokale redeneerkracht is (waar korte benchmarks dit meten), maar betrouwbare langdurige voltooiing (long-horizon completion). Agenten worstelen met het budgetteren van tijd, het behouden van status over lange trajecten en het kalibreren van stopbeslissingen.
3. Benchmarking van de realiteit: Door honderden stappen en uren uitvoering te vereisen, biedt LHTB een realistischere stress-test voor autonome agenten dan eerdere benchmarks, waarbij aanzienlijke ruimte voor verbetering wordt aangetoond.
4. Grondstof voor toekomstig werk: De auteurs stellen de benchmark en het evaluatieharnas beschikbaar om de ontwikkeling van agenten te ondersteunen die in staat zijn om betrouwbaar te plannen, te verifiëren en uit te voeren over uitgebreide horizonten.

De auteurs concluderen dat hoewel huidige agenten lokale stappen correct kunnen uitvoeren, ze de robuustheid missen om progressie te handhaven en voltooiing te verifiëren over de lange horizonten die vereist zijn voor praktische, real-world workflows.