StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling
Het artikel introduceert StateM, een agent-native runtime die gebruikmaakt van harness-schaling door middel van duurzame staten, gecontroleerde transities en versiebeheer van runbooks om de nauwkeurigheid van agents over lange termijn op Terminal-Bench 2.1 significant te verhogen naar 95,3%, terwijl de inferentiekosten drastisch worden verminderd in vergelijking met baseline-modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het snel evoluerende veld van kunstmatige intelligentie is een hardnekkig raadsel ontstaan: waarom falen geavanceerde computerprogramma's, die in staat zijn om complexe stappen afzonderlijk op te lossen, vaak wanneer ze de opdracht krijgen om een langdurige, meerstaps taak te voltooien? Stel je een briljante architect voor die een perfecte kamer kan ontwerpen maar vergeet de fundering te leggen, of een bekwame chirurg die een foutloze incisie uitvoert maar halverwege de vitale functies van de patiënt uit het oog verliest. Deze systemen, bekend als long-horizon agents, struikelen vaak niet omdat ze een gebrek aan intelligentie hebben, maar omdat ze de draad van het proces kwijtraken. Ze kunnen vergeten wat ze al hebben gedaan, een noodzakelijke controle overslaan, of stoppen met werken voordat het uiteindelijke doel werkelijk is bereikt. Jarenlang was de standaardoplossing om grotere, slimmere breinen te bouwen, in de hoop dat een krachtiger model deze fouten simpelweg niet zou maken. Echter, een nieuwe lijn van onderzoek suggereert dat het probleem misschien niet het brein zelf is, maar de omgeving waarin het werkt.
Onderzoekers zijn een andere vraag gaan stellen: hoeveel van dit falen is eigenlijk een falen van het systeem dat de aandacht van de agent vasthoudt, de voortgang bijhoudt en hem dwingt de klus te klaren? Deze benadering, die de auteurs "harness scaling" noemen, stelt voor dat we een bestaand, bekwaam model veel betrouwbaarder kunnen maken door de instrumenten en regels te verbeteren die eromheen staan, zonder het model zelf te veranderen. In plaats van te proberen het model uit zichzelf alles te laten onthouden, geeft deze methode de agent een gedeeld, extern notitieblok dat zowel de agent als een menselijke supervisor kunnen lezen en bijwerken. Dit notitieblok fungeert als een duurzaam verslag van waar de agent zich bevindt, wat hij heeft beloofd als volgende stap te ondernemen, en welk bewijs vereist is voordat hij verder kan gaan. Door het uitvoeringsproces te behandelen als een reeks afzonderlijke fasen met duidelijke controlepunten, zorgt het systeem ervoor dat de agent niet van koers afwijkt of een taak half af laat liggen.
De onderzoekers achter deze studie, onder leiding van Ziheng Qin en collega's, bouwden een lichtgewicht systeem genaamd StateM om dit idee te testen. Ze ontwierpen het om te werken met standaard computeragents die opereren via commandolijnen, vergelijkbaar met een mens die instructies typt in een terminal. De kern van hun uitvinding is een eenvoudig, leesbaar document genaamd een runbook. Dit document fungeert als een kaart en een contract voor de agent. Het breekt een grote taak op in specifieke stadia, of staten, zoals planning, bouwen, controleren en het overdragen van het werk. Wanneer de agent een nieuwe fase ingaat, verfrist het systeem zijn instructies en laat het precies zien wat hij moet bereiken voordat hij kan vertrekken. Cruciaal is dat de agent niet simpelweg een fase als voltooid kan verklaren; hij moet een verificatiecontrole passeren. Als de agent probeert een stap over te slaan of een controle faalt, stopt het systeem hem en dwingt het hem de fout te herstellen voordat hij verdergaat. Dit creëert een gedeelde ruimte waar de agent en een mens het werk kunnen inspecteren, de beslissingen kunnen auditeren en de regels samen kunnen bijwerken.
Om te zien of deze aanpak werkte, testte het team het op een rigoureuze set van 89 complexe computertaken bekend als Terminal-Bench. Ze begonnen met een krachtig model genaamd GPT-5.5 en pasten hun nieuwe systeem toe. De resultaten waren opmerkelijk. Zonder de interne code van het model te veranderen of het opnieuw te trainen op nieuwe gegevens, verbeterde het systeem het succespercentage van het model van 83,1 procent naar 92,1 procent. Deze winst was zo significant dat het effectief de kloof tussen dit oudere model en een nieuwere, geavanceerdere versie van de software overbrugde. De onderzoekers namen vervolgens exact dezelfde regels, of runbook, en pasten deze toe op een nog nieuwer model, GPT-5.6, zonder aanpassingen te doen. Het systeem presteerde zelfs beter en behaalde een ruwe nauwkeurigheid van 95,3 procent over honderden proeven. Het loste elke enkele van de 89 taken minstens één keer succesvol op, wat aantoont dat de regels ontwikkeld voor het ene model naadloos konden worden overgedragen naar een nieuwere versie.
De studie onderzocht ook of deze voordelen bereikt konden worden met goedkopere, andere soorten kunstmatige intelligentie-modellen. Toen ze dezelfde principes toepasten op een model genaamd DeepSeek-V4 Flash, waren de eerste resultaten gemengd omdat de exacte regels niet perfect pasten. Echter, door een klein bedrag van minder dan drieëndertig dollar uit te geven om de specifieke praktijken aan dit nieuwe model aan te passen, waren ze in staat de prestaties te verhogen van 82,7 procent naar 88,1 procent. De totale kosten om dit resultaat te bewijzen, inclusief de aanpassing en de uiteindelijke testen, bedroegen ongeveer drieënvijftig dollar. In contrast hiermee kostte de meest dure publieke inzending voor een vergelijkbaar hoog niveau bijna zes honderd dollar. Dit suggereert dat investeren in een beter uitvoeringssysteem veel kosteneffectiever kan zijn dan simpelweg het krachtigste beschikbare model kopen.
De onderzoekers testten hun systeem ook op een andere set taken die betrekking hadden op zakelijke workflows, zoals het goedkeuren van budgetten of het bedienen van machines. Hier lieten de resultaten zien dat de regels het beste werkten wanneer ze overeenkwamen met de specifieke aard van het werk. Voor taken die strikte naleving van regels en duidelijke overdrachten vereisten, bood het systeem enorme verbeteringen, soms zelfs een verdubbeling van het succespercentage. Echter, voor taken die qua structuur heel anders waren, maakte het systeem zaken soms slechter als de regels te rigide waren of op het verkeerde deel van het proces werden toegepast. Dit leerde de onderzoekers dat de sleutel niet ligt in het hebben van een enorme lijst met regels voor elke mogelijke situatie, maar in het identificeren van de specifieke grenzen waar fouten het meest waarschijnlijk zijn en het afdwingen van controles op die plekken.
Uiteindelijk suggereert dit werk dat de betrouwbaarheid van kunstmatige intelligentie evenzeer afhangt van hoe we het werk beheren als van hoe slim het model is. De onderzoekers identificeerden drie hoofdoorzaken waarom capabele agents falen: ze missen de juiste kennis op het moment van besluitvorming, ze vergeten lessen die geleerd zijn van eerdere pogingen, of ze falen in het volgen van een procedure die ze al kennen. Hun systeem pakt deze problemen aan door een vers, helder verslag van de huidige fase bij te houden, lessen op te slaan in een versiebeheerd document dat kan worden hergebruikt, en de agent te dwingen te bewijzen dat hij een stap heeft voltooid voordat hij verdergaat. De bevindingen wijzen erop dat we niet noodzakelijkerwijs hoeven te wachten op de volgende generatie superintelligente modellen om complexe problemen op te lossen. In plaats daarvan kunnen we, door betere systemen te bouwen om de modellen die we al hebben te begeleiden, capabele maar onbetrouwbare agents transformeren in robuuste machines die hun werk afmaken. De weg vooruit gaat niet alleen over het groter maken van het brein, maar over het bouwen van een beter lichaam om het door het werk te dragen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.