StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling
Il documento introduce StateM, un runtime nativo per agent che sfrutta la scalabilità tramite harness attraverso stati durabili, transizioni controllate e runbook versionati per aumentare significativamente l'accuratezza degli agenti su lunghi orizzonti temporali su Terminal-Bench 2.1 al 95,3%, riducendo drasticamente i costi di inferenza rispetto ai modelli baseline.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel campo in rapida evoluzione dell'intelligenza artificiale, è emerso un enigma persistente: perché programmi informatici sofisticati, capaci di risolvere singoli passaggi complessi, spesso falliscono quando gli viene chiesto di completare un lavoro lungo e multi-fase? Immaginate un architetto brillante che sa progettare una stanza perfetta ma dimentica di gettare le fondamenta, o un chirurgo esperto che esegue un'incisione impeccabile ma perde traccia dei parametri vitali del paziente a metà dell'operazione. Questi sistemi, noti come agenti a lungo raggio (long-horizon agents), spesso inciampano non perché manchino di intelligenza, ma perché perdono il segno nel processo. Possono dimenticare ciò che hanno già fatto, saltare un controllo necessario o smettere di lavorare prima che l'obiettivo finale sia realmente raggiunto. Per anni, la soluzione standard è stata quella di costruire cervelli più grandi e più intelligenti, sperando che un modello più potente semplicemente non commettesse questi errori. Tuttavia, una nuova linea di ricerca suggerisce che il problema potrebbe non essere affatto il cervello, ma piuttosto l'ambiente in cui opera.
I ricercatori hanno iniziato a porsi una domanda diversa: quanto di questo fallimento è in realtà un fallimento del sistema che mantiene l'attenzione dell'agente, ne traccia i progressi e lo costringe a finire il lavoro? Questo approccio, che gli autori chiamano "harness scaling" (scalabilità dell'impalcatura), propone che possiamo rendere un modello esistente e capace molto più affidabile migliorando gli strumenti e le regole che lo circondano, senza cambiare il modello stesso. Inveve di cercare di forzare il modello a ricordare tutto da solo, questo metodo fornisce all'agente un taccuino condiviso ed esterno che sia l'agente che un supervisore umano possono leggere e aggiornare. Questo taccuino funge da registro duraturo di dove si trova l'agente, di cosa ha promesso di fare successivamente e di quale prova è richiesta prima di poter procedere. Trattando il processo di esecuzione come una serie di fasi distinte con checkpoint chiari, il sistema assicura che l'agente non si discosti dal percorso o lasci un compito a metà.
I ricercatori dietro questo studio, guidati da Ziheng Qin e colleghi, hanno costruito un sistema leggero chiamato StateM per testare questa idea. Lo hanno progettato per funzionare con agenti informatici standard che operano attraverso righe di comando, in modo simile a un essere umano che digita istruzioni in un terminale. Il cuore della loro invenzione è un documento semplice e leggibile chiamato runbook. Questo documento funge da mappa e da contratto per l'agente. Suddivide un compito ampio in fasi specifiche, o stati, come pianificazione, costruzione, controllo e consegna del lavoro. Quando l'agente entra in una nuova fase, il sistema aggiorna le sue istruzioni e gli mostra esattamente ciò che deve realizzare prima di poter procedere. Fondamentalmente, l'agente non può semplicemente dichiarare conclusa una fase; deve superare un controllo di verifica. Se l'agente tenta di saltare un passaggio o fallisce un controllo, il sistema lo ferma e lo costringe a riparare l'errore prima di proseguire. Ciò crea uno spazio condiviso in cui l'agente e un essere umano possono ispezionare il lavoro, sottoporre a revisione le decisioni e aggiornare le regole insieme.
Per vedere se questo approccio funzionasse, il team lo ha testato su un rigoroso insieme di 89 compiti informatici complessi noto come Terminal-Bench. Sono partiti da un modello potente chiamato GPT-5.5 e hanno applicato il loro nuovo sistema. I risultati sono stati sorprendenti. Senza cambiare il codice interno del modello o addestrarlo su nuovi dati, il sistema ha migliorato il tasso di successo del modello dall'83,1 percento al 92,1 percento. Questo guadagno è stato così significativo da colmare efficacemente il divario tra questo modello più vecchio e una versione più recente e avanzata del software. I ricercatori hanno poi preso lo stesso identico insieme di regole, o runbook, e lo hanno applicato a un modello ancora più nuovo, GPT-5.6, senza apportare alcuna modifica. Il sistema è stato ancora più efficace, raggiungendo un'accuratezza grezza del 95,3 percento in centinaia di prove. Ha risolto con successo ogni singolo uno degli 89 compiti almeno una volta, dimostrando che le regole sviluppate per un modello potevano trasferirsi senza problemi a uno più recente.
Lo studio ha anche esplorato se questi benefici potessero essere ottenuti con modelli di intelligenza artificiale più economici e di tipo diverso. Quando hanno applicato gli stessi principi a un modello chiamato DeepSeek-V4 Flash, i risultati iniziali sono stati contrastanti perché le regole esatte non si adattavano perfettamente. Tuttavia, spendendo una piccola somma di denaro, meno di trentotto dollari, per adattare le pratiche specifiche a questo nuovo modello, sono stati in grado di elevare le sue prestazioni dall'82,7 percento all'88,1 percento. Il costo totale per provare questo risultato, inclusa l'adattamento e il test finale, è stato di circa cinquantadue dollari. In confronto, l'invio pubblico più costoso per un risultato simile di alto livello è costato quasi seicento dollari. Ciò suggerisce che investire in un migliore sistema di esecuzione può essere molto più conveniente rispetto al semplice acquisto del modello più potente disponibile.
I ricercatori hanno anche testato il loro sistema su un diverso insieme di compiti riguardanti flussi di lavoro aziendali, come l'approvazione di budget o la gestione di macchinari. In questo caso, i risultati hanno mostrato che le regole funzionavano meglio quando corrispondevano alla natura specifica del lavoro. Per compiti che richiedevano una stretta osservanza delle regole e passaggi di consegna chiari, il sistema ha fornito miglioramenti massicci, talvolta raddoppiando il tasso di successo. Tuttavia, per compiti con strutture molto diverse, il sistema a volte peggiorava le cose se le regole erano troppo rigide o applicate alla parte sbagliata del processo. Questo ha insegnato ai ricercatori che la chiave non è avere una lista massiccia di regole per ogni possibile situazione, ma identificare i confini specifici dove gli errori sono più probabili e imporre controlli solo lì.
In definitiva, questo lavoro suggerisce che l'affidabilità dell'intelligenza artificiale dipende tanto da come gestiamo il suo lavoro quanto da quanto sia intelligente il modello. I ricercatori hanno identificato tre ragioni principali per cui gli agenti capaci falliscono: mancano della conoscenza giusta al momento della decisione, dimenticano le lezioni apprese dai tentativi precedenti o non riescono a seguire una procedura che già conoscono. Il loro sistema affronta questi problemi mantenendo un registro fresco e chiaro della fase corrente, conservando le lezioni in un documento versionato che può essere riutilizzato e costringendo l'agente a dimostrare di aver completato un passaggio prima di procedere. Le conclusioni indicano che non dobbiamo necessariamente aspettare la prossima generazione di modelli super-intelligenti per risolvere problemi complessi. Al contrario, costruendo migliori sistemi per guidare i modelli che già possediamo, possiamo trasformare agenti capaci ma inaffidabili in macchine robuste capaci di portare a termine il lavoro. La strada da seguire non è solo quella di rendere il cervello più grande, ma di costruire un corpo migliore che lo accompagni attraverso il lavoro.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.