Riepilogo Tecnico: Long-Horizon-Terminal-Bench

Definizione del Problema

Gli attuali agenti AI, basati su Large Language Models (LLM), hanno dimostrato competenza in compiti terminali brevi e ben definiti (ad esempio, correggere un problema specifico nel codice o emettere alcuni comandi shell). Tuttavia, gli esistenti benchmark per il terminale (come Terminal-Bench e SWE-Bench) si concentrano ampiamente su questi problemi a breve orizzonte, tipicamente valutati nell'arco di pochi minuti e giudicati esclusivamente tramite un esito binario "pass/fail" (successo/fallimento). Questo paradigma di valutazione crea due lacune critiche:

1. Sottostima della Difficoltà: Gli orizzonti brevi non riescono a catturare la complessità dei flussi di lavoro del mondo reale che richiedono centinaia di passaggi, una pianificazione sostenuta per ore e un debugging iterativo.
2. Segnali di Ricompensa Sparsi: La valutazione binaria ignora il progresso intermedio. Un agente che completa il 90% di un flusso di lavoro complesso ma fallisce l'ultimo passaggio riceve lo stesso punteggio di un agente che fallisce immediatamente, oscurando la reale capacità dell'agente e rendendo difficile diagnosticare modalità di fallimento specifiche (ad esempio, arresto prematuro rispetto a timeout).

Metodologia

Gli autori introducono Long-Horizon-Terminal-Bench (LHTB), un benchmark progettato per testare sotto stress gli agenti su compiti terminali a lungo orizzonte e specifici per dominio, utilizzando una valutazione basata su ricompense dense basate sul processo.

Costruzione dei Compiti

• Ambito: Il benchmark consiste di 46 compiti suddivisi in nove categorie, tra cui riproduzione di esperimenti, ingegneria del software, analisi multimodale, giochi interattivi e calcolo scientifico.
• Formato: I compiti seguono la formulazione di Terminal-Bench: un ambiente Docker containerizzato con un'istruzione in linguaggio naturale, file/strumenti rilevanti e una soluzione oracle. Gli agenti interagiscono interamente tramite il terminale.
• Complessità: I compiti sono esplicitamente progettati per richiedere centinaia di passaggi e tempi di esecuzione che variano da decine di minuti a ore. Comprendono la lettura/modifica di codice, l'esecuzione di script lunghi e l'ispezione di output parziali.
• Calibrazione della Difficoltà: I compiti sono stati costruiti creando progetti "deliberatamente rotti" accessibili solo via terminale. Per prevenire l'overfitting, i controlli pubblici sono minimi (validano solo il comportamento CLI e semplici esempi), mentre la maggior parte della ricompensa deriva da casi di stress nascosti (ad esempio, manifest nidificati, variazioni di schema, rumore iniettato) che richiedono soluzioni robuste e generalizzabili.

Meccanismo di Valutazione: Ricompense Dense

A differenza della valutazione binaria, LHTB impiega uno schema di valutazione basato su sottotesti:

• Ogni compito è scomposto in sottotesti semanticamente significativi ($s_1, \dots, s_K$).
• Un valutatore deterministico assegna un punteggio normalizzato $r_k \in [0, 1]$ a ciascun sottotesto basandosi su prove oggettive (file, output, risultati dei test).
• La ricompensa finale $R$ è una media ponderata: $R = \frac{\sum w_k r_k}{\sum w_k}$.
• Ciò consente di ottenere un credito parziale, catturando quanto un agente sia progredito anche se fallisce nel raggiungere l'obiettivo finale.

Configurazione della Valutazione

• Modelli: Sono stati valutati 15 modelli di frontiera (inclusi GPT-5.5, DeepSeek V4 Pro, Kimi K2.7 Code, ecc.).
• Harness: È stato utilizzato l'harness per agenti Terminus-2 per la maggior parte dei modelli, interagendo tramite una singola sessione terminale a lungo orizzonte.
• Vincoli: I compiti hanno un timeout di 90 minuti di tempo reale (wall-clock).
• Metriche: Pass@1 (ai livelli di soglia $R \ge 0.9, 0.95, 1.0$), ricompensa media normalizzata, episodi per compito, tempo di esecuzione e costo stimato.

Risultati Chiave

La valutazione rivela che l'esecuzione a lungo orizzonte rimane un collo di bottiglia significativo anche per i modelli più avanzati.

• Tassi di Successo Bassi: Anche il modello più forte, GPT-5.5, ha ottenuto un tasso di successo di solo il 15,2% alla soglia $R \ge 0,95$ e del 10,9% per il completamento perfetto ($R=1,0$). Il tasso di successo medio tra tutti i 15 modelli è stato solo del 4,3% a $R \ge 0,95$.
• Consumo di Risorse: I compiti sono estremamente impegnativi, con una media di 231 episodi, 9,9 milioni di token e 85,3 minuti di tempo di esecuzione per ogni run.
• Efficienza dei Costi: Esiste una vasta varianza nella cost-efficiency. GPT-5.5 è il più costoso ($21/task) ma anche il più efficace. Hy3 ancora la frontiera dei bassi costi ($2,5/task) con un successo moderato. Molti modelli incorrono in costi elevati con un successo trascurabile, indicando che l'aumento della spesa di inferenza da solo non risolve i fallimenti a lungo orizzonte.
• Modalità di Fallimento:
  • Timeout: Il 79% delle esecuzioni non risolte è terminato a causa dell'esaurimento del budget di 90 minuti mentre l'agente era ancora al lavoro, spesso con ricompense medie basse (0,10–0,35).
  • Falsi Termini (False Finishes): Una parte significativa degli "exit anticipati" (agenti che si fermano volontariamente) si è verificata a livelli di ricompensa elevati ($R \ge 0,75$), dove l'agente ha erroneamente giudicato il compito come completato. Ciò evidenzia una debolezza nella verifica di sé e nei criteri di arresto.
  • Binario vs Denso: Sotto una rigorosa valutazione binaria ($R \ge 1,0$), 10 dei 15 modelli hanno risolto zero compiti. La valutazione densa ha rivelato che il 62,8% delle esecuzioni ha compiuto progressi significativi, distinguendo i modelli che erano "vicini" da quelli che sono falliti immediatamente.

Significato e Rivendicazioni

Il paper sostiene che Long-Horizon-Terminal-Bench sia necessario per andare oltre i limiti della valutazione basata solo sull'esito. I suoi principali contributi sono:

1. Rivelare il Progresso Nascosto: Le ricompense dense espongono i "quasi successi" e il progresso parziale che la valutazione binaria oscura, fornendo una visione più sfumata delle capacità degli agenti.
2. Identificare il Collo di Bottiglia: I risultati suggeriscono che il limite primario per gli attuali agenti non è la correttezza del ragionamento locale (che i benchmark brevi misurano), ma il completamento affidabile a lungo orizzonte. Gli agenti faticano a gestire il budget di tempo, mantenere lo stato su lunghe traiettorie e calibrare le decisioni di arresto.
3. Benchmark della Realtà: Richiedendo centinaia di passaggi e ore di esecuzione, LHTB fornisce un test di stress più realistico per gli agenti autonomi rispetto ai benchmark precedenti, mostrando un ampio margine di miglioramento.
4. Risorsa per il Lavoro Futuro: Gli autori rilasciano il benchmark e l'harness di valutazione per supportare lo sviluppo di agenti capaci di pianificare, verificare ed eseguire in modo affidabile su orizzonti estesi.

Gli autori concludono che, sebbene gli attuali agenti possano eseguire correttamente i passaggi locali, mancano della robustezza necessaria per sostenere il progresso e verificare il completamento sugli orizzonti temporali lunghi richiesti dai flussi di lavoro pratici del mondo reale.