The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents

Nel mondo in rapida evoluzione dell'intelligenza artificiale, è emerso un nuovo tipo di software: agenti che non si limitano a rispondere alle domande, ma compiono azioni. Questi sistemi possono pianificare una sequenza di passaggi, utilizzare strumenti digitali e navigare in ambienti complessi come il codice software o i browser web, spesso con poca o nessuna supervisione umana. Per monitorare quanto stiano diventando capaci questi agenti, i ricercatori hanno sviluppato un modo per misurare i loro progressi utilizzando un "orizzonte temporale" (time horizon). Questo concetto descrive la lunghezza di un compito, misurata in base al tempo che un esperto umano impiegherebbe per completarlo, che un agente IA può portare a termine con successo la metà delle volte. Se un agente ha un orizzonte temporale di un'ora, significa che può risolvere in modo affidabile problemi che richiedono a un essere umano circa un'ora per essere completati, ma probabilmente fallirà su compiti che richiedono due ore. Questa metrica è diventata un linguaggio standard per descrivere il progresso dell'IA, con rapporti che mostrano come questo orizzonte raddoppi approssimativamente ogni sette mesi, suggerendo un futuro in cui le macchine potranno gestire lavori sempre più complessi.

Tuttavia, esiste una distinzione critica tra ciò che un agente può fare in media e ciò che può essere affidato con fiducia ogni singola volta. Per un responsabile umano che assegna un lavoro ricorrente o per un regolatore che supervisiona un sistema autonomo, un tasso di successo del 50 percento è spesso insufficiente. Se un compito si ripete frequentemente, l'obiettivo non è che l'agente abbia successo la metà delle volte, ma che abbia successo ogni volta che il compito si presenta. Un sistema che fallisce una volta ogni due tentativi non è abbastanza affidabile per molte applicazioni del mondo reale, eppure la metrica standard dell' "orizzonte temporale" non cattura questo rischio. Essa misura la frontiera della capacità, non il livello minimo di affidabilità. Questo divario tra prestazione media e prestazione costante è il mistero centrale che un nuovo studio cerca di risolvere, chiedendosi quanto la vera affidabilità di questi agenti sia indietro rispetto ai loro clamorosi punteggi di capacità.

Per rispondere a questo, i ricercatori si sono rivolti a una vasta collezione di registri pubblici dell'organizzazione METR, che dal 2023 esegue valutazioni di agenti IA su centinaia di compiti differenti. Lo studio si è concentrato su 30 modelli diversi rilasciati tra il 2023 e l'inizio del 2026, analizzando oltre 60.000 tentativi individuali di vari compiti. Invece di guardare se un agente avesse avuto successo o fallito anche solo una volta, i ricercatori hanno esaminato cosa accadeva quando lo stesso agente provava lo stesso compito più volte. Si sono concentrati specificamente sul punto in cui un agente può completare un compito quattro volte di seguito con una probabilità del 50 percento di successo totale. Questo "orizzonte di affidabilità" rappresenta la lunghezza di un compito che un agente può essere previsto gestire con costanza, piuttosto che solo occasionalmente.

I risultati hanno rivelato un divario significativo e persistente tra ciò che gli agenti possono fare e ciò di cui si può fidare. Per ogni singolo modello testato, l'orizzonte temporale per il successo affidabile e ripetuto era molto più breve dell'orizzonte standard della capacità. In media, l'orizzonte di affidabilità era circa 2,4 volte più breve dell'orizzonte del successo medio. Per mettere questo dato in prospettiva, se un modello di alto livello è capace di gestire un compito che richiede a un essere umano 715 minuti per essere completato con una probabilità del 50 percento di successo, lo stesso modello può essere affidato solo per completare un compito di circa 355 minuti quattro volte di seguito con lo stesso livello di fiducia. Questo divario non si è ridotto significamente negli ultimi tre anni; nonostante i modelli siano diventati più potenti, la distanza tra la loro prestazione media e la loro prestazione costante è rimasta approssimativamente la stessa.

Si potrebbe presumere che se un agente fallisce un compito, si tratti semplicemente di sfortuna o di un glitch casuale, e che riprovare porterebbe probabilmente a un risultato diverso. Lo studio ha scoperto che questa supposizione è errata. I ricercatori hanno scoperto che gli esiti dei tentativi ripetuti sono fortemente legati al compito specifico, piuttosto che essere casuali. Quando un agente fallisce un compito, tende a fallire ogni volta che prova quello stesso compito. Al contrario, quando ha successo, tende ad avere successo ogni volta. Ciò significa che l'affidabilità di un agente non è determinata da un lancio di dadi per ogni tentativo, ma dalla difficoltà intrinseca del compito rispetto alle abilità dell'agente. A causa di questa forte connessione, l'affidabilità osservata è molto più alta di quanto sarebbe se ogni tentativo fosse indipendente. Se i tentativi fossero davvero casuali e non correlati, l'orizzonte di affidabilità sarebbe drasticamente più breve, ma la realtà è che la prestazione dell'agente è costante nel contesto di un problema specifico.

Lo studio ha anche individuato esattamente dove avvengono queste incongruenze. Il comportamento più imprevedibile non si verifica nei compiti più difficili, dove gli agenti falliscono costantemente, né nei compiti più facili, dove hanno successo costantemente. Invece, gli "esiti misti" — dove un agente ha successo alcune volte e fallisce altre — si raggruppano strettamente attorno al limite della capacità dell'agente. Questa è la zona appena sotto l'orizzonte temporale standard, dove un compito è abbastanza difficile da sfidare l'agente ma non così difficile da essere impossibile. È proprio in questa zona che è più probabile che cadano i nuovi compiti delegati, rendendola l'area più critica per la comprensione del rischio.

Nonostante la chiara evidenza di un divario, i ricercatori hanno scoperto che il tasso con cui questo divario si sta chiudendo non è statisticamente significativo. Sebbene i dati mostrino una leggera tendenza dell'orizzonte di affidabilità a raggiungere l'orizzonte di capacità, la tendenza è troppo piccola per essere distinta dalla variazione casuale, dato l'attuale numero di modelli testati. Ciò suggerisce che, mentre gli agenti IA stanno diventando migliori nel risolvere problemi più difficili, non stanno necessariamente diventando più costanti nella loro esecuzione allo stesso ritmo. Lo studio conclude che per chiunque distribuisca questi sistemi, affidarsi esclusivamente ai tassi di successo medi fornisce una visione eccessivamente ottimistica del futuro. Per comprendere veramente cosa si possa affidare a un agente, i rapporti devono includere un orizzonte corretto per l'affidabilità che tenga conto della necessità di un successo ripetuto e costante. Senza questo aggiustamento, la promessa degli agenti autonomi rimane una misura del potenziale piuttosto che una garanzia di prestazione.