🤖 AI

Measuring AI Ability to Complete Long Software Tasks

Questo articolo introduce la metrica dell' "orizzonte temporale di completamento del 50% del compito" per quantificare le capacità dell'IA confrontandole con lo sforzo umano, riscontrando che i modelli all'avanguardia possono ora completare in 50 minuti compiti che gli esseri umani impiegano tipicamente 50 minuti per finire, con una tendenza al raddoppio che suggerisce che l'IA potrebbe automatizzare compiti software di un mese entro cinque anni.

Autori originali: Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley, Haoxing Du, Brian Goodrich, Nikola Jurkov

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley, Haoxing Du, Brian Goodrich, Nikola Jurkovic, Luke Harold Miles, Seraphina Nix, Tao Lin, Chris Painter, Neev Parikh, David Rein, Lucas Jun Koba Sato, Hjalmar Wijk, Daniel M. Ziegler, Elizabeth Barnes, Lawrence Chan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assistere a una gara tra un essere umano e un robot, ma invece di correre su una pista, entrambi stanno cercando di risolvere un enorme e in continua crescita mucchio di enigmi informatici. Per anni, abbiamo cercato di misurare quanto siano bravi questi robot IA utilizzando test complicati, ma quei test spesso sembrano livelli artificiali di un videogioco che non dicono davvero quanto velocemente il robot possa effettivamente lavorare nel mondo reale.

Per risolvere questo problema, un team di ricercatori di METR ha deciso di misurare qualcosa di molto più intuitivo: Quanto tempo può lavorare un'IA prima di iniziare a fallire?

Hanno chiamato questo il "Time Horizon" (Orizzonte Temporale). Pensalo come alla durata della batteria di un'intelligenza. Se un'IA può risolvere un enigma che richiede a un essere umano circa 10 minuti per essere completato, il suo orizzonte temporale è di 10 minuti. Se può gestire un compito che richiede a un essere umano 4 ore, il suo orizzonte è di 4 ore. I ricercatori volevano trovare il punto specifico in cui un'IA ha il 50% di probabilità di portare a termine il lavoro correttamente.

La Grande Scoperta: L'Esplosione Esponenziale

Il team ha raccolto una vasta collezione di 170 compiti differenti, che vanno da piccoli controlli di 1 secondo (come individuare il nome di un file specifico) a massicci progetti di ricerca di 8 ore. Hanno assunto esperti umani qualificati per cronometrare quanto tempo fosse necessario loro per completare questi compiti. Poi, hanno lasciato che 12 diversi modelli di IA, dal vecchio GPT-2 (rilasciato nel 2019) al nuovissimo o3 (rilasciato nel 2025), provassero a risolverli.

Ecco la parte incredibile: La "durata della batteria" dell'IA sta raddoppiando ogni sette mesi.

Nel 2019, la migliore IA poteva gestire solo in modo affidabile compiti che richiedevano a un essere umano circa 2 secondi per essere completati. Entro il 2025, i modelli top (come o3) possono gestire compiti che richiedono a un essere umano circa 110 minuti (quasi due ore) con una percentuale di successo del 50%.

I ricercatori hanno scoperto che questa crescita non è solo un po' più veloce; è una curva esponenziale. È come guardare una palla di neve che rotola giù da una collina, diventando il doppio delle dimensioni ogni volta che passa accanto a un albero. Hanno misurato questa tendenza dal 2019 al 2025 e hanno trovato che il "tempo di raddoppio" è di circa 207 giorni (circa sette mesi).

Perché Stanno Migliorando?

L'articolo suggerisce che l'IA non sta solo diventando "più intelligente" in modo vago; sta migliorando in competenze specifiche e pratiche. Quando i ricercatori hanno analato perché i modelli più vecchi fallivano e quelli più nuovi avevano successo, hanno scoperto che i modelli più recenti erano:

Migliori nell'usare gli strumenti: sanno come usare una calcolatrice o un editor di codice senza romperli.
Meri migliori nel correggere gli errori: se un'IA vecchia commetteva un errore, spesso ripeteva lo stesso errore all'infinito. I nuovi modelli possono individuare l'errore, dire "Ops" e provare una strada diversa.
Migliori nel ragionamento logico: possono seguire una catena di pensiero senza perdersi.

Il "Caveat" della Disordine: La Vita Reale è Più Difficile

Tuttavia, l'articolo è molto attento a non dire che i robot hanno già vinto la guerra. I ricercatori sostengono esplicitamente che questi test potrebbero essere troppo "puliti".

Immagina che l'IA stia giocando a un videogioco dove le regole sono scritte in un manuale chiaro, i nemici sono prevedibili e non ci sono improvvisi blackout di corrente. I ricercatori chiamano il lavoro nel mondo reale "disordinato" (messy). Nel mondo reale, i compiti hanno spesso istruzioni poco chiare, richiedono di parlare con altre persone o coinvolgono risorse che si esauriscono.

Quando il team ha testato l'IA su compiti che erano più "disordinati" (meno strutturati, più caotici), le prestazioni dell'IA sono diminuite significativamente. L'articolo suggerisce che, mentre l'IA sta diventando bravissima nei puzzle "puliti", potrebbe ancora avere difficoltà con la natura caotica e imprevedibile della giornata tipica di un ingegnere del software. Hanno scoperto che non c'è prova che il miglioramento dell'IA rallenti sui compiti "disordinati" ancora, ma avvertono che il divario tra "test pulito" e "realtà disordinata" è un grande incognito.

Cosa Significa per il Futuro?

I ricercatori hanno fatto dei calcoli per vedere dove conduce questa curva. Se la tendenza del raddoppio ogni sette mesi continua, prevedono che entro 5 anni (tra la metà del 2028 e la metà del 2031), i sistemi di IA potrebbero essere in grado di completare autonomamente compiti software che attualmente richiedono a un essere umano un mese (circa 167 ore lavorative) per essere finiti.

Enfatizzano che questa è una proiezione, non una garanzia. Dipende dal fatto che l'IA continui a migliorare esattamente a questa velocità e se i risultati dei test "puliti" si applichino alla realtà "disordinata". Se la tendenza dovesse mantenersi, potremmo vedere agenti IA che possono essenzialmente lavorare come dipendenti a tempo pieno su progetti complessi in un futuro prossimo. Ma se la tendenza dovesse rallentare o se la "disordinezza" della vita reale si rivelasse troppo difficile, questa tempistica potrebbe cambiare.

In Sintesi

L'articolo non sostiene che l'IA abbia risolto tutto. Invece, ci fornisce un nuovo righello per misurare il progresso. Mostra che, per gli ultimi sei anni, la capacità dell'IA di gestire compiti lunghi e complessi è cresciuta a un ritmo terribilmente veloce, raddoppiando la sua "giornata lavorativa" circa ogni sette mesi. Sebbene esistano ancora grandi lacune nel modo in cui gestiscono il caos disordinato del mondo reale, la traiettoria suggerisce che il giorno in cui un'IA potrà lavorare un turno di un mese intero in autonomia potrebbe essere più vicino di quanto pensiamo.

Riepilogo Tecnico: Misurare la capacità dell'IA di completare lunghi compiti software

Definizione del problema

Nonostante il rapido progresso nei benchmark dell'IA, il significato reale delle prestazioni dei benchmark rimane ambiguo. I benchmark esistenti soffrono di tre limitazioni primarie: spesso consistono in compiti artificiali privi di valore economico; sono frequentemente selezionati in modo avversariale per evidenziare le attuali debolezze dei modelli, influenzando il confronto rispetto alle prestazioni umane; e si saturano rapidamente, rendendo difficile confrontare modelli con capacità molto diverse (ad esempio, GPT-2 rispetto a Claude 3.7) su una scala unificata. Di conseguenza, vi è una mancanza di una metrica generale, intuitiva e quantitativa per tracciare il progresso della capacità dell'IA nel tempo in termini di lavoro umano.

Metodologia

Gli autori propongono una nuova metrica: l'orizzonte temporale di completamento del compito. Questo è definito come la durata dei compiti che un modello di IA può completare con una specifica probabilità di successo (ad esempio, 50%). Questa metrica relaziona direttamente le prestazioni dell'IA con il tempo tipicamente richiesto agli esperti umani per completare compiti simili.

Dati e suite di compiti

Per operazionalizzare questa metrica, gli autori hanno costruito un dataset di 170 compiti che spaziano in un'ampia gamma di difficoltà, categorizzati in tre suite:

HCAST (Human-Calibrated Autonomy Software Tasks): 97 compiti software eterogenei (cybersecurity, ML, ingegneria del software) che vanno da 1 minuto a 30 ore.
RE-Bench: 7 difficili compiti di ingegneria della ricerca nel machine learning, ciascuno progettato per richiedere a un esperto umano circa 8 ore.
Software Atomic Actions (SWAA): Una nuova suite di 66 compiti brevi e a singolo step (da 1 secondo a 30 secondi) progettata per misurare i modelli pre-2023 e colmare il divario per durate molto brevi.

Baseline umana

Per dare un fondamento alle prestazioni dell'IA, gli autori hanno misurato il tempo impiegato da professionisti umani qualificati (ingegneri del software, ricercatori ML, esperti di cybersecurity) per completare questi compiti.

Sforzo Totale: Oltre 800 baseline umane per un totale di 2.529 ore.
Metrica: La difficoltà del compito è definita dalla media geometrica del tempo delle baseline umane di successo.
Contesto: Ai baseliner è stato fornito un contesto minimo specifico per il compito (simile a quello di un consulente esterno), distinto dalla profonda conoscenza istituzionale dei manutentori interni.

Valutazione dell'IA e modellazione

Gli autori hanno valutato 12 modelli frontier e near-frontier rilasciati tra il 2019 e il 2025. Ogni modello è stato eseguito più volte per compito utilizzando scaffold di agenti standardizzati (ad esempio, modular-public, triframe) che fornivano strumenti come l'esecuzione di Python e Bash.

Binarizzazione: I punteggi continui sono stati convertiti in successi/fallimenti binari basati su soglie specifiche del compito che rappresentano i livelli di prestazione umana.
Regressione Logistica: Gli autori hanno applicato un modello di regressione logistica ispirato alla Teoria della Risposta all'Item (IRT) per stimare l'orizzonte temporale di compito ( $h_{agent}$ ) in cui la probabilità di successo è del 50%:
$P_{success}(agent, task) = \sigma((\log h_{agent} - \log t_{task}) \cdot \beta_{agent})$
Dove $t_{task}$ è il tempo di baseline umana e $h_{agent}$ è il parametro appreso che rappresenta l'orizzonte temporale del 50%.

Risultati Chiave

Crescita esponenziale della capacità

Lo studio rileva che l'orizzonte temporale di completamento del compito al 50% è cresciuto esponenzialmente dal 2019 al 2025.

Tempo di raddoppio: L'orizzonte temporale raddoppia approssimativamente ogni 207 giorni (circa 7 mesi).
Range: L'orizzonte è passato da circa 2 secondi per GPT-2 a circa 110 minuti per il modello o3.
Accelerazione recente: Il tasso di crescita tra il 2023 e il 2025 appare circa il 20% più veloce della media 2019–2025, sebbene ciò rientri nel margine di errore.

Driver del miglioramento

L'analisi qualitativa dei modi di fallimento (confrontando GPT-4 1106 e o1) indica che il progresso è guidato da:

Affidabilità e Adattamento: Una marcata riduzione della "ripetizione di azioni fallite" e una maggiore capacità di recuperare dagli errori.
Uso degli Strumenti: Migliore capacità di utilizzare strumenti (ad esempio, modificare file, eseguire comandi) senza errori di sintassi.
Ragionamento Logico: Migliori prestazioni in compiti che richiedono ragionamento logico multi-step e generazione di codice.
Limitazioni: I modelli faticano ancora significativamente in ambienti "disordinati" (messy) che mancano di feedback chiari o richiedono una ricerca proattiva di informazioni.

Validità Esterna e Robustezza

SWE-bench Verified: Applicare la metodologia a SWE-bench Verified produce una tendenza esponenziale simile con una pendenza ancora più ripida (tempo di raddoppio ~70 giorni), sebbene gli autori notino che ciò potrebbe essere dovuto a una sottostima del tempo umano da parte degli annotatori per i compiti più facili.
Fattori di "Messiness": I compiti sono stati valutati su 16 fattori di "disordine" (ad esempio, ambienti dinamici, vincoli di risorse). Sebbene le prestazioni assolute siano inferiori nei compiti più disordinati, il tasso di miglioramento nel tempo è simile sia per i subset ad alto che a basso disordine.
PR Interne: Testare sulle pull request interne ha rivelato che le prestazioni dell'IA correlano meglio con il tempo impiegato dai consulenti esterni (basso contesto) piuttosto che dai manutentori del repository (alto contesto), suggerendo che le metriche attuali riflettono le capacità lavorative a basso contesto.

Estrapolazione e Previsioni

Utilizzando la tendenza esponenziale osservata, gli autori estrapolano quando i sistemi di IA potrebbero raggiungere un orizzonte temporale di un mese (circa 167 ore lavorative), una soglia spesso associata a un valore economico trasformativo o a rischi catastrofici.

Stima Centrale: Se la tendenza continua, si prevede che i sistemi di IA capaci di completare autonomamente compiti software di un mese emergeranno tra la metà del 2028 e la metà del 2031.
Sensibilità: Se la tendenza più rapida 2024–2025 persiste, ciò potrebbe verificarsi già all'inizio del 2027.
Cautela: Gli autori sottolineano che questa estrapolazione assume che la tendenza si generalizzi ai compiti del mondo reale e non tiene conto di potenziali futuri cambiamenti nella tendenza (ad esempio, saturazione, scoperte algoritmiche o AGI).

Significato e Rivendicazioni

Il paper sostiene di fornire la prima metrica robusta e quantitativa per tracciare il progresso degli agenti di IA in termini di ore di lavoro umano, andando oltre i punteggi statici dei benchmark.

Governance: Gli autori sostengono che tali metriche siano fondamentali per una governance responsabile dell'IA, permettendo agli sviluppatori di determinare le necessarie mitigazioni del rischio man mano che i sistemi diventano più potenti.
Implicazioni per la Sicurezza: La rapida raddoppiazione degli orizzonti temporali suggerisce che i sistemi di IA capaci di eseguire autonomamente compiti complessi di più settimane (inclusi potenzialmente compiti pericolosi come lo sviluppo di CBRN o l'autoreplicazione) potrebbero arrivare prima di quanto precedentemente anticipato, se le tendenze attuali dovessero mantenersi.
Modestia: Gli autori dichiarano esplicitamente che i loro risultati sono limitati a compiti software e di ricerca e potrebbero non generalizzarsi perfettamente a tutte le forme di lavoro intellettuale. Avvertono che le preoccupazioni sulla validità esterna e i futuri cambiamenti nel tasso di tendenza introducono una significativa incertezza nelle previsioni a lungo termine.