🤖 machine learning

OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents

Questo articolo introduce OSWorld-Human, un benchmark annotato manualmente che rivela come gli attuali agenti per l'uso del computer soffrano di latenza e inefficienza proibitive, dovute principalmente a chiamate eccessive del modello per la pianificazione e la riflessione, con il risultato che compiono da 2,7 a 4,3 volte più passaggi rispetto agli umani per completare i compiti.

Autori originali: Reyna Abhyankar, Qi Qi, Yiying Zhang

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Reyna Abhyankar, Qi Qi, Yiying Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un assistente personale molto intelligente, ma incredibilmente lento, per eseguire un compito semplice sul tuo computer, come modificare la dimensione del carattere in un documento. Ti aspetti che richieda 30 secondi. Invece, il tuo assistente impiega 12 minuti. Perché?

Questo articolo, OSWorld-Human, indaga esattamente su quel problema. Esamina gli "Agenti per l'uso del computer" (programmi di intelligenza artificiale che controllano mouse e tastiera) e si chiede: "Perché sono così lenti e come possiamo renderli più veloci?"

Ecco la sintesi delle loro scoperte utilizzando analogie semplici.

1. Il Problema: L'assistente "Pensatore Eccessivo"

I ricercatori hanno scoperto che, mentre questi agenti di intelligenza artificiale stanno migliorando nel completare il lavoro (accuratezza), sono terribili nella velocità con cui lo fanno (efficienza).

L'Uomo contro il Robot: Un esperto umano può modificare l'interlinea in un documento in meno di 30 secondi. L'agente di intelligenza artificiale impiega 12 minuti.
Il Collo di Bottiglia: Il ritardo non è dovuto al fatto che l'intelligenza artificiale clicca il mouse lentamente. È perché l'intelligenza artificiale si ferma a pensare costantemente.
- L'Analogia: Immagina di guidare verso il negozio di alimentari. Un conducente umano guida semplicemente. Questo conducente di intelligenza artificiale si ferma a ogni singola intersezione per chiamare un consulente super-intelligente al telefono e chiedere: "È questa la svolta giusta? Dovrei girare a sinistra? Ho girato correttamente a sinistra? E la prossima svolta?"
- La Realtà: L'intelligenza artificiale chiama un enorme "cervello" (un Modello Linguistico di grandi dimensioni) per pianificare la prossima mossa, valutare se la mossa ha funzionato e riflettere su ciò che è accaduto. Queste chiamate telefoniche richiedono la maggior parte del tempo. In effetti, solo i passaggi di "pianificazione" e "valutazione" occupano circa il 75% - 96% del tempo totale!

2. L'Indagine: Scomporre i Passaggi

I ricercatori hanno osservato due agenti di intelligenza artificiale popolari (Agent S2 e GTA1) mentre tentavano di risolvere 39 diversi compiti al computer. Hanno analizzato ogni secondo del processo.

La Tassa del "Pensare": Ogni volta che l'intelligenza artificiale compie un passo, deve inviare un messaggio enorme al suo cervello. Man mano che il compito si allunga, il messaggio diventa più grande perché deve includere la cronologia di tutto ciò che ha fatto prima.
- Analogia: È come scrivere una voce nel diario. Il giorno 1, scrivi una frase. Il giorno 50, devi riscrivere l'intero libro dal giorno 1 solo per aggiungere una nuova frase. Questo fa sì che i passaggi successivi richiedano 3 volte più tempo rispetto ai passaggi iniziali.
Il Ciclo della "Svolta Sbagliata": A volte, l'intelligenza artificiale sa cosa fare (ad esempio, "Clicca sul pulsante Apri"), ma non riesce a trovare dove cliccare sullo schermo. Clicca nel punto sbagliato, si rende conto che è errato e riprova.
- Il Costo: Questo "bloccarsi" accade spesso. In un caso, un'intelligenza artificiale ha tentato di aprire una cartella e si è bloccata in un ciclo per 27 minuti, sprecando 8,47 dollari di costi di calcolo, solo perché non riusciva a trovare il punto giusto sullo schermo.

3. La Soluzione: Il "Benchmark Umano" (OSWorld-Human)

Per dimostrare quanto siano inefficienti questi robot, i ricercatori hanno creato un nuovo benchmark chiamato OSWorld-Human.

Cos'è? Hanno esaminato manualmente tutti i 369 compiti e hanno scritto il percorso più breve e logico che un umano seguirebbe per completarli.
Il Trucco del "Raggruppamento": Hanno notato che gli umani spesso fanno diverse cose in una sola volta senza fermarsi a pensare.
- Analogia: Un umano vede una casella di testo, digita un nome e preme "Invio" in un unico movimento fluido. L'intelligenza artificiale, invece, si ferma dopo aver visto la casella, chiama il suo cervello per pianificare la digitazione, si ferma di nuovo per pianificare la pressione di "Invio" e chiama di nuovo il suo cervello.
- La Scoperta: I ricercatori hanno scoperto che molte azioni potrebbero essere "raggruppate" insieme. Se l'intelligenza artificiale potesse eseguire tre clic in un unico "pensiero", risparmierebbe enormi quantità di tempo.

4. Il Verdetto: I Robot Stanno Sprecando Passaggi

I ricercatori hanno testato 16 diversi agenti di intelligenza artificiale contro il loro nuovo "Benchmark Umano".

Il Risultato: Anche gli agenti di intelligenza artificiale migliori hanno impiegato da 2,7 a 4,3 volte più passaggi rispetto a quelli necessari a un umano per completare lo stesso compito.
Il Punteggio: Hanno creato un nuovo punteggio chiamato Punteggio di Efficienza Ponderata (WES).
- Se un'intelligenza artificiale completa il lavoro ma impiega 4 volte più tempo del necessario, il suo punteggio crolla drasticamente.
- L'intelligenza artificiale in cima alla classifica, che sembrava eccellente sui vecchi test, ha ottenuto solo 15,6% in questo nuovo test di efficienza. Ciò significa che sta svolgendo un sacco di lavoro non necessario.

Sintesi

L'articolo conclude che gli attuali agenti di intelligenza artificiale per computer sono come studenti brillanti ma goffi. Sanno la risposta, ma passano così tanto tempo alzando la mano, aspettando l'insegnante e rileggendo i loro appunti che non riescono mai a finire il test in tempo.

Per risolvere il problema, l'articolo suggerisce tre cose principali:

Smettere di pensare troppo: Ridurre il numero di volte in cui l'intelligenza artificiale chiama il suo "cervello" per pianificare e valutare.
Raggruppare le azioni: Permettere all'intelligenza artificiale di eseguire più passaggi (come digitare e premere invio) in un unico pensiero.
Migliorare la capacità di trovare le cose: Migliorare la capacità dell'intelligenza artificiale di vedere esattamente dove cliccare in modo che non si blocchi in cicli.

L'obiettivo non è solo rendere l'intelligenza artificiale più intelligente, ma renderla più veloce e più pratica per l'uso nel mondo reale.

Riepilogo Tecnico: OSWorld-Human: Valutazione dell'Efficienza degli Agenti per l'Utilizzo del Computer

1. Enunciato del Problema

Sebbene gli Agenti per l'Utilizzo del Computer (CUA) guidati dall'IA generativa abbiano dimostrato una crescente accuratezza su benchmark come OSWorld, soffrono di un collo di bottiglia critico: l'estrema latenza end-to-end. I sistemi all'avanguardia richiedono spesso decine di minuti per completare compiti che esperti umani possono portare a termine in secondi o minuti. Questa disparità rende gli agenti attuali praticamente inutilizzabili per flussi di lavoro interattivi o sensibili al tempo. La ricerca precedente si è concentrata prevalentemente sul miglioramento dei tassi di successo dei compiti, trascurando in gran parte l'efficienza temporale necessaria per il dispiegamento nel mondo reale. Manca una comprensione sistematica riguardo all'origine di questa latenza (ad esempio, passaggi specifici dell'agente, chiamate al modello) e a quanti passaggi siano realmente necessari rispetto all'esecuzione umana.

2. Metodologia

Gli autori hanno condotto il primo studio sistematico sulle prestazioni temporali dei CUA utilizzando il benchmark OSWorld, che copre 369 compiti su 9 applicazioni (ad esempio, Chromium, GIMP, LibreOffice, VS Code) su Ubuntu, Windows e MacOS.

2.1 Analisi della Latenza e dei Passaggi

Lo studio ha eseguito un'analisi dettagliata delle traiettorie degli agenti utilizzando due principali framework open-source: Agent S2 e GTA1.

Strumentazione: Gli autori hanno profilato passaggi specifici tra cui recupero delle informazioni, pianificazione dei passaggi, ancoraggio dei passaggi (trovare le coordinate), esecuzione dell'azione, acquisizione dello screenshot, giudizio e riflessione.
Configurazione del Modello: Agent S2 ha utilizzato GPT-4.1 per la pianificazione e la riflessione, con UI-TARS-7B-DPO per l'ancoraggio. GTA1 ha utilizzato o3 per la pianificazione e il giudizio, con GTA1-7B per l'ancoraggio.
Modalità di Osservazione: Lo studio ha analizzato l'impatto di diversi input di percezione: screenshot grezzi, alberi di Accessibilità (A11y) e Set-of-Marks (SoM).
Analisi dei Costi e dei Fallimenti: Gli autori hanno analizzato i conteggi dei token, i costi finanziari e le modalità di fallimento (in particolare errori di ancoraggio che portano a loop) per GTA1.

2.2 Costruzione di OSWorld-Human

Per stabilire una verità di base per l'efficienza, gli autori hanno costruito OSWorld-Human, un dataset annotato manualmente contenente:

Traiettorie Umane Minime: Per tutti i 369 compiti OSWorld, gli annotatori umani hanno determinato il numero minimo di passaggi necessari per il completamento riuscito sulla base di fonti verificate di verità di base.
Raggruppamento delle Azioni: Il dataset include traiettorie di "azione raggruppata" in cui più azioni consecutive (ad esempio, clic, digitazione, premere invio) che possono essere eseguite da una singola osservazione visiva sono consolidate in un singolo passaggio. Questo identifica opportunità per ridurre le chiamate ai Large Language Model (LLM).

2.3 Metrica di Valutazione: Punteggio di Efficienza Ponderato (WES)

Gli autori hanno proposto una nuova metrica, il Punteggio di Efficienza Ponderato (WES), per valutare gli agenti rispetto alle traiettorie umane.

Formula: $WES = WES^+ \cdot (1 - \frac{\bar{t}_{fail}}{S})$ $W E S = W E S^{+} \cdot (1 - \frac{t ˉ _{f ai l}}{S})$
- $WES^+$ : Il rapporto medio tra passaggi umani e passaggi dell'agente per i compiti riusciti ( $t_{human} / t_{agent}$ ).
- Moltiplicatore di Penalità: Penalizza gli agenti che falliscono i compiti dopo aver consumato una grande parte del loro budget di passaggi ( $\bar{t}_{fail}$ è la media dei passaggi compiuti sui compiti falliti; $S$ è il numero massimo di passaggi consentiti).
Scopo: Questa metrica premia gli agenti che riescono con meno passaggi e penalizza quelli che falliscono in modo inefficiente, fornendo una visione olistica di accuratezza ed efficienza temporale.

3. Risultati e Scoperte Chiave

3.1 Fonti della Latenza

Le Chiamate LLM sono il Collo di Bottiglia: Le chiamate ai modelli di grandi dimensioni per pianificazione, riflessione e giudizio rappresentano la stragrande maggioranza della latenza.
- In Agent S2, pianificazione e riflessione rappresentano il 76%–96% della latenza totale del compito.
- In GTA1, pianificazione e giudizio rappresentano il 91%–96% della latenza totale.
Latenza Dipendente dai Passaggi: Man mano che un agente compie più passaggi per completare un compito, la latenza di ogni passaggio successivo aumenta. Ciò è dovuto al meccanismo di "accumulo della cronologia" in cui i prompt includono tutti i passaggi precedenti, portando a finestre di contesto più lunghe e a conteggi di token più elevati.
Impatto dell'Osservazione: L'inclusione degli alberi A11y aumenta drasticamente la latenza (a causa del tempo di generazione dell'albero e del volume dei token) e spesso aumenta il numero di passaggi richiesti, sebbene possa ridurre i passaggi per applicazioni specifiche come GIMP.

3.2 Divari di Efficienza

Inefficienza degli Agenti Attuali: Anche gli agenti con le prestazioni migliori richiedono da 2,7× a 4,3× più passaggi del necessario per completare un compito rispetto alle traiettorie umane.
Punteggi WES: L'agente con le prestazioni migliori nella classifica OSWorld (Agent S2 con Gemini 2.5) ha raggiunto un tasso di successo del 41,4% ma solo un 15,6% di WES su traiettorie ad azione singola e un 9,6% su traiettorie ad azione raggruppata.
Analisi dei Fallimenti: Per GTA1, il 23% dei fallimenti è dovuto a errori di ancoraggio in cui la pianificazione era corretta, ma il modello di ancoraggio ha generato coordinate errate, causando all'agente di ripetere passaggi o entrare in loop. In alcuni casi, gli agenti hanno sprecato 72+ passaggi in un singolo loop.

3.3 Implicazioni sui Costi

Il costo computazionale è fortemente sbilanciato verso la pianificazione. Per GTA1, la pianificazione rappresenta l'87% del costo totale, mentre il giudizio rappresenta il 13%. Il costo scala quadraticamente con il numero di passaggi a causa dei dispiegamenti paralleli di pianificazione e dei meccanismi di ripetizione.

4. Contributi Chiave

Primo Studio Sistematico sulla Latenza: Un'analisi dettagliata delle prestazioni temporali dei CUA (Agent S2 e GTA1) sul benchmark OSWorld, che identifica le chiamate LLM come il principale collo di bottiglia.
Dataset OSWorld-Human: Un benchmark curato manualmente e verificato incrociatamente contenente traiettorie umane ottimali e traiettorie ad azione raggruppata per tutti i 369 compiti OSWorld.
Nuova Metrica (WES): La proposta del Punteggio di Efficienza Ponderato per valutare gli agenti in base sia al tasso di successo che all'efficienza dei passaggi, penalizzando i fallimenti inefficienti.
Analisi del Raggruppamento delle Azioni: Dimostrazione che il raggruppamento delle azioni eseguibili da una singola osservazione può ridurre significativamente il numero di chiamate LLM e passaggi richiesti.
Valutazione Completa: Una valutazione di 16 agenti all'avanguardia utilizzando OSWorld-Human, che rivela che i sistemi attuali sono significativamente meno efficienti rispetto ai benchmark umani.
Analisi dei Fallimenti e dei Costi: Identificazione degli errori di ancoraggio come una causa principale di passaggi sprecati e loop, e una ripartizione dei costi finanziari associati alle attuali architetture di agenti.

5. Significato e Affermazioni

Il documento afferma di stabilire il primo framework unificato per la valutazione, l'analisi e il miglioramento dell'efficienza temporale degli agenti per l'utilizzo del computer. Gli autori sostengono che, sebbene l'accuratezza sia importante, l'efficienza temporale è ugualmente cruciale per l'usabilità nel mondo reale.

Lo studio evidenzia che gli agenti attuali sono praticamente inutilizzabili in scenari interattivi a causa dell'alta latenza e dell'eccessivo numero di passaggi. Fornendo OSWorld-Human e la metrica WES, gli autori mirano a guidare gli sviluppi futuri verso:

Ridurre la latenza delle chiamate di pianificazione, giudizio e riflessione.
Minimizzare il numero di passaggi per compito attraverso il raggruppamento delle azioni.
Migliorare i meccanismi di ancoraggio per prevenire loop ed errori di coordinate.
Comprimere la cronologia per gestire i costi dei token e la latenza.

Gli autori concludono che il loro lavoro e il dataset open-source favoriranno nuove direzioni di ricerca per colmare il divario tra le capacità attuali degli agenti e l'efficienza richiesta per il dispiegamento pratico.