Riepilogo Tecnico: OpenComputer

Enunciato del Problema

L'espansione degli agenti per l'utilizzo di computer è attualmente ostacolata da due sfide critiche: l'alto costo della costruzione di ambienti desktop realistici e riproducibili, e la difficoltà di verificare il successo dei compiti in stati software complessi. La creazione tradizionale di compiti richiede la progettazione manuale degli obiettivi dell'utente e l'inizializzazione dell'ambiente (ad esempio, popolamento di file, configurazione delle impostazioni), il che è laborioso e non standardizzato. Inoltre, la valutazione spesso si affida a "LLM come giudice" o all'ispezione visiva degli screenshot, il che non riesce a rilevare errori sottili negli stati sottostanti delle applicazioni, nei metadati dei file o negli effetti collaterali persistenti non visivamente evidenti. I benchmark esistenti sono in gran parte curati da esseri umani, limitati nella scala e spesso privi di segnali di ricompensa affidabili e verificabili automaticamente.

Metodologia: Il Framework OpenComputer

OpenComputer è un framework fondato sulla verifica, progettato per sintetizzare mondi software verificabili per agenti per l'utilizzo di computer. Tratta la verifica non come un passo di valutazione a valle, ma come il principio organizzativo per la costruzione dell'ambiente e dei compiti. Il framework è composto da quattro componenti strettamente accoppiati:

1. Verificatori di Stato Specifici per Applicazione

OpenComputer costruisce una pila di verifica in cui ogni applicazione supportata è associata a un modulo verificatore Python sintetico in esecuzione all'interno di una sandbox.

• Canali di Ispezione: I verificatori utilizzano i canali di ispezione specifici per l'applicazione più affidabili disponibili, come protocolli di debug del browser (CDP), D-Bus, database di profili basati su SQLite, API di accessibilità (AT-SPI) e analisi diretta dei file (ad esempio, per Inkscape, VS Code o Blender).
• Costruzione degli Endpoint: Il sistema genera sottocomandi CLI con output JSON che espongono superfici di stato strutturate (contenuto, preferenze, cronologia, metadati).
• Protocollo di Test: I verificatori subiscono un ciclo rigoroso di debug-corretta-ripeti con test unitari e di integrazione per garantire che ispezionino affidabilmente lo stato effettivo del software, piuttosto che fare affidamento su abbinamenti euristici.

2. Livello di Verifica Auto-Evolvente

Per affrontare gli errori residui nei verificatori (ad esempio, assunzioni di schema fragili o copertura incompleta), OpenComputer implementa un ciclo di auto-evoluzione:

• Calibrazione: Un piccolo insieme di compiti facili-medio viene eseguito da un agente forte in una sandbox.
• Diagnosi del Disaccordo: Un valutatore LLM e il verificatore programmatico producono indipendentemente verdetto sullo stato finale. Vengono identificati i disaccordi attribuibili a errori del verificatore (piuttosto che a fallimenti dell'agente).
• Raffinamento: Il codice del verificatore, gli endpoint o la documentazione vengono raffinati sulla base di questo feedback. Questo processo si ripete finché il verificatore non si allinea al giudizio di riferimento o non si esaurisce il budget.

3. Pipeline di Generazione dei Compiti

I compiti sono sintetizzati attraverso un processo consapevole del verificatore:

• Proposta: Il sistema propone obiettivi utente realistici senza condizionarsi sui verificatori esistenti per garantire la diversità.
• Filtraggio: Le proposte vengono filtrate per complessità e generabilità dei dati, dando priorità ai flussi di lavoro multi-step.
• Fondazione: I compiti sono radicati nella pila di verifica. Se uno stato è ispezionabile ma manca di un endpoint, viene generato un nuovo endpoint.
• Sintesi: Il sistema materializza il compito generando i file, le configurazioni e i profili richiesti, producendo un'istanza di compito $\tau = (x, e, c)$ dove $x$ è l'istruzione, $e$ è l'inizializzazione dell'ambiente e $c$ sono i criteri di successo verificabili automaticamente.

4. Harness di Valutazione

L'harness esegue agenti in sandbox desktop fresche, registrando le traiettorie complete di screenshot-azione. Il successo è calcolato eseguendo i comandi di controllo del compito contro lo stato finale del software. La ricompensa è la frazione di controlli superati ($R = N_{pass}/N_{total}$), permettendo crediti parziali mantenendo condizioni di successo esatte e verificabili automaticamente.

Contributi Chiave

1. Framework OpenComputer: Un sistema fondato sulla verifica per generare automaticamente mondi software realistici, descrizioni di compiti e verificatori senza costruzione manuale.
2. Validazione dell'Affidabilità: Evidenza empirica che mostra che i verificatori hard-coded si allineano più strettamente all'adjudicazione umana rispetto alla valutazione "LLM come giudice", in particolare per stati di applicazione granulari.
3. Benchmark su Grande Scala: Una release composta da 33 applicazioni desktop e 1.000 compiti finalizzati che coprono browser, strumenti d'ufficio, software creativo, ambienti di sviluppo e app di comunicazione.

Risultati Sperimentali

Gli autori hanno valutato agenti all'avanguardia e open-source sul benchmark OpenComputer:

• Prestazioni all'Avanguardia: GPT-5.4 ha raggiunto le prestazioni più alte con un tasso di successo completo del compito del 68,3% e una ricompensa media dell'88,4%. Seguono Claude-Sonnet-4.6 (64,4%) e Kimi-K2.6 (58,8%). Nonostante un alto progresso parziale, il completamento affidabile end-to-end rimane difficile.
• Divario Open-Source: I modelli open-source hanno mostrato cali significativi delle prestazioni rispetto ai loro punteggi riportati su benchmark esistenti come OSWorld. Ad esempio, GUI-OWL-1.5-8B è sceso da un punteggio OSWorld del 52,3% al 5,7% su OpenComputer.
• Efficienza: GPT-5.4 è stato il più efficiente, con una media di 19,0 passaggi per compito, in parte grazie alla sua capacità di combinare operazioni ed evitare lunghe tracce di ragionamento nell'output.
• Allineamento della Verifica: In un confronto di 120 compiti, i verificatori hard-coded hanno corrisposto ai verdetto umani nel 94,1% dei casi, rispetto al 79,2% per un giudice LLM. Il verificatore è stato particolarmente superiore nel rilevare errori nei log del terminale, nei pannelli collassati e nei metadati precisi dei file che gli screenshot non colgono.
• Impatto dell'Auto-Evoluzione: Il livello di verifica auto-evolvente ha riparato l'89,4% degli errori lato controllore nei compiti di calibrazione, migliorando l'accordo umano-controllore dall'85,2% al 94,1%.

Significato e Affermazioni

Gli autori affermano che OpenComputer fornisce un'infrastruttura fondamentale per l'espansione della ricerca sull'utilizzo di computer accoppiando mondi software realistici con feedback verificabili automaticamente. Gli autori sostengono che:

• La Verifica è Critica: La sintesi scalabile per gli agenti deve essere accoppiata a un'ispezione affidabile piuttosto che a valutazioni proxy deboli come giudici LLM o screenshot.
• Limitazioni Attuali: Anche gli agenti all'avanguardia faticano con il completamento end-to-end in flussi di lavoro desktop realistici, esponendo un divario nell'automazione robusta dei computer.
• Utilità Futura: Il framework supporta non solo la valutazione ma anche le pipeline di addestramento (ad esempio, SFT, RL) fornendo ricompense verificabili e fondate. Funge da punto di partenza controllato per studiare l'affidabilità degli agenti e le modalità di fallimento in ambienti software complessi.

Gli autori riconoscono le limitazioni relative ai compiti che richiedono giudizi visivi o geometrici (ad esempio, layout spaziale in Draw.io) che non possono essere completamente ridotti a controlli programmatici; tali compiti sono esclusi dal benchmark principale per mantenere la riproducibilità ma sono rilasciati per future ricerche sulla verifica ibrida.