🤖 AI

SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL

ScaleCUA è un framework unificato che porta gli agenti open-source per l'uso del computer a prestazioni allo stato dell'arte affrontando la scarsità di dati e l'inefficienza dell'addestramento attraverso VeriGen per la sintesi di task verificabili, il Frontier Sampling per l'allocazione ottimizzata dei campioni e la Visual Context Segmentation per accelerare l'addestramento.

Autori originali: Bowen Lv, Xiao Liu, Yanyu Ren, Hanyu Lai, Bohao Jing, Hanchen Zhang, Yanxiao Zhao, Shuntian Yao, Jie Tang, Yuxiao Dong

Pubblicato 2026-07-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bowen Lv, Xiao Liu, Yanyu Ren, Hanyu Lai, Bohao Jing, Hanchen Zhang, Yanxiao Zhao, Shuntian Yao, Jie Tang, Yuxiao Dong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come usare un computer proprio come farebbe un essere umano. Il robot deve guardare lo schermo, cliccare pulsanti, scrivere nei terminali e capire come installare software o organizzare file. Questo è il mondo dei Computer Use Agents (CUA).

Per molto tempo, l'insegnamento di questi robot è stato come cercare di imparare un nuovo videogioco senza un punteggio. Puoi giocare, ma non sai se hai effettivamente vinto finché un essere umano non guarda tutto l'episodio e dice: "Bravo!" o "Riprova". Questo rende l'apprendimento super lento ed costoso perché non puoi semplicemente eseguire migliaia di partite contemporaneamente se devi avere un umano che valuti ogni singola partita.

Entra in scena SCALECUA, un nuovo framework che agisce come un campo di addestramento super-potenziato e auto-correttivo per questi agenti robotici. Risolve due grandi problemi: trovare abbastanza compiti di pratica che abbiano una condizione di "vittoria" chiara e rendere il processo di addestramento abbastanza veloce da funzionare davvero.

Il problema del punteggio: Entra in gioco VERIGEN

Il primo ostacolo era che la maggior parte dei compiti informatici non ha un segnale integrato di "Game Over, Hai Vinto". Per risolvere il problema, i ricercatori hanno costruito VERIGEN.

Pensa a VERIGEN come a una squadra di tre coach robotici che lavorano in un enorme parco giochi infinito di computer virtuali (container Docker).

Il Proponente (Proposer) suggerisce un compito, come "Installa questo tema specifico per il tuo computer".
Il Giudice (Judger) controlla se le istruzioni hanno senso e se la "condizione di vittoria" è logica.
Il Verificatore (Checker) prova effettivamente a eseguire il compito nel computer virtuale per vedere se è possibile e se la "condizione di vittoria" si attiva effettivamente.

Se il compito fallisce uno qualsiasi di questi controlli, viene scartato. Se passa, diventa un compito di addestramento verificato. La cosa più incredibile? Questa squadra di coach lavora in parallelo. Possono eseguire oltre 100 di questi coach contemporaneamente, interagendo con oltre 100 computer virtuali simultaneamente.

Il risultato? Hanno generato oltre 24.000 compiti verificati e quasi 3.000 compiti di alta qualità specificamente per l'addestramento. Questo è un salto enorme rispetto ai metodi precedenti, che spesso si affidavano a piccole liste di compiti scritte manualmente.

La strategia di addestramento: Campionamento della Frontiera

Una volta ottenuto un monte di compiti, come si scelgono quelli su cui fare pratica? Un errore comune è scegliere i compiti casualmente. Ma immagina di stare imparando ad andare in bicicletta:

Se scegli un compito troppo facile (andare in piano), non impari nulla.
Se scegli un compito troppo difficile (scendere da un precipizio ripido), ti schianti e ti scoraggi.
Il punto ideale è la "frontiera dell'apprendimento": i compiti che stai appena iniziando a capire.

SCALECUA utilizza una strategia intelligente chiamata Frontier Sampling (Campionamento della Frontiera). Tiene traccia di un punteggio corrente di quanto il robot sia bravo in ogni singolo compito. Poi concentra il suo tempo di pratica sui compiti in cui il robot si trova proprio intorno a un tasso di successo del 50%. Ciò assicura che il robot stia sempre spingendo i propri limiti senza bloccarsi su sfide impossibili o annoiarsi con compiti troppo facili.

Il trucco della velocità: Segmentazione del Contesto Visivo

Ecco la parte complicata: i compiti informatici possono richiedere molto tempo. Un singolo compito potrebbe comportare 47 passaggi (come l'esempio nel paper dove il robot installa un tema). Se provi a ricordare ogni singolo screenshot dal primo passaggio fino al quarantasettesimo, il tuo cervello (o la memoria del computer) si sovraccarica e l'addestramento rallenta drasticamente.

I ricercatori hanno risolto questo problema con la Visual Context Segmentation (Segmentazione del Contesto Visivo). Immagina di leggere una lunga storia, ma invece di tenere aperto l'intero libro, tieni visibili solo le ultime pagine sulla tua scrivania. Ricordi la trama delle pagine precedenti tramite un riassunto, ma guardi solo le pagine recenti per prendere la tua prossima decisione.

Questa tecnica mantiene una "finestra scorrevole" degli screenshot più recenti (circa 5 o 8 immagini) mentre riassume gli altri come testo. Questo mantiene la memoria del robot fresca e veloce. Il paper ha rilevato che questo metodo ha reso l'addestramento 2,83 volte più veloce rispetto al vecchio modo di cercare di ricordare ogni singolo passaggio contemporaneamente, senza far sì che il robot dimentichi come risolvere il problema.

I Risultati: Ha funzionato?

Il team ha testato questo nuovo sistema su un modello chiamato Qwen3.5-9B (un modello vision-language con 9 miliardi di parametri).

Su OSWorld (un benchmark per compiti desktop generali), il robot ha raggiunto un tasso di successo del 68,7%.
Su ScienceBoard (un benchmark per software scientifici complessi), ha raggiunto il 54,0%.

Questi numeri sono significativi. Il paper nota che questo modello da 9 miliardi di parametri ha superato altri modelli open-source che erano quattro volte più grandi (come l'EvoCUA da 32 miliardi di parametri). Ha anche superato alcuni modelli proprietari, suggerendo che il metodo di addestramento conta tanto quanto la dimensione del cervello del robot.

Cosa NON fa

È importante sapere cosa questo articolo non afferma.

Non è ancora una bacchetta magica per tutti i computer. I test sono stati eseguiti su desktop basati su Ubuntu (un tipo specifico di computer Linux). Gli autori ammettono di non aver ancora testato il sistema su Windows o macOS, quindi non sappiamo se funzioni lì.
Ha un limite di tempo. Gli episodi di addestramento sono stati limitati a 50 turni di interazione. Sebbene questo copra la maggior parte dei compiti, gli autori suggeriscono che potrebbe non essere sufficiente per flussi di lavoro ultra-lunghi e complessi che richiedono centinaia di passaggi.
Non è un problema risolto. Il paper presenta questo come un nuovo framework che stabilisce uno "stato dell'arte" tra gli agenti open-source, ma riconosce che la generalizzazione ad altri sistemi e scale è ancora un lavoro futuro.

In breve, SCALECUA è una ricetta intelligente per insegnare ai robot come usare i computer, generando i propri test di pratica, concentrandosi sul livello di difficoltà "giusto" e ricordando quel tanto che basta del passato per rimanere veloci. Dimostra che, con gli strumenti di addestramento corretti, anche un cervello robotico più piccolo può superare molti altri molto più grandi.

Riepilogo Tecnico: SCALECUA

Definizione del Problema

Gli Agenti di Utilizzo del Computer (Computer Use Agents, CUA) rappresentano un approccio trasformativo per l'automazione dei flussi di lavoro digitali, operando direttamente sui pixel dello schermo e sugli elementi dell'interfaccia utente (UI) anziché su API strutturate. Sebbene i recenti progressi nell'apprendimento per rinforzo online con ricompense verificabili (RLVR) mostrino grande potenziale per scalare le capacità dei CUA, il campo affronta due colli di bottiglia critici:

Scarsità di Dati Verificabili: A differenza dei compiti matematici o di programmazione, i compiti GUI mancano di meccanismi integrati per valutare deterministicamente gli stati finali. Generare compiti che siano sia verificabili (tramite giudici eseguibili) che adeguatamente difficili (né banali né irraggiungibili) su larga scala è fondamentalmente complesso.
Inefficienza dell'RL Online: L'attuale addestramento RL per le interazioni GUI multi-turno soffre di inefficienze sia nel campionamento che nell'addestramento. La selezione uniforme dei compiti produce spesso gruppi di rollout in cui tutti i compiti hanno successo o falliscono, non fornendo alcun segnale di apprendimento. Inoltre, le strategie di addestramento affrontano un compromesso: l'addestramento a livello di traiettoria accumula un eccesso di token visivi, rallentando l'inferenza, mentre la decomposizione per step gonfia il numero di elementi di addestramento, rallentando gli aggiornamenti dei parametri.

Metodologia

Gli autori introducono SCALECUA, un framework unificato progettato per scalare l'RL online per i CUA affrontando simultaneamente la generazione di dati e l'efficienza dell'addestramento. Il framework si compone di tre componenti principali:

1. VERIGEN: Sintesi di Compiti Verificabili

Per superare la scarsità di dati, gli autori propongono VERIGEN, un framework end-to-end per la generazione di compiti RL verificabili.

Ciclo di Feedback Multi-Agente: VERIGEN impiega tre agenti LLM indipendenti (Proposer, Judger e Checker) che interagiscono con ambienti Docker live. Il Proposer genera compiti e verificatori; il Judger esegue revisioni semantiche statiche; il Checker esegue "dry run" per verificare dinamicamente la raggiungibilità del compito e la correttezza del giudice.
Sintesi Guidata dalla Traiettoria: Il sistema affina iterativamente il pool di compiti analizzando le traiettorie di rollout del modello. I compiti falliti vengono scomposti in sottotitoli più piccoli basandosi sul primo punto di deviazione, mentre i compiti completati con successo vengono raggruppati e composti in compiti multi-obiettivo più complessi.
Scalabilità: Una sonda di interazione Docker condivisa consente a oltre 100 worker agenti concorrenti di interagire con oltre 100 ambienti Docker, producendo oltre 24.000 compiti verificabili e quasi 3.000 compiti RL di alta qualità.

2. Frontier Sampling: Allocazione Efficiente dei Compiti

Per massimizzare l'efficienza del campionamento, SCALECUA introduce il Frontier Sampling, un campionatore leggero che alloca dinamicamente i rollout in base alle capacità attuali del modello.

Meccanismo: Il sistema mantiene una Media Mobile Esponenziale (EMA) dei tassi di successo per ogni compito. Applica una distribuzione kernel gaussiana per calcolare i pesi di campionamento, con un picco in un tasso di successo target (es. 0.5).
Obiettivo: Questo indirizza i rollout verso i compiti alla "frontiera dell'apprendimento" (learning frontier) — quelli che il modello è attualmente in grado di risolvere con una certa probabilità — evitando lo spreco di computazione su compiti troppo facili o troppo difficili.

3. Segmentazione del Contesto Visivo: Addestramento Multi-Turn Efficiente

Per risolvere il compromesso tra rollout e addestramento nei compiti a lungo orizzonte, gli autori propongono la Segmentazione del Contesto Visivo.

Strategia della Finestra Scorrevole: Invece di mantenere l'intera cronologia visiva (che grava sul motore di rollout) o di dividere ogni turno (che grava sul motore di addestramento), il sistema mantiene una finestra scorrevole del contesto visivo recente (es. $K$ screenshot).
Stream di Token-ID: Quando la finestra eccede la capacità, gli screenshot più vecchi vengono eliminati e sostituiti da un riassunto testuale, mentre lo stream di token-ID viene ri-tokenizzato. Ciò limita l'accumulo di token visivi preservando al contempo la continuità testuale e il ragionamento cross-step.

Contributi Chiave

Framework VERIGEN: Un pipeline end-to-end che scala la generazione di compiti verificabili a oltre 100 worker paralleli, producendo un dataset di oltre 24K compiti verificabili e quasi 3K compiti RL di alta qualità, significativamente più grande dei precedenti metodi CUA per desktop.
Frontier Sampling: Una nuova strategia di campionamento che traccia la capacità per compito tramite tassi di successo EMA, garantendo che i rollout si concentrino sui compiti più informativi per accelerare la convergenza.
Segmentazione del Contesto Visivo: Una tecnica di ottimizzazione dell'addestramento che bilancia il carico di token visivi e il numero di elementi di addestramento, ottenendo un incremento della velocità di addestramento end-to-end di 2.83× rispetto alla decomposizione per step senza sacrificare la qualità del ragionamento.

Risultati Sperimentali

Gli autori hanno valutato SCALECUA su tre modelli vision-language (GLM-4.6V-Flash, Qwen3-VL-8B-Thinking e Qwen3.5-9B) utilizzando i benchmark OSWorld e ScienceBoard.

Performance OSWorld: Utilizzando l'architettura Qwen3.5-9B, SCALECUA ha raggiunto un tasso di successo del 68.7%. Questo supera i più forti baseline open-source, inclusi Kimi K2.5 (63.3%) ed EvoCUA-32B (56.7%), così come i modelli proprietari come Claude Sonnet 4.5 (62.9%). Il modello ha mostrato guadagni particolarmente forti nelle categorie "Professional" (89.5%) e "Workflow" (48.1%) a lungo orizzonte.
Performance ScienceBoard: SCALECUA-Qwen3.5-9B ha raggiunto il 54.0% su ScienceBoard, stabilendo un nuovo stato dell'arte tra gli agenti open-source e superando Claude Opus 4.6 (52.7%). Sono stati osservati miglioramenti notevoli nella redazione di documenti scientifici (TeXstudio) e nella dimostrazione di teoremi.
Studi di Ablazione: La rimozione di uno qualsiasi dei tre componenti core (VERIGEN, Frontier Sampling o Segmentazione del Contesto Visivo) ha comportato cali significativi delle prestazioni, confermando i loro ruoli complementari. Nello specifico, la rimozione di VERIGEN ha riportato le prestazioni al livello del modello base (43.9%).

Significato

SCALECUA dimostra che scalare gli agenti per l'uso del computer richiede un approccio olistico che integri la sintesi di dati verificabili con algoritmi di addestramento efficienti. Risolvendo il collo di bottiglia della scarsità di dati verificabili attraverso l'interazione iterativa con ambienti live e affrontando le inefficienze dell'addestramento attraverso il campionamento consapevole della frontiera e la gestione del contesto visivo, il framework stabilisce nuove prestazioni allo stato dell'arte per i CUA open-source. Gli autori sostengono che questo approccio unificato offra una ricetta riutilizzabile per addestrare agenti con ricompense verificabili, accelerando il progresso nel campo dei flussi di lavoro digitali automatizzati.