Qwen-CUA: Native Computer Use for (almost) Everything
Il documento presenta Qwen-CUA, un agente nativo per l'uso del computer basato su un backbone di tipo mixture-of-experts da 397B che opera esclusivamente attraverso screenshot ed eventi di input senza fare affidamento sugli alberi DOM, raggiungendo prestazioni state-of-the-art nei benchmark di computer-use attraverso un addestramento tramite rollout su larga scala in cloud, ottimizzazione della ricompensa verificabile e un'architettura scalabile.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un mondo in cui il vostro computer non si limita ad aspettare che clicchiate dei pulsanti, ma osserva effettivamente ciò che fate e impara a farlo al posto vostro. Questa è la frontiera entusiasmante degli "agenti AI", un ramo della scienza in cui i computer vengono istruiti per agire come gli esseri umani nel mondo digitale. Per molto tempo, questi agenti sono stati come studenti brillanti che potevano solo leggere libri di testo (codice) o seguire rigidi manuali di istruzioni (API). Erano bravi in matematica e logica, ma se chiedevate loro di usare un programma vecchio e disordinato o un sito web che cambia ogni volta che lo aggiornate, si smarrivano. Non riuscivano a "vedere" lo schermo come farebbe un essere umano; avevano bisogno di speciali progetti della struttura del sito web per sapere dove si trovassero i pulsanti. Ma la maggior parte delle nostre vite digitali avviene su schermi che non hanno questi progetti. Questo articolo affronta la sfida di insegnare a un'IA essere un vero apprendista digitale: uno che guarda uno schermo, capisce cosa fare e clicca o digita proprio come farebbe una persona, senza bisogno di scorciatoie speciali o mappe nascoste.
Il team dietro questa ricerca presenta Qwen-CUA, un nuovo tipo di agente IA progettato per essere un utente informatico "nativo". Pensate a questo come all'insegnamento a un robot come guidare un'auto. Invece di dare al robot una mappa digitale perfetta di ogni strada e semaforo (che non esiste per molti programmi software vecchi o complessi), gli hanno insegnato a guardare fuori dal finestrino, vedere la strada e girare il volante in base a ciò che vede. Qwen-CUA "vede" solo gli screenshot dello schermo del computer e "agisce" solo inviando comandi da tastiera e mouse. Non sbircia sotto il cofano per vedere il codice o chiede aiuto al software; si limita a osservare e imparare.
Per rendere questo robot abbastanza intelligente da gestire compiti di vita reale, i ricercatori hanno dovuto costruire una massiccia palestra di addestramento. Hanno creato una flotta basata sul cloud con quasi 100.000 CPU virtuali (immaginate una città di migliaia di computer che lavorano contemporaneamente) e hanno impostato circa 40.000 diversi compiti per far esercitare l'IA. Questi compiti variavano da cose semplici come organizzare file a flussi di lavoro compli e multi-step in software professionali. L'IA non riceveva solo un "bravo" o un "riprova" alla fine del processo; il sistema era progettato per verificare se il compito era stato effettivamente eseguito correttamente, permettendo all'IA di imparare dai propri errori ancora e ancora.
I risultati sono impressionanti. In test condotti su otto diversi benchmark, Qwen-CUA ha costantemente superato la sua versione precedente, Qwen3.7, e ha persino sostenuto il confronto con alcuni dei sistemi IA più potenti e costosi disponibili oggi. Ad esempio, in un test chiamato OSWorld-Verified, che misura quanto bene un'IA possa gestire i compiti quotidiani del desktop, Qwen-CUA ha ottenuto un punteggio di 86,2, mentre il modello precedente ha ottenuto 73,3. Quando hanno scalato questo approccio a un modello ancora più grande chiamato Qwen-CUA-Max (con oltre un trilione di parametri), il punteggio è salito a 87,6.
Una delle cose più interessanti di questo articolo è come gestisce i compiti lunghi e complicati. Immaginate di dover ricordare una storia che avete letto una settimana fa mentre scrivete un nuovo capitolo. L'IA doveva ricordare com'era lo schermo molti passaggi prima per sapere a che punto fosse nel suo compito. I ricercatori hanno risolto questo problema fornendo all'IA una "memoria visiva" che conserva gli ultimi 20 screenshot e "ripiega" astutamente quelli più vecchi in un riassunto, in modo da non essere sopraffatta. Ciò ha permesso all'IA di mantenere la calma durante i lunghi flussi di lavoro senza dimenticare l'inizio della storia.
L'articolo ha anche esaminato la sicurezza. Hanno testato l'IA contro "RedTeamCUA", una sfida in cui l'IA viene ingannata da istruzioni false nascoste nello schermo. Il nuovo modello è stato molto più bravo a ignorare questi trucchi, facendo scendere il tasso di successo degli attacchi dal 36,6% al 16,4%, pur portando a termine i propri compiti.
Infine, i ricercatori hanno esplorato un approccio "ibrido". Hanno scoperto che se lasciavano che l'IA usasse uno strumento a riga di comando (come una bacchetta magica testuale per le operazioni sui file) insieme alle sue abilità di mouse e tastiera, poteva completare i compiti più velocemente. Tuttavia, l'IA a volte cambiava strumenti al momento sbagliato, quindi, sebbene fosse più veloce, non era ancora sempre perfetta. Gli autori suggeriscono che, con ulteriore addestramento, questo mix di osservazione visiva e comandi basati sul testo potrebbe essere la chiave per rendere gli agenti IA veramente efficienti.
In breve, questo articolo dimostra che non abbiamo bisogno di ponti speciali per connettere l'IA ai nostri computer. Insegnando all'IA semplicemente a guardare lo schermo e ad agire come un essere umano, possiamo costruire agenti pronti ad affrontare quasi ogni software, dalle app più recenti ai programmi più vecchi, il tutto imparando da enormi quantità di pratica nel mondo reale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.