💬 NLP

Video2GUI: Synthesizing Large-Scale Interaction Trajectories for Generalized GUI Agent Pretraining

Il documento introduce Video2GUI, un framework automatizzato che sintetizza un dataset su larga scala di 12 milioni di traiettorie di interazione con interfacce grafiche (GUI) tratte da video internet non etichettati per superare la scarsità di dati e migliorare significativamente le prestazioni di generalizzazione degli agenti multimodali per le GUI.

Autori originali: Weimin Xiong, Shuhao Gu, Bowen Ye, Zihao Yue, Lei Li, Feifan Song, Sujian Li, Hao Tian

Pubblicato 2026-05-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Weimin Xiong, Shuhao Gu, Bowen Ye, Zihao Yue, Lei Li, Feifan Song, Sujian Li, Hao Tian

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot come usare un computer, un telefono o un sito web. Per farlo, devi mostrargli milioni di esempi di persone che cliccano sui pulsanti, digitano testo e scorrono le pagine.

Il problema è che trovare questi esempi è incredibilmente difficile. Di solito, i ricercatori devono assumere persone per registrare e etichettare manualmente ogni singolo clic, un processo lento, costoso e che li limita a pochi tipi di applicazioni. È come cercare di imparare una lingua leggendo solo poche pagine di un dizionario.

Video2GUI è un nuovo sistema che risolve questo problema trasformando l'intero internet in un'enorme e gratuita aula scolastica. Ecco come funziona, utilizzando alcune semplici metafore:

1. Il Grande Filtro (Trovare i Video Giusti)

Internet è pieno di video, ma la maggior parte è inutile per insegnare a un robot (come programmi di cucina o video di gatti). I ricercatori hanno iniziato con 500 milioni di video di YouTube.

La Setacciatura Grossolana: Prima, hanno utilizzato un'intelligenza artificiale intelligente per scansionare titoli e descrizioni. È come un bibliotecario che controlla rapidamente i dorsi dei libri per vedere se parlano di "computer" prima ancora di aprirli. Questo ha ridotto il mucchio a 20 milioni.
La Setacciatura Fine: Successivamente, hanno utilizzato un'intelligenza artificiale più avanzata per "guardare" effettivamente il primo minuto di quei video. Ha verificato: lo schermo è chiaro? La voce spiega bene i passaggi? Mostra effettivamente come usare il software? È come un insegnante severo che valuta i video per assicurarsi che siano tutorial di alta qualità.
Il Risultato: Si sono ritrovati con 4,2 milioni di video tutorial di alta qualità.

2. Il Traduttore (Trasformare il Video in Istruzioni)

Ora avevano i video, ma un robot non può semplicemente "guardare" un video e comprenderlo come farebbe un umano. Il video deve essere tradotto in un elenco strutturato di istruzioni.

Il Processo: Hanno utilizzato un'intelligenza artificiale potente (come un traduttore super-intelligente) per guardare i video e scomporli. Ha identificato l'obiettivo (ad esempio, "Compra scarpe"), i passaggi compiuti e il momento esatto in cui è avvenuto ogni clic.
La Magia: L'intelligenza artificiale non ha solo indovinato; ha esaminato i fotogrammi del video per trovare le coordinate esatte dei pulsanti cliccati. Ha trasformato un video di 10 minuti di qualcuno che fa shopping online in una mappa precisa, passo dopo passo: "Alle 0:05, clicca sulla barra di ricerca. Alle 0:10, digita 'sneakers'."

3. La Biblioteca (WildGUI)

Tutte queste istruzioni tradotte sono state raccolte in una nuova biblioteca massiccia chiamata WildGUI.

La Scala: Questa biblioteca contiene 12 milioni di percorsi di interazione (traiettorie) che coprono oltre 1.500 diverse applicazioni e siti web.
La Varietà: Include tutto, dai desktop Windows ai telefoni Android e ai computer Mac. È come avere una biblioteca che contiene ogni possibile modo in cui un umano abbia mai usato un computer, tutto organizzato e pronto per essere studiato da un robot.

4. L'Addestramento (Insegnare al Robot)

I ricercatori hanno preso due modelli di intelligenza artificiale esistenti (Qwen2.5-VL e Mimo-VL) e li hanno "nutriti" con questa nuova biblioteca.

Il Risultato: Dopo aver studiato questo enorme set di dati, i robot sono diventati significativamente migliori. Hanno migliorato le prestazioni dal 5% al 20% su vari test.
La Prova: Ora potevano trovare i pulsanti, cliccare sulle cose giuste e navigare siti web complessi molto meglio di prima, eguagliando o superando i migliori robot attualmente esistenti.

Il Punto Cruciale

Il documento afferma che automatizzando il processo di trasformazione dei video internet in dati di addestramento, hanno creato un enorme set di dati diversificato che rende gli agenti di intelligenza artificiale molto più abili nell'uso dei computer. Non hanno inventato un nuovo tipo di robot; hanno semplicemente fornito a quelli esistenti un libro di testo molto migliore, più grande e più diversificato da studiare.

Hanno rilasciato questo set di dati e gli strumenti utilizzati per costruirlo in modo che altri ricercatori possano utilizzarli per costruire agenti di intelligenza artificiale ancora migliori in futuro.

Riepilogo Tecnico: Video2GUI

Enunciato del Problema

Lo sviluppo di agenti generalizzati per Interfacce Grafiche Utente (GUI) è attualmente limitato dalla scarsità di dati di addestramento su larga scala e diversificati. Gli approcci esistenti si basano pesantemente su traiettorie di interazione annotate manualmente o su ambienti simulati, che sono costosi da produrre e soffrono di una scalabilità limitata. Di conseguenza, gli agenti addestrati su questi dataset ristretti faticano a generalizzare verso interfacce, applicazioni e compiti reali non visti in precedenza. Sebbene Internet contenga un vasto archivio di video tutorial GUI non etichettati, sfruttare efficacemente questi dati è impegnativo a causa della difficoltà nel filtrare contenuti istruttivi di alta qualità e della complessità nell'estrazione di traiettorie di azione strutturate e ancorate spazialmente da video grezzi senza annotazioni esplicite.

Metodologia

Per affrontare queste sfide, gli autori propongono Video2GUI, un framework completamente automatizzato progettato per sintetizzare traiettorie di interazione su larga scala da video internet non etichettati. La pipeline opera attraverso tre stadi progressivi:

Filtraggio Video dal Grezzo al Fine:
- Filtraggio Grezzo (Metadati): Partendo da 500 milioni di voci di metadati video (titoli, descrizioni, parole chiave), il sistema impiega un classificatore leggero (Qwen2.5-7B fine-tuned) per filtrare i video non correlati alle operazioni GUI. Questo riduce il pool di candidati a circa 20 milioni di video, evitando i costi computazionali dell'elaborazione di contenuti irrilevanti.
- Filtraggio Fine (Punteggio Visivo): Un modello di punteggio visivo (Qwen2.5-Omni fine-tuned) valuta il contenuto del primo minuto di ogni video candidato su tre dimensioni: Rilevanza dell'Argomento (focus sull'insegnamento di operazioni GUI), Chiarezza Istruttiva (coerenza della narrazione) e Qualità di Registrazione (fedeltà visiva). Questa fase mantiene solo 4,16 milioni di video di alta qualità (~300.000 ore).
Estrazione delle Traiettorie:
- Utilizzando una strategia a finestra scorrevole con memoria del contesto storico, il framework impiega un potente modello visione-linguaggio (Gemini-3-Pro) per convertire segmenti video in coppie strutturate di istruzione-traiettoria.
- Il modello estrae istruzioni del compito, timestamp delle azioni, dettagli delle azioni e il ragionamento alla base di ciascuna azione. Genera una sequenza di passaggi in cui ogni azione è associata a un timestamp preciso e a una descrizione testuale di basso livello.
Ancoraggio Spaziale delle Azioni:
- Per superare i limiti di risoluzione dei frame video compressi, il sistema recupera screenshot ad alta risoluzione (una terna di frame a $t-0.5s$ , $t$ e $t+0.5s$ ) per ogni timestamp di azione estratto.
- Gemini-3-Pro viene utilizzato per mappare le istruzioni di basso livello su coordinate precise dello schermo (bounding box o punti), ancorando efficacemente le azioni all'interfaccia utente. Questo approccio multi-frame mitiga i problemi causati da rapidi cambiamenti visivi nelle interazioni GUI.

Strategia di Addestramento:
Gli autori utilizzano il dataset risultante, WildGUI, per un processo di addestramento dell'agente in due fasi:

Fase 1 (Pre-addestramento Continuo): I modelli (Qwen2.5-VL e Mimo-VL) vengono pre-addestrati su WildGUI utilizzando un obiettivo misto di ancoraggio GUI, previsione delle azioni e modellazione delle traiettorie.
Fase 2 (Post-addestramento): I modelli pre-addestrati vengono fine-tuned su dataset open-source curati e di alta qualità per rifinare le prestazioni su compiti specifici downstream.

Contributi Chiave

Framework Video2GUI: Una pipeline scalabile e completamente automatizzata che estrae traiettorie di interazione GUI ancorate da miliardi di video internet non etichettati, eliminando la dipendenza dall'annotazione manuale.
Dataset WildGUI: La costruzione di un dataset di pre-addestramento su larga scala e diversificato contenente 12,7 milioni di traiettorie di interazione e 124,5 milioni di screenshot. Copre oltre 1.500 applicazioni e siti web su piattaforme desktop, mobile e web.
Miglioramenti delle Prestazioni: Esperimenti estensivi dimostrano che il pre-addestramento su WildGUI produce miglioramenti coerenti (5–20%) su molteplici benchmark di ancoraggio GUI e agenti, permettendo ai modelli di eguagliare o superare le prestazioni dello stato dell'arte nonostante abbiano un numero di parametri inferiore.
Rilascio Aperto: Gli autori si impegnano a rilasciare sia il dataset WildGUI che la pipeline Video2GUI per facilitare la ricerca futura nell'addestramento scalabile di agenti GUI.

Risultati Sperimentali

Gli autori hanno valutato l'approccio utilizzando i backbones Qwen2.5-VL e Mimo-VL su diversi benchmark:

Ancoraggio GUI: Su ScreenSpot-Pro e OSWorld-G, i modelli pre-addestrati su WildGUI hanno mostrato guadagni significativi. Ad esempio, Mimo-VL-7B ha raggiunto un punteggio medio stato dell'arte di 67,6 su OSWorld-G, superando modelli più grandi come Qwen3-VL-32B (60,6) e Seed1.5-VL (62,9).
Valutazione Agente Offline: Su AndroidControl e CAGUI, i modelli hanno dimostrato capacità di pianificazione ed esecuzione migliorate. Mimo-VL-7B ha raggiunto un tasso di successo per passo di 71,4 su AndroidControl-High, un miglioramento sostanziale rispetto al suo modello base.
Valutazione Agente Online: In ambienti dinamici (OSWorld e AndroidWorld), l'intera pipeline di addestramento (Fase 1 + Fase 2) ha quasi raddoppiato il tasso di successo su AndroidWorld (31,9% vs 16,4% per il modello base), dimostrando una forte generalizzazione verso compiti aperti e reali.
Analisi di Scalabilità: Uno studio di scalabilità ha rivelato una forte correlazione positiva tra il volume dei token di pre-addestramento (fino a 200 miliardi) e l'accuratezza dei compiti downstream, con le prestazioni che continuano a migliorare senza evidenti segni di saturazione.

Significato e Affermazioni

Il paper afferma che il principale collo di bottiglia per gli agenti GUI generalizzati è la scarsità e la diversità dei dati, non solo l'architettura del modello. Dimostrando che i video internet non etichettati possono essere efficacemente trasformati in dati di addestramento strutturati e di alta qualità, Video2GUI offre un percorso scalabile per superare questo limite.

Gli autori affermano che:

La Qualità dei Dati è Primordiale: Le strategie di filtraggio dal grezzo al fine e di estrazione guidate dai VLM sono critiche per garantire che i dati sintetizzati siano accurati e diversificati a sufficienza per addestrare agenti robusti.
I Dati Offline Generalizzano: Il pre-addestramento su dati video offline fornisce una base critica che permette agli agenti di generalizzare efficacemente verso ambienti online e dinamici, anche se i dati di addestramento stessi sono statici.
Scalabilità: La pipeline Video2GUI è capace di elaborare dati su scala internet, suggerendo che il campo può superare i vincoli di piccoli dataset curati manualmente verso un vero addestramento di agenti su larga scala e diversificato.

Il lavoro conclude che scalare l'addestramento con dati video offline diversificati è una direzione promettente e necessaria per sviluppare agenti GUI autonomi capaci e a scopo generale.