UI-Venus-1.5 Technical Report

Il rapporto presenta UI-Venus-1.5, un agente GUI unificato e end-to-end che, grazie a un avanzato mid-training, allineamento tramite apprendimento per rinforzo online e fusione di modelli, stabilisce nuovi record di prestazioni su benchmark globali e dimostra robuste capacità di navigazione in app mobili cinesi.

L'essenziale

Immagina di voler insegnare a un neonato digitale (un'intelligenza artificiale) come usare il tuo smartphone o il computer al posto tuo. Fino a poco tempo fa, questi "bambini digitali" erano molto bravi a guardare le immagini, ma quando dovevano fare qualcosa (come cliccare su un pulsante o scrivere un messaggio), spesso si confondevano, premevano il tasto sbagliato o si arrendevano subito.

UI-Venus-1.5 è il nuovo, super-evoluto "bambino digitale" creato dal team di Ant Group. Non è solo un po' più intelligente; è stato istruito con un metodo rivoluzionario che lo rende un vero e proprio assistente personale autonomo.

Ecco come funziona, spiegato con tre metafore semplici:

1. La "Scuola Media" Intensiva (Mid-Training)

Prima di questo modello, le AI imparavano direttamente a fare compiti specifici, un po' come se ti mandassero a lavorare in un cantiere senza mai averti fatto vedere i mattoni.
UI-Venus-1.5, invece, ha prima frequentato una "Scuola Media" intensiva.

• Cosa ha fatto: Ha letto e studiato 10 miliardi di pagine di manuali, screenshot e guide su come funzionano le interfacce (siti web, app, programmi).
• Il risultato: Ora, prima ancora di ricevere un compito, sa già cos'è un "pulsante", cos'è una "barra di ricerca" e come sono organizzati i menu. Ha costruito una base solida, proprio come un bambino che impara a riconoscere gli oggetti prima di imparare a usarli.

2. L'Allenamento con il "Mentore Virtuale" (Reinforcement Learning)

Sapere la teoria non basta; serve la pratica. Qui entra in gioco l'allenamento.

• La fase Offline (Allenamento in palestra): L'AI ha esercitato milioni di volte su compiti specifici (trovare un elemento, cliccare, scrivere) usando dati già pronti. È come fare esercizi di ripetizione in una palestra chiusa.
• La fase Online (La gara reale): Questo è il vero salto di qualità. L'AI non si è più limitata a guardare video di altri che cliccano. È stata messa in un laboratorio virtuale infinito (chiamato DaaS - Device as a Service) dove ha dovuto interagire con migliaia di telefoni e computer reali, commettere errori, correggerli e imparare in tempo reale.
• Il trucco: Se sbagliava, riceveva un "colpetto" (una penalità); se riusciva a completare un compito lungo e difficile (come prenotare un biglietto del treno in 10 passaggi), riceveva un premio. Questo l'ha resa capace di gestire situazioni impreviste, proprio come un atleta che impara a reagire agli imprevisti durante una partita vera.

3. Il "Fusione di Superpoteri" (Model Merging)

Fino a ieri, per avere un'AI brava a navigare sul web e un'altra brava a usare le app del telefono, servivano due robot diversi. Era scomodo e costoso.
UI-Venus-1.5 è un ibrido perfetto.

• I ricercatori hanno preso tre "esperti": uno specializzato nel trovare i pulsanti (Grounding), uno nel navigare sui siti web e uno nelle app mobili.
• Invece di tenerli separati, li hanno fusi insieme in un unico cervello.
• L'analogia: Immagina di fondere le conoscenze di un architetto, di un pilota di Formula 1 e di un chef stellato in un'unica persona. Questa persona può disegnare una casa, guidare una macchina veloce e cucinare una cena, tutto con la stessa mente. Ora, con un solo modello, puoi chiedere: "Apri l'app del treno, cerca un biglietto per Roma e aggiungilo al carrello" e l'AI lo fa tutto da sola, senza confondersi.

Perché è così importante?

Prima, queste AI erano come automobili senza volante: potevano guardare il paesaggio, ma non potevano guidare.
UI-Venus-1.5 è come un pilota esperto che:

1. Conosce perfettamente la mappa (ha studiato 10 miliardi di dati).
2. Sa guidare in ogni condizione meteo (ha fatto pratica su scenari reali e dinamici).
3. Ha un'unica mente che sa gestire sia la strada di montagna (app mobili) che l'autostrada (siti web).

In pratica:
Ora puoi dire a questo assistente: "Prenotami un volo, compra il biglietto e mandami il PDF" e lui lo farà, navigando tra diverse app e siti web, cliccando dove serve e correggendo i suoi errori se qualcosa va storto. È un passo gigante verso un futuro in cui il tuo telefono fa tutto il lavoro sporco per te, mentre tu ti godi la vita.

Sommario tecnico

Titolo: UI-Venus-1.5: Un Agente GUI Unificato ed End-to-End per Applicazioni Real-World

1. Il Problema

Gli agenti GUI (Graphical User Interface) rappresentano un paradigma potente per automatizzare le interazioni negli ambienti digitali, colmando il divario tra le istruzioni umane e l'esecuzione digitale. Tuttavia, la ricerca attuale affronta due sfide principali:

• Generalità vs. Prestazioni: È difficile costruire un agente che sia sia universalmente capace (generalista) che performante in compiti specifici complessi.
• Disallineamento Step-Trace: Durante l'addestramento (SFT e RL offline), si osserva spesso una discrepanza tra l'accuratezza dei singoli passaggi (step-level) e quella dell'intera sequenza di azioni (trace-level). Questo è dovuto alla scarsità dei segnali di ricompensa nei singoli passaggi e allo spostamento del dominio (domain shift) tra i dati di addestramento e i benchmark reali.
• Complessità di Deployment: Molti approcci precedenti richiedono sistemi multi-agente o integrazioni API complesse, rendendo il deployment difficile e costoso.

2. Metodologia

UI-Venus-1.5 è un agente GUI multimodale end-to-end progettato per operare su piattaforme mobili e web. La sua architettura si basa su un ciclo chiuso di percezione-azione e segue una pipeline di addestramento in quattro fasi distinte:

• Fase 1: Mid-Training (Addestramento Intermedio)

  • Prima del Reinforcement Learning (RL), il modello base (Qwen3-VL) subisce un addestramento su un corpus unificato di 10 miliardi di token derivati da oltre 30 dataset (inclusi Mind2Web, ShowUI, AITW).
  • Questo stadio inietta conoscenze fondamentali sulle strutture GUI, permettendo al modello di comprendere layout, logica di interazione e semantica visiva prima di affrontare compiti complessi.
  • Include un processo iterativo di raffinamento dei dati ("Teacher-based quality refinement") per eliminare tracce di navigazione rumorose e generare nuove traiettorie realistiche tramite un ambiente DaaS (Device-as-a-Service).

• Fase 2: Offline Reinforcement Learning (RL Offline)

  • Il modello viene ottimizzato per tre obiettivi specifici: Grounding (localizzazione elementi), Navigazione Mobile e Navigazione Web.
  • Vengono utilizzati reward function decoupled (formato e azione) e viene introdotta una capacità di "rifiuto" (refusal capability): se un elemento richiesto non è presente, il modello impara a restituire [-1, -1] invece di allucinare coordinate.
  • L'RL offline risolve il problema della sparsità dei reward, ma mostra limiti nella composizione di sequenze lunghe.

• Fase 3: Online Reinforcement Learning (RL Online)

  • Per superare i limiti dei dataset statici, viene introdotto un ambiente DaaS (Device-as-a-Service) che permette l'interazione in tempo reale con dispositivi reali (Android, Web, Desktop).
  • Utilizzando l'algoritmo GRPO (Group Relative Policy Optimization), l'agente esplora ambienti dinamici, gestisce stati stocastici e impara a recuperare dagli errori.
  • Il reward è calcolato a livello di traiettoria completa, incentivando percorsi efficienti e penalizzando azioni inutili o cicliche.

• Fase 4: Unificazione tramite Model Merging

  • Invece di mantenere tre modelli separati, UI-Venus-1.5 utilizza una strategia di Model Merging (in particolare TIES-Merge) per fondere i modelli specializzati (Grounding, Web, Mobile) in un singolo checkpoint unificato.
  • Questo approccio preserva le competenze specifiche di ogni dominio minimizzando la perdita di prestazioni, creando un agente "tuttofare" facile da distribuire.

3. Contributi Chiave

1. Pipeline di Addestramento Ibrida: L'integrazione sequenziale di Mid-Training su larga scala, RL Offline e RL Online su dispositivi reali.
2. Architettura Unificata End-to-End: Un singolo modello che gestisce grounding, navigazione web e mobile senza bisogno di framework multi-agente complessi o API esterne.
3. Infrastruttura DaaS Scalabile: Un sistema di "Device-as-a-Service" che gestisce migliaia di dispositivi eterogenei, permettendo l'addestramento RL su larga scala in ambienti reali.
4. Strategia di Fusione (TIES-Merge): Una tecnica efficace per combinare modelli specializzati in uno unico, bilanciando generalizzazione e specializzazione.
5. Ottimizzazione per l'Ecosistema Cinese: Il modello è stato ottimizzato specificamente per oltre 40 app mobili cinesi, dimostrando utilità pratica in scenari reali (prenotazione biglietti, acquisti, gestione conversazioni).

4. Risultati Sperimentali

UI-Venus-1.5 ha stabilito nuovi stati dell'arte (SOTA) su numerosi benchmark, superando modelli precedenti e VLM generici:

• Grounding (Localizzazione):
  • ScreenSpot-Pro: 69.6% (SOTA), superando MAI-UI-32B (67.9%).
  • VenusBench-GD: 75.0% (SOTA), con eccellenti capacità di rifiuto per istruzioni non valide.
  • OSWorld-G-R: 76.4% (SOTA).
• Navigazione Mobile:
  • AndroidWorld: 77.6% di successo (SOTA), superando Mobile-Agent-v3 e MAI-UI.
  • AndroidLab: 68.1% (verificato manualmente), mostrando un miglioramento significativo rispetto alla versione 1.0.
  • VenusBench-Mobile: 21.5% (SOTA), un miglioramento sostanziale rispetto ai modelli precedenti.
• Navigazione Web:
  • WebVoyager: 76.0%, performance comparabile ai migliori agenti web esistenti.
• Efficienza:
  • La variante da 8B parametri supera le prestazioni della variante da 72B della generazione precedente (UI-Venus-1.0) su diversi benchmark, dimostrando l'efficacia della nuova metodologia di addestramento.

5. Significato e Impatto

UI-Venus-1.5 rappresenta un passo significativo verso la realizzazione di assistenti digitali autonomi e affidabili per l'uso quotidiano.

• Superamento dei Limiti Teorici: Risolve il problema della discrepanza tra accuratezza per singolo passo e per intera traiettoria, rendendo gli agenti più robusti in scenari reali a lungo termine.
• Praticità: La natura "end-to-end" e unificata riduce drasticamente la complessità di deployment rispetto agli approcci multi-agente, rendendo la tecnologia accessibile per applicazioni commerciali.
• Validazione Reale: L'ottimizzazione per l'ecosistema di app cinesi dimostra che il modello non è solo un esperimento accademico, ma uno strumento pronto per compiti complessi come lo shopping e la prenotazione di servizi.

In sintesi, UI-Venus-1.5 combina avanzamenti nell'addestramento su larga scala, RL interattivo e tecniche di fusione dei modelli per creare l'agente GUI più capace ed efficiente attualmente disponibile, ponendo nuove basi per l'automazione delle interfacce utente digitali.