Sintesi Tecnica: Grounding di Agenti per l'Uso del Computer su Dimostrazioni Umane (GROUNDCUA & GROUNDNEXT)

Problema

Lo sviluppo di affidabili Agenti per l'Uso del Computer (CUA) capaci di operare software per conto degli utenti dipende dal grounding: la capacità di mappare accuratamente le istruzioni in linguaggio naturale su specifici elementi dell'interfaccia utente (UI) sullo schermo. Sebbene esistano ampi dataset per interazioni web e mobile, le risorse di alta qualità per gli ambienti desktop rimangono limitate. Le applicazioni desktop presentano sfide uniche, tra cui display ad alta risoluzione, layout densi, elementi visivamente simili e artefatti specifici dell'utente che introducono una variabilità non vista durante l'addestramento. I dataset automatizzati esistenti soffrono spesso di segnali di accessibilità incompleti, sottorappresentazione di controlli piccoli composti solo da icone e una mancanza di annotazioni granulari necessarie per una localizzazione precisa. Di conseguenza, gli agenti spesso falliscono nell'esecuzione corretta dei piani quando non riescono a identificare l'esatto pulsante, l'elemento del menu o il controllo richiesto.

Metodologia

1. Il Dataset GROUNDCUA

Per affrontare la scarsità di dati desktop di alta qualità, gli autori introducono GROUNDCUA, un dataset su larga scala, annotato da esperti, derivato da dimostrazioni esperte.

• Raccolta Dati: Il dataset comprende 56.000 screenshot provenienti da 87 applicazioni open-source suddivise in 12 categorie (es. Office, Sviluppo, CAD, Scientifico). A differenza dei lavori precedenti basati sulla traversata automatizzata o sulla generazione di stati casuali, i dati sono stati raccolti da annotatori addestrati che eseguivano compiti del mondo reale (es. modificare fogli di calcolo, eseguire simulazioni).
• Processo di Annotazione: Sono stati estratti i fotogrammi chiave che catturano lo stato immediatamente prima delle azioni dell'utente. Gli annotatori hanno fornito 3,56 milioni di annotazioni verificate da umani, etichettando ogni elemento visibile con bounding box, nomi testuali e categorie. Circa il 50% degli elementi è stato assegnato a categorie di alto livello (es. Menu, Pulsante, Slider).
• Generazione delle Istruzioni: Sfruttando le annotazioni dense (bounding box, OCR, contesto), gli autori hanno costruito un dataset di instruction-tuning di 700.000 istruzioni. Le istruzioni sono state generate in tre tipologie per mimare la diversità del mondo reale:
  • Dirette: Descrivendo attributi o testo (es. "Clicca sul pulsante 'Salva'").
  • Funzionali: Focalizzandosi sull'azione (es. "Apri una nuova scheda").
  • Spaziali: Utilizzando il posizionamento relativo (es. "Clicca sull'icona a sinistra di 'File'").
• Scala e Diversità: Il dataset presenta immagini ad alta risoluzione (da 0,39M a 7,0M di pixel) e una media di 64 annotazioni per screenshot, significativamente più densa rispetto ai benchmark esistenti. Include elementi granulari come piccole icone e barre degli strumenti spesso trascurati dai pipeline automatizzati.

2. La Famiglia di Modelli GROUNDNEXT

Gli autori hanno sviluppato GROUNDNEXT, una serie di modelli vision-language (3B e 7B parametri) basati su Qwen2.5-VL-Instruct, addestrati per mappare le istruzioni alle coordinate target della UI.

• Fase 1: Supervised Fine-Tuning (SFT): I modelli sono stati addestrati sulle 700.000 coppie istruzione-immagine curate da GROUNDCUA. Sia l'encoder di visione che il modello linguistico sono stati sottoposti a fine-tuning.
• Fase 2: Reinforcement Learning (RL): Una fase di post-addestramento utilizzando l'ottimizzazione Relative Leave-One-Out (RLOO).
  • Funzione di Reward: Un reward discreto personalizzato basato sulla distanza normalizzata tra la coordinata predetta e la bounding box della ground-truth. Le predizioni all'interno della box ricevono reward positivi, mentre quelle all'esterno ricevono penalità scalate in base alla loro distanza.
  • Dati: 10.000 nuovi campioni (distinti dal set SFT) sono stati utilizzati per l'RL per garantire la generalizzazione.

Contributi Chiave

1. Dataset GROUNDCUA: Il più grande dataset di grounding desktop annotato da esperti ad oggi, con 56K screenshot, oltre 3,56M di elementi e diversità ad alta risoluzione attraverso 87 applicazioni. Affronta il vuoto nella supervisione densa e granulare per il desktop.
2. Modelli GROUNDNEXT: Una famiglia di modelli da 3B e 7B parametri addestrati con un pipeline a due stadi SFT+RL. Raggiungono prestazioni state-of-the-art (SOTA) su benchmark desktop utilizzando significativamente meno campioni di addestramento (700K SFT + 10K RL) rispetto ai modelli precedenti addestrati su milioni di campioni.
3. Efficienza e Generalizzazione: Il lavoro dimostra che dati di alta qualità, guidati da esperti, possono superare dataset più grandi e meno precisi. I modelli mostrano una forte generalizzazione cross-platform verso ambienti mobile e web nonostante siano stati addestrati esclusivamente su desktop.

Risultati

Benchmark

I modelli sono stati valutati su cinque benchmark: ScreenSpot-Pro, OSWorld-G, UI-Vision, MMBench-GUI e ScreenSpot-v2.

• Performance SFT: GROUNDNEXT-3B (SFT) ha raggiunto un punteggio medio di 66,4 (includendo UI-Vision) e 68,4 (escludendo UI-Vision), superando significativamente il prossimo miglior baseline SFT a 3B (GUI-Actor-3B) di un margine considerevole (+12,1 punti con UI-Vision). Anche GROUNDNEXT-7B (SFT) ha guidato il gruppo SFT a 7B.
• Performance RL: L'aggiunta dell'RL ha ulteriormente migliorato i risultati. GROUNDNEXT-3B (RL) ha raggiunto 68,4 (Media) e GROUNDNEXT-7B ha raggiunto 70,5.
• Confronto: Nonostante l'uso di meno di 1/10 dei dati SFT utilizzati da modelli come JEDI (9M campioni), GROUNDNEXT ha superato i baseline SFT esistenti ed è rimasto competitivo con i sistemi ottimizzati tramite RL.

Performance Agentiche (Verificata da OSWorld)

Valutato in un contesto agente multi-step utilizzando OpenAI o3 come pianificatore:

• GROUNDNEXT-3B (RL) ha ottenuto un punteggio complessivo di 50,6, superando significativamente altri modelli open-source a 3B (es. OpenCUA-A3B a 17,7) e superando modelli più grandi come OpenCUA-72B (46,1) e API proprietarie come Qwen3-VL-Flash (41,6).
• Ha ottenuto prestazioni comparabili a JEDI-7B (51,0), nonostante sia meno della metà delle dimensioni, dimostrando un'alta utilità pratica per sistemi con risorse limitate.

Analisi

• Qualità dei Dati vs Quantità: Addestrare lo stesso modello base su 100K campioni da vari dataset (Aguvis, UGround, JEDI, ecc.) ha mostrato che GROUNDCUA ha prodotto le prestazioni più elevate, confermando che la supervisione densa ed esperta è più efficace della scala pura.
• Guadagni RL: L'RL ha fornito miglioramenti modesti ma consistenti. I modelli addestrati su GROUNDCUA durante l'SFT hanno mostrato guadagni RL minori rispetto a quelli addestrati su altri dataset, suggerendo che i dati SFT fossero già altamente informativi.
• Cross-Domain: I modelli si sono generalizzati bene alle interfacce mobile e web (MMBench-GUI, ScreenSpot-v2), sebbene le prestazioni sui task web siano state leggermente inferiori rispetto al desktop, indicando la necessità di una futura integrazione di dati multi-dominio.

Significato e Rivendicazioni

Il paper sostiene che dataset di alta qualità, guidati da esperti, sono critici per far avanzare gli agenti per uso del computer general purpose. Il punto fondamentale è che la qualità e la densità dei dati possono sostituire il volume grezzo dei dati. Concentrandosi su annotazioni granulari e verificate da umani di interazioni desktop reali, gli autori dimostrano che modelli più piccoli possono raggiungere prestazioni di grounding superiori con un addestramento efficiente.

Il lavoro posiziona GROUNDCUA e GROUNDNEXT come risorse fondamentali per la comunità di ricerca open-source, con l'obiettivo di sbloccare il grounding come capacità centrale per agenti affidabili e adattabili. Gli autori sottolineano che, sebbene il loro attuale design del reward per l'RL sia semplice, le annotazioni dense in GROUNDCUA consentono lo sviluppo futuro di segnali di reward più precisi. Evidenziano inoltre l'importanza delle applicazioni open-source nel dataset per garantire una copertura ampia e conforme alle licenze delle funzionalità software reali.