Riepilogo Tecnico: Superare l'Ancoraggio Sparsa con Supervisione Completa del Parsing dello Schermo

Enunciato del Problema

Gli Agenti di Utilizzo del Computer (CUA) moderni richiedono una percezione strutturata dello schermo per ancorare in modo affidabile le istruzioni ed eseguire azioni. Ciò comporta l'identificazione degli elementi UI visibili, delle loro posizioni e del loro contenuto testuale. Tuttavia, i modelli attuali all'avanguardia fanno molto affidamento su dataset di ancoraggio "sparsi" (ad esempio, Mind2Web, ScreenSpot) che annotano solo il singolo elemento rilevante per un determinato passaggio del compito. Questa supervisione sparsa lascia la maggior parte degli elementi sullo schermo senza etichetta, costringendo i modelli ad apprendere scorciatoie che potrebbero non riuscire a formare uno stato completo dello schermo. Di conseguenza, questi modelli faticano in termini di robustezza, generalizzazione a nuovi layout e scenari fuori distribuzione. Inoltre, il dispiegamento pratico richiede spesso inferenza a bassa latenza su dispositivo, cosa difficile da ottenere con massicci Modelli Fondamentali Visione-Linguaggio (VLM).

Metodologia

1. Dataset: ScreenParse

Gli autori introducono ScreenParse, un dataset su larga scala progettato per il parsing completo dello schermo. A differenza dei dataset precedenti che offrono annotazioni sparse, ScreenParse fornisce annotazioni dense per tutti gli elementi UI visibili su 771.000 screenshot web, per un totale di 21 milioni di elementi.

• Ambito delle Annotazioni: Ogni elemento è annotato con un riquadro delimitatore, un tipo semantico da una tassonomia di 55 classi (che copre link, pulsanti, testo, contenitori, ecc.) e il testo associato.
• Gerarchia: Il dataset preserva la gerarchia del Document Object Model (DOM), annotando sia gli elementi atomici che gli elementi contenitori semanticamente significativi (ad esempio, barre di navigazione, schede).
• Pipeline di Generazione (Webshot): Per superare il costo dell'annotazione umana, gli autori hanno sviluppato Webshot, una pipeline completamente automatizzata e scalabile:
  1. Raccolta e Rendering: 1 milione di URL unici vengono raccolti e resi utilizzando Playwright in una viewport standardizzata (1440x900).
  2. Estrazione DOM: La pipeline estrae l'albero DOM, filtrando gli elementi visibili e rimuovendo artefatti degenerati o fuori schermo.
  3. Raffinamento VLM: Un VLM (Qwen3-VL-8B) raffina le etichette di classe grezze derivate dal DOM rispetto a una tassonomia di 55 classi.
  4. Filtraggio della Qualità: Un modulo "VLM-as-a-judge" valuta la qualità delle annotazioni (copertura, falsi positivi, duplicazione, localizzazione) per filtrare le pagine di bassa qualità.

2. Modello: ScreenVLM

Utilizzando ScreenParse, gli autori addestrano ScreenVLM, un Vision-Language Model compatto da 316 milioni di parametri.

• Architettura: Adatta l'architettura Granite Docling (basata su Idefics3), accoppiando un encoder visivo SigLIP-2 con un decoder autoregressivo Granite leggero da 165 milioni di parametri.
• Rappresentazione (ScreenTag): Il modello produce una sequenza strutturata, simile all'XML, chiamata ScreenTag. Questo formato serializza gli elementi come tag tipizzati seguiti da token di posizione discretizzati (griglia 0–500) e testo opzionale, consentendo il decoding autoregressivo dell'intero stato dello schermo.
• Obiettivo di Addestramento: Per affrontare il problema per cui la perdita standard cross-entropy è dominata dai token di testo, gli autori introducono una perdita ponderata consapevole della struttura. Questa perdita aumenta il peso dei token critici per la struttura (tag e coordinate di posizione) rispetto ai token di testo, assicurando che il modello dia priorità a layout e classificazione accurati rispetto alla mera trascrizione.

Contributi Chiave

1. Dataset ScreenParse: Un dataset su scala web con annotazioni dense e complete per 21 milioni di elementi UI su 55 classi, generato tramite una pipeline automatizzata.
2. Pipeline Webshot: Un framework scalabile e completamente automatizzato per raccogliere e raffinare annotazioni dense di parsing dello schermo senza intervento umano.
3. ScreenVLM: Un'architettura VLM compatta che raggiunge un parsing denso ad alta fedeltà, superando modelli fondamentali molto più grandi.
4. Perdita Consapevole della Struttura: Un nuovo obiettivo di addestramento che migliora la fedeltà dei layout previsti dando priorità ai token strutturali.
5. Evidenza di Trasferibilità: Dimostrazione che la supervisione densa dello schermo fornisce priors strutturali trasferibili che beneficiano non solo ScreenVLM, ma anche VLM fondamentali esistenti e parser basati su detector quando vengono affinati su ScreenParse.

Risultati Sperimentali

Performance In-Domain (ScreenParse)

ScreenVLM supera sostanzialmente i VLM fondamentali più grandi nelle metriche di parsing denso:

• PageIoU: ScreenVLM raggiunge 0.606, superando significativamente Qwen3-VL-8B (0.294) e InternVL3-2B (0.111).
• Label PageIoU: ScreenVLM arriva a 0.197, rispetto a 0.051 per Qwen3-VL-2B.
• Efficienza: ScreenVLM è circa 6 volte più piccolo (316M parametri) e circa 4 volte più veloce in termini di throughput rispetto ai VLM su scala 2B, rendendolo adatto al dispiegamento a bassa latenza.

Trasferimento Fuori Distribuzione

• GroundCUA: ScreenVLM mantiene prestazioni solide (PageIoU 0.251) su questo benchmark diversificato e multi-piattaforma, superando i modelli fondamentali con prompt (ad esempio, Qwen3-VL-8B a 0.060).
• ScreenSpot: Su benchmark di ancoraggio sparsa (Web/PC/Mobile), ScreenVLM mostra una buona copertura dei pixel (PixCov), sebbene il richiamo a livello di elemento (Recall@50) diminuisca sulle divisioni PC/Mobile, indicando un divario di dominio tra le UI web e quelle native.

Impatto su Altri Modelli

L'affinamento di VLM fondamentali esistenti (Qwen3-VL-2B, InternVL3-2B) e di parser basati su detector (OmniParser, YOLO, RT-DETR) su ScreenParse produce miglioramenti coerenti e sostanziali su tutti i benchmark. Ad esempio, l'affinamento di InternVL3-2B su ScreenParse ne migliora il PageIoU su ScreenParse da 0.111 a 0.509. Ciò suggerisce che la supervisione densa dello schermo fornisce priors strutturali generalizzabili per la comprensione delle UI.

Studio di Ablazione

La perdita ponderata consapevole della struttura migliora significativamente le prestazioni. Rispetto alla cross-entropy standard, la variante consapevole della struttura migliora il PageIoU su ScreenParse del 2,4% e su GroundCUA dell'11,1%, con i guadagni più grandi osservati negli scenari fuori distribuzione (ad esempio, il Recall su ScreenSpot PC è migliorato del 72,1%).

Significato e Affermazioni

Il documento sostiene che trattare il parsing completo dello schermo come obiettivo di addestramento centrale sia un rimedio naturale per i limiti dell'ancoraggio sparsa. Gli autori affermano che:

1. La supervisione densa è superiore: Permette ai modelli di formare uno stato completo dello schermo, prerequisito per una pianificazione e un'esecuzione di azioni robuste a valle.
2. La scalabilità è raggiungibile: La pipeline Webshot dimostra che annotazioni dense di alta qualità possono essere generate su scala senza etichettatura umana.
3. La trasferibilità è fondamentale: I priors strutturali appresi dal parsing denso dello schermo sono trasferibili, migliorando sia i parser specializzati che i VLM fondamentali generali.
4. L'efficienza è critica: I modelli compatti addestrati su dati densi possono superare i modelli fondamentali più grandi mentre sono fattibili per applicazioni su dispositivo a bassa latenza.

Gli autori riconoscono le limitazioni, notando che ScreenParse è prevalentemente incentrato sul web, lasciando un divario di dominio per le applicazioni desktop/mobile native, e che il rumore residuo dall'estrazione DOM rimane una sfida. Viene proposto un lavoro futuro per espandere il parsing denso alle UI native e sfruttare questi modelli come backbones visivi per agenti visione-linguaggio-azione.