💻 computer science

POINTS-GUI-G: GUI-Grounding Journey

Questo articolo presenta POINTS-GUI-G-8B, un modello di grounding GUI all'avanguardia addestrato da una base con minima consapevolezza spaziale sfruttando un'ingegneria dei dati raffinata, strategie di addestramento migliorate e apprendimento per rinforzo con ricompense verificabili per raggiungere prestazioni superiori in più benchmark.

Autori originali: Zhongyin Zhao, Yuan Liu, Yikun Liu, Haicheng Wang, Le Tian, Xiao Zhou, Yangxiu You, Zilin Yu, Yang Yu, Jie Zhou

Pubblicato 2026-02-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhongyin Zhao, Yuan Liu, Yikun Liu, Haicheng Wang, Le Tian, Xiao Zhou, Yangxiu You, Zilin Yu, Yang Yu, Jie Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico molto intelligente capace di leggere testi e guardare immagini. Vuoi insegnargli a usare il tuo computer o il tuo telefono, proprio come fai tu. Ma c'è un problema: il robot sa leggere le istruzioni ("Clicca sul pulsante rosso"), ma non sa dove si trovi effettivamente il pulsante rosso sullo schermo. È come dare a qualcuno la mappa di una città ma non dirgli su quale strada si trova attualmente.

Questo articolo presenta POINTS-GUI-G, una nuova versione di quell'assistente robotico che ha finalmente imparato a guardare uno schermo e dire: "Ah, vedo il pulsante! È proprio lì a queste esatte coordinate".

Ecco come i ricercatori hanno insegnato a questo robot a diventare un maestro dello schermo, spiegato attraverso semplici analogie:

1. Il Punto di Partenza: Una Tabula Rasa

Molti altri ricercatori hanno preso un robot che era già bravo a trovare le cose (come un detective esperto) e gli hanno solo dato qualche indizio in più. Gli autori di questo articolo hanno deciso di partire da un robot che era scarso a trovare le cose. Volevano costruire la competenza partendo da zero, come insegnare a un bambino a leggere piuttosto che limitarsi a correggere l'ortografia di un adolescente. Sono partiti da un modello base chiamato "POINTS-1.5" che aveva quasi nessuna capacità di indicare le cose su uno schermo.

2. I Tre Pilastri del Successo

Per trasformare questo robot "cieco" in uno "vedente", hanno utilizzato tre strategie principali:

A. Pulire e Organizzare i Libri di Testo (Ingegneria dei Dati Raffinata)

Immagina di cercare di insegnare a uno studente usando una pila di libri di testo. Alcuni libri usano i pollici, altri i centimetri, alcuni sono scritti in inglese e altri in francese. Alcune pagine sono strappate e altre hanno scarabocchi ovunque. Sarebbe un incubo imparare così.

I ricercatori hanno fatto tre cose per sistemare questo:

Standardizzazione: Hanno preso tutti i dataset disordinati e diversi e li hanno costretti in un unico formato. Ora, ogni "coordinate" (posizione) è misurata nello stesso modo, come se si convertisse tutto in un righello standard.
Riduzione del Rumore: Hanno agito come editor severi. Hanno usato uno strumento speciale (chiamato OmniParser-v2) per controllare i libri di testo. Se un libro diceva "Il pulsante è qui" ma l'immagine mostrava chiaramente che il pulsante era altrove, scartavano quella pagina. Hanno tenuto solo gli esempi perfetti.
Aumentare la Difficoltà: Una volta che il robot è diventato bravo a trovare pulsanti grandi ed evidenti, i ricercatori hanno iniziato a fornirgli enigmi in "modalità difficile". Hanno creato schermate con pulsanti minuscoli e affollati e layout confusi (come una scrivania disordinata con fogli ovunque) per costringere il robot a diventare più acuto e preciso.

B. Tarare gli Occhi (Strategie di Addestramento Migliorate)

Di solito, quando si addestrano questi modelli di IA, gli "occhi" (la parte del computer che elabora le immagini) sono congelati in posizione. I ricercatori si sono resi conto che, per trovare i pulsanti su uno schermo, gli occhi dovevano essere flessibili.

Scongelare la Visione: Hanno permesso agli "occhi" di imparare e adattarsi mentre il resto del cervello imparava. Questo ha permesso al robot di diventare più bravo a individuare dettagli minuscoli.
Coerenza della Risoluzione: Immagina di esercitarti per una partita di basket tirando a canestro da un metro e mezzo di distanza, ma poi di presentarti alla partita vera dove il canestro è a tre metri. Falliresti. I ricercatori hanno notato che il loro robot si esercitava su immagini piccole e a bassa risoluzione, ma veniva testato su schermi enormi ad alta definizione. Hanno risolto il problema addestrando il robot su immagini più grandi e chiare, in modo che la sua "visione" fosse pronta per la realtà.

C. Il Sistema di Ricompensa del Videogioco (Apprendimento per Rinforzo)

Questa è la parte più unica. Di solito, l'Apprendimento per Rinforzo (RL) viene utilizzato per insegnare ai robot come pensare o risolvere enigmi logici. Qui, lo hanno usato per insegnare al robot come vedere.

Pensatelo come a un videogioco:

Il robot indovina dove si trova un pulsante.
Il computer controlla: "Hai colpito il pulsante?"
Sì? +100 punti.
No? 0 punti.

Poiché la risposta è o giusta o sbagliata (non esiste un "forse"), il robot riceve un feedback molto chiaro. I ricercatori hanno scoperto che questo ciclo di "prova, ottieni un punteggio, riprova" rendeva il robot molto più accurato rispetto al semplice mostrargli degli esempi dicendo "questo è giusto".

Il Risultato

Combinando questi tre metodi, il modello POINTS-GUI-G è diventato un campione nel trovare le cose sugli schermi.

Ha battuto molti altri modelli che erano molto più grandi e costosi.
Ha ottenuto punteggi incredibilmente alti nei test che misurano quanto un robot sia capace di trovare pulsanti, testi e icone su telefoni, computer e siti web.

In breve: l'articolo dimostra che se pulisci i dati di addestramento, lasci che gli "occhi" del tuo modello imparino liberamente e usi un sistema di ricompensa rigoroso basato su "giusto o sbagliato", puoi costruire un piccolo ed efficiente robot che è più bravo di molti altri robot giganti ed costosi nel navigare lo schermo del tuo computer.

Riepilogo Tecnico: POINTS-GUI-G: Il Viaggio del Grounding della GUI

Definizione del Problema

Il rapido avanzamento dei Modelli Vision-Language (VLM) ha permesso l'emergere di agenti GUI capaci di automatizzare flussi di lavoro digitali complessi, dal belanja online alla prenotazione di voli. Un prerequisito fondamentale per questi agenti è il GUI grounding: la capacità di localizzare con precisione gli elementi dell'interfaccia (testo, icone, pulsanti) all'interno di uno screenshot per eseguire operazioni come il clic o la digitazione.

Mentre la ricerca attuale si basa spesso su modelli con una forte consapevolezza spaziale preesistente (ad es. Qwen3-VL) per concentrarsi sull'esecuzione di task end-to-end, questo approccio può oscurare intuizioni tecniche critiche necessarie per lo sviluppo iterativo. Inoltre, gli approcci esistenti trascurano spesso le sfide specifiche del grounding, come l'eterogeneità dei dati, i mismatch di risoluzione tra addestramento e inferenza e il potenziale dell'apprendimento per rinforzo in compiti orientati alla percezione. Questo articolo affronta tali lacune puntando a padroneggiare l'intero pipeline tecnico del GUI grounding, partendo da un modello base con capacità di grounding nativa minima (POINTS-1.5) anziché da un fondamento pre-ottimizzato.

Metodologia

Gli autori introducono POINTS-GUI-G-8B, un modello sviluppato attraverso un approccio "full-stack" composto da tre pilastri fondamentali:

1. Ingegneria dei Dati Raffinata

Gli autori hanno implementato una pipeline multi-stadio per affrontare i limiti degli attuali dataset open-source per il GUI grounding:

Standardizzazione: Diversi dataset sono stati unificati normalizzando tutte le coordinate in un intervallo $[0, 1]$ con una precisione di tre decimali e riformulando i task in formati di localizzazione degli elementi UI coerenti (predizione del bounding box o localizzazione del punto centrale).
Riduzione del Rumore: Una pipeline di filtraggio automatizzato utilizzando OmniParser-v2 è stata impiegata per eliminare annotazioni imprecise. Per le annotazioni puntuali, è stato calcolato un punteggio di copertura rispetto agli elementi UI rilevati; sono stati mantenuti solo i campioni con un'elevata sovrapposizione ( $S \ge \tau$ ) per eliminare coordinate allucinate.
Incremento della Complessità: Per spingere i limiti delle prestazioni, i campioni "semplici" (layout sparsi, regioni sovradimensionate) sono stati filtrati utilizzando metriche di Entropia del Layout (proiezione 1D ed entropia della griglia 2D). Inoltre, i dati difficili sono stati sintetizzati tramite:
- GUI-CodeGen: Rendering di interfacce software professionali (ad es. VS Code) con componenti funzionali ad alta densità.
- GUI-Overlay: Sovrapposizione di più finestre applicative su sfondi desktop per introdurre distrattori e occlusioni realistiche.

2. Strategie di Addestramento Migliorate

Due aggiustamenti critici sono stati apportati al pipeline di addestramento per migliorare l'accuratezza percettiva:

Vision Encoder Scongelato: A differenza delle iterazioni precedenti in cui il vision encoder era congelato, gli autori hanno scongelato completamente l'encoder (basato su Qwen2-VL-NaViT) durante l'addestramento. Ciò ha permesso al modello di adattare l'estrazione delle feature specificamente al dominio GUI, producendo guadagni di prestazione sostanziali.
Coerenza della Risoluzione: Per mitigare il degrado delle prestazioni su benchmark ad alta risoluzione (ad es. ScreenSpot-Pro) causato dall'addestramento su dati a bassa risoluzione, gli autori hanno aumentato il limite massimo di risoluzione di addestramento a 3072 × 3072 pixel e hanno vincolato la risoluzione di inferenza a meno di 2000 × 2000 pixel. Questo allineamento ha portato a un incremento delle prestazioni di oltre 10 punti sui benchmark ad alta risoluzione.

3. Reinforcement Learning con Ricompense Verificabili (RLVR)

Il paper dimostra l'applicazione del RL al GUI grounding, un compito tradizionalmente dominato dal Supervised Fine-Tuning (SFT).

Ricompense Verificabili: Lo spazio di output (punti o bounding box) permette funzioni di ricompensa precise e oggettive. La ricompensa è binaria ($1 $o$ 0$) in base al fatto che la coordinata predetta cada all'interno del bounding box annotato.
Algoritmo: Gli autori hanno impiegato la Group Relative Policy Optimization (GRPO).
Apprendimento Curriculare: È stata utilizzata una strategia basata sul curriculum per aumentare progressivamente la difficoltà dei campioni di addestramento, stabilizzando il processo di apprendimento.
Assenza di Traccia di Ragionamento: Seguendo GTA1, il modello non genera una traccia di ragionamento prima di outputtare le coordinate, concentrandosi puramente sulla mappatura percezione-azione.

Risultati Chiave

POINTS-GUI-G-8B raggiunge prestazioni state-of-the-art su cinque principali benchmark, superando spesso modelli significativamente più grandi (ad es. modelli con 32B e 72B parametri):

ScreenSpot-Pro: Ha ottenuto 59.9, superando GTA1-7B di 9.8 punti e GUI-Owl-7B di 5 punti.
OSWorld-G: Ha raggiunto 66.0, classificandosi primo tra i modelli SOTA e superando MAI-UI-8B di circa 6 punti.
ScreenSpot-v2: Ha raggiunto 95.7.
UI-Vision: Ha ottenuto 49.9, superando spesso i competitor con margini superiori a 10 punti.
MMBench-GUI-L2: Ha raggiunto 87.0, mostrando prestazioni robuste in ambienti mobile, desktop e web.

Gli studi di ablazione (Figura 7) confermano che l'Ingegneria dei Dati (DE), il Vision Encoder Scongelato (UVE), la coerenza della Risoluzione dell'Immagine (IR) e il Reinforcement Learning (RL) contribuiscono ciascuno incrementalmente alle prestazioni finali, con il RL che fornisce miglioramenti costanti rispetto alla baseline supervisionata.

Significato e Rivendicazioni

Il paper sostiene che POINTS-GUI-G serva come una solida base per lo sviluppo futuro di agenti GUI. La sua importanza risiede in:

Padronanza Full-Stack: Dimostrare che partire da un modello base con capacità di grounding minime e costruire verso l'alto attraverso strategie di dati e addestramento raffinate può produrre risultati SOTA, offrendo un'alternativa completa al semplice affidamento su grandi modelli pre-ottimizzati.
RL nella Percezione: Provare che il Reinforcement Learning con Ricompense Verificabili è altamente efficace per compiti intensivi di percezione come il GUI grounding, dove le ricompense sono facilmente verificabili e accurate, sfidando la nozione che il RL sia esclusivamente per compiti di ragionamento.
Sfumature Tecniche: Evidenziare fattori spesso trascurati come la coerenza della risoluzione e la necessità di scongelare i vision encoder per domini specializzati.

Gli autori hanno reso open-source il modello e la suite di valutazione per supportare la comunità di ricerca e affrontare gli standard di valutazione inconsistenti, con l'obiettivo di catalizzare il progresso nell'esecuzione di agenti GUI end-to-end.