Riepilogo Tecnico: LiteGUI - Distillazione di Agenti GUI Compatti con Apprendimento per Rinforzo

Enunciato del Problema

Lo sviluppo di agenti GUI visione-linguaggio leggeri ed eseguibili in locale è fondamentale per un'interazione automatizzata efficiente e cross-platform. Tuttavia, gli attuali agenti in locale (tipicamente su scale di 2B–3B parametri) affrontano significativi colli di bottiglia nelle prestazioni. Il tradizionale Fine-Tuning Supervisionato (SFT) su modelli di piccola scala porta spesso a overfitting, oblio catastrofico delle capacità fondamentali e rigidità della policy, specialmente in ambienti UI dinamici che richiedono pianificazione a lungo orizzonte. Inoltre, gli approcci esistenti di Apprendimento per Rinforzo (RL) si basano spesso su reward a soluzione singola e su un matching di coordinate ingenuo, che soffrono di sparsità, falsi negativi e incapacità di gestire la natura multi-soluzione dei compiti GUI. Sebbene i modelli su larga scala (es. GPT-4o, Claude 3.5) dimostrino prestazioni elevate, il loro sovraccarico computazionale ne proibisce il deployment localizzato.

Metodologia

Gli autori propongono LiteGUI, un nuovo paradigma di training privo di SFT che combina Distillazione Guidata On-policy (Guided-OPD) e GRPO Dual-level Multi-soluzione (MD-GRPO). Il framework opera in due fasi:

1. Distillazione Guidata On-policy (Guided-OPD)

Per affrontare l'instabilità della distillazione da modelli teacher in contesti GUI complessi, gli autori introducono un meccanismo che condiziona il modello teacher su insiemi di azioni valide verificate dall'uomo ($A^*_t$) durante l'addestramento.

• Guida Privilegiata: Il modello teacher riceve l'output corrente dello studente insieme a un segnale di "guida" derivato dalle azioni valide ground-truth, mentre il modello studente riceve solo l'input standard. Questo segue il paradigma "Learning Using Privileged Information".
• Recupero Dinamico: Riconoscendo che i compiti GUI spesso hanno multiple soluzioni valide, il metodo impiega una strategia Most-Matched-GT. Invece di selezionare casualmente una singola ground truth o fornire tutte le azioni valide (il che potrebbe diluire il segnale), il sistema recupera dinamicamente l'azione valida dal pool che meglio corrisponde al comportamento on-policy corrente dello studente utilizzando una funzione di matching unificata ($\phi_{gui}$). Questo riduce le allucinazioni e il disallineamento cognitivo.
• Obiettivo: Lo studente è ottimizzato utilizzando un obiettivo di divergenza KL inversa per allinearsi alla distribuzione del teacher in questo contesto privilegiato.

2. GRPO Dual-level Multi-soluzione (MD-GRPO)

Per superare i limiti dei reward a soluzione singola nei compiti a lungo orizzonte, gli autori propongono un framework di reward dual-level integrato nell'Group Relative Policy Optimization (GRPO):

• Reward Azione Multi-soluzione ($R_{ms}$): Invece di penalizzare le deviazioni da un'unica azione annotata, il reward è calcolato come il punteggio di matching massimo tra l'output del modello e qualsiasi azione valida nell'insieme ground-truth ($A^*_t$). Questo mitiga le penalità di "falso negativo" per percorsi alternativi validi.
• Reward Pianificazione a Lungo Orizzonte ($R_{sub}$): Un reward di pianificazione di sottocompiti valuta la qualità della pianificazione intermedia dell'agente. Un giudice VLM potente (Qwen3-VL-32B) valuta l'elenco di sottocompiti generato in base alla rilevanza del compito, al grounding visivo, alla granularità della decomposizione e alla coerenza dello stato. Crucialmente, se l'agente è bloccato o in uno stato di errore, il piano deve proporre esplicitamente un passo correttivo per ottenere un punteggio elevato.
• Ottimizzazione: Il reward totale combina questi due segnali, normalizzati all'interno di un gruppo di traiettorie campionate per calcolare i vantaggi relativi per gli aggiornamenti della policy.

Infrastruttura Dati

Per supportare questo training, gli autori hanno costruito:

• Lite-Dataset: Un dataset GUI solo-visione contenente 30K traiettorie e 11K annotazioni multi-soluzione verificate dall'uomo su scenari diversificati (File System, Web, Terminale).
• Lite-Bench: Un nuovo benchmark con 160 compiti diversificati progettati per valutare la pianificazione a lungo orizzonte e il recupero dagli errori in ambienti realistici, vietando rigorosamente l'uso del terminale per i compiti sui file per imporre l'interazione GUI.
• Pipeline Automatizzata: Un ciclo "generazione-verifica-correzione" che utilizza un modello teacher potente per sintetizzare traiettorie, seguito da audit umano per creare le annotazioni multi-soluzione.

Contributi Chiave

1. Nuovo Paradigma di Training: Il documento propone il primo approccio di training privo di SFT per agenti GUI leggeri, dimostrando che combinare la distillazione on-policy con il RL può sbloccare il pieno potenziale dei modelli su scala 2B–3B.
2. Distillazione Guidata On-policy: L'introduzione di riferimenti guidati da oracolo e recupero dinamico di traiettorie per ridurre le allucinazioni e allinearsi alla natura multi-soluzione dei compiti GUI.
3. GRPO Dual-level Multi-soluzione: Un nuovo framework RL che ottimizza congiuntamente la pianificazione di sottocompiti a livello macro e il matching di esecuzione a livello micro, affrontando efficacemente i colli di bottiglia nell'esplorazione nei compiti a lungo orizzonte.
4. Risorse: Il rilascio di Lite-Dataset (30K traiettorie, 11K annotazioni multi-soluzione) e Lite-Bench (160 istanze di valutazione) per affrontare la scarsità di dati GUI di alta qualità e multi-soluzione.

Risultati Sperimentali

Sono state condotte valutazioni estese su ScreenSpot-Pro, OS-World e il nuovo Lite-Bench.

• Prestazioni: Il modello Lite-GUI-2B ha raggiunto una nuova accuratezza media state-of-the-art (SOTA) del 46,86% su ScreenSpot-Pro, superando modelli specializzati significativamente più grandi come UI-TARS-72B (35,7%) e JEDI-7B (39,5%).
• Scalabilità: Il modello Lite-GUI-30B-A3B ha raggiunto il 58,95% su ScreenSpot-Pro, superando il modello teacher Qwen3-VL-32B (58,57%) e altri modelli specializzati su larga scala.
• Compiti a Lungo Orizzonte: Su OS-World, Lite-GUI-2B ha raggiunto un tasso di successo del 13,24%, più che raddoppiando le prestazioni del suo backbone vanilla (6,04%). Su Lite-Bench, ha raggiunto un tasso di successo del 61,76%, quasi il doppio della baseline.
• Efficienza dei Dati: Notevolmente, Lite-GUI-2B ha ottenuto questi risultati utilizzando solo 8K campioni da ShowUI-Desktop per ScreenSpot-Pro, evidenziando l'efficienza dei dati del framework proposto.

Significato e Affermazioni

Il documento afferma che il metodo proposto supera con successo i limiti del tradizionale SFT e del RL ingenuo per modelli su piccola scala. Evitando completamente l'SFT e utilizzando una distillazione on-policy strutturata combinata con un'esplorazione dual-level multi-soluzione, LiteGUI permette agli agenti in locale di raggiungere prestazioni competitive con modelli su scala molto più ampia. Gli autori affermano che il loro approccio sblocca completamente le capacità degli agenti su scala 2B–3B, superando i limiti di prestazioni dell'apprendimento per imitazione convenzionale e fornendo un percorso praticabile per l'automazione GUI efficiente e localizzata. Il lavoro sottolinea che la combinazione di distillazione guidata e RL dual-level è essenziale per gestire la complessità, la natura multi-soluzione e i requisiti a lungo orizzonte dei compiti GUI del mondo reale.