NaviMaster: Learning a Unified Policy for GUI and Embodied Navigation Tasks

Il paper presenta NaviMaster, il primo agente unificato che, formulando sia la navigazione nelle interfacce grafiche (GUI) che quella embodied come processi decisionali di Markov, supera le prestazioni degli stati dell'arte grazie a una pipeline di raccolta dati visivi, un framework di apprendimento per rinforzo su dati misti e una ricompensa innovativa basata sulla distanza.

L'essenziale

Immagina di avere due amici molto intelligenti ma molto diversi tra loro:

1. Il "Gestore di App" (GUI Agent): È un esperto che vive dentro il tuo smartphone o computer. Sa esattamente dove cliccare per aprire WhatsApp, cambiare le impostazioni o cercare una ricetta. Conosce ogni pulsante e ogni icona.
2. Il "Robot Esploratore" (Embodied Agent): È un esploratore che vive nel mondo reale (o in una simulazione 3D). Deve camminare per una casa, trovare una sedia, girare un angolo e capire dove si trova un oggetto basandosi su ciò che vede con i suoi "occhi" virtuali.

Il Problema: Due Mondi Separati

Fino a oggi, questi due amici si sono allenati separatamente.

• Il Gestore di App ha imparato solo guardando schermi piatti.
• L'Esploratore ha imparato solo camminando in stanze 3D.

Il risultato? Se chiedi al Gestore di App di trovare un oggetto in una stanza, va in tilt. Se chiedi all'Esploratore di cliccare su un'icona, non sa cosa fare. È come se avessi un pilota di F1 che non sa mai guidare un'auto normale, e un tassista che non sa mai correre in pista. Inoltre, addestrarli due volte costa tempo e denaro.

La Soluzione: NaviMaster, il "Super-Eroe Unificato"

Gli autori di questo paper hanno creato NaviMaster. Immagina NaviMaster come un cervello unico che ha deciso di unire le due menti.

Ecco come funziona, usando delle metafore:

1. La Mappa Mentale Unica (Il "Target Visivo")

Il segreto di NaviMaster è che ha capito che, in fondo, cliccare su un'icona e camminare verso una porta sono la stessa cosa se ci pensi bene.

• Quando clicchi su un'icona, stai dicendo: "Voglio andare qui".
• Quando cammini verso una porta, stai dicendo: "Voglio andare lì".

NaviMaster ha creato un linguaggio comune. Invece di dire "Clicca a coordinate X,Y" o "Cammina in avanti", pensa sempre in termini di "Punto di Riferimento Visivo".

• Metafora: Immagina di avere una mappa mentale dove ogni obiettivo (che sia un pulsante sullo schermo o un divano nella stanza) è un "punto di destinazione" che puoi vedere con gli occhi. NaviMaster impara a puntare sempre verso quel punto, sia che tu sia su uno schermo o in una stanza.

2. L'Allenamento Misto (La "Palestra Ibrida")

Invece di far fare al robot solo esercizi di clic o solo esercizi di camminata, NaviMaster si allena con un mix di entrambi.

• Metafora: È come un atleta olimpico che si allena sia a nuoto che a corsa. Questo lo rende più versatile e resistente. Quando NaviMaster vede una situazione nuova (che non ha mai visto prima), usa le lezioni apprese dall'altro mondo per risolvere il problema. Se deve trovare un oggetto in una stanza, usa la logica di "cercare un'icona" che ha imparato dal mondo delle app.

3. Il Premio "Intelligente" (La Ricompensa Densa)

Nell'addestramento delle intelligenze artificiali, spesso si usa un sistema di premi molto rigido: "Hai indovinato? 1 punto. No? 0 punti". Questo è frustrante e lento.
NaviMaster usa un sistema più gentile e preciso, chiamato Ricompensa Consapevole della Distanza.

• Metafora: Immagina di insegnare a un bambino a lanciare una palla nel canestro.
  • Il metodo vecchio dice: "Hai fatto canestro? Sì! Bravissimo. No? Peccato, 0 punti".
  • Il metodo NaviMaster dice: "Hai mancato di poco? Ottimo! Sei vicino, prendi 0.9 punti. Sei dalla parte opposta della stanza? Prendi 0.1 punti".
    Questo aiuta il robot a imparare molto più velocemente, perché capisce che anche se non ha vinto subito, si sta avvicinando alla soluzione.

Perché è importante?

NaviMaster dimostra che unificare queste due abilità rende l'IA molto più intelligente e capace di adattarsi a situazioni nuove.

• Risparmio: Non serve addestrare due modelli diversi.
• Intelligenza: Il modello capisce meglio lo spazio e le relazioni tra gli oggetti, perché ha visto il mondo sia da "dentro" (schermo) che da "fuori" (stanza).

In sintesi, NaviMaster è il primo vero "tuttofare" digitale che sa navigare sia nel tuo telefono che nel tuo salotto, usando un unico cervello allenato con un unico metodo intelligente.

Sommario tecnico

1. Il Problema

Attualmente, gli agenti per la navigazione nelle Interfacce Grafiche Utente (GUI) e gli agenti per la navigazione embodied (in ambienti fisici o simulati 3D) evolvono in modo isolato. Nonostante entrambi i compiti richiedano capacità di percezione multimodale e pianificazione, esistono quattro sfide principali dovute alla loro separazione:

1. Costi e duplicazione: Si utilizzano modelli separati per ciascun dominio, aumentando i costi di addestramento e deployment e impedendo l'interazione sinergica tra i compiti.
2. Scarsa generalizzazione: I modelli esistenti, anche se addestrati su grandi quantità di dati specifici, faticano a generalizzare su dati fuori dominio (OOD - Out-of-Domain).
3. Inefficienza nell'addestramento: I modelli basati sul Reinforcement Fine-Tuning (RFT) utilizzano spesso segnali di ricompensa sparsi (binari), rendendo l'ottimizzazione lenta e inefficiente.
4. Ragionamento visivo carente: I modelli attuali spesso generano pensieri corretti ma azioni errate, poiché la loro "comprensione" è estratta principalmente dal testo piuttosto che dalle osservazioni visive dirette.

2. Metodologia: NaviMaster

Gli autori propongono NaviMaster, il primo agente unificato capace di gestire sia la navigazione GUI che quella embodied all'interno di un singolo framework. La metodologia si basa sull'osservazione che entrambi i compiti possono essere formulati come Processi Decisionali di Markov (MDP) e condividono una struttura isomorfa a livello di percezione e decisione (trasformazione da osservazione egocentrica a mappa mentale allocentrica).

NaviMaster si articola in tre componenti chiave:

A. Pipeline di Raccolta delle Traiettorie "Visual-Target"

Per unificare i due domini, gli autori introducono un paradigma comune basato su un "target visivo":

• Unificazione dello Spazio Azioni: Le azioni vengono categorizzate in tre tipi: azioni specifiche (es. BACK, STOP), azioni di spostamento della vista (es. SCROLL, TURN) e azioni di localizzazione.
• Riformulazione delle Azioni di Localizzazione: Mentre nelle GUI l'azione è un click su coordinate $(x, y)$, nella navigazione embodied è tipicamente un movimento in avanti. NaviMaster riformula l'azione embodied come [MOVETO (x, y)], dove $(x, y)$ rappresenta una posizione target visiva nell'immagine osservata, allineando così lo spazio delle azioni di entrambi i domini.
• Generazione di Pensieri di Ragionamento: Per ogni passo della traiettoria, viene generato un pensiero di ragionamento ($t_i$) in prima persona che spiega l'intento dell'azione, migliorando la trasparenza decisionale e l'uso della memoria storica.

B. Framework Unificato di Reinforcement Learning (RL)

Invece del Supervised Fine-Tuning (SFT) tradizionale, NaviMaster utilizza un framework di RL basato su GRPO (Group Relative Policy Optimization).

• Il modello viene addestrato su un mix di dati GUI ed embodied.
• L'obiettivo è apprendere una politica unificata che generalizzi strutture comuni come la permanenza degli oggetti visivi, il ragionamento spaziale relativo e l'ancoraggio delle affordance.
• Il modello prende in input l'istruzione, l'osservazione corrente e la storia delle azioni/pensieri per prevedere la prossima azione.

C. Ricompensa Densa "Distance-Aware"

Per superare l'inefficienza delle ricompense sparse (che assegnano 0 o 1 solo in caso di successo/fallimento totale), NaviMaster introduce una ricompensa densa basata sulla distanza:

• La ricompensa totale è una combinazione ponderata di tre componenti:
  1. Format Reward ($R_F$): Verifica che l'output sia un JSON valido.
  2. Type Reward ($R_T$): Verifica la correttezza del tipo di azione (es. click vs scroll).
  3. Grounding Dense Reward ($R_G$): Assegna un punteggio in base alla distanza pixel tra il punto previsto e il punto ground-truth. Più il punto è vicino al target, maggiore è la ricompensa.
• Questo approccio fornisce un segnale di gradiente continuo, guidando il modello verso soluzioni migliori anche durante i tentativi falliti.

3. Risultati Sperimentali

NaviMaster è stato valutato su benchmark OOD (Out-of-Domain) sia per GUI che per navigazione embodied.

• Navigazione GUI: Su 7 benchmark diversi (inclusi AC-High/Low, AITW, OmniAct), NaviMaster ha superato gli agenti state-of-the-art (come OS-Atlas, UI-R1, GPT-4o), ottenendo i migliori risultati in termini di Success Rate (SR) e Grounding Accuracy (GR), specialmente su dati OOD.
• Predizione delle Affordance Spaziali: Il modello ha dimostrato prestazioni superiori nella localizzazione di oggetti e spazi liberi basati su descrizioni linguistiche (task come RoboReflT, Where2Place), superando modelli specializzati come RoboPoint-13B.
• Navigazione Embodied: Su ObjectNav, NaviMaster ha raggiunto un SR del 33.20% e un SPL (Success weighted by Path Length) del 12.60%, superando significativamente il modello base e gli approcci addestrati solo su un singolo dominio.
• Studi di Ablazione:
  • L'addestramento su dati misti (GUI + Embodied) ha dimostrato di essere superiore all'addestramento su singoli domini o a strategie multi-fase.
  • La ricompensa densa ha portato a una convergenza più rapida e a prestazioni finali migliori rispetto alla ricompensa sparsa.
  • Il mix di dati ha migliorato la capacità di ragionamento visivo, come dimostrato su un benchmark di relazioni visive costruito ad hoc.

4. Contributi Chiave

1. Primo Agente Unificato: NaviMaster è il primo sistema che unifica la navigazione GUI ed embodied in un unico framework di apprendimento.
2. Pipeline di Dati Innovativa: Sviluppo di una pipeline per la raccolta di traiettorie "visual-target" che armonizza i dati eterogenei dei due domini, aumentando la diversità e la generalizzazione.
3. Strategia di Ricompensa Avanzata: Progettazione di una ricompensa densa e consapevole della distanza che migliora l'efficienza dell'addestramento RL e la capacità di ancoraggio spaziale (grounding).

5. Significato e Impatto

Il lavoro di NaviMaster rappresenta un passo fondamentale verso agenti di navigazione generalisti. Dimostrando che GUI e navigazione embodied possono essere appresi congiuntamente, il paper suggerisce che le capacità di ragionamento spaziale e percettivo sono trasferibili tra i domini digitali e fisici.

• Efficienza: Riduce la necessità di sviluppare e mantenere modelli separati.
• Robustezza: Migliora la capacità degli agenti di operare in scenari non visti durante l'addestramento (OOD).
• Fondamenta per il Futuro: Apre la strada a futuri agenti capaci di interagire simultaneamente con interfacce digitali e ambienti fisici reali, un requisito essenziale per la robotica domestica e l'automazione avanzata.

In sintesi, NaviMaster supera i limiti degli approcci attuali unificando la teoria (MDP), i dati (traiettorie visual-target) e l'ottimizzazione (RL con ricompensa densa), ottenendo prestazioni superiori e una maggiore capacità di generalizzazione.