FutureNav: Unified World-Action Modeling for Vision-and-Language Navigation

Sintesi Tecnica: FutureNav

Problematica
La navigazione Vision-and-Language (VLN) in ambienti continui richiede che un agente incarnato (embodied agent) segua istruzioni in linguaggio naturale per navigare in spazi 3D non visti. Sebbene i recenti modelli di fondazione abbiano fatto avanzare la VLN scalando i Vision-Language Models (VLM) per predire direttamente le azioni dalle osservazioni, questi approcci spesso trattano la navigazione come una mappatura diretta da osservazione ad azione. Di conseguenza, mancano di una supervisione esplicita per modellare lo stato del mondo sottostante, le transizioni di stato indotte dall'azione o l'evoluzione spaziale futura. I sistemi di navigazione basati su modelli del mondo esistenti tentano di affrontare questo problema, ma spesso trattano l'apprendimento della policy, la modellazione della dinamica e la generazione dello stato futuro come componenti separate o richiedono calcoli aggiuntivi durante l'inferenza (ad esempio, rollout di candidati), fallendo nel collegare pienamente la selezione dell'azione con la comprensione dello stato del mondo.

Metodologia
Gli autori propongono FutureNav, un framework unificato di modellazione mondo-azione basato su un backbone VLM. L'architettura integra la comprensione spaziale esplicita nel processo di decoding standard del VLM attraverso quattro componenti chiave:

1. Codifica dell'Input Unificata: FutureNav utilizza un backbone VLM (ad esempio, Qwen3-VL) per codificare le istruzioni testuali e i token visivi. Fondamentalmente, lo integra con un encoder spaziale congelato (implementato con VGGT) che estrae caratteristiche orientate alla geometria dalle stesse osservazioni. Un merger leggero e addestinabile proietta queste caratteristiche spaziali nello spazio latente dell'LLM, fondendole con i token visivi tramite addizione residua. Ciò consente all'LLM di ricevere una sequenza multimodale unificata contenente testo, elementi visivi e caratteristiche spaziali esplicite.
2. Addestramento a Quattro Obiettivi: Il modello è addestrato simultaneamente su quattro obiettivi complementari per apprendere sia le policy di azione che le dinamiche del mondo:
   • Action Policy (Policy di Azione): Un obiettivo autoregressivo standard in cui l'head dell'LLM predice le azioni di navigazione (STOP, MOVE_FORWARD, TURN_LEFT, TURN_RIGHT) come risposte dell'assistente.
   • Inverse Dynamics (Dinamica Inversa): Un head che inferisce l'azione eseguita sulla base della differenza tra gli stati latenti di due osservazioni adiacenti, incoraggiando il modello a comprendere come le azioni cambino lo stato visivo.
   • Forward Dynamics (Dinamica Diretta): Un head che modella le transizioni di stato condizionate dall'azione predendo il vettore delle caratteristiche spaziali successivo data l'osservazione corrente e il token dell'azione reale (ground-truth).
   • Future Generation (Generazione Futura): Un head che predice la caratteristica spaziale successiva senza condizionamento al token dell'azione, apprendendo un prior action-agnostic sull'evoluzione del mondo a breve orizzonte e sulla continuità della scena.
3. Efficienza dell'Inferenza: A differenza dei precedenti metodi di modelli del mondo che spesso richiedono la predizione dello stato futuro o i rollout durante l'inferenza, FutureNav separa l'addestramento dall'inferenza. Al tempo di test, viene utilizzato solo il ramo Action Policy per il decoding diretto dell'azione. Gli head di dinamica e generazione modellano la rappresentazione condivisa durante l'addestramento, ma non comportano costi computazionali aggiuntivi durante l'inferenza.

Contributi Chiave

• Framework Unificato: L'introduzione di FutureNav, un framework basato su VLM che unifica la predizione dell'azione, la dinamica inversa, la dinamica diretta e la generazione dello stato spaziale futuro all'interno di una singola policy di decoding dell'azione multimodale.
• Obiettivi Complementari: La proposta di quattro obiettivi di addestramento congiunti che supervisionano non solo quale azione intraprendere, ma anche come evolve lo stato spaziale, consentendo al modello di apprendere la coerenza azione-stato e i prior dello stato futuro.
• Efficienza e Prestazioni: Dimostrare che questo approccio unificato migliora significativamente le prestazioni di navigazione preservando l'efficienza dell'inferenza, permettendo a un modello più piccolo da 4 miliardi di parametri di superare precedenti modelli di fondazione più grandi.

Risultati Sperimentali
FutureNav è stato valutato su benchmark standard di VLN continua: R2R-CE e RxR-CE (split validation-unseen).

• Prestazioni State-of-the-Art: Con un backbone di soli 4B di parametri e senza dati di navigazione esterni (impostazione 0K), FutureNav-4B ha raggiunto un Success Rate (SR) di 55.1 e un Success weighted by Path Length (SPL) di 50.1 su R2R-CE, superando JanusVLN da 7B parametri.
• Impostazione con Dati Completi: Quando addestrato con dati di navigazione esterni, FutureNav-4B ha ottenuto un SR di 65.4 e un SPL di 61.3 su R2R-CE, rappresentando un miglioramento dell'11.3% in SR e del 7.9% in SPL rispetto a JanusVLN. Su RxR-CE, FutureNav-8B ha ridotto l'errore di navigazione (NE) del 29.7% rispetto a JanusVLN.
• Zero-Shot Real-World: Il modello ha dimostrato una forte generalizzazione zero-shot in ambienti interni ed esterni reali utilizzando un robot Go2, seguendo con successo le istruzioni senza ulteriore fine-tuning nel mondo reale.
• Studi di Ablazione: Gli esperimenti hanno confermato che ciascuno dei tre obiettivi ausiliari mondo-azione (inverso, diretto e generazione) contribuisce positivamente alle prestazioni. Inoltre, l'uso di rappresentazioni latenti spaziali esplicite si è dimostrato superiore ai latenti VAE, VLM visivi o DINO semantici.

Significatività
Il paper sostiene che FutureNav colmi il divario tra i VLM a decoding diretto dell'azione e i sistemi di navigazione a modello del mondo incompleti. Unificando la modellazione del mondo e dell'azione all'interno di un unico framework, l'architettura potenzia il ragionamento spaziale e la robustezza decisionale del modello senza sacrificare la velocità di inferenza. I risultati suggeriscono che la modellazione esplicita degli stati del mondo e delle transizioni è critica per la navigazione a lungo termine, aprendo la strada a modelli mondo-azione più efficienti e capaci per gli agenti incarnati. Gli autori intendono rilasciare codice e modelli per supportare ulteriormente la ricerca in questa direzione.