Policy-Guided World Model Planning for Language-Conditioned Visual Navigation

1. Il Problema

La navigazione visiva embodied, dove un agente robotico deve raggiungere un obiettivo specificato da un'immagine e da un'istruzione in linguaggio naturale, rimane una sfida fondamentale. Le approcci esistenti soffrono di due limiti principali:

• Politiche Reattive (es. Octo, NoMaD): Sebbene eccellenti nel seguire istruzioni a breve termine, operano in un singolo passaggio in avanti (forward pass) e mancano della capacità di ragionare sulle conseguenze a lungo termine delle loro azioni, portando a errori cumulativi in orizzonti temporali estesi.
• Modelli del Mondo (World Models): I modelli che prevedono stati futuri nello spazio latente (come i modelli JEPA) permettono la pianificazione esplicita. Tuttavia, gli ottimizzatori basati sul campionamento (come MPPI o CEM) spesso partono da una distribuzione a priori "non informata" (es. Gaussiana) su spazi di azione ad alta dimensionalità. Questo porta a una convergenza lenta e a una frequente intrappolamento in minimi locali.

L'obiettivo è colmare il divario tra la comprensione semantica rapida delle politiche reattive e la capacità di ragionamento a lungo termine dei modelli del mondo.

2. Metodologia: PiJEPA

Gli autori propongono PiJEPA, un framework a due stadi che combina una politica VLA (Vision-Language-Action) appresa con la pianificazione basata su un modello del mondo JEPA. L'idea chiave è utilizzare l'output della politica per "warm-start" (avviare a caldo) il processo di pianificazione, riducendo lo spazio di ricerca necessario.

Il pipeline funziona come segue:

1. Codificatore Visivo Congelato: Entrambi i componenti (politica e modello del mondo) condividono lo stesso codificatore visivo pre-addestrato e congelato ($E_\phi$), che può essere DINOv2 (basato su immagini) o V-JEPA-2 (basato su video). Questo garantisce uno spazio di rappresentazione latente coerente.
2. Fase 1: Priorità della Politica (Policy Prior):
   • Un modello Octo (generalista) viene fine-tunato sul dataset CAST (con istruzioni e azioni controfattuali).
   • Data l'osservazione corrente $o_t$ e l'istruzione $\ell$, la politica genera un campione di azioni tramite il suo "diffusion head".
   • Queste azioni vengono trasformate nel frame di riferimento locale del modello del mondo e vengono calcolate la media ($\mu_\pi$) e la deviazione standard ($\sigma_\pi$) empirica. Questo definisce una distribuzione di inizializzazione informata.
3. Fase 2: Pianificazione MPPI Guidata:
   • Un JEPA World Model (composto da un predittore $P_\psi$ e un codificatore di azioni $A_\psi$) prevede gli stati futuri latenti dati gli stati correnti e le azioni candidate.
   • Viene eseguito l'algoritmo MPPI (Model Predictive Path Integral). Invece di campionare da una Gaussiana generica, MPPI viene inizializzato con $(\mu_\pi, \sigma_\pi)$ derivati dalla politica.
   • L'ottimizzatore campiona sequenze di azioni, le valuta simulando il modello del mondo (unroll) e minimizza la distanza nello spazio latente tra lo stato finale previsto e l'obiettivo codificato ($z_g$).
   • Vengono aggiornati iterativamente i parametri della distribuzione di campionamento basandosi sulle traiettorie "élite" (quelle con costo minore).
4. Esecuzione: Viene eseguita la prima azione della sequenza ottimizzata e il processo si ripete al passo successivo (replanning).

3. Contributi Chiave

1. Framework Unificato PiJEPA: Integrazione di una politica Octo fine-tunata con la pianificazione MPPI su un modello JEPA, utilizzando l'output della politica per guidare l'inizializzazione del pianificatore.
2. Analisi Sistematica degli Encoder: Confronto rigoroso tra encoder visivi basati su immagini (DINOv2) e basati su video (V-JEPA-2) sia per la componente di politica che per quella di modello del mondo, esplorando anche configurazioni incrociate.
3. Validazione Sperimentale: Dimostrazione che la pianificazione guidata dalla politica supera significativamente sia l'esecuzione pura della politica reattiva sia la pianificazione con modelli del mondo non informata, migliorando sia l'accuratezza nel raggiungere l'obiettivo che la fedeltà al seguire le istruzioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset CAST con compiti di navigazione nel mondo reale.

• Accuratezza Posizionale: PiJEPA ottiene i migliori risultati in termini di errore di traiettoria assoluta (ATE) e relativa (RPE) su entrambi gli encoder.
  • Con V-JEPA-2, PiJEPA raggiunge un RMSE di 1.65m (ATE XY), superando tutte le altre configurazioni.
  • La politica reattiva pura (Octo) è competitiva a livello di singolo passo, ma accumula errori su orizzonti lunghi; PiJEPA corregge queste deviazioni.
• Confronto con Baseline:
  • MPPI non informato: Soffre di una convergenza lenta e di errori posizionali elevati (specialmente con V-JEPA-2), confermando la necessità di un'inizializzazione informata. Tuttavia, mostra una buona capacità di allineamento dell'orientamento (heading).
  • Octo-WM (Scoring senza ottimizzazione): Filtrare le proposte della politica usando il modello del mondo senza ottimizzazione iterativa porta già a miglioramenti significativi, ma la raffinazione MPPI aggiunge ulteriore precisione.
• Efficienza Computazionale: Il tempo di inferenza è dominato dal campionamento della politica (diffusione, 2.13s). La fase di pianificazione MPPI aggiunge un overhead trascurabile (0.35s), rendendo l'approccio pratico.
• Analisi dei Fallimenti: In casi di istruzioni ambigue (es. "Segui l'edificio" con più edifici visibili), la politica può scegliere la direzione sbagliata e il modello del mondo può rimanere "bloccato" (stagnazione degli stati latenti). PiJEPA mitiga parzialmente questo problema ancorando la ricerca a una regione produttiva dello spazio delle azioni, anche se non risolve completamente l'ambiguità semantica.

5. Significato e Conclusioni

Il lavoro di PiJEPA dimostra che la combinazione di comprensione semantica rapida (fornita dalle politiche VLA) e ragionamento a lungo termine (fornito dai modelli del mondo latenti) è superiore all'uso isolato di queste tecnologie.

• Divisione dei compiti: La politica gestisce il controllo locale e l'orientamento immediato; il modello del mondo valuta e rifina le traiettorie su orizzonti estesi.
• Impatto: L'approccio risolve il collo di bottiglia dell'inizializzazione nei pianificatori basati su modelli del mondo, permettendo loro di convergere rapidamente verso soluzioni di alta qualità.
• Futuro: Le sfide aperte includono la gestione della stagnazione del modello del mondo (rollout statici) e l'integrazione di costi intermedi (waypoint) per migliorare la robustezza in scenari con istruzioni ambigue.

In sintesi, PiJEPA rappresenta un passo avanti significativo verso agenti robotici autonomi capaci di navigare in ambienti complessi seguendo istruzioni linguistiche naturali con alta precisione e affidabilità.