Riepilogo Tecnico: $\Phi$-Nav per l'Esplorazione Semantica nella Navigazione Visione-Linguaggio

Definizione del Problema

La Navigazione Visione-Linguaggio (VLN) richiede che gli agenti attraversino ambienti 3D basandosi su istruzioni in linguaggio naturale. Sebbene i moderni sistemi VLN si affidino sempre più all'esplorazione on-policy (ad esempio, Scheduled Sampling, DAgger) per mitigare il bias di esposizione e migliorare la robustezza, persiste un fondamentale gap di supervisione semantica.

Nella standard addestramento on-policy, quando un agente devia dal percorso previsto dall'esperto, l'istruzione linguistica originale non corrisponde più semanticamente allo stream visivo eseguito. Di conseguenza, una parte significativa delle traiettorie esplorative manca di una supervisione linguisticamente allineata. I metodi tradizionali trattano queste deviazioni come errori da correggere tramite l'azione dell'esperto, fallendo nel caso di non utilizzare i ricchi dati visivo-linguistici, seppur disallineati, generati durante l'esplorazione. Ciò limita l'efficienza campionaria dei metodi on-policy e restringe la capacità dell'agente di apprendere dalle proprie diverse esperienze.

Metodologia: $\Phi$-Nav

Gli autori propongono $\Phi$-Nav, un framework on-policy unificato che colma questo gap convertendo i rollout esplorativi in segnali di addestramento densi e semanticamente fondati attraverso il ragionamento hindsight a livello di percorso. Il framework opera tramite un ciclo di doppia supervisione in tre fasi:

Fase 1: Campionamento della Traiettoria On-Policy

L'agente esegue l'esplorazione utilizzando strategie on-policy standard (ad esempio, mescolando azioni dell'esperto con le predizioni della propria policy). Raccoglie una traiettoria $\tau = \{v_0, a_0, \dots, v_T, a_T\}$ ricevendo al contempo un feedback in tempo reale sulle azioni dell'esperto per minimizzare la standard perdita di imitazione dell'esperto ($\mathcal{L}_{\text{expert}}$).

Fase 2: Generazione di Istruzioni Hindsight a Livello di Percorso

Una volta che una traiettoria viene bufferizzata, un Agente Speaker Hindsight (HSA) sintetizza una nuova istruzione ($I_H$) che descrive accuratamente il percorso effettivamente eseguito dall'agente, piuttosto che il percorso originale dell'esperto.

• Backbone LVLM: L'HSA utilizza un modello Vision-Language Large (LVLM) pre-addestrato (specificamente Qwen2.5-VL-7B) per le sue capacità di ragionamento spazio-temporale zero-shot.
• Apprendimento In-Context dell'Esperto: Per prevenire spostamenti distribuzionali nello stile linguistico e mitigare le allucinazioni, l'LVLM viene istruito con un singolo esempio composto da una traiettoria dell'esperto e la sua istruzione annotata da esseri umani. Ciò assicura che le istruzioni generate mantengano la coerenza strutturale e tonale della distribuzione di addestramento, adattando al contempo il contenuto semantico alle specifiche osservazioni visive della traiettoria corrente.

Fase 3: Imitazione Hindsight con Pesatura dell'Allineamento

L'agente subisce un secondo passaggio di imitazione utilizzando la coppia traiettoria-istruzione sintetizzata come un'ulteriore dimostrazione dell'esperto.

• Pesatura dell'Allineamento Traiettoria-Istruzione: Poiché l'istruzione generata dall'LVLM può contenere allucinazioni o un debole radicamento, il framework introduce un modulo di scoring leggero per valutare la fedeltà semantica tra la traiettoria visiva e l'istruzione sintetizzata.
  • Lo score combina un allineamento grossolano (similarità globale video-frase) e un allineamento fine (focalizzandosi specificamente sui sostantivi dei landmark estratti dall'istruzione e sui loro ancoraggi visivi).
  • Ciò produce un peso adattivo $\lambda$ che modula il contributo della perdita hindsight.
• Ottimizzazione: La funzione di perdita totale combina la perdita dell'esperto e la perdita hindsight pesata:
  $$\mathcal{L} = \mathcal{L}_{\text{expert}} + \lambda \mathcal{L}_{\text{hindsight}}$$
  dove $\mathcal{L}_{\text{hindsight}}$ massimizza la verosimiglianza delle azioni intraprese sotto l'istruzione sintetizzata $I_H$.

Contributi Chiave

1. Framework Innovativo: Introduzione di $\Phi$-Nav, il primo framework VLN on-policy che colma il gap di supervisione semantica convertendo le deviazioni esplorative in dense istruzioni hindsight a livello di percorso.
2. Paradigma Hindsight Esteso: Il lavoro estende l'apprendimento hindsight dalla sostituzione statica dell'obiettivo alla rietichettatura delle istruzioni a livello di percorso, temporalmente continua e fine-grained. Ciò è ottenuto attraverso:
   • Apprendimento In-Context dell'Esperto: Garantendo l'allineamento distributivo nello stile linguistico.
   • Pesatura dell'Allineamento Traiettoria-Istruzione: Un meccanismo per filtrare e pesare adattivamente la supervisione in base alla fedeltà semantica, mitigando le allucinazioni dell'LVLM.
3. Efficienza Campionaria: Dimostrare che $\Phi$-Nav trasforma il movimento semanticamente non etichettato in segnali di addestramento significativi, permettendo agli agenti di apprendere efficacemente con meno dimostrazioni dell'esperto.

Risultati Sperimentali

Il framework è stato valutato sui benchmark R2R-CE e RxR-CE.

• Guadagni di Performance: $\Phi$-Nav migliora costantemente le prestazioni di navigazione (Success Rate e SPL) attraverso diversi baseline on-policy (CMA, ETPNav).
  • Su R2R-CE (Val Unseen), l'integrazione di $\Phi$-Nav con il baseline ETPNav ha migliorato il Success Rate (SR) del 5,37% e il Success weighted by Path Length (SPL) del 3,59%, superando i recenti metodi state-of-the-art come g3D-LF.
  • Su RxR-CE, ha ottenuto miglioramenti stabili in SR e SPL, sebbene i guadagni siano stati leggermente minori a causa della maggiore difficoltà nel generare istruzioni fine-grained per traiettorie più lunghe e linguisticamente dense.
• Efficienza Campionaria: $\Phi$-Nav ha dimostrato una superiore efficienza campionaria, raggiungendo prestazioni competitive con solo il 90% delle dimostrazioni dell'esperto richieste dai baseline. Ha superato costantemente i baseline in tutte le iterazioni di addestramento.
• Studi di Ablazione:
  • Pesatura: La pesatura dell'allineamento adattivo (TIAW) ha superato significativamente gli schemi di pesatura fissa, confermando la necessità di filtrare la supervisione rumorosa.
  • Backbone: I backbone LVLM più grandi (7B/8B) hanno prodotto risultati migliori rispetto ai più piccoli (3B), evidenziando l'importanza della capacità del modello per generare istruzioni hindsight accurate.
  • Contesto: L'apprendimento dell'esperto in contesto ha prodotto istruzioni con una maggiore similarità lessicale e strutturale rispetto agli approcci zero-shot o basati su template.

Significato e Rivendicazioni

Il paper sostiene che l'esplorazione semantica sia una componente critica, ma trascurata, dell'addestramento VLN. Sfruttando il ragionamento hindsight, $\Phi$-Nav affronta il limite intrinseco per cui le traiettorie esplorative vengono scartate o disallineate con la loro supervisione linguistica.

Gli autori affermano che $\Phi$-Nav funge da soluzione efficace per l'addestramento di agenti incarnati con dati limitati. Trasforma il "rumore" dell'esplorazione in un "segnale di addestramento denso", consentendo agli agenti di auto-supervisionarsi e scalare la propria intelligenza attraverso l'esperienza diretta nell'ambiente piuttosto che fare affidamento esclusivamente su costose e statiche dimostrazioni dell'esperto. Il lavoro sottolinea il potenziale della auto-supervisione guidata dal linguaggio per far avanzare l'IA incarnata, posizionando $\Phi$-Nav come un metodo robusto per colmare il divario tra esplorazione e radicamento semantico.