Riepilogo Tecnico: BIT-Nav

Problema

I modelli Vision-Language (VLM) hanno fatto progredire la navigazione incarnata unificando la percezione visiva e il ragionamento sul linguaggio naturale. Tuttavia, gli approcci esistenti per la navigazione Vision-and-Language (VLN) a lungo termine affrontano un limite critico: sono efficacemente privi di stato a livello di ragionamento. I metodi attuali, come NaVILA, incorporano la storia campionando una finestra fissa di fotogrammi immagine passati. Man mano che gli episodi si estendono, la storia visiva a dimensione fissa diventa sempre più sparsa, omettendo strutture di movimento intermedie cruciali. L'evidenza empirica derivante da lavori precedenti indica che semplicemente aumentare il numero di fotogrammi campionati (ad esempio, da 8 a 64) non migliora l'accuratezza della navigazione, suggerendo che il collo di bottiglia non risieda nella quantità di fotogrammi, ma nella natura stessa della rappresentazione. La selezione sparsa dei fotogrammi non riesce a catturare segnali comportamentali strutturati — come pattern di rotazione, spostamento cumulativo e topologia del percorso — necessari per il ragionamento a lungo termine. Inoltre, gli stati ricorrenti di basso livello utilizzati nelle teste di controllo sono tipicamente non esposti al VLM come rappresentazioni di traiettoria esplicite e interrogabili.

Metodologia

Gli autori propongono BIT-Nav (Brain-Inspired Trajectory Memory for Embodied Navigation), un framework che aumenta le pipeline VLM esistenti con una memoria di traiettoria compatta e appresa. Ispirandosi al sistema ippocampo-entorinale, che comprime l'esperienza spaziale in tracce episodiche strutturate piuttosto che in un semplice riavvolgimento sensoriale grezzo, BIT-Nav tratta la storia della traiettoria come una modalità esplicita.

La pipeline consiste in quattro fasi chiave:

1. Rappresentazione della Traiettoria e Ingegneria delle Caratteristiche:
   Invece di alimentare i codici azione grezzi ($a_{1:T}$), il sistema converte le azioni di navigazione discrete in un vettore di caratteristiche di movimento a 7 dimensioni ($m_t$) ad ogni istante temporale. Questo vettore include la posizione planare cumulativa ($c_x, c_y$), l'orientamento accumulato ($\theta$), il cambiamento di orientamento ($\Delta\theta$) e variabili indicatrici per la traslazione in avanti e la rotazione. Questa rappresentazione arricchita espone sia i segnali di controllo locale che lo stato geometrico accumulato dell'agente.

2. BITE (Bi-GRU Trajectory Encoder):
   Un GRU bidirezionale a 2 strati codifica la sequenza di movimento a lunghezza variabile. A differenza dei metodi che si affidano esclusivamente all'ultimo stato nascosto, BITE utilizza un meccanismo di mean-pooling mascherato sull'intera sequenza valida per produrre un embedding a dimensione fissa ($\bar{h} \in \mathbb{R}^{512}$). Ciò assicura che l'embedding riassuma l'intera struttura del percorso piuttosto che solo lo stato finale. L'output viene passato attraverso una testa di proiezione e $\ell_2$-normalizzato per produrre un embedding di traiettoria a 128 dimensioni ($z$).

3. Obiettivo di Apprendimento Contrastivo:
   L'encoder è addestrato utilizzando un obiettivo InfoNCE multi-positivo (stile SimCLR) su minibatch strutturati in gruppi. Il dataset è organizzato in gruppi di 10 traiettorie aumentate che condividono lo stesso punto di partenza e di arrivo, ma variano nei passaggi intermedi e nella lunghezza totale. Per ogni traiettoria ancora, le altre 9 traiettorie nel gruppo fungono da positivi, mentre le traiettorie di altri gruppi fungono da negativi. Questo obiettivo costringe l'encoder a imparare una rappresentazione compatta della "classe di equivalenza inizio-obiettivo", catturando l'invarianza strutturale piuttosto che memorizzare percorsi specifici.

4. Integrazione con il VLM:
   Il Bi-GRU encoder addestrato è congelato. Un proiettore multimodale leggero e apprendibile (MLP) mappa l'embedding della traiettoria nello spazio dei token di un VLM pre-addestrato (specificamente Qwen3-VL-8B). Ad ogni passo decisionale, questo vettore proiettato viene iniettato come un singolo "token di memoria della traiettoria" insieme all'osservazione visiva corrente, ai fotogrammi storici sparsi e all'istruzione linguistica. Ciò consente al VLM di ragionare sulla storia del movimento strutturata all'interno di un singolo passaggio in avanti senza modifiche architettoniche.

Contributi Chiave

• La Traiettoria come Modalità Intrinseca: Il paper introduce la traiettoria e la posizione come una modalità distinta ed essenziale per la VLN, completando gli input visivi e linguistici con una rappresentazione esplicita del movimento dell'agente.
• Localizzazione Emergente dell'Istruzione: Il framework dimostra che l'incorporazione della memoria della traiettoria consente al modello di tracciare implicitamente il progresso dell'istruzione senza supervisione esplicita, permettendogli di inferire sottogiobi completati e di fondare le decisioni sui passi rimanenti.
• Allineamento Traiettoria–VLM: Gli autori allineano con successo gli embedding della traiettoria appresi con un grande VLM tramite un proiettore appreso, consentendo al modello di condizionare il proprio ragionamento sulla storia del movimento strutturata insieme alle osservazioni visive.
• Costruzione del Dataset: È stato costruito un dataset consapevole della traiettoria dai benchmark R2R e RxR, caratterizzato da una strategia di aumento che genera varianti di traiettoria geometricamente equivalenti ma eseguite in modo diversamente, per incoraggiare l'apprendimento della struttura del movimento rispetto alle sequenze di azione superficiali.

Risultati

Il paper valuta BIT-Nav su due assi primari: l'accuratezza quantitativa su query basate sulla traiettoria e il ragionamento qualitativo in simulazione (Isaac Sim).

• Accuratezza Quantitativa: Su query riguardanti la stima dell'orientamento cumulativo (Q1) e la frequenza delle azioni (Q2) attraverso lunghezze di traiettoria da 15 a 125 passi, BIT-Nav supera significativamente i baseline.
  • Per la stima dell'orientamento cumulativo, BIT-Nav raggiunge un'accuratezza di 0,83 attraverso tutte le lunghezze della traiettoria. Al contrario, i baseline (Qwen con cronologia testuale o senza cronologia) crollano a $\approx 0,07$ man mano che le traiettorie crescono, fallendo nell'integrare gli angoli di rotazione con segno su lunghe storie.
  • Per l'inferenza della frequenza delle azioni, BIT-Nav eguaglia le prestazioni dei baseline con cronologia testuale mantenendo un costo di token costante.
• Efficienza dei Token: BIT-Nav inietta esattamente un token indipendentemente dalla lunghezza della traiettoria. A 124 passi, un baseline con cronologia testuale richiede 903 token, mentre BIT-Nav ne usa solo 41 (circa il 4,5% del costo del baseline) mantenendo un contesto di movimento denso.
• Valutazione Qualitativa: In simulazione, BIT-Nav riporta correttamente le direzioni di rotazione eseguite e le sequenze in episodi a lungo termine. Al contrario, il modello base Qwen spesso omette le rotazioni o sbaglia il progresso dell'episodio, ancorando il proprio ragionamento al fotogramma visivo corrente piuttosto che alla storia completa delle azioni.

Significato e Rivendicazioni

Gli autori affermano che BIT-Nav affronta il limite fondamentale del ragionamento stateless nei VLM basati sulla navigazione. Codificando la storia della traiettoria come un token compatto e strutturato, il framework consente un ragionamento strutturato a lungo termine senza l'overhead computazionale di espandere le finestre di contesto con fotogrammi grezzi.

Il paper sottolinea che questo approccio consente al VLM di eseguire la localizzazione dell'istruzione — la capacità di determinare quanto di un'istruzione è stato eseguito e cosa rimane — ancorando le decisioni correnti alla storia del movimento accumulata dall'agente. Gli autori notano che, sebbene i risultati attuali caratterizzino le rappresentazioni apprese e le loro proprietà di allineamento, la valutazione completa end-to-end (ad esempio, Success Rate, SPL sugli split val-unseen di R2R/RxR) rimane un lavoro in corso. Il metodo proposto è presentato come un potenziamento complementare ai VLM esistenti, preservandone le capacità di ragionamento pur estendendole alla storia del movimento temporalmente strutturata.