Riepilogo Tecnico: CoFL-S

Definizione del Problema

La navigazione visione-linguaggio (VLN) ha registrato progressi significativi nel ragionamento semantico di alto livello, nella costruzione della memoria e nella decomposizione delle istruzioni. Tuttavia, la rappresentazione dell'azione di basso livello — il meccanismo che traduce l'intento semantico locale in movimento robotico eseguibile — rimane ampiamente inesplorata. Le valutazioni standard della VLN tendono a intrecciare il ragionamento di alto livello con l'esecuzione di basso livello, rendendo difficile isolare l'efficacia delle diverse interfacce d'azione. Le interfacce esistenti, come i token di azione discreti (ad es., "gira a sinistra") o i chunk di azione a orizzonte finito, specificano le azioni per lo stato corrente o per una breve sequenza futura, ma non riescono a modellare esplicitamente come il movimento desiderato debba variare tra le vicine posizioni dello spazio di lavoro, le configurazioni degli ostacoli o le frequenze di ripianificazione. Il paper sostiene che un'interfaccia di basso livello capace di rappresentare una guida indicizzata spazialmente, simile ai classici campi di potenziale, è necessaria per un controllo continuo e robusto in ambienti parzialmente osservabili.

Metodologia: Framework CoFL-S

Gli autori propongono CoFL-S (CoFL-Spatially Queryable Sector Flow Fields), un framework che predice un campo di flusso condizionato dal linguaggio sul settore locale visibile del robot per generare traiettorie continue.

1. Rappresentazione del Campo di Flusso del Settore (Sector Flow Field)

Invece di regredire una singola traiettoria o un'azione discreta, CoFL-S predice un campo di velocità 2D sul settore del piano di terra locale del robot.

• Input: Un'osservazione RGB-D egocentrica $(I, D)$ e una sotto-istruzione locale di basso livello $\ell$.
• Output: Un campo di velocità spazialmente interrogabile. Il campo viene interrogato in coordinate polari del settore normalizzate $q = (\tilde{\theta}, \tilde{r})$ allineate con il campo visivo della telecamera, ma restituisce velocità cartesiane $(v_{fwd}, v_{lft})$ nel frame del piano di terra relativo al robot.
• Generazione: La traiettoria $\tau(t)$ viene generata eseguendo il rollout del campo predetto utilizzando un modello di moto del primo ordine: $\dot{\tau}(t) = v_\phi(\Pi_{polar}(\tau(t)) | I, D, \ell)$.

2. Architettura

Il modello consiste in tre componenti principali (Fig. 2):

• Encoder Visione-Linguaggio: Utilizza un encoder SigLIP2 congelato per mappare RGB e testo in embedding condivisi. Le informazioni sulla profondità vengono iniettate nei token visivi tramite un patchifier convoluzionale e un percorso FiLM (Feature-wise Linear Modulation) per fornire consapevolezza geometrica.
• Decoder del Settore: Un decoder Transformer basato su query che riceve query di coordinate (incorporate tramite feature Fourier gaussiane) e il contesto fuso per predire vettori di velocità per ogni posizione del settore.
• Modulo d'Azione: Un ramo ausiliario leggero che utilizza query d'azione apprendibili per predire una probabilità di terminazione discreta (STOP), completando il rollout del campo continuo.

3. Supervisione del Controllo Continuo

Per addestrare questa rappresentazione, gli autori convertono gli episodi standard VLN-CE (R2R e RxR) in una supervisione locale a livello di frame:

• Allineamento Fine-Grained: Ogni frame RGB-D è accoppiato con una sotto-istruzione locale derivata da annotazioni dettagliate (Fine-Grained R2R, Landmark RxR).
• Espansione delle Istruzioni: Per aumentare la diversità, ogni frame viene espanso in $K$ slot di istruzioni, inclusi l'ancora umano, comandi basati su oggetti, comandi basati su regioni e comandi terminali.
• Generazione dei Target: Per ogni slot di istruzione, un target di campo di flusso denso del settore viene generato combinando l'attrazione geodetica verso un obiettivo ancorato con la repulsione da ostacoli/regioni invisibili. Questo crea un campo di potenziale il cui gradiente negativo funge da campo di velocità target.
• Funzione di Perdita (Loss Function): Il modello è addestrato con una combinazione di perdita di direzione (similarità del coseno), perdita di magnitudo (scaling della distanza dal target) e perdita di terminazione dell'azione.

4. Benchmark di Valutazione

Gli autori introducono un benchmark temporale continuo Habitat per isolare le interfacce di azione di basso livello:

• Protocollo: Tutti i metodi (CoFL-S, Action Token, Action Chunk) sono valutati sotto la stessa simulazione a tempo continuo dove lo stato dell'agente si aggiorna a 60 Hz e le osservazioni a 30 Hz.
• Controller: Un controller di velocità di basso livello condiviso esegue gli output di tutti i metodi, garantendo che le differenze di prestazione derivino dalla rappresentazione dell'azione piuttosto che dal controller.
• Indipendenza dalla Decomposizione: Ad ogni step, la posizione dell'agente viene proiettata sul percorso di riferimento per recuperare la corrispondente sotto-istruzione locale, rimuovendo la variabile della decomposizione delle istruzioni di alto livello.

Contributi Chiave

1. Framework CoFL-S: Una nuova rappresentazione di campo di flusso del settore per la navigazione locale in prima persona condizionata dal linguaggio, che mappa osservazioni e istruzioni in un campo di controllo spazialmente interrogabile.
2. Conversione della Supervisione: Un metodo per convertire le tracce VLN-CE dell'intero episodio in supervisione locale a livello di frame, accoppiando le osservazioni con sotto-istruzioni allineate e target densi di campo di flusso.
3. Benchmark a Tempo Continuo: Un nuovo protocollo di valutazione che confronta le interfacce action-token, action-chunk e flow-field con encoder, istruzioni e controller corrispondenti, consentendo un confronto indipendente dalla decomposizione attraverso diverse frequenze di pianificazione.

Risultati Sperimentali

Il paper valuta CoFL-S contro i baseline Action Token e Action Chunk sia in simulazione che in contesti reali zero-shot.

• Simulazione (R2R-CE e RxR-CE): CoFL-S supera costantemente entrambi i baseline in tutte le frequenze di pianificazione testate (2 Hz, 5 Hz, 10 Hz) in termini di Errore di Navigazione (NE), Successo Oracle (OS), Tasso di Successo (SR) e Successo pesato per la Lunghezza del Percorso (SPL). In particolare, raggiunge tassi di completamento del compito più elevati rispetto ad Action Chunk, nonostante quest'ultimo abbia una testa di predizione più grande, e mantiene metriche competitive di Bloccaggio (BSR) e Fluidità di Direzione (HS).
• Zero-Shot nel Mondo Reale: Distribuito su un robot mobile fisico senza fine-tuning, CoFL-S ha ottenuto un Tasso di Successo di 0,75 rispetto allo 0,46 di Action Token e allo 0,33 di Action Chunk. Ha dimostrato meno collisioni, tempi di completamento più brevi e una navigazione più stabile, particolarmente nei passaggi stretti dove i baseline discreti tendevano a oscillare o bloccarsi.

Significato e Rivendicazioni

Il paper sostiene che la rappresentazione dell'azione di basso livello sia una componente critica e spesso trascurata della VLN. Passando dalla predizione di azioni discrete o a orizzonte finito alla predizione di un campo di flusso spazialmente interrogabile, CoFL-S fornisce una "famiglia di target di movimento correttivi" piuttosto che una singola decisione basata sullo stato corrente. Questa supervisione densa a livello di spazio di lavoro permette alla policy di accoppiare meglio la semantica delle istruzioni locali con i vincoli geometrici, risultando in un controllo continuo più robusto.

Gli autori sottolineano che, sebbene CoFL-S assuma la disponibilità di una sotto-istruzione locale (affidandosi a un pianificatore di alto livello per la decomposizione), esso risolve efficacementamente il problema dello strato di esecuzione. I risultati suggeriscono che le policy a campo di flusso con supervisione densa offrono una consapevolezza geometrica e una stabilità superiori rispetto alle tradizionali interfacce d'azione, specialmente nelle implementazioni zero-shot nel mondo reale dove la latenza e la variabilità ambientale sono fattori significativi.