CoFL: Continuous Flow Fields for Language-Conditioned Navigation

1. Il Problema

La navigazione condizionata dal linguaggio (Language-Conditioned Navigation) mira a tradurre istruzioni semantiche ad alto livello (es. "vai al divano") in movimenti continui e sicuri per un robot in ambienti complessi. Le soluzioni esistenti presentano due limiti principali:

• Approcci modulari: Catene di componenti separati (percezione, grounding, pianificazione) che sono fragili; piccoli errori nella fase iniziale si propagano causando fallimenti catastrofici.
• Approcci end-to-end basati su token o generativi: I modelli attuali spesso predicono sequenze di azioni discrete (token) o "chunk" di traiettorie tramite processi iterativi di denoising (es. Diffusion Policy). Questi metodi possono produrre movimenti poco fluidi, richiedono latenze elevate per l'inferenza multi-step e mancano di una rappresentazione geometrica esplicita dello spazio di lavoro, rendendo difficile garantire la sicurezza e la consistenza globale della traiettoria.

2. Metodologia: CoFL

Gli autori propongono CoFL, un policy end-to-end basata su Transformer che riformula la navigazione come un problema di stima di un campo di flusso continuo (continuous flow field) in una vista dall'alto (Bird's-Eye View - BEV).

A. Formulazione del Problema

Invece di predire una sequenza di waypoint o azioni discrete, CoFL apprende un campo di flusso vettoriale $v(x | I, \ell)$ che mappa una osservazione BEV ($I$) e un'istruzione linguistica ($\ell$) a vettori di velocità istantanea in ogni punto $x$ dello spazio di lavoro.

• La traiettoria non viene generata direttamente, ma ottenuta integrando numericamente il campo di flusso predetto (integrazione di Eulero).
• Questo approccio garantisce traiettorie intrinsecamente lisce, reattive in loop chiuso e geometricamente consapevoli.

B. Architettura della Rete

Il modello è composto da due moduli principali (Fig. 2):

1. Vision-Language Encoder: Utilizza SigLIP 2 (frozen) come backbone per estrarre token visivi dall'immagine BEV e token testuali dall'istruzione. Questi vengono fusi tramite un decoder Transformer per creare un contesto semantico-geometrico.
2. CoFL Decoder: Adotta un design basato su query. Riceve coordinate spaziali normalizzate 2D come input (query) e, attendendo al contesto codificato, predice:
   • Una direzione unitaria (tramite normalizzazione L2).
   • Una magnitudine non negativa (tramite Softplus).
   • Il prodotto di questi due output forma il vettore di velocità locale.

C. Addestramento e Dataset

Per addestrare il modello su larga scala, gli autori hanno costruito un dataset procedurale di oltre 500.000 campioni derivati da Matterport3D e ScanNet.

• Pipeline di Annotazione: Per ogni scena, vengono generate mappe semantiche BEV. Da queste, viene calcolato un campo di flusso "ground truth" combinando la distanza geodetica verso l'obiettivo con una funzione di repulsione dagli ostacoli (campo potenziale).
• Loss Function: La rete viene addestrata minimizzando l'errore angolare (direzione) e l'errore di magnitudine tra il campo predetto e quello annotato, campionando punti in modo stratificato nello spazio.

D. Inferenza

Durante l'inferenza, il modello predice il campo di flusso su una griglia. Data una posizione iniziale, la traiettoria viene generata integrando il campo passo dopo passo. Viene applicata una riscalatura temporale deterministica per garantire una velocità quasi costante e uno stop fluido vicino all'obiettivo.

3. Contributi Chiave

1. CoFL: Una policy Transformer che predice campi di flusso continui, unendo grounding visione-linguaggio e generazione di movimento continuo in un'unica passata forward.
2. Dataset su Larga Scala: Creazione di un dataset di 500k+ coppie immagine BEV-istruzione con annotazioni procedurali di campi di flusso e traiettorie, permettendo l'addestramento su scenari non visti.
3. Benchmark e Generalizzazione: Dimostrazione che CoFL supera i pianificatori modulari basati su VLM e le policy generative (Diffusion) su scenari non visti, offrendo maggiore precisione e sicurezza.
4. Transfer Zero-Shot nel Mondo Reale: Implementazione di successo su un robot fisico senza alcun fine-tuning, utilizzando solo osservazioni BEV da telecamere aeree.

4. Risultati Sperimentali

Performance su Dataset (Matterport3D e ScanNet)

• Sicurezza: CoFL riduce drasticamente il tasso di collisione (CR) rispetto alle baseline. Su ScanNet, il CR scende da ~0.88 (Diffusion Policy) a 0.39-0.40, e su Matterport3D da ~0.86 a 0.17-0.22.
• Precisione: Mantiene un errore finale verso l'obiettivo (FGE) competitivo o migliore rispetto alle baseline, pur essendo molto più sicuro.
• Efficienza: CoFL è significativamente più veloce in inferenza rispetto alle policy basate su Diffusion (che richiedono multi-step denoising), offrendo un compromesso latenza-prestazione superiore.

Esperimenti nel Mondo Reale

• Il modello è stato deployato su un robot differenziale in un ambiente interno con telecamera aerea.
• Risultati: Ha raggiunto il target nel 100% dei casi con ostacoli (E2) e nell'85% dei casi senza ostacoli (E1), mantenendo un tasso di collisione accettabile (0.35) e una distanza minima dagli ostacoli coerente.
• Latenza: L'inferenza avviene a ~28 ms, permettendo un controllo in loop chiuso stabile.

5. Significato e Impatto

Il lavoro di CoFL rappresenta un cambio di paradigma nella navigazione robotica:

• Dalla Traiettoria al Campo: Sposta il focus dalla generazione di una singola traiettoria (che è rigida e sensibile agli errori di inizio) alla definizione di un campo di guida globale. Questo rende il sistema intrinsecamente robusto e capace di ripianificare istantaneamente se il robot viene spostato o se l'ambiente cambia.
• Sicurezza Geometrica Esplicita: A differenza dei modelli generativi che imparano implicitamente la geometria, CoFL esplicita la consapevolezza degli ostacoli attraverso la struttura del campo di flusso, garantendo che ogni punto dello spazio abbia una direzione di movimento sicura.
• Generalizzazione Zero-Shot: La capacità di funzionare nel mondo reale senza adattamento dimostra che la rappresentazione del campo di flusso appresa è altamente trasferibile e robusta al rumore e alle variazioni dinamiche, superando i limiti dei modelli puramente basati su VLM o su azioni discrete.

In sintesi, CoFL offre una soluzione elegante ed efficiente che combina la potenza dei modelli fondazionali (Vision-Language) con la necessità di controllo geometrico preciso e sicuro, ponendo le basi per una navigazione robotica autonoma più affidabile in ambienti reali complessi.