Riepilogo Tecnico: RoamFlow

Definizione del Problema

La navigazione basata su obiettivi d'immagine (image-goal navigation) è una sfida fondamentale nella robotica incarnata (embodied robotics), che richiede a un agente di raggiungere una posizione target specificata unicamente tramite un'immagine obiettivo utilizzando osservazioni sensoriali onboard. Gli approoli esistenti di apprendimento per rinforzo (RL) tipicamente mappano le osservazioni percettive direttamente in azioni a singolo step. Sebbene robusti al rumore, questi metodi faticano con le dipendenze a lungo termine (long-horizon), risultando spesso in comportamenti miopi e traiettorie subottimali in ambienti complessi.

Recenti framework generativi (ad esempio, basati su diffusione o flow-matching) affrontano questo problema sintetizzando sequenze di azioni multi-step coerenti, consentendo un ragionamento a livello di traiettoria. Tuttavia, questi metodi affrontano due criticità fondamentali:

1. Efficienza dell'Inferenza: Essi si affidano a processi di generazione iterativi (molteplici step di denoising o integrazione numerica), introducendo una latenza computazionale che ostacola l'implementazione in tempo reale su robot con risorse limitate.
2. Allineamento della Policy: La maggior parte di essi si basa principalmente sull'apprendimento per imitazione (IL). Sebbene l'IL fornisca utili prior, non può correggere comportamenti esperti subottimali né adattarsi ad ambienti non visti, portando ad errori accumulati a lungo termine e a un disallineamento rispetto agli obiettivi del compito, come l'evitamento delle collisioni e il raggiungimento efficiente dell'obiettivo.

Metodologia

Gli autori propongono RoamFlow, un framework di navigazione generativa che combina la generazione di traiettorie efficiente in un singolo step con una strategia di addestramento a due stadi (Imitation Learning + Reinforcement Learning).

1. Architettura

Il sistema è composto da tre componenti principali:

• Codifica delle Osservazioni: Le osservazioni RGB-D correnti e l'immagine RGB obiettivo vengono codificate utilizzando backbone EfficientNet-B0 e fuse tramite un blocco Transformer per creare una rappresentazione latente congiunta ($C_t$).
• RoamFlow Policy (MeanFlow Generator): Invece di predire la velocità istantanea (come nel normale flow matching), la policy sfrutta il MeanFlow per predire il campo di velocità media su un intervallo temporale. Questo modella lo spostamento a livello di intervallo piuttosto che i cambiamenti istantanei. In questo modo, la policy può mappare il rumore Gaussiano direttamente in una sequenza di traiettoria completa ($A_t$) in un singolo passaggio forward, riducendo significativamente i passaggi di trasporto.
• Valutatore di Traiettoria (Trajectory Evaluator): Un modulo MLP (Multi-Layer Perceptron) leggero valuta le traiettorie candidate generate dalla policy. Esso assegna un punteggio alle traiettorie in base alla clearance geometrica (sicurezza) e alla fluidità (smoothness), selezionando la traiettoria con il punteggio più alto per l'esecuzione. Questo funge da filtro di sicurezza per mitigare l'instabilità nelle predizioni multimodali.

2. Strategia di Addestramento

RoamFlow impiega una pipeline di ottimizzazione a due stadi:

• Stadio I: Imitation Learning (IL) Offline: Il generatore MeanFlow e il valutatore di traiettoria sono pre-addestrati su dataset di esperti (generati tramite Hybrid A* su grafi topologici). Il generatore minimizza l'errore tra i campi di velocità media previsti e quelli esperti. Il valutatore è addestrato tramite regressione per predire i punteggi di sicurezza e fluidità basandosi sui campi di distanza.
• Stadio II: Reinforcement Learning (RL) Online: Per raffinare la policy rispetto agli obiettivi specifici del compito, la policy pre-addestrata viene perfezionata nell'ambiente di simulazione Habitat. Gli autori introducono una rete di rumore apprendibile per convertire il trasporto deterministico di MeanFlow in una catena di Markov stocastica, consentendo l'ottimizzazione basata sulla verosimiglianza (likelihood-based). La policy è ottimizzata tramite PPO (Proximal Policy Optimization) con una funzione di ricompensa composta da termini di successo, slack (penalità temporale), progresso e collisione.

Contributi Chiave

1. Policy Generativa Basata su MeanFlow: Gli autori introducono una policy che predice campi di velocità media per consentire una generazione di traiettorie efficiente in pochi step (effettivamente un singolo step). Ciò riduce la latenza di inferenza preservando al contempo la qualità della traiettoria, affrontando il collo di bottiglia computazionale dei modelli generativi iterativi.
2. Framework di Addestramento a Due Stadi: Una pipeline innovativa che combina l'IL offline per una inizializzazione stabile con l'RL online per il raffinamento guidato dal compito. Questo approccio permette all'agente di apprendere prima i prior degli esperti e poi di allineare la generazione della traiettoria con obiettivi di navigazione specifici (es. evitamento delle collisioni) attraverso segnali di ricompensa.
3. Valutatore di Traiettoria: Un meccanismo per riclassificare (re-rank) le traiettorie candidate al tempo di inferenza, migliorando la robustezza e la sicurezza senza un carico computazionale significativo.

Risultati Sperimentali

Il framework è stato validato sia in simulazione Habitat che in esperimenti robotici reali (quadrupede Unitree Go2).

• Performance in Simulazione (Habitat):

  • Sul dataset Gibson, RoamFlow ha raggiunto un Success Rate (SR) del 68,7% e un SPL del 61,9%, superando i forti baseline come NavDP (SR 59,3%, SPL 47,5%).
  • Ha ridotto significativamente il Collision Rate (CR) al 10,9% rispetto all'11,6% di NavDP.
  • Tempo di Inferenza: RoamFlow ha ottenuto una latenza di 19,6 ms, un miglioramento sostanziale rispetto ai baseline basati su diffusione (es. NaviDiffusor con 89,5 ms) e persino rispetto alle versioni distillate di altri metodi.
  • Generalizzazione Cross-Domain: Sul dataset MP3D non visto, RoamFlow ha mantenuto prestazioni elevate (SR 56,1%) senza fine-tuning, dimostrando una robusta capacità di generalizzazione.

• Deployment nel Mondo Reale:

  • Implementato su un robot Unitree Go2 con NVIDIA Jetson Orin NX, RoamFlow ha ottenuto un Success Rate del 100% in 20 tentativi attraverso tre scenari distinti.
  • Ha registrato il tasso di collisione più basso (0,10 collisioni/run) e il tempo di inferenza più veloce (37,2 ms), soddisfacendo i vincoli temporali per il controllo a 10 Hz.

• Studi di Ablazione:

  • Rimuovendo lo stadio di pre-addestramento IL, si è verificato un drastico calo del SR (dal 68,7% al 13,2%), confermando la necessità dei prior degli esperti.
  • Rimuovendo lo stadio RL, il SR è diminuito (al 51,3%) e il CR è aumentato (al 25,9%), evidenziando il ruolo dell'RL nel raffinare la sicurezza e l'allineamento al compito.
  • Sostituendo il Valutatore di Traiettoria con una selezione casuale, il tasso di collisione è aumentato, validando il ruolo del valutatore come filtro di sicurezza.

Significato e Rivendicazioni

L'articolo sostiene che RoamFlow offra una soluzione pratica per il deployment di policy di navigazione generative su sistemi onboard con risorse limitate. Passando dalla modellazione della velocità istantanea alla modellazione dello spostamento a livello di intervallo (MeanFlow), il metodo consente una generazione in un singolo step efficiente senza sacrificare la qualità della traiettoria. Inoltre, la strategia di addestramento a due stadi colma il divario tra l'imitation learning statico e i requisiti dinamici del compito, garantendo che la policy non sia solo stabile, ma anche allineata con gli obiettivi del mondo reale come la sicurezza e l'efficienza. Gli autori affermano che questa combinazione di modellazione generativa, inferenza efficiente e allineamento tramite RL abilita una navigazione robusta basata su immagini sia in simulazione che in ambienti reali.