Technische Samenvatting: RoamFlow

Probleemstelling

Image-goal navigatie is een fundamentele uitdaging in embodied robotics, waarbij een agent een doellocatie moet bereiken die uitsluitend wordt gespecificeerd door een doelafbeelding met behulp van onboard sensorische waarnemingen. Bestaande reinforcement learning (RL) benaderingen mappen doorgaans perceptuele waarnemingen direct naar single-step acties. Hoewel deze methoden robuust zijn tegen ruis, hebben ze moeite met langetermijnafhankelijkheden (long-horizon dependencies), wat vaak resulteert in myope gedragingen en suboptimale trajecten in complexe omgevingen.

Recente generatieve frameworks (bijv. diffusie-gebaseerde of flow-matching policies) pakken dit aan door coherente multi-step actiesequenties te synthetiseren, wat traject-niveau redeneren mogelijk maakt. Deze methoden kampen echter met twee kritieke beperkingen:

1. Inference Efficiëntie: Ze vertrouwen op iteratieve generatieprocessen (meerdere denoising stappen of numerieke integratie), wat computationele latentie introduceert die real-time implementatie op middelen-beperkte robots belemmert.
2. Policy Alignment: De meeste methoden vertrouwen primair op imitation learning (IL). Hoewel IL nuttige priors biedt, kan het suboptimale expertgedrag niet corrigeren of zich niet aanpassen aan onbekende omgevingen, wat leidt tot geaccumuleerde fouten op de lange termijn en een gebrek aan afstemming met doelstellingen zoals botsingsvermijding en efficiënt doelbereik.

Methodologie

De auteurs stellen RoamFlow voor, een generatief navigatieframework dat efficiënte one-step trajectgeneratie combineert met een twee-fasen trainingsstrategie (Imitation Learning + Reinforcement Learning).

1. Architectuur

Het systeem bestaat uit drie hoofdonderdelen:

• Observatie Codering: Huidige RGB-D waarnemingen en de doel RGB-afbeelding worden gecodeerd met behulp van EfficientNet-B0 backbones en gefuseerd via een Transformer-blok om een gezamenlijke latente representatie ($C_t$) te creëren.
• RoamFlow Policy (MeanFlow Generator): In plaats van de instantane snelheid te voorspellen (zoals bij standaard flow matching), maakt de policy gebruik van MeanFlow om het gemiddelde snelheidsveld over een tijdsinterval te voorspellen. Dit modelleert verplaatsing op intervalniveau in plaats van instantane veranderingen. Hierdoor kan de policy Gaussian ruis direct mappen naar een volledige trajectsequentie ($A_t$) in een enkele forward pass, wat het aantal transportstappen aanzienlijk vermindert.
• Traject Evaluator: Een lichtgewicht Multi-Layer Perceptron (MLP) head evalueert gegenereerde kandidaat-trajecten door de policy. Het scoort trajecten op basis van geometrische vrijheid (veiligheid) en vloeiendheid, waarbij het hoogst scorende traject wordt geselecteerd voor uitvoering. Dit fungeert als een veiligheidsfilter om instabiliteit in multimodale voorspellingen te beperken.

2. Trainingsstrategie

RoamFlow hanteert een twee-fasen optimalisatiepipeline:

• Fase I: Offline Imitation Learning (IL): De MeanFlow generator en de traject evaluator worden vooraf getraind op expert datasets (gegenereerd via Hybrid A* op topologische grafen). De generator minimaliseert de fout tussen de voorspelde en de expert gemiddelde snelheidsvelden. De evaluator wordt getraind via regressie om veiligheids- en vloeiendheidsscores te voorspellen op basis van afstandvelden.
• Fase II: Online Reinforcement Learning (RL): Om de policy te verfijnen voor taakspecifieke doelstellingen, wordt de vooraf getrainde policy gefinetuned in de Habitat simulatieomgeving. De auteurs introduceren een leerbaar ruisnetwerk om de deterministische MeanFlow transport om te zetten in een stochastische Markov-keten, wat likelihood-gebaseerde optimalisatie mogelijk maakt. De policy wordt geoptimaliseerd met behulp van PPO (Proximal Policy Optimization) met een beloningsfunctie bestaande uit succes, slack (tijdstraf), progressie en botsingstermen.

Belangrijkste Bijdragen

1. MeanFlow-gebaseerde Generatieve Policy: De auteurs introduceren een policy die gemiddelde snelheidsvelden voorspelt om efficiënte few-step (effectief one-step) trajectgeneratie mogelijk te maken. Dit vermindert de inference latentie terwijl de kwaliteit van het traject behouden blijft, waarmee het computationele knelpunt van iteratieve generatieve modellen wordt aangepakt.
2. Twee-fasen Trainingsframework: Een innovatieve pipeline die offline IL voor stabiele initialisatie combineert met online RL voor taakgestuurde verfijning. Deze aanpak stelt de agent in staat om eerst expert priors te leren en vervolgens de trajectgeneratie af te stemmen op specifieke navigatie-objectieven (bijv. botsingsvermijding) via beloningssignalen.
3. Traject Evaluator: Een mechanisme om kandidaat-trajecten tijdens de inference te herrangschikken, wat de robuustheid en veiligheid verhoogt zonder significante computationele overhead.

Experimentele Resultaten

Het framework werd gevalideerd in zowel de Habitat simulatie als in real-world robotexperimenten (Unitree Go2 quadruped).

• Simulatieprestaties (Habitat):

  • Op de Gibson dataset behaalde RoamFlow een Success Rate (SR) van 68,7% en een SPL van 61,9%, waarmee het sterke baselines zoals NavDP (SR 59,3%, SPL 47,5%) verslaat.
  • Het verminderde de Collision Rate (CR) aanzienlijk tot 10,9% vergeleken met 11,6% voor NavDP.
  • Inference Tijd: RoamFlow behaalde een latentie van 19,6 ms, een substantiële verbetering ten opzichte van diffusie-gebaseerde baselines (bijv. NaviDiffusor met 89,5 ms) en zelfs gedestilleerde versies van andere methoden.
  • Cross-Domain Generalisatie: Op de onbekende MP3D dataset behield RoamFlow sterke prestaties (SR 56,1%) zonder fine-tuning, wat duidt op robuuste generalisatie.

• Real-World Deployment:

  • Geïmplementeerd op een Unitree Go2 robot met een NVIDIA Jetson Orin NX, behaalde RoamFlow een Success Rate van 100% over 20 runs in drie verschillende scenario's.
  • Het registreerde de laagste collision rate (0,10 botsingen/run) en de snelste inference tijd (37,2 ms), wat voldoet aan de real-time beperkingen (10 Hz control loop).

• Ablatie Studies:

  • Het verwijderen van de IL pre-training fase leidde tot een drastische daling in SR (van 68,7% naar 13,2%), wat de noodzaak van expert priors bevestigt.
  • Het verwijderen van de RL fase verminderde de SR (naar 51,3%) en verhoogde de CR (naar 25,9%), wat de rol van RL bij het verfijnen van veiligheid en taakafstemming benadrukt.
  • Het vervangen van de Trajectory Evaluator door willekeurige selectie verhoogde de collision rate, wat de rol van de evaluator als veiligheidsfilter valideert.

Betekenis en Claims

Het artikel claimt dat RoamFlow een praktische oplossing biedt voor het implementeren van generatieve navigatiepolicies op middelen-beperkte onboard systemen. Door de overstap van het modelleren van instantane snelheid naar modelleren van verplaatsing op intervalniveau (MeanFlow), bereikt de methode efficiënte one-step generatie zonder in te boeten op de kwaliteit van het traject. Verder overbrugt de twee-fasen trainingsstrategie de kloof tussen statische imitation learning en dynamische taakeisen, waardoor de policy niet alleen stabiel is, maar ook is afgestemd op real-world doelstellingen zoals veiligheid en efficiëntie. De auteurs stellen dat deze combinatie van generatieve modellering, efficiënte inference en reinforcement alignment robuuste image-goal navigatie mogelijk maakt in zowel simulatie als real-world omgevingen.