Technische Samenvatting: Robostral Navigate

Probleemstelling

Het schaalbaar implementeren van embodied navigatiesystemen staat voor aanzienlijke barrières: huidige state-of-the-art methoden vertrouwen vaak op geprivilegieerde sensormodaliteiten (dieptesensoren, LiDAR, multi-camera opstellingen) of vooraf gebouwde kaarten. Deze afhankelijkheden verhogen de hardwarekosten, beperken de compatibiliteit met diverse robotvormen (wielgedreven, looprobots, vliegende robots) en vereisen omgeving-specifieke kalibratie. Bovendien vereist het trainen van deze systemen doorgaans uitgebreide, kostbare dataverzameling in de echte wereld. De uitdaging is om een navigatie-recept te ontwikkelen dat sensor-aannames minimaliseert, generaliseert over verschillende robotmorphologieën en efficiënt traint met enkel simulatie.

Methodologie

Robostral Navigate is een vision-language model (VLM) met 8 miljard parameters, ontworpen om embodied navigatie op te lossen met uitsluitend een stroom monoculaire RGB-beelden. Het systeem deelt navigatie op in twee afzonderlijke fasen: hoogwaardige planning via een VLM en laagwaardige controle via een diffusiebeleid.

1. Modelarchitectuur

• Vision-Language Planner (8B VLM): Het kernmodel is geïnitialiseerd vanuit een dicht VLM dat is ontworpen voor ruimtelijke gronding (aanwijzen, tellen, lokalisatie). Het neemt een natuurlijke taalinstruct en een geschiedenis van monoculaire RGB-frames als input.
• Navigatie via Aanwijzen: In plaats van het voorspellen van metrische verplaatsingen die gekoppeld zijn aan specifieke robotgeometrie, voorspelt de VLM waypoints door naar de volgende doellocatie in het huidige camerabeeld te "wijzen" (beeldcoördinaten $u, v$) en de gewenste koerswijziging ($\Delta\theta$). Deze formulering in de beeldruimte zorgt voor robuustheid tegen camera-intrinsieken en scène-schaal.
• Verplaatsingsfallback: Om gevallen af te handelen waarbij het doel buiten het gezichtsveld ligt (bijv. een draai vereist), voorspelt het model gezamenlijk metrische verplaatsingen ($\Delta x, \Delta y, \Delta\theta$) naast de aanwijzingscoördinaten. Als het doel onzichtbaar is, laat het de beeldcoördinaten weg en vertrouwt het uitsluitend op de metrische verplaatsing.
• Diffusiebeleid (121M Parameters): De door de VLM afgeleide waypoints worden omgezet in laagwaardige motorische commando's door een lichtgewicht diffusie-transformer. Dit beleid produceert een dichte traject van relatieve 2D-verplaatsingen en 1D-rotaties op 10 Hz, die vervolgens wordt vertaald naar hoogfrequente actuator-torques door een bewegingsvolgende controller.

2. Trainingsstrategie

De trainingspipeline is ontworpen voor maximale efficiëntie en schaalbaarheid, volledig gebaseerd op simulatie.

• Datageneratie: Het systeem wordt getraind op ongeveer 2,4 miljoen expert-trajecten over 350.000 gesimuleerde scènes (binnen en buiten). Datageneratie maakt gebruik van farthest-point sampling om diverse start-/doelposities en gevarieerde scènecomplexiteit te waarborgen.
• Prefix-Caching en Attention Masking: Om de computationele inefficiëntie van standaard sequentiële training (waarbij de token-complexiteit schaalt als $O(T^2)$) aan te pakken, gebruiken de auteurs een prefix-caching techniek. Hele episodes worden in enkele trainingssequenties gepakt. Een boomgebaseerde attention mask wordt gebruikt om te voorkomen dat het model tijdens de training conditioneert op vorige grondwaarheid-acties. Dit is noodzakelijk omdat vorige grondwaarheid-acties vaak zeer informatief zijn voor toekomstige acties (met name vanwege het farthest-visible waypoint paradigma), en het model anders op hen zou vertrouwen in plaats van te leren van visueel gegronde voorspellingen. Dit vermindert het aantal trainingstokens met 22×, waardoor de trainingstijd wordt teruggebracht van maanden naar dagen.
• Cross-Robot Generalisatie: Tijdens de datageneratie worden robotconfiguraties (hoogte, radius, cameraplaatsing, pitch) gerandomiseerd. Dit stelt de geleerde policies in staat om over verschillende embodimenten te transfereren zonder hertraining.
• Online Reinforcement Learning (RL): Na de supervised fine-tuning (SFT) ondergaat het model online RL met behulp van CISPO (een group-relative advantage estimation methode). De agent interacteert met een simulator op een gecureerde subset van "moeilijke" trajecten waar de SFT-policy faalde. De beloningsfunctie is gedefinieerd als $-\max(2, \text{dist\_to\_goal})$, wat de agent stimuleert om het doel te bereiken en een STOP-actie uit te voeren, terwijl onnodige manoeuvres nabij het doel worden vermeden.

Belangrijkste Bijdragen

1. Minimale Sensorafhankelijkheid: Demonstreert dat een 8B VLM state-of-the-art navigatieprestaties kan bereiken met uitsluitend één RGB-camera, waardoor de noodzaak voor dieptesensoren, LiDAR of multi-camera opstellingen vervalt.
2. Aanwijzing in de Beeldruimte: Introduceert een op aanwijzen gebaseerd mechanisme voor waypoint-voorspelling dat opereert in de beeldruimte in plaats van in metrische coördinaten, wat van nature cross-embodiment generalisatie mogelijk maakt zonder herkalibratie.
3. Efficiënt Trainingsrecept: Ontwikkelt een prefix-caching trainingsmethode die de token-complexiteit met 22× vermindert, waardoor het trainen van grootschalige navigatiepolicies in dagen in plaats van maanden mogelijk wordt met enkel simulatiegegevens.
4. Integratie van Reinforcement Learning: Past succesvol online RL toe om exploratie- en herstelvermogens te verbeteren, waarmee de kloof tussen behavioral cloning en robuuste, langdurige navigatie wordt overbrugd.

Resultaten

Het systeem werd geëvalueerd op de Room-to-Room in Continuous Environments (R2R-CE) en Room-Across-Room (RxR-CE) benchmarks.

• R2R-CE (Validation Unseen): Robostral Navigate behaalde een Success Rate (SR) van 77,4% en een Success weighted by Path Length (SPL) van 74,2%.
  • Dit overtreft de beste single-camera baseline (Qwen-RobotNav-4B, 66,9% SR) met 10,5 punten.
  • Het overtreft ook het beste diepte/multi-camera systeem (Qwen-RobotNav-8B, 72,1% SR) met 5,3 punten, ondanks het gebruik van geen enkele hulp-sensor.
• RxR-CE (Validation Unseen): Het model behaalde een 75,1% SR en 68,7% SPL, waarmee het alle single-camera baselines overtrof en een superieure pad-efficiëntie demonstreerde vergeleken met diepte-ondersteunde modellen.
• Cross-Robot Deployment: Dezelfde modelgewichten werden succesvol ingezet op twee verschillende platforms (Galaxea R1 en Hiwonder JetAuto) met verschillende morfologieën en camera-configuraties, wat de claims van cross-robot generalisatie valideert.

Betekenis

Het artikel stelt dat Robostral Navigate een schaalbaar recept vertegenwoordigt voor algemene robotica. Door grootschalige simulatie, efficiënte trainingsalgoritmen (prefix-caching) en reinforcement learning te combineren, demonstreren de auteurs dat hoogwaardige navigatie geen geprivilegieerde sensing vereist. Het werk suggereert dat een minimal-sensor benadering, wanneer deze wordt gekoppeld aan robuuste trainingsmethodologieën, de systemen die complexe hardware gebruiken kan overtreffen, waardoor de drempel voor de inzet van algemene embodied agents over diverse hardware en nieuwe omgevingen wordt verlaagd.