DreamToNav: Generalizable Navigation for Robots via Generative Video Planning

DreamToNav is een nieuw robotnavigatiekader dat generatieve videomodellen gebruikt om natuurlijke taalopdrachten om te zetten in uitvoerbare bewegingsplannen, waardoor robots complexe taken op verschillende platformen met hoge nauwkeurigheid kunnen uitvoeren zonder specifieke engineering.

De kern

Stel je voor dat je een robot wilt sturen, maar in plaats van ingewikkelde coördinaten of strakke lijnen op een kaart te tekenen, je gewoon tegen hem praat. "Volg die persoon voorzichtig," of "Ga naar de blauwe doos, maar vermijd de stoelen."

Dat is precies wat DreamToNav doet. Het is een slim systeem dat robots helpt om te navigeren door eerst te "dromen" van wat ze gaan doen, voordat ze het echt uitvoeren.

Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. De "Droom" (Het Plan Maken)

Normaal gesproken moeten programmeurs robots leren met duizenden regels: "Als er een obstakel is, draai dan 30 graden naar links." Dat is saai en star.

DreamToNav doet het anders. Het gebruikt twee soorten super-intelligente "hersenen":

• De Vertaler (Qwen): Als jij zegt "Ga daarheen", begrijpt de robot dat niet goed genoeg. De vertaler pakt je zin en maakt er een gedetailleerd verhaal van: "De robot loopt langzaam naar voren, buigt zachtjes naar links om de stoel te ontwijken en stopt bij de deur."
• De Dromer (Cosmos): Deze robot-achtige dromer neemt dat verhaal en maakt er een video van. Hij simuleert hoe de robot eruitziet terwijl hij die beweging uitvoert. Het is alsof de robot een film van zichzelf maakt in zijn hoofd om te zien of het plan haalbaar is.

De analogie: Het is net als wanneer je een nieuwe route wilt rijden. In plaats van een GPS-coördinaat in te voeren, sluit je je ogen en visualiseer je de rit: "Ik draai links, vermijd de glijdende auto, en parkeer dan." DreamToNav maakt die visualisatie letterlijk waar door een video te genereren.

2. Het "Filmpje" Omzetten in Actie

Nu heeft de robot een video van zichzelf die hij nog niet heeft gedaan. Hoe zet hij dat om in beweging?

• De Camera Kijkt: Het systeem kijkt naar de gegenereerde video en zegt: "Oké, in dit frame staat de robot hier, en in het volgende frame staat hij daar."
• De Meetlat: Het meet precies hoe de robot zich verplaatst in die video. Het trekt een onzichtbare lijn (een traject) door de beelden heen.
• De Uitvoering: Die lijn wordt nu de opdracht voor de echte robot. De robot volgt die lijn in de echte wereld, alsof hij een danspasjes volgt die hij net heeft bedacht.

3. De Proef in het Lab

De onderzoekers hebben dit getest met twee heel verschillende robots:

1. Een wielrobot (zoals een stofzuiger die kan sturen).
2. Een vierpotige robot (een robot-hond).

Ze gaven hen opdrachten zoals "Ga naar de rode doos" of "Vermijd de obstakels".

• Het resultaat: De robots slaagden in 76% van de gevallen.
• De precisie: Ze kwamen vaak binnen een paar centimeter (ongeveer de breedte van je handpalm) van het doelwit.
• Het mooie: Het werkte voor beide robots zonder dat ze het systeem hoefden aan te passen. Of je nu een wiel hebt of poten, de "droom" werkt voor iedereen.

Waarom is dit zo speciaal?

Vroeger moest je een robot programmeren voor elke specifieke situatie. Met DreamToNav hoef je alleen maar te praten en een foto te tonen.

• Geen ingewikkelde code: Je hoeft geen wiskundige formules te kennen.
• Veiligheid: De robot "droomt" eerst. Als de video laat zien dat hij tegen een muur zou lopen, kan het systeem dat zien voordat de robot ook maar een centimeter beweegt.
• Flexibiliteit: Het werkt in rommelige kamers, met mensen eromheen, en met verschillende soorten robots.

Kortom: DreamToNav geeft robots een verbeelding. Ze kunnen niet alleen reageren op wat ze zien, maar ze kunnen eerst "zien" wat ze gaan doen, en dat plan dan uitvoeren. Het is alsof je een robot een filmregisseur maakt die zijn eigen acties schrijft, voordat hij de set opstapt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DreamToNav: Generalizable Navigation for Robots via Generative Video Planning" in het Nederlands.

Probleemstelling

Traditionele robotnavigatie in menselijke omgevingen vereist vaak complexe, handmatig ontworpen kostenfuncties of regelgebaseerde planners om hoog niveau instructies (bijv. "volg die persoon beleefd") om te zetten in veilige bewegingen. Deze methoden worstelen met de semantische nuance van natuurlijke taal en het begrijpen van sociale cues. Bestaande benaderingen die gebruikmaken van foundation modellen (zoals Vision-Language Models) zijn vaak beperkt tot latente ruimtes die niet direct interpreteerbaar zijn, of ze vereisen specifieke training voor elke taak. Er is behoefte aan een systeem dat robots in staat stelt om complexe, semantische instructies direct om te zetten in uitvoerbare bewegingsplannen zonder uitgebreide engineering voor specifieke taken.

Methodologie: De DreamToNav-pijplijn

DreamToNav is een autonoom robotframework dat generatieve videomodellen gebruikt als een "planningsmotor". Het systeem laat robots hun acties visueel "dromen" voordat ze ze uitvoeren. De pijplijn bestaat uit drie hoofdfasen:

1. Prompt Verfijning (Qwen 2.5-VL-7B-Instruct):

   • Ruwe gebruikersinstructies (bijv. "ga daarheen") zijn vaak te vaag voor directe videogenese.
   • Het systeem gebruikt een Vision-Language Model (VLM) om de instructie te analyseren in combinatie met de huidige camera-afbeelding.
   • Het model voert een drie-staps redenering uit:
     1. Scene Grounding: Identificatie van objecten en ruimtelijke relaties.
     2. Referentie Oplossing: Het koppelen van vaag taalgebruik ("dat obstakel") aan specifieke entiteiten in de scène.
     3. Bewegings Decompositie: Het vertalen van intentie naar precieze visuele beschrijvingen (richting, snelheid, sociale constraints zoals veilige afstand).
   • Het resultaat is een gestructureerde, metrisch onderbouwde beschrijving die als prompt dient voor de volgende stap.

2. Videogenese (NVIDIA Cosmos 2.5):

   • De verfijnde prompt en de initiële frame worden gebruikt om een fysiek consistente videosequentie te synthetiseren met NVIDIA Cosmos 2.5, een wereld-foundation model getraind op fysieke interacties.
   • Het model genereert een "visueel plan" dat de robot uitvoert terwijl het rekening houdt met kinematische constraints, objectpermanentie en dynamiek van de omgeving.
   • Om de ruimtelijke informatie te verrijken, wordt er ook een synthetisch Derde-Perspectief (Third-Person View - TPV) gegenereerd. Dit biedt een globaal overzicht van de robot ten opzichte van obstakels, wat essentieel is voor robuuste pose-schatting.

3. Trajectextractie en Executie:

   • Uit de gegenereerde video wordt de beweging van de robot geëxtraheerd:
     • Detectie: Een YOLO11n-model detecteert de robot in elke frame (zowel voor wielen- en viervoeters).
     • Pose Schatting: Met behulp van ORB-SLAM3 wordt de camerapose geschat. Vervolgens wordt een 3D-pose-schatting van de robot uitgevoerd via een PnP-algoritme (Perspective-n-Point) met IPPE, gebaseerd op de bekende fysieke afmetingen van de robot en de gedetecteerde 2D-bounding boxes.
     • Filtering: Een Extended Kalman Filter (EKF) wordt toegepast om ruis te verminderen en temporale consistentie te garanderen.
     • Transformatie: De geschatte posities worden omgezet van het camerakoordinatenstelsel naar het wereldkoordinatenstelsel, resulterend in een 2D-referentietraject op de grond.
   • Dit traject wordt vervolgens direct uitgevoerd door de fysieke robot.

Belangrijkste Bijdragen

• Generatieve Videoplanning: DreamToNav introduceert een nieuw paradigma waarbij generatieve videomodellen fungeren als planningsmachines, waardoor robots complexe gedragingen kunnen "visualiseren" voordat ze ze uitvoeren.
• Mens-in-de-lus Interactie: Het systeem stelt gebruikers in staat om navigatietaken te specificeren via een scène-afbeelding en natuurlijke taal, zonder dat expliciete waypoints of trajecten nodig zijn.
• Generalisatie over Platforms: De architectuur is platformonafhankelijk. Dezelfde pijplijn werkt succesvol voor zowel een wielen-gebaseerde mobiele robot (UGV) als een viervoetige robot (quadruped), zonder aanpassingen aan de kernlogica.
• Semantische Naar Fysieke Vertaling: Door de koppeling van Qwen 2.5-VL (semantisch redeneren) en Cosmos 2.5 (fysieke simulatie) kunnen vaag geformuleerde instructies ("blijf op veilige afstand") worden vertaald naar nauwkeurige, uitvoerbare bewegingen.

Resultaten

Het systeem werd geëvalueerd in binnenomgevingen met obstakels op twee robotplatforms:

• Succesratio: DreamToNav behaalde een succesratio van 76,7% (23 van de 30 proeven).
• Nauwkeurigheid:
  • De fout in de einddoelpositie (Final Goal Error) lag doorgaans tussen 0,05 en 0,10 meter.
  • De fout in het volgen van het traject (Trajectory Tracking Error) bleef onder de 0,15 meter (gemiddeld 0,03–0,08 m voor de viervoeter).
• Vergelijking: De uitgevoerde trajecten op de fysieke robots volgden nauwkeurig de paden die waren afgeleid uit de gegenereerde video's, zoals geverifieerd door een VICON bewegingsopnamesysteem.
• Flexibiliteit: Het systeem slaagde erin obstakels te vermijden en sociale normen (zoals afstand houden) te respecteren, zowel voor de UGV als de quadruped.

Betekenis en Toekomstperspectief

DreamToNav toont aan dat generatieve videomodellen een krachtig instrument kunnen zijn voor robotbesturing, die de kloof overbrugt tussen natuurlijke taal en fysieke actie. De aanpak elimineert de noodzaak voor taakspecifieke engineering of beloningsschalen (reward shaping) voor elke nieuwe omgeving.

Hoewel er beperkingen zijn (zoals fouten die zich kunnen ophopen bij onnauwkeurige videogenese of pose-schatting), markeert dit werk een belangrijke stap naar intuïtieve, algemene robotnavigatie. De toekomstige ontwikkeling richt zich op het verbeteren van de robuustheid van de trajectextractie, het integreren van fysieke constraints direct in het generatieproces, en het testen in nog complexere omgevingen. Dit benadrukt de potentie van "generative AI for Physical AI" om robots flexibeler en mensvriendelijker te maken.