💻 computer science

NavWAM: A Navigation World Action Model for Goal-Conditioned Visual Navigation

NavWAM is een diffusion-transformer-beleid dat toekomstige visuele voorspelling, schatting van de doelvoortgangswaarde en actiegeneratie verenigt in een gedeelde latente sequentie, waardoor een robot direct closed-loop navigatie kan uitvoeren zonder afhankelijk te zijn van externe planners of actiezoekopdrachten.

Oorspronkelijke auteurs: Daichi Azuma, Taiki Miyanishi, Koya Sakamoto, Shuhei Kurita, Yaonan Zhu, Petr Khrapchenkov, Motoaki Kawanabe, Yusuke Iwasawa, Yutaka Matsuo

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daichi Azuma, Taiki Miyanishi, Koya Sakamoto, Shuhei Kurita, Yaonan Zhu, Petr Khrapchenkov, Motoaki Kawanabe, Yusuke Iwasawa, Yutaka Matsuo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een specifieke kamer in een huis te vinden, maar de robot kan alleen zien wat recht voor zijn "ogen" (een camera) staat. Hij heeft geen kaart en kan niet om de hoek kijken. Dit is de uitdaging van goal-conditioned visual navigation (doelgestuurde visuele navigatie).

Hier is het verhaal over hoe de auteurs, Daichi Azuma en zijn team, dit probleem hebben opgelost met een nieuw systeem genaamd NavWAM.

Het Probleem: De "Glazen Bol" versus de "Chauffeur"

In het verleden probeerden onderzoekers robots te leren navigeren met behulp van twee afzonderlijke instrumenten:

De Glazen Bol (World Model): Dit instrument is erg goed in het raden wat de robot zal zien als hij vooruit beweegt. "Als ik naar links draai, zie ik een keuken." "Als ik rechtdoor ga, bots ik tegen een muur."
De Chauffeur (Planner): Dit instrument kijkt naar de voorspellingen van de Glazen Bol en besluit: "Oké, de keuken ziet er goed uit, dus ik draai naar links."

De Fout: Het artikel stelt dat het apart houden van deze twee instrumenten inefficiënt is. Het is also kind van een passagier die instructies schreeuwt ("Sla linksaf!") terwijl de chauffeur moet stoppen, nadenken en dan pas draait. Dit creëert een bottleneck. De "Glazen Bol" voorspelt de toekomst, maar weet niet hoe hij de auto moet besturen om daar te komen.

De Oplossing: NavWAM (De "Chauffeur-Voorspeller")

De auteurs creëerden NavWAM (Navigation World Action Model). Denk aan NavWAM als een superchauffeur die ook in de toekomst kan kijken.

In plaats van een aparte "Glazen Bol" en een "Chauffeur" te hebben, combineert NavWAM deze tot één brein. Het raadt niet alleen wat het zal zien; het raadt tegelijkertijd wat het zal zien, hoe dicht het bij het doel is, en precies welke stuurcommando's het moet geven — allemaal tegelijkertijd.

De Creatieve Analogie: Het "Gedeelde Canvas"

Om te begrijpen hoe NavWAM werkt, stel je een schilder voor die werkt op een enkel canvas met negen verschillende panelen:

De Onderste Panelen (Wat we weten): Deze tonen het huidige beeld van de robot, waar hij nu is, en het plaatje van het doel (bijv. een foto van een specifieke stoel).
De Bovenste Panelen (Wat we voorspellen): De robot schildert deze panelen om te laten zien:
1. Wat de robot in de toekomst zal zien.
2. Hoe dicht hij bij het doel zal zijn.
3. Het belangrijkste deel: De eigenlijke stuurcommando's (de "action chunk") die nodig zijn om daar te komen.

De robot leert door dit canvas te "denoisen" (ruis te verwijderen). Het begint met een rommelige, wazige versie van de toekomst en maakt deze schoon totdat het een helder beeld heeft van het pad, de bestemming en de stappen die nodig zijn. Omdat de "stuurcommando's" op hetzelfde canvas worden geschilderd als het "toekomstige beeld", leert de robot dat hij deze specifieke acties moet uitvoeren om het doel te zien.

Hoe het de Concurrentie Verslaat

Het artikel testte NavWAM tegen twee andere soorten robots:

De Oude Manier (NWM): De robot voorspelt de toekomst en gebruikt vervolgens een complexe, trage wiskundige zoekopdracht (genoemd CEM) om te bepalen welke actie hij moet nemen. Het is als een schaker die 100 zetten berekent voordat hij er één doet.
De Directe Manier (OmniVLA): De robot kijkt simpelweg naar het doel en raadt de volgende beweging zonder aan de toekomst te denken. Het is als een chauffeur die gewoon reageert op de weg zonder vooruit te kijken.

De Resultaten:

NavWAM vs. De Oude Manier: NavWAM was veel sneller en nauwkeuriger omdat het niet hoefde te stoppen om een complexe zoekopdracht te berekenen. Het "wist" de zet gewoon. Het bereikte het doel in 79% van de echte tests, terwijl de Oude Manier slechts in 16% van de gevallen slaagde.
NavWAM vs. De Directe Manier: NavWAM presteerde net zo goed als de Directe Manier (die een veel groter, krachtiger computerbrein gebruikt), maar NavWAM had de extra superkracht om daadwerkelijk de toekomst te voorspellen.

De Test in de Praktijk

Het team heeft NavWAM niet alleen in een computersimulatie getest. Ze plaatsten NavWAM op een echte robot genaamd Diablo en stuurden hem in vier verschillende binnenomgevingen (een kantoor, een opslagruimte, een vergaderruimte en een gang).

Het Doel: Een specifieke afbeelding vinden die in die kamer is vastgelegd.
De Uitkomst: NavWAM navigeerde succesvol naar het doel in 19 van de 24 pogingen.
De "Foresight" Controle: Hoewel NavWAM de toekomstvoorspellingen niet nodig had om te bewegen (het gebruikte alleen de stuurcommando's), laat het artikel zien dat de voorspellingen verrassend accuraat waren. Wanneer de robot voorspelde "Ik zie over 4 seconden een deur", zag hij ook echt over 4 seconden een deur.

De Belangrijkste Conclusie

Het artikel concludeert dat voor een robot om goed te kunnen navigeren, hij niet alleen een "voorspeller" of alleen een "chauffeur" moet zijn. Hij moet beide tegelijkertijd zijn. Door te leren de toekomst te voorspellen én de acties die nodig zijn om die toekomst te creëren in één enkele stap, wordt de robot veel beter in het vinden van zijn weg, zelfs op plekken waar hij nog nooit eerder is geweest.

Kortom: NavWAM leert de robot om "te rijden terwijl hij vooruit kijkt", in plaats van "vooruit kijken, stoppen, berekenen en dan rijden".

Technische Samenvatting: NavWAM - Een Navigation World Action Model voor Doelgestuurde Visuele Navigatie

1. Probleemstelling

Doelgestuurde visuele navigatie vereist dat een robot navigeert van gedeeltelijke egocentrische observaties naar een specifiek doel (bijv. een doelafbeelding). Hoewel recente directe beleidmodellen (direct policies) observaties efficiënt naar acties kunnen mappen, missen zij vaak expliciete visuele vooruitziendheid — het vermogen om te anticiperen op hoe hun beweging toekomstige beelden zal veranderen en of die veranderingen hen dichter bij het doel brengen.

Converteer daar tegenover staan Navigation World Models (NWMs), die expliciet toekomstige egocentrische observaties voorspellen, geconditioneerd op kandidaat-acties. Echter, NWM's fungeren als predictiemodules in plaats van controlebeleid. Ze vertrouwen op een externe planner (typisch de Cross-Entropy Method, CEM) om over kandidaat-actiesequenties te zoeken, de voorspelde toekomsten te scoren en de beste actie te selecteren voor uitvoering. Deze scheiding creëert een bottleneck:

Computationele overhead: Test-tijd trajectoptimalisatie is vereist.
Ontkoppeling: Het geleerde wereldmodel produceert niet direct uitvoerbare acties; het closed-loop gedrag is afhankelijk van de keuzes van de externe planner in plaats van de interne representatie van het model alleen.

De centrale vraag die in dit werk wordt behandeld is: Hoe kan expliciete visuele vooruitziendheid direct bruikbaar worden gemaakt voor uitvoerbare closed-loop controle zonder afhankelijk te zijn van externe planning?

2. Methodologie: NavWAM

De auteurs stellen NavWAM (Navigation World Action Model) voor, een diffusion-transformer beleid dat toekomstvoorspelling, waardeschatting en actiegeneratie verenigt in één gezamenlijk voorspellingsprobleem.

Kernarchitectuur

NavWAM is gebouwd op Cosmos Predict2, een vooraf getraind diffusion-transformer video wereldmodel. In plaats van het model uitsluitend te gebruiken om toekomstige beelden te voorspellen voor externe planning, behandelt NavWAM navigatievariabelen als een gedeelde latente sequentie (een "latent canvas").

Latent Canvas Representatie: Het model werkt op een vaste sequentie van negen frames.
- Conditioning Frames (Geobserveerd): Een leeg frame (voor VAE temporele compressie), de huidige robottoestand, de doelafbeelding en de huidige egocentrische observatie.
- Prediction Frames (Gegenereerd): Een uitvoerbare actie-chunk, een toekomstige toestand, twee toekomstige egocentrische observaties en een scalaire waarde voor doelprogressie.
Verenigd Doel: Het model leert deze gehele sequentie simultaan te denoisen. Dit transformeert navigatie naar een gezamenlijk denoising-probleem over:
1. Toekomstige Perceptie: Het voorspellen van toekomstige egocentrische beelden ( $o_{t+H-1:t+H}$ ).
2. Doelprogressie: Het schatten van een scalaire waarde ( $v_{t+H}$ ) die de nabijheid tot het doel aangeeft.
3. Uitvoerbare Beweging: Het genereren van actie-chunks ( $a_{t:t+H-1}$ ).

Training en Inferentie

Training: Het model wordt getraind met een diffusion-doel ( $L_{diff}$ $L_{d i f f}$ ) op het latente canvas. Het actie-frame wordt zwaarder gewogen om ervoor te zorgen dat het laagdimensionale actiesignaal niet wordt overstemd door de hoogdimensionale beeldreconstructieverlies. Er worden drie trainingsmodi gebruikt:
1. Policy Mode: Conditioneert op huidige staat/observatie/doel; voorspelt actie, toekomst en waarde.
2. World-Model Mode: Conditioneert ook op actie; voorspelt de resulterende toekomst/waarde.
3. Value Mode: Conditioneert op toekomstige frames; voorspelt de waarde.
Inferentie: In de standaard Policy Mode neemt NavWAM de huidige observatie en het doel, denoiset de sequentie en geeft direct een actie-chunk uit. Deze chunk wordt uitgevoerd in een receding-horizon loop.
- Geen Externe Planner: In tegenstelling tot NWM's heeft NavWAM tijdens standaard inferentie geen CEM-stijl zoekopdrachten of kandidaat-sampling nodig.
- Optionele Best-of-N: Het model ondersteunt een optionele modus waarbij $N$ kandidaten worden gesampled en gescoord met behulp van de hulp-world-model/waarde-heads, maar de primaire resultaten maken gebruik van de standaard policy mode.

3. Belangrijkste Bijdragen

NavWAM Policy: Een nieuw architectuur die NWM-stijl visuele vooruitziendheid omzet in een actie-producerend beleid voor doelgestuurde visuele navigatie.
Gezamenlijke Voorspellingsformulering: Een methode om toekomstige observaties, doelprogressie-waarden en uitvoerbare actie-chunks in een gedeelde latente sequentie te representeren, waardoor toekomstvoorspelling direct de closed-loop actiegeneratie kan ondersteunen.
Prestaties zonder Zoekopdrachten: Demonstratie dat NavWAM de planning-gebaseerde wereldmodel-baselines overtreft zonder CEM-stijl test-tijd trajectoptimalisatie, terwijl het competitief blijft met grotere directe navigatiebeleidmodellen.

4. Experimentele Resultaten

De auteurs evalueerden NavWAM op image-goal navigatie met behulp van GO STANFORD (voor vergelijking met NWM) en SIT (voor vergelijking met OmniVLA). Real-world validatie werd uitgevoerd op een Diablo mobiele robot in vier binnenomgevingen.

Offline Benchmarks (GO STANFORD)

vs. Planning-gebaseerde Baselines: NavWAM presteerde significant beter dan Cosmos Predict2 en NWM in Absolute Trajectory Error (ATE) en Relative Pose Error (RPE).
- NavWAM (w/ Fine-tuning): ATE 0.192, RPE 0.070.
- NWM: ATE 0.453, RPE 0.107.
- Cosmos Predict2: ATE 0.455, RPE 0.109.
Behoud van Vooruitziendheid: Ondanks dat het een actie-producerend beleid is, behield NavWAM een hoge Subject Consistentie (visuele gelijkenis tussen voorspelde en grondwaarheid toekomstige beelden), waarmee het NWM overtrof (0.668 vs. 0.524).
Ablatie: De studie toonde aan dat enkelvoudige beeldvoorspelling onvoldoende is voor navigatie. Het toevoegen van actie en waarde supervisie was cruciaal, waarbij waarde-supervisie de beste prestaties leverde.

Vergelijking met Directe Beleidmodellen (SIT)

vs. OmniVLA: NavWAM (met een 2B-parameter video backbone) behaalde vergelijkbare of licht betere ATE en Success Rate (SR) dan OmniVLA (gebouwd op een 7B-parameter OpenVLA backbone).
- NavWAM: ATE 0.077 (h=4), SR 46.3%.
- OmniVLA: ATE 0.086 (h=4), SR 45.4%.

Real-World Deployment

Setup: 24 closed-loop episodes in Office, Storage, Meeting Room en Hallway omgevingen.
Success Rate: NavWAM behaalde de hoogste succesrate (79.2%, 19/24 episodes), vergeleken met OmniVLA (58.3%) en NWM (16.7%).
Kwalitatief Gedrag: NavWAM vertoonde consistent doelbereik, terwijl NWM vaak afweek en OmniVLA soms te vroeg stopte of minder directe paden nam. Real-world rollouts bevestigden dat de voorspelde toekomstige beelden kwalitatief overeenkwamen met de daaropvolgende werkelijke observaties.

5. Betekenis en Claims

Het artikel claimt dat NavWAM erin slaagt de kloof tussen visuele vooruitziendheid en uitvoerbare controle te overbruggen. De primaire betekenis ligt in het aantonen dat:

Visuele vooruitziendheid niet een aparte planningmodule hoeft te zijn. Door toekomstvoorspelling, waardeschatting en actiegeneratie te integreren in één enkele latente sequentie, leert het model vooruitziendheid direct te gebruiken voor controle.
Efficiëntie: Hoge-prestatie navigatie kan worden bereikt zonder de computationele kosten van CEM-stijl trajectoptimalisatie tijdens test-tijd.
Schaalbaarheid: Een model met een 2B-parameter backbone kan concurreren met 7B-parameter directe beleidmodellen, terwijl het de extra interpreteerbaarheid van toekomstige beelden biedt.

De auteurs concluderen dat toekomstvoorspelling het meest effectief is voor robotnavigatie wanneer deze gezamenlijk wordt geleerd met de actie- en waardetargets die het closed-loop gedrag bepalen, in plaats van als een aparte planningstap.

Beperkingen

De auteurs merken bescheiden op dat:

Evaluatie momenteel beperkt is tot image-goal navigatie in binnenomgevingen; taal- of object-gespecificeerde doelen zijn toekomstig werk.
De real-world studie beperkt is in schaal (24 episodes).
De optionele waarde-gestuurde best-of-N sampling mode niet werd gebruikt in de hoofdresultaten, en de impact ervan op robuustheid nog onderzocht moet worden.