NavThinker: Action-Conditioned World Models for Coupled Prediction and Planning in Social Navigation

Probleemstelling

Sociale navigatie vereist dat robots veilig bewegen in dynamische omgevingen met mensen. De kernuitdaging ligt in de gekoppelde aard van deze interactie: de acties van de robot beïnvloeden de beweging van mensen, en vice versa. Bestaande methoden hebben vaak moeite hiermee om de volgende redenen:

1. Kortzichtigheid (Myopie): Veel reactieve systemen kiezen acties puur op basis van huidige waarnemingen zonder na te denken over de toekomstige evolutie van de scène.
2. Ontkoppeling: Andere methoden voorspellen menselijke bewegingen als vaste invoer, onafhankelijk van de robotacties, of gebruiken zware optimalisatie die niet schaalbaar is.
3. Representatieproblemen: Bestaande wereldmodellen (world models) in RL vangen vaak niet de specifieke ruimtelijke factoren (zoals geometrie en interactierisico's) in die nodig zijn voor veilige sociale navigatie.

Het doel is dus een systeem te creëren dat "vooruit denkt" (foresight), waarbij voorspelling en planning in één model zijn samengevoegd om te anticiperen op hoe de scène evolueert onder verschillende mogelijke robotacties.

Methodologie: NavThinker

NavThinker is een raamwerk dat een actie-geconditioneerd wereldmodel koppelt aan on-policy versterkingsleer (RL). Het bestaat uit twee hoofdmodules:

1. Wereldmodel (Scene-and-Interaction World Model)

Dit model leert de dynamiek van de omgeving in de patch-feature space van Depth Anything V2 (DA-V2).

• Encoder: Een bevroren DA-V2 Vision Transformer (ViT) encodeert dieptefoto's in patch-embeddings. Dit behoudt de ruimtelijke structuur, in tegenstelling tot globale latent vectors.
• Transitiemodel: Een causale Transformer voorspelt autoregressief de toekomstige latent features ($\hat{z}_{t+1}$) gebaseerd op de huidige features en een kandidaat-actie ($a$).
• Decoders: Er zijn meerdere decoders die vanuit de voorspelde latent features specifieke taken uitvoeren:
  • Dieptedecoder: Reconstructie van toekomstige dieptekaarten (voor navigatie en traversability).
  • Trajectdecoders: Voorspelling van de toekomstige paden van $N$ mensen (voor interactierisico's).
  • Reward-decoder: Voorspelling van een beloningssignaal.
• Training: Het model wordt getraind met een verliesfunctie die bestaat uit latent-consistentie (om de voorspelling te laten overeenkomen met de werkelijkheid) en taakspecifieke losses voor diepte en trajecten.

2. Versterkingsleer met Verbeelding (Imagination-Augmented Policy)

Het beleidsnetwerk (policy) wordt getraind met DD-PPO (Decentralized Distributed PPO) en maakt gebruik van het wereldmodel als een "verbeeldingsmotor".

• Think-Ahead Mechanismen: Om het beleid toekomstbewust te maken, worden twee mechanismen gebruikt:
  1. Fusie van Toekomstige Features: Voor elke mogelijke actie genereert het wereldmodel een toekomstige latent feature. Deze worden gefuseerd met de huidige waarneming in de embedding van het beleidsnetwerk. Hierdoor kan de robot "nadenken" over de uitkomst van elke actie voordat hij handelt.
  2. Sociale Reward Shaping: De voorspelde menselijke trajecten worden gebruikt om de beloningsfunctie te vormen. Als een voorspelde toekomstige interactie leidt tot een botsing of ongemak, krijgt de robot een straf. Dit koppelt de voorspelling direct aan de besluitvorming.
• Observatie: De robot ziet een egocentrische dieptekaart, zijn eigen pose en het doel.

Belangrijkste Bijdragen

1. NavThinker Framework: Een nieuw raamwerk dat een actie-geconditioneerd wereldmodel koppelt aan beleidsoptimalisatie, specifiek ontworpen voor sociale navigatie.
2. Ruimtelijke Fidelity: Gebruik van de DA-V2 patch-feature space in plaats van globale vectors, wat zorgt voor betere representatie van geometrie en interactiezones.
3. Gekoppelde Voorspelling en Planning: Introductie van twee mechanismen (feature-fusie en reward-shaping) die het wereldmodel direct integreren in het trainingsproces van het beleid, waardoor het systeem echt kan anticiperen op menselijke reacties.
4. Empirische Validatie: Succesvolle toepassing in zowel simulatie (enkelvoudige en meervoudige robots) als op een echte Unitree Go2 robot.

Resultaten

De auteurs hebben NavThinker getest op de Social-HM3D en Social-MP3D benchmarks.

• Enkelrobot (Single-Robot): NavThinker behaalde state-of-the-art resultaten op Social-HM3D. Het verbeterde de success rate (SR) met 3,2% en de SPL (Success Weighted by Path Length) met 2,95% ten opzichte van de vorige beste methode (Falcon), terwijl het aantal botsingen met mensen (H-Coll) daalde van 41,22% naar 39,09%.
• Meervoudige Robots (Multi-Robot): In een complexere setting met meerdere robots die onafhankelijk navigeren zonder communicatie, overtrof NavThinker alle baselines (inclusief A*, ORCA en andere RL-methoden) op zowel individuele als team-niveau metrics (Team SR en Team SPL).
• Zero-Shot Generalisatie: Het model, getraind op Social-HM3D, presteerde goed op Social-MP3D zonder fijnafstemming (zero-shot transfer), wat aantoont dat het geleerde wereldmodel generaliseert over verschillende omgevingen.
• Real-World Deployment: Het systeem werd succesvol gedeployeerd op een Unitree Go2 hond-robot in de echte wereld, waar het veilig door mensenmenigten navigeerde.

Ablatie Studies

De studies bevestigden het belang van de componenten:

• Het toevoegen van lookahead-imagination (fusie van toekomstige features) verbeterde de success rate aanzienlijk (+12,51% in de enkelrobot setting).
• Het toevoegen van sociale reward shaping (gebaseerd op voorspelde trajecten) gaf een extra verbetering (+3,59%).
• Het gebruik van diepte- en trajectdecoders in het wereldmodel verbeterde de kwaliteit van de "verbeelding" (hogere cosine similarity en lagere RMSE), wat direct leidde tot betere beleidsprestaties.

Significantie

NavThinker is significant omdat het de kloof tussen voorspelling en planning in sociale navigatie overbrugt. In plaats van te reageren op wat er nu gebeurt, of te plannen tegen statische voorspellingen, stelt het systeem de robot in staat om acties te simuleren en de daaruit voortvloeiende menselijke reacties te anticiperen. Door de combinatie van ruimtelijk rijke features (via DA-V2) en een gesloten lus tussen voorspelling en planning, bereikt het een hoger niveau van sociale intelligentie en veiligheid dan bestaande methoden. Dit vormt een belangrijke stap naar robuuste, autonome robots die veilig kunnen opereren in drukke, menselijke omgevingen.