💻 computer science

NavWAM: A Navigation World Action Model for Goal-Conditioned Visual Navigation

NavWAM est une politique de type transformateur de diffusion qui unifie la prédiction visuelle future, l'estimation de la valeur de progression vers l'objectif et la génération d'actions au sein d'une séquence latente partagée, permettant à un robot d'exécuter directement une navigation en boucle fermée sans dépendre de planificateurs externes ou de recherche d'actions.

Auteurs originaux : Daichi Azuma, Taiki Miyanishi, Koya Sakamoto, Shuhei Kurita, Yaonan Zhu, Petr Khrapchenkov, Motoaki Kawanabe, Yusuke Iwasawa, Yutaka Matsuo

Publié 2026-06-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daichi Azuma, Taiki Miyanishi, Koya Sakamoto, Shuhei Kurita, Yaonan Zhu, Petr Khrapchenkov, Motoaki Kawanabe, Yusuke Iwasawa, Yutaka Matsuo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment trouver une pièce spécifique dans une maison, mais le robot ne peut voir que ce qui se trouve directement devant ses « yeux » (une caméra). Il n'a pas de carte et ne peut pas voir autour des coins. C'est le défi de la navigation visuelle conditionnée par un objectif.

Voici l'histoire de la manière dont les auteurs, Daichi Azuma et son équipe, ont résolu ce problème avec un nouveau système appelé NavWAM.

Le Problème : La « Boule de Cristal » vs Le « Chauffeur »

Par le passé, les chercheurs tentaient d'apprendre aux robots à naviguer en utilisant deux outils distincts :

La Boule de Cristal (Modèle de Monde) : Cet outil est excellent pour deviner ce que le robot verra s'il avance. « Si je tourne à gauche, je verrai une cuisine. » « Si je vais tout droit, je heurterai un mur. »
Le Chauffeur (Planificateur) : Cet outil observe les suppositions de la Boule de Cristal et décide : « D'accord, la cuisine a l'air d'être une bonne option, donc je tourne à gauche. »

La Faille : L'article soutient que garder ces deux éléments séparés est inefficace. C'est comme avoir un passager qui hurle des directions (« Tourne à gauche ! ») pendant que le chauffeur doit s'arrêter, réfléchir, puis tourner. Cela crée un goulot d'étranglement. La « Boule de Cristal » prédit l'avenir, mais elle ne sait pas comment conduire la voiture pour y parvenir.

La Solution : NavWAM (Le « Chauffeur-Prédicteur »)

Les auteurs ont créé NavWAM (Navigation World Action Model). Considérez NavWAM comme un super-chauffeur capable aussi de voir l'avenir.

Au lieu d'avoir une « Boule de Cristal » et un « Chauffeur » séparés, NavWAM les combine en un seul cerveau. Il ne se contente pas de deviner ce qu'il verra ; il devine ce qu'il verra, à quel point il est proche de l'objectif, et exactement les commandes de direction à donner — tout cela, en même temps.

L'Analogie Créative : Le « Canevas Partagé »

Pour comprendre comment fonctionne NavWAM, imaginez un peintre travaillant sur un canevas unique composé de neuf panneaux différents :

Les Panneaux Inférieurs (Ce que nous savons) : Ils montrent la vue actuelle du robot, où il se trouve actuellement, et l'image de l'objectif (par exemple, la photo d'une chaise spécifique).
Les Panneaux Supérieurs (Ce que nous prédisons) : Le robot peint ces panneaux pour montrer :
1. Ce que le robot verra dans le futur.
2. À quel point il sera proche de l'objectif.
3. La partie la plus importante : Les commandes de direction réelles (le « bloc d'action » ou action chunk) nécessaires pour y parvenir.

Le robot apprend en « débruitant » ce canevas. Il commence par une version désordonnée et floue du futur et l'affine jusqu'à obtenir une image claire du chemin, de la destination et des étapes à suivre. Parce que les « commandes de direction » sont peintes sur le même canevas que la « vue future », le robot apprend que pour voir l'objectif, il doit effectuer ces actions spécifiques.

Comment il bat la concurrence

L'article a testé NavWAM contre deux autres types de robots :

L'Ancienne Méthode (NWM) : Le robot prédit l'avenir, puis utilise une recherche mathématique complexe et lente (appelée CEM) pour déterminer quelle action entreprendre. C'est comme un joueur d'échecs qui calcule 100 coups avant d'en faire un seul.
La Méthode Directe (OmniVLA) : Le robot regarde simplement l'objectif et devine le prochain mouvement sans réfléchir au futur. C'est comme un conducteur qui réagit simplement à la route sans regarder devant lui.

Les Résultats :

NavWAM vs L'Ancienne Méthode : NavWAM était beaucoup plus rapide et précis car il n'avait pas besoin de s'arrêter pour calculer une recherche complexe. Il « savait » simplement le mouvement à faire. Il a atteint l'objectif dans 79 % des tests en conditions réelles, alors que l'Ancienne Méthode n'a réussi que 16 % du temps.
NavWAM vs La Méthode Directe : NavWAM a obtenu des performances similaires à la Méthode Directe (qui utilise un cerveau informatique beaucoup plus grand et puissant), mais NavWAM possédait le superpouvoir supplémentaire de réellement prédire à quoi ressemblera le futur.

Le Test en Conditions Réelles

L'équipe n'a pas seulement testé cela dans une simulation informatique. Ils ont installé NavWAM sur un vrai robot nommé Diablo et l'ont envoyé dans quatre environnements intérieurs différents (un bureau, une salle de stockage, une salle de réunion et un couloir).

L'Objectif : Trouver une image spécifique capturée dans cette pièce.
Le Résultat : NavWAM a réussi à naviguer vers l'objectif dans 19 cas sur 24.
Le Contrôle de la « Prévoyance » : Même si NavWAM n'avait pas besoin d'utiliser ses prédictions futures pour se déplacer (il utilisait simplement les commandes de direction), l'article montre que ses prédictions étaient étonnamment précises. Quand le robot prédisait « Je verrai une porte dans 4 secondes », il voyait effectivement une porte 4 secondes plus tard.

La Grande Conclusion

L'article conclut que pour qu'un robot navigue bien, il ne doit pas être seulement un « prédicteur » ou juste un « chauffeur ». Il doit être les deux à la fois. En apprenant à prédire le futur et les actions requises pour créer ce futur en une seule étape, le robot devient bien meilleur pour trouver son chemin, même dans des endroits qu'il n'a jamais vus auparavant.

En bref : NavWAM apprend au robot à « conduire en regardant devant soi », plutôt que de « regarder devant, s'arrêter, calculer, puis conduire ».

Résumé Technique : NavWAM - Un Modèle de Monde d'Action de Navigation pour la Navigation Visuelle Conditionnée par un Objectif

1. Énoncé du Problème

La navigation visuelle conditionnée par un objectif nécessite qu'un robot navigue d'observations égocentrées partielles vers un objectif spécifié (par exemple, une image cible). Bien que les politiques directes récentes puissent mapper efficacement les observations vers des actions, elles manquent souvent de prospective visuelle explicite — la capacité d'anticiper comment leur mouvement modifiera les vues futures et si ces changements les rapprochent de l'objectif.

Inversement, les Modèles de Monde de Navigation (NWM - Navigation World Models) prédisent explicitement les observations égocentrées futures conditionnées sur des actions candidates. Cependant, les NWM fonctionnent comme des modules de prédiction plutôt que comme des politiques de contrôle. Ils reposent sur un planificateur externe (généralement utilisant la Méthode de l'Estimation par Échantillonnage de Cross-Entropy, CEM) pour rechercher parmi des séquences d'actions candidates, évaluer les futurs prédits et sélectionner la meilleure action à exécuter. Cette séparation crée un goulot d'étranglement :

Surcharge de Calcul : Une optimisation de trajectoire au moment du test est requise.
Découplage : Le modèle de monde appris ne produit pas directement des actions exécutables ; le comportement en boucle fermée dépend des choix du planificateur externe plutôt que de la représentation interne du modèle lui-même.

La question centrale abordée par ce travail est : Comment la prospective visuelle explicite peut-elle être rendue directement utilisable pour un contrôle en boucle fermée exécutable sans dépendre d'une planification externe ?

2. Méthodologie : NavWAM

Les auteurs proposent NavWAM (Navigation World Action Model), une politique de diffusion-transformer qui unifie la prédiction future, l'estimation de la valeur et la génération d'actions en un seul problème de prédiction conjointe.

Architecture Centrale

NavWAM est construit sur Cosmos Predict2, un modèle de monde vidéo de type diffusion-transformer pré-entraîné. Au lieu d'utiliser le modèle uniquement pour prédire des vues futures pour une planification externe, NavWAM traite les variables de navigation comme une séquence latente partagée (un « canevas latent »).

Représentation du Canevas Latent : Le modèle opère sur une séquence latente fixe de neuf images.
- Images de Conditionnement (Observées) : Une image vide (pour la compression temporelle VAE), l'état actuel du robot, l'image de l'objectif et l'observation égocentrée actuelle.
- Images de Prédiction (Générées) : Un bloc d'actions exécutables (action chunk), un état futur, deux observations égocentrées futures et une valeur scalaire de progression vers l'objectif.
Objectif Unifié : Le modèle apprend à débruiter cette séquence entière simultanément. Cela transforme la navigation en un problème de débruitage conjoint sur :
1. Perception Future : Prédire les vues égocentrées futures ( $o_{t+H-1:t+H}$ ).
2. Progression vers l'Objectif : Estimer une valeur scalaire ( $v_{t+H}$ ) indiquant la proximité de l'objectif.
3. Mouvement Exécutable : Générer des blocs d'actions ( $a_{t:t+H-1}$ ).

Entraînement et Inférence

Entraînement : Le modèle est entraîné à l'aide d'un objectif de diffusion ( $L_{diff}$ $L_{d i f f}$ ) sur le canevas latent. Le cadre d'action est pondéré plus fortement pour garantir que le signal d'action de faible dimension ne soit pas dominé par la perte de reconstruction d'image de haute dimension. Trois modes d'entraînement sont utilisés :
1. Mode Politique : Se conditionne sur l'état actuel/l'observation/l'objectif ; prédit l'action, le futur et la valeur.
2. Mode Modèle de Monde : Se conditionne également sur l'action ; prédit le futur/la valeur résultants.
3. Mode Valeur : Se conditionne sur les images futures ; prédète la valeur.
Inférence : Dans le Mode Politique par défaut, NavWAM prend l'observation actuelle et l'objectif, débruite la séquence, et produit directement un bloc d'actions. Ce bloc est exécuté dans une boucle à horizon fuyant (receding-horizon).
- Pas de Planificateur Externe : Contrairement aux NWM, NavWAM ne nécessite pas de recherche de type CEM ou d'échantillonnage de candidats lors de l'inférence standard.
- Best-of-N Optionnel : Le modèle supporte un mode optionnel où $N$ candidats sont échantillonnés et évalués à l'aide des têtes auxiliaires de modèle de monde/valeur, mais les résultats principaux utilisent le mode politique par défaut.

3. Contributions Clés

Politique NavWAM : Une nouvelle architecture qui convertit la prospective visuelle de type NWM en une politique produisant des actions pour la navigation visuelle conditionnée par un objectif.
Formulation de Prédiction Conjointe : Une méthode pour représenter les observations futures, les valeurs de progression vers l'objectif et les blocs d'actions exécutables dans une séquence latente partagée, permettant à la prédiction future de soutenir directement la génération d'actions en boucle fermée.
Performance sans Recherche : Démonstration que NavWAM surpasse les bases de modèles de monde basées sur la planification sans nécessiter d'optimisation de trajectoire au moment du test de type CEM, tout en restant compétitif avec les politiques de navigation directe plus larges.

4. Résultats Expérimentaux

Les auteurs ont évalué NavWAM sur la navigation par image-objectif en utilisant GO STANFORD (pour la comparaison avec NWM) et SIT (pour la comparaison avec OmniVLA). Une validation en conditions réelles a été réalisée sur un robot mobile Diablo dans quatre environnements intérieurs.

Benchmarks Hors-Ligne (GO STANFORD)

vs. Baselines Basées sur la Planification : NavWAM a significativement surpassé Cosmos Predict2 et NWM en erreur de trajectoire absolue (ATE) et en erreur de pose relative (RPE).
- Nav Wam (avec Fine-tuning) : ATE 0,192, RPE 0,070.
- NWM : ATE 0,453, RPE 0,107.
- Cosmos Predict2 : ATE 0,455, RPE 0,109.
Préservation de la Prospective : Malgré son statut de politique produisant des actions, NavWAM a maintenu une haute Cohérence de Sujet (similitude visuelle entre les vues futures prédites et les vues réelles futures), surpassant le NWM (0,668 contre 0,524).
Ablation : L'étude a montré que la prédiction future basée uniquement sur l'image est insuffisante pour la navigation. L'ajout de la supervision de l'action et de la valeur était critique, la supervision de la valeur offrant la meilleure performance.

Comparaison avec les Politiques Directes (SIT)

vs. OmniVLA : NavWAM (utilisant un backbone vidéo de 2 milliards de paramètres) a obtenu des résultats comparables ou légèrement supérieurs en ATE et en Taux de Succès (SR) par rapport à OmniVLA (construit sur un backbone OpenVLA de 7 milliards de paramètres).
- NavWAM : ATE 0,077 (h=4), SR 46,3 %.
- OmniVLA : ATE 0,086 (h=4), SR 45,4 %.

Déploiement en Conditions Réelles

Configuration : 24 épisodes en boucle fermée dans des environnements de type Bureau, Stockage, Salle de réunion et Couloir.
Taux de Succès : NavWAM a atteint le taux de succès le plus élevé (79,2 %, 19/24 épisodes), comparé à OmniVLA (58,3 %) et NWM (16,7 %).
Comportement Qualitatif : NavWAM a démontré une atteinte d'objectif cohérente, tandis que le NWM dérivait souvent et OmniVLA s'arrêtait parfois prématurément ou prenait des chemins moins directs. Les déploiements réels ont confirmé que les vues futures prédites correspondaient qualitativement aux observations réelles suivantes.

5. Signification et Revendications

L'article affirme que NavWAM comble avec succès le fossé entre la prospective visuelle et le contrôle exécutable. Sa principale importance réside dans la démonstration que :

La prospective visuelle n'a pas besoin d'être un module de planification séparé. En intégrant la prédiction future, l'estimation de la valeur et la génération d'actions dans une séquence latente unique, le modèle apprend à utiliser la prospective directement pour le contrôle.
Efficacité : Une navigation de haute performance peut être obtenue sans le coût de calcul de l'optimisation de trajectoire de type CEM au moment du test.
Scalabilité : Un modèle doté d'un backbone de 2 milliards de paramètres peut rivaliser avec des politiques directes de 7 milliards de paramètres tout en offrant l'interprétabilité supplémentaire des prédictions de vues futures.

Les auteurs concluent que la prédiction future est plus efficace pour la navigation robotique lorsqu'elle est apprise conjointement avec les cibles d'action et de valeur qui déterminent le comportement en boucle fermée, plutôt que comme une étape de planification séparée.

Limites

Les auteurs notent modestement que :

L'évaluation est actuellement limitée à la navigation par image-objectif dans des environnements intérieurs ; les objectifs basés sur le langage ou les objets constituent des travaux futurs.
L'étude en conditions réelles est limitée en échelle (24 épisodes).
Le mode d'échantillonnage optionnel "best-of-N" guidé par la valeur n'a pas été utilisé dans les résultats principaux, et son impact sur la robustesse reste à étudier.