💻 computer science

Qwen-RobotNav Technical Report: A Scalable Navigation Model Designed for an Agentic Navigation System

Qwen-RobotNav est un modèle de navigation paramétré et évolutif, entraîné sur 15,6 millions d'échantillons, qui permet aux systèmes agentiques de reconfigurer dynamiquement les stratégies d'observation et les modes de tâche lors de l'inférence sans changements architecturaux, atteignant des performances de pointe et une forte généralisation zero-shot à travers divers benchmarks et robots réels.

Auteurs originaux : Jiazhao Zhang, Gengze Zhou, Hale Yin, Yiyang Huang, Zixing Lei, Qihang Peng, Haoqi Yuan, Jie Zhang, Xudong Guo, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Zhuoyuan Yu

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiazhao Zhang, Gengze Zhou, Hale Yin, Yiyang Huang, Zixing Lei, Qihang Peng, Haoqi Yuan, Jie Zhang, Xudong Guo, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Zhuoyuan Yu, Jingyang Fan, Zhixuan Liang, Pei Lin, Ye Wang, Anzhe Chen, Kun Yan, Xiao Xu, Jiahao Li, Lulu Hu, Minying Zhang, Shurui Li, Wenhu Xiao, Shuai Bai, Xuancheng Ren, Chenxu Lv, Chenfei Wu, Xiong-Hui Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un chien-robot super intelligent ou une voiture autonome. Vous voulez qu'il fasse beaucoup de choses différentes : suivre une instruction orale comme « va à la cuisine », poursuivre une personne en mouvement, trouver une paire de clés perdues ou conduire prudemment dans la circulation.

Habituellement, construire un robot capable de faire toutes ces choses revient à essayer d'embaucher une seule personne qui serait à la fois un chef cuisinier de génie, un pilote de course et un détective. C'est incroyablement difficile car chaque métier nécessite une façon différente de percevoir le monde. Un détective doit se souvenir d'indices datant d'il y a plusieurs heures, tandis qu'un pilote de course ne se soucie que de ce qui se passe juste devant lui à cet instant précis.

Qwen-RobotNav est un nouveau « cerveau » pour les robots qui résout ce problème. Au lieu de construire un cerveau distinct pour chaque tâche, les chercheurs ont construit un cerveau flexible capable de changer de « lunettes » selon ce qu'il fait.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le cerveau « Couteau Suisse »

Voyez Qwen-RobotNav comme un couteau suisse. La plupart des robots de navigation sont comme un tournevis unique ; ils sont excellents pour une chose mais inutiles pour les autres. Qwen-RobotNav est l'outil complet.

L'interrupteur : Il possède un « commutateur de mode ». Si vous lui dites « suis cette personne », il passe en Mode Suivi (Tracking Mode). Dans ce mode, il enfile des « lunettes rapides » qui ne regardent que les dernières secondes de vidéo, ignorant le passé lointain pour pouvoir réagir instantanément.
La mémoire : Si vous lui dites « cherche le canapé rouge », il passe en Mode Recherche (Search Mode). Ici, il enfile des « lunettes grand angle » qui se souviennent de tout ce qu'il a vu au cours des 10 dernières minutes, pour éviter de tourner en rond.
La magie : Le plus beau, c'est que vous n'avez pas besoin de réentraîner le robot pour changer ces lunettes. Vous lui dites simplement quoi faire, et il ajuste instantanément sa façon de prêter attention au monde.

2. Un « Budget Intelligent » pour les yeux

Les robots ont une limite sur la quantité d'informations visuelles qu'ils peuvent traiter à la fois (comme un ordinateur qui manque de RAM).

Le problème : Si un robot regarde 100 images de vidéo, il peut être submergé. S'il n'en regarde qu'une seule, il peut manquer un détail crucial.
La solution : Qwen-RobotNav utilise un Budget Intelligent. Imaginez que vous avez 100 $ pour acheter des photos d'une pièce.
- Si vous conduisez, vous dépensez la majeure partie de votre argent pour l'image de la route actuelle (la vue avant) et très peu pour la vue arrière.
- Si vous cherchez un objet perdu, vous répartissez votre argent pour acheter des images de toute la pièce sur les dernières minutes.
- Le robot apprend à faire ce calcul automatiquement. Il décide exactement combien de « pixels » (détails visuels) conserver pour chaque caméra et chaque instant, en fonction de la tâche.

3. Apprendre d'un « Mega-Mix » d'expériences

Pour enseigner à ce robot, les chercheurs ne se sont pas contentés de lui montrer un seul type de vidéo. Ils l'ont nourri d'un énorme « smoothie » de 15,6 millions d'expériences différentes :

Suivi d'instructions : « Tourne à gauche au niveau de la chaise bleue. »
Navigation par point : « Va aux coordonnées (5, 2). »
Recherche d'objets : « Trouve la télécommande de la télévision. »
Suivi (Tracking) : « Suis l'homme au chapeau noir. »
Conduite : « Conduis prudemment à travers une intersection. »

Ils ont également mélangé des « connaissances générales du monde » (comme lire des panneaux ou reconnaître des objets) afin que le robot n'oublie pas comment comprendre le langage tout en apprenant à se déplacer. Cela empêche le robot de devenir une « machine à réflexes sans pensée » qui se contente de bouger sans réfléchir.

4. Le système « Manager et Ouvrier »

Pour les tâches très longues et complexes (comme « Trouve le parapluie vert au café et dis-moi s'il est là »), le robot travaille en équipe :

Le Manager (Planificateur de haut niveau) : C'est une IA de haut niveau qui décompose le grand objectif en petites étapes. Il décide : « D'abord, va dans le couloir. Ensuite, cherche le café. »
L'Ouvrier (Qwen-RobotNav) : C'est le modèle de navigation. Le Manager dit à l'Ouvrier : « Va au café, mais utilise ton « Mode Recherche » avec un gros budget de mémoire. »
La boucle : L'Ouvrier y va, trouve le café et rapporte : « Je suis ici, mais pas de parapluie. » Le Manager met à jour sa mémoire et dit : « D'accord, vérifie la table suivante. » Cela se répète jusqu'à ce que le travail soit terminé.

5. Résultats dans le monde réel

L'article montre que ce robot n'est pas seulement un tour de magie en simulation.

Il gagne des compétitions : Il a battu d'autres robots de haut niveau lors de tests de suivi d'instructions, de recherche d'objets et de suivi de cibles mobiles.
Il conduit : Il a appris à conduire des voitures en toute sécurité dans des simulations de trafic complexes.
Il fonctionne sur de vrais robots : L'équipe a testé ce système sur un vrai chien-robot dans un vrai bâtiment qu'il n'avait jamais vu auparavant. Ils lui ont donné des instructions verbales comme « Marche vers la salle médicale, puis fais demi-tour et marche à reculons. » Le robot a navigué avec succès dans l'étrange bâtiment, a utilisé des points de repère pour trouver son chemin et a même marché à reculons exactement comme demandé.

En résumé : Qwen-RobotNav est un cerveau de navigation universel qui apprend à « accorder » sa propre attention. Il sait quand se concentrer sur le moment présent et quand se souvenir du passé, permettant à un seul robot d'être à la fois un conducteur, un suiveur et un chercheur.

Résumé Technique : Qwen-RobotNav

Énoncé du Problème

La navigation incarnée englobe une famille diversifiée de tâches — incluant le suivi d'instructions, la navigation vers un point cible, la recherche d'objets, le suivi de cibles et la conduite autonome. Bien que des modèles de navigation unifiés récents aient démontré qu'une architecture unique peut gérer plusieurs familles de tâches, ils ne parviennent pas à répondre à une exigence critique pour les systèmes de navigation agentiques : le besoin d'une stratégie d'observation qui puisse être reconfigurée de manière externe au moment de l'inférence.

Différentes tâches de navigation exigent des contextes temporels et des stratégies de mémoire fondamentalement différents. Par exemple, le suivi d'instructions nécessite de conserver des observations s'étendant sur des dizaines d'étapes antérieures pour référencer des points de repère lointains, tandis que le suivi de cibles repose presque exclusivement sur les images les plus récentes, traitant l'historique obsolète comme du bruit. La recherche d'objets complique davantage la donne en faisant varier les exigences au sein d'un même épisode (passant d'une mémoire globale large lors de l'exploration à une attention focalisée sur la récence lors de l'approche). Les modèles unifiés existants (par exemple, NavFoM, ABot-N0) intègrent une hypothèse unique et fixe sur les observations pertinentes (par exemple, un sous-échantillonnage uniforme ou des fenêtres glissantes), ce qui les rend incapables de s'adapter en milieu d'épisode ou de servir de blocs de construction flexibles pour des planificateurs de haut niveau.

Méthodologie

Les auteurs introduisent Qwen-RobotNav, un modèle de navigation évolutif basé sur l'architecture Qwen3-VL. Plutôt que de concevoir des architectures spécifiques à chaque tâche, les auteurs recadrent le défi comme une problématique de modélisation du contexte d'observation. L'innovation centrale est une interface paramétrée qui permet à un agent externe de configurer dynamiquement la manière dont le modèle consomme le flux visuel sans modification architecturale ni réentraînement spécifique à la tâche.

1. Architecture et Interface

Qwen-RobotNav hérite de l'encodeur de vision et du socle linguistique de Qwen3-VL, augmentés d'une tête d'action MLP légère à 4 couches qui prédit une trajectoire de 8 points de passage $(x, y, \theta)$ . Le modèle expose deux dimensions de configuration complémentaires :

Modes de Tâche : Le modèle supporte plusieurs modes (VLN, PointNav, ObjNav, Tracking) sélectionnables via des invites de langage naturel. Il ne s'agit pas de politiques distinctes, mais de différentes interfaces pour les mêmes poids du modèle.
Paramètres d'Observation Contrôlables : Le modèle accepte une configuration $\Phi = (B, \gamma, \{w_c\}, m, b_{min}, b_{max})$ $Φ = (B, γ, {w_{c}}, m, b_{min}, b_{ma x})$ qui régit l'allocation des jetons (tokens) visuels :
- Budget de Jetons ( $B$ ) : Nombre total de jetons visuels à travers toutes les caméras et tous les instants.
- Décroissance Temporelle ( $\gamma$ ) : Contrôle le biais de récence, accordant un poids plus important aux images récentes qu'aux plus anciennes.
- Poids des Caméras ( $w_c$ ) : Multiplicateurs d'importance par caméra (par exemple, la caméra avant est plus pondérée que l'arrière).
- Échantillonnage de Cadres ( $m$ ) : Aléatoire (couverture globale) ou Dernier (fenêtre de récence).

2. Encodage d'Observation Adaptatif à la Tâche

Le modèle emploie un algorithme d'allocation de jetons contraint. Étant donné un budget $B$ , il distribue les jetons sur $T'$ cadres et $N$ caméras en fonction d'une matrice de poids jointe $W[t, c] = \omega_t \cdot w_c$ . L'algorithme garantit un seuil minimum ( $b_{min}$ ) et un plafond maximum ( $b_{max}$ ) par image, en redistribuant les jetons excédentaires de manière itérative. Cela permet au modèle d'ajuster dynamiquement la résolution et la longueur du contexte selon les besoins de la tâche (par exemple, une haute résolution pour les cadres récents dans le suivi, ou une couverture plus large pour l'exploration).

3. Stratégie d'Entraînement

Échelle des Données : Le modèle est entraîné sur 15,6 millions d'échantillons, comprenant 85 % de données de planification de trajectoire de navigation (couvrant le suivi d'instructions, le point-goal, l'object-goal, le suivi et la conduite autonome) et 15 % de données de raisonnement visuel-linguistique liées à la navigation.
Randomisation au Moment de l'Entraînement : Un principe de conception critique est qu'aucune configuration d'observation n'est fixe pendant l'entraînement. Les hyperparamètres ( $B, \gamma, w_c$ , etc.) sont indépendamment randomisés par échantillon. Cela garantit que le modèle généralise à toute configuration d'inférence sans réglage spécifique à la tâche.
Co-entraînement : Les données de raisonnement visuel-linguistique sont co-entraînées pour éviter l'« effondrement » en simples mappeurs de séquences d'actions réactives, préservant ainsi les capacités de perception en monde ouvert et de raisonnement spatial du modèle.
Conscience de l'Embodiment : Différentes plateformes physiques (robots vs voitures) sont distinguées via des préambules d'invite en langage naturel (ex: "Imagine que tu es un robot..."), ne nécessitant aucun changement architectural.

4. Système de Navigation Agentique

Qwen-RobotNav est conçu comme un exécuteur réactif au sein d'un système agentique hiérarchique. Un planificateur de haut niveau (ex: Qwen3.6-Plus) décompose les objectifs à long terme en sous-tâches, changeant dynamiquement le mode de tâche et la stratégie de contexte de Qwen-RobotNav en milieu d'épisode. Le système maintient une mémoire à deux niveaux : un résumé compact de l'épisode unique et un « carnet de preuves » persistant et transversal aux épisodes pour le raisonnement à long terme.

Contributions Clés

Interface de Navigation Paramétrée : Un modèle unifié qui permet une reconfiguration externe des stratégies d'observation (budget de jetons, décroissance temporelle, poids des caméras) au moment de l'inférence, permettant à un seul modèle de servir diverses tâches et sous-objectifs dynamiques.
Randomisation au Moment de l'Entraînement : Un régime d'entraînement qui expose le modèle à un vaste espace combinatoire de configurations de contexte, assurant une généralisation robuste "zero-shot" à tout paramètre d'inférence sans ajustement fin (fine-tuning).
Bloc de Construction Agentique : Une démonstration de la façon dont un modèle de fondation de navigation peut servir de primitive modulaire et reconfigurable pour des systèmes agentiques complexes, permettant des tâches à long terme comme l'Embodied Question Answering (EQA) grâce au changement de tâche dynamique.
Apprentissage Multi-Tâche Scalable : Le co-entraînement à travers cinq familles de tâches distinctes (incluant la conduite autonome) développe un substrat de planification spatiale partagé qui se transfère entre les familles de tâches et les embodiments.

Résultats Expérimentaux

Qwen-RobotNav atteint des résultats de pointe (SOTA) ou compétitifs sur divers benchmarks :

Navigation Visuelle et Linguistique (VLN-CE) :
- RxR Val-Unseen : 76,5 % de taux de succès (SR) et 72,5 nDTW (modèle 8B), surpassant NavFoM de 12,1 % en SR.
- R2R Val-Unseen : 72,1 % SR (modèle 8B), surpassant NavFoM de 10,4 % en SR.
- VLNVerse : 63,75 % SR sur les splits fins et 46,59 % sur les splits grossiers, surpassant significativement NavFoM et Uni-NaVid.
Navigation par Objectif (Object-Goal Navigation) :
- HM3D v2 : 75,6 % SR (modèle 4B), établissant un nouveau SOTA sur ce benchmark malgré l'utilisation de seules observations RGB (pas de profondeur).
- HM3D-OVON : 57,7 % SR sur le split "Seen" et 60,1 % sur "Synonyms", surpassant ABot-N0 malgré l'utilisation d'une seule caméra frontale contre l'entrée panoramique d'ABot-N0.
Suivi Visuel Actif (EVT-Bench) :
- Atteint le taux de suivi le plus élevé (90,0 % TR) parmi toutes les méthodes évaluées, dépassant ABot-N0 (87,6 %) et TrackVLA++ (81,0 %).
Conduite Autonome (NAVSIM) :
- Atteint 91,4 PDMS (modèle 4B) et 90,9 PDMS (modèle 8B), surpassant NavFoM, AutoVLA et d'autres modèles de conduite spécialisés.
Embodied Question Answering (EQA) :
- Un système agentique construit avec Qwen-RobotNav établit de nouveaux SOTA sur HM-EQA (76,7 SR), MT-HM3D (54,4 SR), et EXPRESS-Bench (79,27 score LLM), s'améliorant par rapport à la meilleure méthode précédente de 10,8 % et 15,4 % respectivement, tout en nécessitant 77 % de pas de navigation en moins.
Déploiement en Monde Réel :
- Démontré un transfert zero-shot vers un robot quadrupède Unitree Go2 dans une salle d'exposition réelle, exécutant avec succès des instructions linguistiques complexes (ex: "recule", "arrête-toi à côté du canapé") et des tâches agentiques à long terme (ex: trouver un objet spécifique et rapporter les observations).

Signification et Revendications

L'article affirme que Qwen-RobotNav représente un changement de paradigme, passant de la conception de politiques de navigation fixes à la création de primitives de navigation reconfigurables. En traitant le contexte d'observation comme un degré de liberté de premier rang, externe et contrôlable, le modèle comble le fossé entre la performance de tâches spécialisées et la flexibilité requise par les systèmes agentiques.

Les auteurs soulignent que l'interface paramétrée permet l'émergence de comportements complexes à long terme par la composition de modes de travail simples et bien définis (ex: passer du mode "mémoire globale" pour l'exploration au mode "centré sur la récence" pour la manœuvre locale). De plus, l'utilisation du langage naturel pour l'identification des points de vue et du temps préserve l'ancrage linguistique en monde ouvert du modèle sans surcharge architecturale.

Les résultats valident qu'un modèle unifié, entraîné avec des stratégies de contexte randomisées, peut atteindre des performances supérieures dans le suivi d'instructions, la recherche d'objets, le suivi et la conduite, tout en servant de composant robuste et transférable "zero-shot" pour des agents incarnés à usage général. Ce travail suggère que l'encodage d'observation adaptatif à la tâche est une direction prometteuse pour construire des modèles de fondation de navigation à la fois largement capables et pratiquement déployables.