NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions

Ce papier présente NavSpace, une nouvelle norme d'évaluation conçue pour mesurer les capacités de perception et de raisonnement spatial des agents de navigation, ainsi que SNav, un modèle innovant qui surpasse les solutions existantes sur ce benchmark et lors de tests réels.

L'essentiel

Imaginez que vous demandez à un robot de vous aider à trouver vos clés. Vous ne lui dites pas simplement "va chercher les clés". Vous lui dites : "Descends au sous-sol, tourne à droite devant la table de cuisine, et si tu vois une lampe allumée, arrête-toi, sinon continue jusqu'à la porte."

C'est là que les choses se compliquent. La plupart des robots intelligents d'aujourd'hui sont comme des touristes perdus avec un GPS très brouillé : ils comprennent les mots ("table", "lampe"), mais ils sont complètement perdus dès qu'il faut comprendre l'espace, les distances précises, ou changer de point de vue.

Voici l'histoire de NavSpace, le nouveau projet qui tente de réparer ce problème, racontée simplement.

1. Le Problème : Le Robot "Aveugle" à l'Espace

Jusqu'à présent, on testait les robots avec des instructions simples du type : "Va vers le canapé rouge". C'est comme apprendre à un enfant à marcher en lui montrant un jouet.

Mais dans la vraie vie, la vie est plus complexe. Il faut savoir :

• Où est l'étage ? (Est-ce que je suis au rez-de-chaussée ou au 3ème ?)
• Combien de mètres ? (Est-ce que je dois avancer de 2 mètres ou de 10 ?)
• Changer de perspective : "Imagine que tu es le vase sur la table. Regarde vers ta gauche." (C'est très difficile pour un robot de se mettre "dans la tête" d'un objet inanimé).
• La logique : "Si la lumière est éteinte, va dans le salon, sinon reste ici."

Les chercheurs ont réalisé que même les robots les plus avancés (et les super-intelligences artificielles comme GPT-5) échouaient lamentablement sur ces tâches. Ils comprenaient le texte, mais ne "sentaient" pas l'espace.

2. La Solution : NavSpace, le "Terrain de Jeu" Ultime

Pour régler ça, l'équipe de l'Université de Pékin a créé NavSpace.

Imaginez que vous voulez entraîner un athlète pour les Jeux Olympiques. Vous ne pouvez pas juste lui donner un tapis de course. Vous devez construire un parcours d'obstacles avec des virages en épingle, des pentes raides et des énigmes à résoudre en courant.

NavSpace, c'est ce parcours d'obstacles pour les robots.

• Ils ont créé 1 228 scénarios différents, allant de "tourne exactement de 30 degrés" à "va au 3ème étage".
• Ils ont fait appel à des humains pour enregistrer ces parcours dans des maisons virtuelles ultra-réalistes, puis ont demandé à des IA de rédiger les instructions.
• Ensuite, ils ont fait valider le tout par d'autres humains pour s'assurer que l'instruction était logique et réalisable.

C'est la première fois qu'on teste les robots sur leur intelligence spatiale pure, et pas juste sur leur capacité à lire.

3. Le Résultat : La Déception et la Révélation

Quand ils ont fait passer le test à 22 robots différents (des petits modèles légers aux géants de l'IA comme GPT-5 ou Gemini), le résultat a été sans appel :

• Les géants de l'IA (GPT-5, etc.) : Ils sont comme des philosophes brillants mais maladroits. Ils peuvent écrire un poème sur une maison, mais s'ils doivent y entrer et trouver un objet précis en suivant des instructions spatiales complexes, ils trébuchent. Ils réussissent moins de 20 % des tâches.
• Les petits robots spécialisés : Ils sont comme des souris de laboratoire. Très rapides sur des tâches simples, mais dès qu'on leur demande de faire un calcul de distance ou de changer de perspective, ils sont perdus.

Le verdict ? Aucun robot actuel ne possède vraiment une "intelligence spatiale" naturelle. Ils devinent, ils ne comprennent pas vraiment.

4. Le Héros : SNav, le Robot "Architecte"

Face à cet échec général, les chercheurs ont créé leur propre modèle, appelé SNav.

Imaginez que vous apprenez à un enfant à conduire. Au lieu de lui dire juste "tourne", vous lui donnez un manuel complet : "Pour tourner, il faut d'abord regarder le rétroviseur, sentir la distance avec le mur, puis tourner le volant de 30 degrés."

SNav fonctionne de la même manière :

1. Les chercheurs ont généré des milliers d'exemples d'instructions spatiales complexes (comme "va faire le tour de la table" ou "si tu vois un chien, arrête-toi").
2. Ils ont "nourri" SNav avec ces données pour lui apprendre à penser en 3D avant d'agir.
3. Résultat : SNav a battu tous les autres, y compris les géants comme GPT-5. Il est devenu le nouveau champion du monde sur ce test.

5. La Preuve par l'Expérience (Le Monde Réel)

Pour ne pas rester dans la théorie, ils ont mis SNav sur un vrai robot quadrupède (un robot à 4 pattes) dans un vrai bureau et un vrai campus.

• Le test : "Imagine que tu es la chaise. Va du côté gauche de la chaise."
• Le résultat : SNav a réussi à comprendre la perspective, à se déplacer avec précision et à trouver sa cible. Les autres robots, eux, tournaient en rond ou se cognaient aux murs.

En Résumé

Ce papier nous dit deux choses importantes :

1. L'intelligence ne suffit pas : Avoir une IA très intelligente qui parle bien ne suffit pas pour qu'un robot se déplace intelligemment dans le monde réel. Il lui manque la "sensation" de l'espace.
2. L'avenir est là : En créant des entraînements spécifiques (comme NavSpace) et en entraînant des modèles comme SNav, nous commençons enfin à construire des robots qui ne sont pas juste des "lecteurs de cartes", mais de véritables navigateurs capables de comprendre leur environnement.

C'est un peu comme passer d'un robot qui lit une recette de cuisine à un robot qui sait réellement cuisiner sans brûler la maison.

Résumé technique

Titre : NavSpace : Comment les agents de navigation suivent les instructions d'intelligence spatiale

1. Problématique

La navigation par suivi d'instructions est une étape clé vers l'intelligence incarnée (embodied intelligence). Bien que les benchmarks existants (comme R2R, R4R, RxR) aient permis des progrès significatifs dans la compréhension sémantique du langage et des scènes visuelles, ils négligent systématiquement l'évaluation des capacités de perception et de raisonnement spatial des agents.

Les tâches de navigation réelles exigent souvent une intelligence spatiale complexe : comprendre les échelles, les relations sujet-objet, les structures environnementales, les états dynamiques de l'environnement et les changements de perspective. À ce jour, aucun benchmark n'évalue systématiquement ces capacités, laissant dans l'ombre les limites des modèles de navigation actuels (y compris les grands modèles de langage multimodaux ou MLLM) face à des instructions nécessitant une véritable intelligence spatiale.

2. Méthodologie

A. Le Benchmark NavSpace
Les auteurs introduisent NavSpace, le premier benchmark dédié à l'évaluation de l'intelligence spatiale dans la navigation par instruction.

• Construction des données : Une enquête par questionnaire a identifié six catégories clés d'intelligence spatiale. Une plateforme assistée par de grands modèles (LLM) a ensuite été utilisée pour collecter et annoter manuellement 1 228 paires trajectoire-instruction dans des scènes photoréalistes (Habitat 3.0 / HM3D).
• Les six catégories de tâches :
  1. Perception Verticale : Comprendre les étages et les changements de hauteur (ex: « aller au 2ème étage »).
  2. Mouvement Précis : Exécuter des distances et des angles spécifiques (ex: « avancer de 3m, tourner de 30° »).
  3. Changement de Point de Vue (Viewpoint Shifting) : Se mettre à la place d'un objet ou d'une personne pour déduire la direction (ex: « Imaginez que vous êtes la télévision... »).
  4. Relations Spatiales : Comprendre les ordres séquentiels et les relations entre objets (ex: « entre le canapé et la table », « la 2ème porte à gauche »).
  5. État de l'Environnement : Prendre des décisions conditionnelles basées sur l'observation (ex: « Si la lumière est éteinte, allez au salon... »).
  6. Structure de l'Espace : Comprendre la topologie (ex: faire le tour d'un objet, aller au point le plus éloigné).

B. Le Modèle SNav
Pour établir une base de référence forte, les auteurs proposent SNav, un nouveau modèle de navigation intelligent spatialement.

• Architecture : Basée sur un encodeur de vision (SigLIP), un projecteur (MLP) et un grand modèle de langage (Qwen2), initialement pré-entraîné sur LLaVA-Video.
• Amélioration de l'intelligence spatiale : Les auteurs ont conçu un pipeline de génération de données pour créer des instructions nécessitant une perception spatiale (navigation inter-étages, mouvements précis, inférence d'état, relations spatiales) à partir de données existantes.
• Entraînement : Le modèle SNav est affiné (fine-tuned) en utilisant ces nouvelles paires instruction-trajectoire, combinant la prédiction d'actions de navigation, la génération d'instructions basées sur la trajectoire et la récupération de données multimodales.

3. Résultats Expérimentaux

Les auteurs ont évalué 22 agents différents sur NavSpace, incluant des modèles de navigation légers, des grands modèles de navigation (Navigation Large Models) et des MLLM (Open Source et Propriétaires comme GPT-5, Gemini 2.5).

• Performance des MLLM : Les grands modèles de langage multimodaux (même les plus avancés comme GPT-5 ou Gemini 2.5 Pro) obtiennent des taux de réussite moyens inférieurs à 20 %. Ils échouent souvent à traduire leur perception spatiale en actions de navigation cohérentes, souffrant d'incohérences entre la perception et l'action.
• Performance des modèles légers : Les modèles de navigation légers (ex: BEVBert, ETPNav) sont presque incapables d'exécuter ces instructions, car ils reposent sur des inférences sémantiques superficielles et ne comprennent pas les relations spatiales complexes.
• Performance des modèles de navigation existants : Les modèles comme NaVid et StreamVLN surpassent les MLLM, mais restent limités.
• Performance de SNav : Le modèle SNav surpasse tous les autres agents, y compris les MLLM de pointe et les modèles de navigation actuels.
  • Taux de réussite moyen (SR) : SNav atteint 26,0 % (contre ~14-19 % pour les meilleurs concurrents).
  • Erreur de navigation (NE) : SNav présente l'erreur la plus faible (4,47 m).
  • Tests réels : Sur un robot quadrupède (AgiBot Lingxi D1) dans des environnements réels (bureaux, campus), SNav a atteint un taux de réussite de 32 %, contre 6 % pour NaVILA et 14 % pour NaVid.

4. Contributions Clés

1. Introduction de NavSpace : Le premier benchmark systématique évaluant l'intelligence spatiale dans la navigation par instruction, basé sur une enquête humaine et contenant 1 228 paires de haute qualité.
2. Évaluation exhaustive : Une analyse complète de 22 agents (modèles légers, grands modèles de navigation, MLLM open-source et propriétaires), révélant que les capacités d'intelligence spatiale des MLLM actuels sont insuffisantes pour la navigation incarnée.
3. Proposition de SNav : Un nouveau modèle de navigation qui établit une nouvelle référence (baseline) forte, démontrant que l'injection de capacités de perception et de raisonnement spatial via un affinement ciblé améliore significativement les performances.
4. Insights sur l'intelligence spatiale : Identification des limites actuelles (incohérence perception-action chez les MLLM, manque de généralisation des modèles légers) et proposition de pistes pour l'avenir.

5. Signification et Impact

Ce travail met en lumière un fossé critique dans le domaine de l'intelligence incarnée : la capacité à comprendre le langage et les images ne suffit pas pour naviguer intelligemment dans un espace physique.

• Pour la recherche : NavSpace offre un terrain d'évaluation rigoureux pour mesurer les progrès réels en matière de raisonnement spatial, au-delà de la simple reconnaissance d'objets.
• Pour l'industrie : Les résultats montrent que les MLLM génériques ne sont pas encore prêts à être déployés comme agents de navigation autonomes sans une spécialisation profonde dans l'intelligence spatiale.
• Futur : Le papier suggère que l'amélioration de l'intelligence spatiale nécessite non seulement une meilleure perception, mais aussi des mécanismes d'inférence robustes capables de transformer cette perception en décisions d'action précises et cohérentes dans le temps.