💻 computer science

MM-Nav: Multi-View VLA Model for Robust Visual Navigation via Multi-Expert Learning

Cet article présente MM-Nav, un modèle Vision-Langage-Action multi-vues qui parvient à une navigation visuelle robuste en exploitant un cadre enseignant-élève pour distiller des capacités diverses à partir d'experts d'apprentissage par renforcement dotés de données de profondeur privilégiées à travers des tâches d'atteinte, de pression et d'évitement, surpassant finalement ses enseignants dans des environnements synthétiques et réels.

Auteurs originaux : Tianyu Xu, Jiawei Chen, Jiazhao Zhang, Wenyao Zhang, Zekun Qi, Minghan Li, Zhizheng Zhang, He Wang

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianyu Xu, Jiawei Chen, Jiazhao Zhang, Wenyao Zhang, Zekun Qi, Minghan Li, Zhizheng Zhang, He Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à marcher dans une maison encombrée et désordonnée sans rien heurter. C'est le défi de la navigation visuelle. Le problème est que les caméras (comme nos yeux) ne voient que des images ; elles ne « savent » pas naturellement à quelle distance se trouve une chaise ou quelle est l'épaisseur d'un fil, contrairement à un scanner laser (LiDAR) qui mesure directement la distance.

L'article présente MM-Nav, un nouveau « cerveau » pour les robots qui résout ce problème en combinant trois idées puissantes : apprendre de professeurs experts, s'entraîner dans un jeu vidéo et lire des livres du monde réel.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Les trois « entraîneurs spécialistes » (Experts de RL)

Au lieu d'essayer d'apprendre à un seul robot à tout faire en même temps, les chercheurs ont d'abord créé trois « entraîneurs experts » distincts à l'intérieur d'une simulation informatique (un jeu vidéo). Chaque entraîneur est un maître dans une compétence spécifique :

L'entraîneur de l'approche (Reaching) : Apprend au robot comment marcher droit vers une cible tout en évitant les gros meubles statiques.
L'entraîneur du passage étroit (Squeezing) : Apprend au robot comment se faufiler dans de petits espaces encombrés entre des murs et des objets.
L'entraîneur de l'évitement (Avoiding) : Apprend au robot comment esquiver des personnes ou des objets en mouvement qui circulent de manière aléatoire.

Ces entraîneurs sont « privilégiés », ce qui signifie qu'ils possèdent une super-vision (ils voient les distances exactes) que le robot final n'aura pas. Ils génèrent des millions d'exemples parfaits de la façon de se déplacer.

2. Le robot « étudiant » (Le modèle VLA)

Le personnage principal, MM-Nav, est un robot « étudiant ». C'est un modèle Vision-Langage-Action (VLA). Considérez cela comme un robot doté d'un cerveau capable de :

Voir : Il regarde des vidéos à 360 degrés (devant, derrière, gauche, droite) comme un humain tournant la tête.
Lire : Il comprend le langage et peut répondre à des questions sur ce qu'il voit.
Agir : Il ne se contente pas de dire « tourne à gauche » ; il calcule la vitesse et la direction exactes pour se déplacer de manière fluide.

3. La stratégie d'entraînement : « La pratique mène à la perfection »

Les chercheurs ont utilisé une méthode d'entraînement en deux étapes pour transformer l'étudiant en maître :

Étape 1 : Le cours intensif (Apprentissage hors ligne / Offline Learning)
Le robot étudiant étudie d'abord les millions d'exemples parfaits générés par les trois entraîneurs spécialistes. Il apprend les bases de l'approche, du passage étroit et de l'évitement.
Étape 2 : Le tutorat « équilibré » (Itération en ligne / Online Iteration)
C'est ici que se trouve l'astuce. Le robot étudiant retourne dans la simulation pour s'entraîner. Si le robot est bon pour « l'approche » mais très mauvais pour le « passage étroit », le système lui donne automatiquement plus de données d'entraînement sur le passage étroit. C'est comme un tuteur qui remarque que vous avez des difficultés en mathématiques mais que vous êtes bon en histoire, alors il vous donne des devoirs de mathématiques supplémentaires pour équilibrer les choses. Cela garantit que le robot devient bon dans toutes les compétences, et pas seulement dans les plus faciles.

4. Combler le fossé : La « bibliothèque du monde réel »

Il existe un grand problème lorsqu'on entraîne des robots dans des jeux vidéo : le monde réel est différent (éclairage différent, objets encombrants, textures étranges). C'est ce qu'on appelle le « fossé Sim-to-Real ».

Pour corriger cela, les chercheurs n'ont pas seulement utilisé des données de jeu. Ils ont également nourri le robot de 300 000 exemples réels de Questions-Réponses Visuelles (VQA).

L'analogie : Imaginez que le robot est un étudiant qui n'a étudié que dans un monde de dessins animés. Pour se préparer au monde réel, on lui donne aussi une bibliothèque de photos réelles et de questions telles que : « Comment le piéton se déplace-t-il ? » ou « Où se trouve le chemin dégagé ? ».
En apprenant à répondre à ces questions sur des photos réelles, le cerveau du robot apprend à comprendre les textures et l'éclairage du monde réel, ce qui le rend beaucoup moins susceptible d'être confus lorsqu'il quitte le jeu vidéo pour entrer dans un couloir réel.

5. Les résultats : Battre les professeurs

Lorsqu'ils ont testé MM-Nav à la fois dans la simulation et dans le monde réel (en utilisant un robot chien Unitree équipé de caméras tout autour), les résultats ont été impressionnants :

Cela fonctionne dans le monde réel : Le robot a réussi à naviguer dans des couloirs étroits, a évité des fils fins (difficiles à voir pour les lasers) et a esquivé des personnes en mouvement.
Il a battu les experts : Étonnamment, le « étudiant » robot a fini par être plus performant que les robots « entraîneurs » individuels sur lesquels il a été formé. En combinant les compétences d'approche, de passage étroit et d'évitement dans un seul cerveau, il est devenu plus robuste et adaptable que n'importe quel spécialiste individuel.
Vitesse : Il réfléchit et se déplace assez vite (7 fois par seconde) pour réagir instantanément aux obstacles.

Résumé

MM-Nav est un cerveau de robot qui apprend à naviguer en observant trois entraîneurs experts différents dans un jeu vidéo, mais il lit également une bibliothèque de photos du monde réel pour comprendre à quoi ressemble réellement le monde. En équilibrant sa pratique pour qu'il ne devienne pas paresseux sur une compétence particulière, il devient un maître de la navigation capable de gérer des environnements encombrés, bondés et en mouvement mieux que ses propres professeurs.

Résumé Technique : MM-Nav

Énoncé du Problème

La navigation visuelle est une direction de recherche critique pour la robotique, visant à émuler la navigation humaine en exploitant des observations visuelles égocentrées. Cependant, contrairement aux nuages de points LiDAR ou aux cartes de profondeur, les observations visuelles brutes manquent d'informations géométriques explicites, ce qui rend la navigation dans des environnements encombrés ou dynamiques particulièrement difficile. Les méthodes existantes basées sur l'apprentissage font face à des limitations significatives :

Rareté et biais des données : La collecte de données réelles est coûteuse, souvent restreinte à des configurations de caméras limitées (par exemple, vue frontale uniquement) et inclut rarement des scénarios dangereux comme l'évitement de collisions en raison des risques de sécurité.
Écart Sim-to-Real : Les données synthétiques, bien que flexibles, souffrent d'un rendu non photoréaliste, créant un écart qui entrave le transfert vers le déploiement en conditions réelles.
Limitations de capacité : Les modèles actuels sont souvent confinés à des environnements spacieux et peinent avec des tâches complexes telles que se faufiler à travers des interstices étroits ou éviter des obstacles dynamiques.
Contraintes de l'espace d'action : De nombreux modèles de Vision-Langage-Action (VLA) existants reposent sur des espaces d'action discrets (par exemple, « tourner à gauche »), ce qui limite l'agilité par rapport au contrôle de vitesse continu requis pour une navigation réelle robuste.

Méthodologie : MM-Nav

Les auteurs proposent MM-Nav, un modèle VLA multi-vues de 7 milliards de paramètres conçu pour apprendre diverses capacités de navigation à partir de données expertes synthétiques tout en atténuant l'écart sim-to-real grâce à un co-entraînement avec des données de Questions-Réponses Visuelles (VQA) réelles à grande échelle.

1. Experts de RL Multi-Capacités

Pour remédier au manque de scénarios stimulants dans les ensembles de données existants, les auteurs construisent des environnements de simulation sur mesure en utilisant IsaacLab et entraînent trois experts d'Apprentissage par Renforcement (RL) distincts via l'Optimisation de Politique Proche (PPO). Ces experts utilisent des informations privilégiées (cartes de profondeur) pour maîtriser des compétences spécifiques :

Atteindre (Reaching) : Approcher un objectif de point tout en évitant des obstacles statiques de formes et de textures variées.
Se faufiler (Squeezing) : Naviguer à travers des piliers densément regroupés et des interstices étroits et aléatoires.
Éviter (Avoiding) : Éviter activement des obstacles dynamiques encombrants se déplaçant à des vitesses aléatoires.

2. Architecture du Modèle Étudiant VLA

Le modèle étudiant est une politique VLA multi-vues qui traite des observations RGB à 360° provenant de quatre caméras (Avant, Droite, Arrière, Gauche).

Encodage Visuel : Une fenêtre glissante d'historique (8 étapes) est encodée à l'aide d'un modèle de fondation visuelle (SigLIP). L'architecture utilise une stratégie de tokenisation hybride : des tokens à grain fin pour l'observation actuelle et des tokens à grain grossier pour l'historique, résultant en une longueur de séquence fixe de 192 tokens pour assurer une vitesse d'inférence constante.
Intégration du Langage : Les objectifs de point sont formatés sous forme de prompts textuels et encodés comme des tokens de langage à l'aide d'un Grand Modèle de Langage (Qwen2-7B). Cela permet le co-entraînement avec des données VQA en monde ouvert.
Tête d'Action : Le modèle produit des commandes de vitesse omnidirectionnelles continues ( $v_x, v_y, v_{yaw}$ ) via un MLP à deux couches, atteignant une vitesse d'inférence de 7 Hz.

3. Stratégie d'Entraînement : Itération Équilibrée des Capacités

Le pipeline d'entraînement se compose de deux étapes :

Fine-Tuning Initial : Le modèle VLA est initialisé sur 500 000 démonstrations expertes réussies (collectées auprès des trois enseignants de RL) et 100 000 données VQA réelles.
Itération Enseignant-Étudiant en Ligne (style DAgger) : Le modèle VLA est déployé en simulation pour collecter des trajectoires. Un module d'équilibrage des capacités ajuste dynamiquement le ratio de données pour l'étape de fine-tuning suivante. Il calcule une métrique d'écart de performance (Temps de Voyage Pondéré) entre l'étudiant et les enseignants de RL pour chaque capacité. Les données des capacités où l'étudiant est moins performant sont surpondérées pour assurer une convergence stable et prévenir le déséquilibre des capacités.

Contributions Clés

Données de Navigation : Construction d'environnements de simulation multi-capacités sur mesure et entraînement d'experts de RL privilégiés pour fournir une supervision diversifiée pour l'atteinte d'objectif, le passage étroit et l'évitement d'obstacles dynamiques — des scénarios difficiles à capturer dans le monde réel.
Stratégie d'Entraînement : Introduction d'une procédure de raffinement itératif équilibrée par capacité qui atténue les décalages de distribution de politique et assure une amélioration équilibrée entre les différentes compétences de navigation.
Conception du Modèle : Développement d'une politique VLA multi-vues efficace de 7B qui utilise des observations RGB à 360° pour prédire directement des commandes de vitesse continues, permettant un transfert zero-shot sim-to-real robuste.

Résultats Expérimentaux

Benchmarks de Simulation

Benchmark InternVLA-N1 System-1 : MM-Nav a atteint un Taux de Succès (SR) de 88,1 % sur le benchmark de navigation par point cible, surpassant la meilleure méthode précédente (72,2 %) de +15,9 points. Il a nettement mieux performé que les approches antérieures basées sur l'RGB-D et la profondeur malgré le fait de ne reposer que sur des entrées RGB.
Environnements Personnalisés IsaacLab : Dans des tests à travers les scènes de Reaching, Squeezing, Avoiding et Mixed, MM-Nav a obtenu le SR le plus élevé et le taux de collision (CR) le plus bas parmi les baselines (incluant NavDP, ViPlanner et iPlanner). Notamment, il a atteint un SR de 71 % dans la scène exigeante de "Squeezing", contre 18 % pour NavDP.
Étudiant vs Enseignant : Le modèle étudiant VLA a fini par surpasser les enseignants de RL spécialisés, démontant l'effet synergique de l'intégration de multiples capacités.

Déploiement en Monde Réel

Des expériences étendues en monde réel sur un robot Unitree GO2 ont confirmé un transfert zero-shot robuste dans divers scénarios :

Évitement de Fils Fins : A évité avec succès des fils suspendus fins, difficiles à percevoir pour le LiDAR.
Couloir Encombré : A navigué dans des passages étroits avec des parois de verre transparent et des obstacles.
Évitement de Piétons : A ajusté les trajectoires en ligne pour éviter les piétons en mouvement.
Ruelle Extérieure : A navigué dans des environnements à faible luminosité avec des obstacles non vus (ex: bornes en pierre).

Études d'Ablation

Co-entraînement VQA : Le retrait des données VQA a entraîné une chute de performance de plus de 20 % en simulation et un échec de la généralisation aux obstacles fins/irréguliers du monde réel. L'analyse UMAP a montré que les données VQA réduisaient considérablement l'écart de distribution latente entre la simulation et la réalité.
Multi-vue vs Simple-vue : L'entrée multi-vues à 360° a fourni un gain de +4,8 SR par rapport à une variante à vue unique, validant l'importance de la perception à vue périphérique pour la conscience spatiale.
Données Équilibrées : La méthode d'agrégation équilibrée des capacités a conduit à un entraînement plus rapide et plus stable par rapport à la collecte de données non équilibrée.

Signification et Revendications

L'article affirme que MM-Nav fournit un modèle évolutif et efficace pour l'entraînement d'une nouvelle génération d'agents de navigation visuelle polyvalents. Sa principale importance réside dans :

Surmonter l'écart Sim-to-Real : En exploitant les capacités de généralisation des modèles VLA et le co-entraînement avec des données VQA réelles, le modèle transfère avec succès les compétences apprises dans des environnements synthétiques privilégiés vers une navigation RGB sans profondeur en conditions réelles.
Apprentissage Synergique : Ce travail démont une qu'une politique VLA unifiée peut apprendre et intégrer plus efficacement plusieurs capacités de navigation distinctes (atteindre, se faufiler, éviter) que des politiques de RL spécialisées entraînées isolément ou des politiques de RL en scène mixte.
Efficacité : Le modèle atteint une performance robuste avec une vitesse d'inférence de 7 Hz en utilisant un modèle de 7 milliards de paramètres, ce qui le rend viable pour un déploiement en temps réel sur des plateformes robotiques standards.

Les auteurs concluent que leur méthode répond efficacement aux limitations des politiques de navigation visuelle actuelles en combinant une connaissance experte spécialisée avec une compréhension sémantique à grande échelle, permettant une navigation robuste dans des environnements complexes, dynamiques et encombrés.