💻 computer science

From Routes to Steps: Separating Semantic Progress from Local Execution in Vision-and-Language Navigation

Le papier propose Route2Step, un cadre qui découple le suivi de la progression sémantique de la génération d'actions locales via une interface explicite au niveau des étapes et une nouvelle procédure d'alignement, résolvant ainsi l'ambiguïté entre les erreurs d'exécution et de progression pour améliorer significativement les performances de la navigation vision-langage.

Auteurs originaux : Xiangyun Huang, Xiangchen Wang, Runfeng Lin, Yihao Xu, Kangyu Huang, Jiang Hengchen, Xiwang Dong, Lin Jiarong

Publié 2026-08-05

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiangyun Huang, Xiangchen Wang, Runfeng Lin, Yihao Xu, Kangyu Huang, Jiang Hengchen, Xiwang Dong, Lin Jiarong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à naviguer dans un labyrinthe géant et invisible en utilisant uniquement une commande vocale et une paire d'yeux de caméra. C'est le monde de la Navigation Vision-et-Langage (VLN). Voyez cela comme une partie de "Jacques a dit" à haut risque jouée dans une vraie maison, mais où le robot doit comprendre exactement où il se trouve et ce qu'il doit faire ensuite, simplement en écoutant une phrase comme : « Passe devant le canapé rouge, tourne à gauche au lampadaire bleu, et arrête-toi devant la cuisine. » La partie délicate est que le robot ne doit pas seulement bouger ses jambes ; il doit comprendre l'histoire du voyage. Il doit savoir s'il est déjà passé devant le canapé rouge ou s'il est encore à la recherche de celui-ci. Si le robot s'embrouille et part dans la mauvaise direction, il doit réaliser : « Oh non, j'ai raté le tour ! » et corriger sa carte mentale avant de tenter de bouger à nouveau. Sans cette capacité à suivre ses progrès, un robot pourrait continuer à vouloir « tourner à gauche au lampadaire bleu » même après avoir dépassé le lamp。ce, ce qui mènerait une machine très perdue et confuse.

C'est le problème qu'une équipe de chercheurs de diverses universités, comme Beihang et l'Université des sciences et technologies du Sud, ont décidé de s'attaquer. Ils ont remarqué que la plupart des navigateurs robotiques essayaient de faire deux tâches très différentes en même temps : garder une trace de la vue d'ensemble (l'itinéraire) et décider de la micro-étape suivante (le mouvement). Ils ont constaté que lorsqu'un robot faisait une erreur, il était difficile de dire si le robot avait mal compris l'instruction (pensant qu'il était à la mauvaise étape) ou s'il avait simplement échoué à exécuter le mouvement correctement. Pour corrir cela, ils ont construit un nouveau système appelé Route2Step. Imaginez cela comme donner au robot une équipe de deux personnes au lieu d'un cerveau surchargé. L'un est l'« Analyste d'Instructions », qui agit comme un guide touristique qui vérifie constamment la carte et dit : « D'accord, nous sommes actuellement dans la phase "Sortir de la chambre" ». L'autre est le « Générateur d'Actions », qui est le conducteur et qui dit : « Reçu, je tourne à gauche maintenant ». En séparant ces tâches, le robot peut corriger sa carte mentale sans perturber sa conduite, et vice versa.

Le Navigateur à Deux Têtes

Dans l'ancienne méthode d'entraînement des robots, le système était comme un étudiant essayant d'apprendre les mathématiques et l'histoire simultanément en ne regardant que le score de l'examen final. Si le robot se perdait, l'enseignant disait simplement : « Mauvais mouvement, réessaie », sans expliquer pourquoi le robot pensait être au bon endroit. Les chercheurs ont découvert que cela rendait difficile pour le robot de faire la différence entre « Je suis perdu » et « Je suis juste maladroit ».

Pour résoudre cela, ils ont introduit Route2Step, un cadre qui divise le cerveau du robot en deux modules distincts qui communiquent entre eux via une interface claire et explicite.

Le Guide Touristique (MIA) :
Le premier module est appelé le Module d'Analyse d'Instruction (MIA). Imaginez MIA comme un guide touristique très attentif qui détient le manuel d'instructions complet et observe l'historique vidéo du robot. Sa seule mission est de répondre à une question : « Quelle partie de l'instruction sommes-nous en train de réaliser en ce moment ? » Est-ce la partie « Sortir de la chambre » ou la partie « Marcher dans le couloir » ? Il vérifie également si le robot est dans un état « Normal » (suivant le chemin parfaitement) ou un état de « Récupération » (tentant de reprendre la bonne voie après une erreur). MIA ne dit pas au robot comment bouger ses jambes ; il met simplement à jour la carte mentale du robot.

Le Conducteur (MAG) :
Le second module est le Module de Génération d'Action (MAG). C'est le conducteur. Il prend l'emplacement actuel, le flux vidéo récent des yeux du robot, et l'instruction spécifique du Guide Touristique (« Nous sommes actuellement en train de sortir de la chambre »). Sur cette base, MAG décide des actions physiques immédiates : « Tourne à gauche, avance, arrête-toi ». Parce que MAG se concentre uniquement sur le « comment » immédiat, il ne s'embrouille pas si le robot s'égare accidentellement ; il essaie simplement d'exécuter l'étape actuelle du mieux qu'il peut.

La Magie de l'« E-SPA »

Vous vous demandez peut-être : « Comment apprendre à un robot à savoir à quelle étape il se trouve si vous n'avez pas un humain écrivant exactement quand chaque étape se produit ? » C'est là que les chercheurs ont fait preuve de créativité. Ils ont développé une méthode appelée E-SPA (Alignement de Chemin Sémantique par Minimisation de l'Énergie).

Voyez l'E-SPA comme un résolveur d'énigmes intelligent. Le robot reçoit une vidéo longue et continue d'un humain suivant un itinéraire, mais les instructions ne sont qu'une seule longue phrase. L'E-SPA regarde la vidéo et le texte et détermine où se trouvent les pauses naturelles. Il demande : « Où l'instruction "Sortir de la chambre" se termine-t-elle logiquement et où commence "Marcher vers la cuisine" ? » Il fait cela en faisant correspondre les mots aux indices visuels (comme voir une porte) et au mouvement (comme la traverser). Cela permet au système de créer une carte « étape par étape » à partir d'une instruction de type « long récit » sans avoir besoin qu'un humain appuie manuellement sur un bouton chaque fois que le robot change de tâche.

Ce Qu'Ils Ont Découvert

Les chercheurs ont testé ce robot à deux têtes sur un défi de navigation standard appelé R2R-CE. Les résultats étaient prometteurs. Lorsqu'ils ont utilisé leur nouveau système, le taux de réussite du robot est passé de 48,1 % à 55,3 %. En termes de métrique appelée SPL (qui mesure la capacité du robot à atteindre l'objectif sans prendre de détour inutile et absurde), le score est passé de 43,3 % à 48,2 %.

Mais la véritable magie résidait dans la manière dont ils y sont parvenus. Habituellement, pour qu'un robot apprenne de ses erreurs, vous avez besoin de milliers d'exemples où un humain corrige chaque étape prise par le robot. C'est coûteux et chronophage. Route2Step, cependant, a utilisé une astuce ingénieuse. Il a utilisé environ 190 000 exemples pour enseigner au « Guide Touristique » (MIA) comment repérer quand le robot était perdu (supervision au niveau de l'état), mais il n'a utilisé que 11 500 exemples pour enseigner au « Conducteur » (MAG) comment corriger des mouvements spécifiques (supervision au niveau de l'action).

Cela suggère qu'il est bien plus important d'aider le robot à réaliser où il se trouve dans l'histoire que de micro-gérer chaque pas qu'il fait. En réparant la carte mentale du robot, celui-ci peut souvent trouver le mouvement correct par lui-même.

Tests en Monde Réel et Étapes Futures

L'équipe ne s'est pas arrêtée aux simulations informatiques. Ils ont placé leur robot sur un véritable robot chien à quatre pattes (un Unitree GO2) et l'ont envoyé dans des environaux réels intérieurs et extérieurs, incluant des laboratoires, des parcs et des cafés. Ils n'ont pas réentraîné le robot pour le monde réel ; ils l'ont simplement laissé utiliser les compétences apprises en simulation.

Dans ces tests en monde réel, le robot a réussi 19 essais sur 33. Dans une tâche intérieure particulièrement difficile avec une instruction de 120 mots, l'ancien style de robot (StreamVLN) a totalement échoué, ne réussissant à accomplir qu'environ 2,2 étapes sur 7 en moyenne. Le robot Route2Step, quant à lui, a accompli une moyenne de 5,0 étapes et a réussi 3 essais sur 5. Cela suggère que l'approche du « Guide Touristique » aide le robot à rester sur la bonne voie, même lorsque le monde réel devient désordonné et confus.

Les chercheurs ont également montré que cette idée de « Guide Touristique » est flexible. Ils ont pris la partie « Analyse d'Instruction » de leur système et l'ont intégrée à quatre autres navigateurs robotiques existants qui étaient complètement gelés (non entraînés du tout). Rien qu'en donnant à ces autres robots les conseils du « Guide Touristique » sur l'étape à laquelle ils se trouvaient, tous les quatre se sont améliorés dans leur navigation, prouvant que séparer le « quelle étape » du « comment bouger » est une idée utile pour n'importe quel robot, pas seulement pour leur conception spécifique.

En bref, Route2Step suggère que la clé d'une meilleure navigation robotique n'est pas seulement de rendre le robot plus intelligent dans ses mouvements, mais de le rendre meilleur pour savoir où il se trouve dans l'histoire. En séparant la tâche de suivi des progrès de la tâche de mouvement, le robot devient plus robuste, apprend plus efficacement et peut réellement gérer la nature désordonnée et imprévisible du monde réel.

Résumé Technique : Route2Step – Séparer la progression sémantique de l'exécution locale dans le VLN

Énoncé du Problème

La navigation basée sur la vision et le langage (VLN) dans des environnements continus (VLN-CE) nécessite qu'un agent suive une instruction de parcours en langage naturel en exécutant une séquence d'actions de bas niveau basées sur des observations visuelles égocentrées. Les navigateurs existants basés sur des modèles de vision-langage (VLM) emploient généralement une politique unifiée qui mappe directement le contexte linguistique et visuel vers des actions de bas niveau. Bien qu'efficace dans des conditions de suivi de trajectoire (on-path), cette approche confond deux capacités distinctes : le suivi de la progression sémantique (identifier quelle sous-instruction est actuellement active) et l'exécution locale (déterminer comment se déplacer pour remplir cette instruction).

Lorsqu'un agent dévie de la trajectoire de l'expert, les méthodes d'apprentissage correctif standard (ex: type DAgger par re-étiquetage) fournissent l'action optimale suivante pour récupérer la trajectoire. Cependant, ces étiquettes d'action ne distinguent pas deux modes de défaillance :

Erreur de progression sémantique : L'agent tente d'exécuter la mauvaise sous-instruction (ex: essayer de « sortir de la chambre » alors qu'il est déjà dans le couloir).
Erreur d'exécution locale : L'agent tente la bonne sous-instruction mais échoue à exécuter correctement les mouvements nécessaires.

Par conséquent, les politiques unifiées échouent souvent à corriger l'état sémantique sous-jacent, menant à des erreurs persistantes où l'agent continue de prendre des décisions basées sur une compréhension incorrecte de sa progression, même si les actions individuelles sont momentanément corrigées.

Méthodologie : Route2Step

Les auteurs proposent Route2Step, un cadre à niveaux séparés qui découple le suivi de la progression sémantique de la génération d'actions via une interface explicite au niveau des étapes. Le cadre se compose de deux modules entraînés indépendamment :

1. Interface Sémantique–Exécution

Au lieu d'une politique monolithique, Route2Step introduit une interface d'état $(s_t, m_t)$ :

$s_t$ (Sous-instruction active) : Le segment spécifique de l'instruction globale actuellement en cours d'exécution.
$m_t$ (État d'exécution) : Un état binaire indiquant si l'agent est dans un état Normal (suit le chemin) ou un état de Récupération (a dévié et nécessite une exécution corrective).

2. Architecture des Modules

Module d'Analyse d'Instruction (MIA) : Reçoit l'instruction globale et l'historique visuel complet. Il prédit la sous-instruction active $s_t$ et l'état d'exécution $m_t$ . Ce module est responsable de savoir « où nous en sommes » dans le parcours.
Module de Génération d'Actions (MAG) : Reçoit l'instruction globale, l'interface prédite $(s_t, m_t)$ , et une fenêtre d'observations récentes. Il génère des blocs d'actions locales basés sur la sous-instruction spécifique et l'état d'exécution actuel. Ce module est responsable de « comment se déplacer ».

3. Construction de la Supervision au Niveau des Étapes (E-SPA)

Un défi critique consiste à obtenir une supervision au niveau des étapes pour des jeux de données comme R2R, qui ne fournissent que des instructions au niveau du parcours. Les auteurs introduisent E-SPA (Energy-minimizing Semantic Path Alignment), une procédure hors ligne qui aligne les sous-instructions fines avec des segments de trajectoire contigus sans annotation temporelle manuelle.

Fonction de Coût : E-SPA minimise une fonction de coût combinant la compatibilité visuelle-texte ( $C_{sem}$ ), la cohérence d'action ( $C_{act}$ ), la régularisation de durée ( $C_{dur}$ ) et l'ancrage géométrique ( $C_{anchor}$ , ex: pour les escaliers).
Programmation Dynamique : Les limites optimales des segments de sous-instruction sont trouvées via la programmation dynamique, créant des paires alignées (sous-instruction, segment de trajectoire).
Waypoints : Le point final de chaque segment aligné sert de waypoint sémantique (position et cap) pour évaluer la progression.

4. Stratégie d'Entraînement à Niveaux Séparés

Le processus d'entraînement utilise des déroulements induits par la politique pour générer des données correctives, en assignant la supervision selon le niveau d'erreur :

Supervision au Niveau de l'État (pour le MIA) : Tous les historiques induits par la politique (incluant les déviations) sont utilisés pour superviser la prédiction de la sous-instruction active et de l'état d'exécution. La sous-instruction active est préservée jusqu'à ce que son waypoint sémantique soit physiquement atteint, indépendamment du chemin de l'agent. Cela permet au MIA d'apprendre un suivi de progression robuste à partir de données hors-chemin.
Supervision Sélective au Niveau de l'Action (pour le MAG) : Des étiquettes d'action d'expert direct sont introduites uniquement pour les états étiquetés comme Récupération où l'agent échoue de manière répétée à compléter la bonne sous-instruction active. Cela garantit que la supervision d'action cible les échecs d'exécution locale persistants sans écraser l'estimateur de progression sémantique.

Contributions Clés

Formulation à Niveaux Séparés : Le papier reformule l'apprentissage correctif du VLN en distinguant la supervision au niveau de l'état (correction de la progression sémantique) et la supervision sélective au niveau de l'action (correction de la récupération de l'exécution locale).
Cadre Route2Step : Une architecture à double module avec une interface explicite qui empêche les mises à jour de niveau d'action de corrompre les estimations de progression sémantique.
E-SPA : Une nouvelle méthode pour dériver des alignements sous-instruction–trajectoire au niveau des étapes à partir de démonstrations R2R au niveau du parcours, permettant une supervision fine sans annotation manuelle supplémentaire.
Validation Empirique : Démonstration que la séparation de ces niveaux améliore les performances de navigation et la robustesse, validée par des études d'ablation, des transferts de politiques croisés et des déploiements robotiques dans le monde réel.

Résultats Expérimentaux

La méthode a été évaluée sur les benchmarks R2R-CE et RxR-CE Val-Unseen.

Gains de Performance : Sur R2R-CE, Route2Step a amélioré le Taux de Succès (SR) de 48,1 % à 55,3 % et le Succès Pondéré par la Longueur du Parcours (SPL) de 43,3 % à 48,2 %.
Efficacité de la Supervision : Le modèle a obtenu ces gains en utilisant 190K échantillons correctifs de niveau état, mais n'a nécessité que 11,5K états supervisés par l'action directe. En comparaison, les approches DAgger conventionnelles utilisant 200K étiquettes d'action ont obtenu une performance inférieure (49,8 % SR).
Robustesse : Des évaluations contrôlées hors-chemin ont montré que la correction au niveau de l'état améliore significativement la précision de la sous-instruction active stricte sous des déviations spatiales (ex: +10,51 points sur FG-R2R), tout en ayant un effet minimal sur la précision sur-chemin.
Transférabilité : L'injection de la sous-instruction active prédite par le MIA dans quatre politiques VLN existantes et gelées (NaVid, Uni-NaVid, NaVILA, StreamVLN) a amélioré leur SR et SPL sans entraînement supplémentaire, prouvant que l'interface est transférable.
Déploiement Réel : Le système a été déployé sur un robot Unitree GO2 dans divers environnements intérieurs et extérieurs (laboratoires, parcs, cafés) sans ajustement fin en conditions réelles. Il a réussi 19 essais autonomes sur 33, démontrant une applicabilité pratique au-delà de la simulation.

Signification et Revendications

Le papier affirme que le principal goulot d'étranglement des agents VLN-CE actuels est la confusion entre la progression sémantique et l'exécution locale, ce qui est exacerbé par l'apprentissage correctif standard qui traite tous les états hors-chemin comme de simples erreurs d'action.

En séparant explicitement ces niveaux, Route2Step permet à l'agent de :

Maintenir l'Ancrage Sémantique : Identifier correctement la sous-instruction actuelle même lorsque l'agent est perdu, empêchant la « dérive » de la compréhension sémantique.
Récupération Ciblée : Appliquer la supervision d'action de l'expert uniquement lorsqu'il est bloqué sur une tâche connue comme correcte, plutôt que de confondre l'agent avec des étiquettes d'action qui pourraient impliquer un changement de l'objectif prévu.

Les auteurs concluent qu'exposer la progression sémantique comme une interface explicite est une stratégie plus efficace pour la navigation à long terme que les politiques unifiées, offrant une voie vers des agents incarnés plus robustes et interprétables. Le travail souligne que cette amélioration n'est pas obtenue en augmentant la taille des données ou des modèles, mais en restructurant l'objectif d'apprentissage pour l'aligner sur les exigences temporelles et sémantiques distinctes de la navigation.