Résumé Technique : BIT-Nav

Énoncé du Problème

Les modèles vision-langage (VLM) ont fait progresser la navigation incarnée en unifiant la perception visuelle et le raisonnement en langage naturel. Cependant, les approches existantes pour la navigation visuelle et linguistique (VLN) à long horizon font face à une limitation critique : elles sont effectivement sans état au niveau du raisonnement. Les méthodes actuelles, telles que NaVILA, incorporent l'historique en échantillonnant une fenêtre fixe d'images passées. À mesure que les épisodes s'étendent, cet historique visuel de taille fixe devient de plus en plus creux, omettant des structures de mouvement intermédiaires cruciales. Des preuves empiriques issues de travaux antérieurs indiquent que le simple fait d'augmenter le nombre de trames échantillonnées (par exemple, de 8 à 64) n'améliore pas la précision de la navigation, ce qui suggère que le goulot d'étranglement ne réside pas dans la quantité de trames, mais dans la nature même de la représentation. La sélection de trames éparses ne parvient pas à capturer des signaux comportementaux structurés — tels que les motifs de rotation, le déplacement cumulé et la topologie du chemin — nécessaires au raisonnement à long horizon. De plus, les états récurrents de bas niveau utilisés dans les têtes de contrôle ne sont généralement pas exposés au VLM comme des représentations de trajectoire explicites et interrogeables.

Méthodologie

Les auteurs proposent BIT-Nav (Brain-Inspired Trajectory Memory for Embodied Navigation), un cadre qui augmente les pipelines VLM existants avec une mémoire de trajectoire apprise et compacte. Inspiré par le système hippocampique-entorhinal, qui compresse l'expérience spatiale en traces épisodiques structurées plutôt qu'en un simple rejeu sensoriel brut, BIT-Nav traite l'historique de la trajectoire comme une modalité explicite.

Le pipeline se compose de quatre étapes clés :

1. Représentation de la trajectoire et ingénierie des caractéristiques :
   Au lieu de fournir des identifiants d'action bruts, le système convertit les actions de navigation discrètes ($a_{1:T}$) en un vecteur de caractéristiques de mouvement à 7 dimensions ($m_t$) à chaque pas de temps. Ce vecteur inclut la position planaire cumulée ($c_x, c_y$), le cap accumulé ($\theta$), le changement de cap ($\Delta\theta$), et des variables indicatrices pour la translation vers l'avant et la rotation. Cette représentation enrichie expose à la fois les signaux de contrôle locaux et l'état géométrique accumulé de l'agent.

2. BITE (Bi-GRU Trajectory Encoder) :
   Un encodeur Bi-GRU à 2 couches encode la séquence de mouvement de longueur variable. Contrairement aux méthodes reposant uniquement sur le dernier état caché, BITE utilise un mécanisme de pooling moyen masqué sur l'ensemble de la séquence valide pour produire un plongement (embedding) de dimension fixe ($\bar{h} \in \mathbb{R}^{512}$). Cela garantit que l'embedding résume l'ensemble de la structure du chemin plutôt que seulement l'état final. La sortie est passée par une tête de projection et soumise à une normalisation $\ell_2$ pour produire un plongement de trajectoire de 128 dimensions ($z$).

3. Objectif d'apprentissage contrastif :
   L'encodeur est entraîné à l'aide d'un objectif InfoNCE multi-positif (de type SimCLR) sur des mini-lots structurés en groupes. Le jeu de données est organisé en groupes de 10 trajectoires augmentées partageant les mêmes points de départ et d'arrivée, mais variant dans leurs étapes intermédiaires et leur longueur totale. Pour chaque trajectoire ancre, les 9 autres trajectoires du groupe servent de positifs, tandis que les trajectoires des autres groupes servent de négatifs. Cet objectif force l'encodeur à apprendre une représentation compacte de la « classe d'équivalence départ-arrivée », capturant l'invariance structurelle plutôt que de mémoriser des chemins spécifiques.

4. Intégration avec le VLM :
   L'encodeur Bi-GRU entraîné est gelé. Un projecteur multimodal léger et apprenable (MLP) projette l'embedding de la trajectoire dans l'espace des tokens d'un VLM pré-entraîné (spécifiquement Qwen3-VL-8B). À chaque étape de décision, ce vecteur projeté est injecté comme un unique « token de mémoire de trajectoire » aux côtés de l'observation visuelle actuelle, des trames historiques éparses et de l'instruction linguistique. Cela permet au VLM de raisonner sur l'historique du mouvement structuré au sein d'une seule passe directe (forward pass) sans modification architecturale.

Contributions Clés

• La trajectoire comme une modalité intrinsèque : L'article introduit la trajectoire et la position comme une modalité distincte et essentielle pour la VLN, complétant les entrées visuelles et linguistiques par une représentation explicite du mouvement de l'agent.
• Localisation émergente de l'instruction : Le cadre démontre que l'incorporation de la mémoire de trajectoire permet au modèle de suivre implicitement la progression de l'instruction sans supervision explicite, lui permettant d'inférer les sous-objectifs accomplis et de fonder ses décisions sur les étapes restantes.
• Alignement Trajectoire–VLM : Les auteurs alignent avec succès les plongements de trajectoire appris avec un grand VLM via un projecteur appris, permettant au modèle de conditionner son raisonnement sur un historique de mouvement structuré aux côtés des observations visuelles.
• Construction du jeu de données : Un jeu de données conscient de la trajectoire a été construit à partir des benchmarks R2R et RxR, présentant une stratégie d'augmentation qui génère des variantes de trajectoire géométriquement équivalentes mais exécutées de manière diverse pour favoriser l'apprentissage de la structure du mouvement plutôt que des séquences d'actions de surface.

Résultats

L'article évalue BIT-Nav selon deux axes principaux : la précision quantitative sur les requêtes fondées sur la trajectoire et le raisonnement qualitatif en simulation (Isaac Sim).

• Précision quantitative : Sur les requêtes concernant l'estimation du cap cumulé (Q1) et la fréquence des actions (Q2) à travers des longueurs de trajectoire allant de 15 à 125 étapes, BIT-Nav surpasse significativement les bases de référence.
  • Pour l'estimation du cap cumulé, BIT-Nav atteint une précision de 0,83 sur toutes les longueurs de trajectoire. En revanche, les bases de référence (Qwen avec historique textuel ou sans historique) s'effondrent à $\approx 0,07$ à mesure que les trajectoires croissent, échouant à intégrer les angles de rotation signés sur de longs historiques.
  • Pour l'inférence de la fréquence des actions, BIT-Nav égale les performances des bases de référence textuelles tout en maintenant un coût de tokens constant.
• Efficacité des tokens : BIT-Nav injecte exactement un token, quelle que soit la longueur de la trajectoire. À 124 étapes, une base de référence avec historique textuel nécessite 903 tokens, tandis que BIT-Nav n'en utilise que 41 (environ 4,5 % du coût de la base de référence) tout en conservant un contexte de mouvement dense.
• Évaluation qualitative : En simulation, BIT-Nav rapporte correctement les directions de rotation et les séquences exécutées dans des épisodes à long horizon. En revanche, le modèle Qwen de base omet souvent des rotations ou juge mal la progression de l'épisode, ancrant son raisonnement sur la trame visuelle actuelle plutôt que sur l'historique complet des actions.

Signification et Revendications

Les auteurs affirment que BIT-Nav répond à la limitation fondamentale du raisonnement sans état dans la navigation basée sur les VLM. En encodant l'historique de la trajectoire comme un token compact et structuré, le cadre permet un raisonnement structuré à long horizon sans la surcharge computationnelle liée à l'expansion des fenêtres de contexte avec des trames brutes.

L'article souligne que cette approche permet au VLM d'effectuer une localisation d'instruction — la capacité de déterminer quelle partie d'une instruction a été exécutée et ce qu'il reste à faire — en fondant les décisions actuelles sur l'historique de mouvement accumulé de l'agent. Les auteurs notent que bien que les résultats actuels caractérisent les représentations apprises et leurs propriétés d'alignement, l'évaluation complète de bout en bout (par exemple, le taux de succès, le SPL sur les splits val-unseen de R2R/RxR) demeure un travail en cours. La méthode proposée est présentée comme un complément d'augmentation aux VLM existants, préservant leurs capacités de raisonnement tout en les étendant à un historique de mouvement temporellement structuré.