Résumé Technique : VISTA – Navigation Visuelle Sensible à l'Échelle via le Conditionnement de l'Historique d'Action

1. Formulation du Problème

Les modèles de fondation pour la navigation visuelle (VNMs) visent à fournir des politiques apprises de bout en bout capables de déploiement zero-shot à travers divers types d'embodiments robotiques et environnements. Pour atteindre cette généralité, les modèles de pointe actuels (ex. : ViNT, NoMaD) prédisent des actions normalisées, où les points de passage (waypoints) en 2D sont divisés par l'espacement moyen des points de passage observé dans le jeu de données d'entraînement.

Cependant, cette normalisation introduit une vulnérabilité critique lors du déploiement : le désalignement métrique.

• L'Ambiguïté : Sans connaissance explicite de la taille physique du pas intended, le modèle doit inférer l'échelle uniquement à partir d'observations d'images séquentielles.
• La Conséquence : L'application de différents facteurs de mise à l'échelle (basés sur la vitesse du robot ou la fréquence de contrôle) à la même trajectoire normalisée altère sa géométrie physique. Cela conduit à des trajectoires physiques incorrectes, une dégradation des performances de navigation et une augmentation des risques de collision, particulièrement dans les environnements présentant une répétition visuelle ou une faible distinction.
• Limites des Encodeurs : Les modèles purement visuels peinent souvent dans les environnements pauvres en caractéristiques (ex. : couloirs uniformes, neige) en raison d'un manque de compréhension géométrique explicite et d'une extraction de caractéristiques fragile.

2. Méthodologie : Architecture VISTA

Les auteurs proposent VISTA (Scale-Aware Visual Navigation via Action History Conditioning), une nouvelle architecture conçue pour ancrer les prédictions d'action dans l'échelle physique tout en maintenant une généralité inter-embodiment. La méthode modifie les VNMs conventionnels de deux manières principales :

A. Conditionnement de l'Historique d'Action

Au lieu de s'appuyer uniquement sur les observations visuelles ($O_t$) et une image de but ($o_g$), VISTA conditionne la politique sur un historique d'action normalisé ($H_t$).

• Définition : $H_t = \{a_{t-k+1}, \dots, a_{t-1}\}$, où chaque $a_i$ représente un déplacement passé du robot normalisé par la taille du pas.
• Mécanisme : Un MLP encode cet historique en tokens. En se conditionnant sur $H_t$, le modèle apprend à relier le déplacement visuel observé à la taille physique du pas.
• Bénéfice : Cela permet au modèle de générer des points de passage alignés métriquement qui restent robustes aux variations de la vitesse du robot ($v_{max}$) et de la fréquence de contrôle ($f_{ctrl}$), résolvant efficacement l'ambiguïté d'inférence d'échelle.

B. Encodeur Visuel DINOv3

Pour remédier à la fragilité des encodeurs dans les environnements pauvres en caractéristiques, VISTA remplace les encodeurs standards par DINOv3 (un Vision Transformer auto-supervisé entraîné sur des données massives et curatées).

• Capacité : DINOv3 fournit des représentations plus riches qui capturent à la fois la compréhension sémantique de haut niveau et les caractéristiques spatiales fines.
• Tokenisation : Les séquences d'images d'observation et de but sont traitées par DINOv3 (ViT-S) en tokens de patch, qui sont ensuite projetés et sous-échantillonnés pour aligner les dimensions de caractéristiques.

C. Stratégie d'Entraînement

• Entraînement Métrique Normalisé : Le modèle est entraîné pour prédire des points de passage normalisés et des distances métriques normalisées.
• Espacement Varié : Contrairement aux travaux antérieurs entraînés sur des fréquences fixes (ex. : 3Hz/4Hz), VISTA est entraîné sur des jeux de données avec des fréquences d'échantillonnage variant de 2Hz à 12Hz pour assurer la robustesse à différentes vitesses.
• Fonction de Perte : Une perte multi-tâche combine la prédiction d'action (MSE sur les points de passage normalisés) et la prédiction de distance (MSE sur les distances métriques normalisées vers le but), équilibrée par un coefficient $\lambda$.

3. Contributions Clés

1. Analyse du Désalignement Métrique : L'article identifie et analyse le mode de défaillance des VNMs conventionnels où l'inférence d'échelle à partir des entrées visuelles seules est insuffisante, entraînant une dérive de trajectoire sous diverses conditions de déploiement.
2. Architecture VISTA : Un nouveau cadre qui intègre le Conditionnement de l'Historique d'Action pour ancrer les prédictions dans l'échelle physique et DINOv3 pour une représentation visuelle robuste.
3. Généralisation Zero-Shot : Le modèle atteint un déploiement zero-shot robuste à travers divers environnements sans calibration spécifique à l'environnement ou fine-tuning.

4. Résultats Expérimentaux

Évaluation Hors-ligne (Consistance d'Échelle)

• Configuration : Les modèles ont été testés sur les mêmes entrées tout en faisant varier l'espacement temporel des observations passées (simulant différents pas de taille).
• Métrique : Erreur de déviation transversale (cross-track error) entre les trajectoires prédites sous différents espacements.
• Résultats : VISTA a démontré des erreurs de déviation transversale nettement inférieures par rapport aux modèles de référence (ViNT, NoMaD). Bien que VISTA sans Historique d'Action (VISTA w/o AH) présente une bonne consistance d'échelle, le modèle complet VISTA a obtenu les pertes de prédiction les plus faibles, indiquant que l'historique d'action améliore la précision de la trajectoire tout en préservant la consistance d'échelle.

Déploiement Zero-Shot en Monde Réel

Des expériences ont été menées dans trois environnements distincts : Extérieur (champ ouvert), Forêt (visuellement dense), et Bureau-Lab (couloirs répétitifs et virages serrés).

• Taux de Succès :
  • Extérieur : VISTA a atteint 100 % de précision de prédiction de but (3/3 essais) et 95 % de franchissement de la carte topologique de chemin (PTN).
  • Forêt : VISTA a atteint 100 % de prédiction de but (5/5 essais), surpassant les modèles de référence qui souffraient de mauvaise identification du but.
  • Bureau-Lab : VISTA a atteint 100 % de succès (5/5 essais), naviguant avec succès dans des cadres de portes étroits et identifiant la bonne porte cible. En revanche, VISTA w/o AH et les autres modèles de référence ont fréquemment collisionné ou échoué à identifier la bonne porte.
• Robustesse au Taille du Pas : Dans une expérience de virage serré avec des fréquences de contrôle variées (1–4 Hz) et des vitesses (0.1–0.4 m/s), VISTA a maintenu son succès dans la plupart des configurations. Les modèles comme ViNT ont systématiquement échoué à basse vitesse en raison d'une incapacité à s'adapter aux changements de taille de pas.
• Robustesse aux Perturbations : VISTA a géré avec succès les perturbations dynamiques (ex. : une porte fermée dans la carte topologique mais ouverte en réalité) en ralentissant et en s'arrêtant, et a maintenu la consistance lors d'expériences de boucles répétées.

5. Signification et Revendications

L'article affirme que la qualité de la représentation seule est insuffisante pour une navigation end-to-end fiable. Bien que les encodeurs avancés comme DINOv3 soient nécessaires pour gérer l'aliasing perceptuel, ils doivent être couplés à un contexte de mouvement à échelle métrique fourni par l'historique d'action.

VISTA démontre que le conditionnement sur l'historique d'action normalisé permet à un modèle de fondation de :

1. Résoudre l'ambiguïté de l'inférence d'échelle lors du déploiement zero-shot.
2. Se généraliser de manière robuste à travers diverses fréquences de contrôle et vitesses de robot.
3. Naviguer dans des environnements complexes et non vus (extérieur, forêt, bureau) avec des taux de succès élevés et un minimum de collisions, surpassant les VNMs de pointe actuels qui reposent uniquement sur des entrées visuelles.

Les auteurs concluent que cette approche comble le fossé entre les politiques visuelles généralisables et les réalités physiques du déploiement robotique, permettant une navigation fiable sans nécessiter de calibration spécifique à l'embodiment.