Résumé Technique : VEGA – Apprentissage de la navigation par VLAs à partir de vidéos égocentrées « in-the-wild » avec supervision de trajectoire géométrique

Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) ont montré un potentiel significatif pour la manipulation robotique en exploitant des jeux de données diversifiés et à grande échelle. Cependant, l'extension de ces modèles à la navigation de robots mobiles au sol reste un goulot d'étranglement critique. Les jeux de données de navigation existants sont parsemés, fournissant généralement une seule trajectoire par scène vers un objectif implicite ou explicite. Ce manque de supervision dense ne permet pas d'enseigner aux politiques comment les trajectoires réalisables varient selon les différents objectifs, les configurations d'obstacles et les points de départ au sein d'un même environnement. En conséquence, les politiques apprises présentent souvent un faible ancrage des objectifs, un mauvais évitement d'obstacles à courte portée et des comportements dangereux dans des scènes encombrées.

Bien que les jeux de données de conduite autonome offrent une certaine échelle, ils ciblent des environnements structurés et ne capturent pas l'encombrement centré sur les objets à courte portée, typique des robots mobiles généraux. Inversement, collecter suffisamment de données de robot téléopéré pour couvrir l'immense espace des environnements, des objectifs et des dispositions d'obstacles n'est pas une solution scalable. Bien que les vidéos égocentrées à grande échelle (ex: visites de marche, enregistrements domestiques) soient abondantes et contiennent des observations visuelles riches de la navigation réelle, elles manquent des actions robotiques explicites, du conditionnement par l'objectif et des trajectoires conscientes des obstacles nécessaires à l'apprentissage de politiques.

Méthodologie : VEGA

Les auteurs proposent VEGA (Vision-language navigation from Egocentric Video with Geometric Action supervision), un cadre qui transforme des vidéos égocentrées non étiquetées et sans action en un signal de supervision scalable pour l'entraînement de VLAs de navigation. L'innovation centrale est l'utilisation de la reconstruction de la géométrie de la scène exclusivement durant l'entraînement pour générer des trajectoires conscientes des obstacles, qui sont ensuite distillées dans une politique basée sur la vision qui ne nécessite que des observations RGB et des objectifs lors de l'inférence.

1. Pipeline de Génération de Données

VEGA traite les vidéos égocentrées non étiquetées via les étapes suivantes :

• Reconstruction de la Géométrie Monoculaire : En utilisant le modèle de fondation MoGe-2, le système reconstruit une carte de points 3D métrique dense ($P_t$) à partir de chaque image RGB. Un plan de sol local est ajusté via RANSAC, et les points sont pivotés pour s'aligner avec le référentiel du robot.
• Construction d'un ESDF Sensible à la Visibilité : Le système projette la carte de points nivelée sur un domaine de vue aérienne (Bird's-Eye-View, BEV). Il distingue l'espace libre connu ($X_{free}$), l'espace occupé ($X_{occ}$) et l'espace non observé ($X_{unk}$) par lancer de rayons. Un champ de distance signée euclidienne (ESDF) est calculé, où les valeurs positives indiquent une marge de sécurité et les valeurs négatives marquent les obstacles ou les régions inconnues.
• Ancrage d'Objectifs Multimodaux :
  • Objectifs d'Objets : Florence-2 détecte les objets et génère des boîtes englobantes. Celles-ci sont projetées sur le plan du sol pour créer des points de passage spatiaux ($g_{wp}$), alignés avec les objectifs de texte et de région d'image.
  • Objectifs d'Espace Libre : Des points de passage auxiliaires sont échantillonnés à partir de l'espace libre observé pour fournir une supervision pour des localisations traversables arbitraires.
• Génération de Trajectoire : Un planificateur MPPI (Model Predictive Path Integral) génère des trajectoires de points de passage conscientes des obstacles vers ces objectifs. Le planificateur optimise l'atteinte de l'objectif, l'évitement de collision, la marge de sécurité, l'effort de contrôle et la fluidité en utilisant l'ESDF. Si un objectif est inatteignable, la meilleure trajectoire partielle est sélectionnée.

2. Architecture du Modèle et Entraînement

VEGA entraîne un VLA de flow-matching pour prédire des segments de points de passage 2D locaux.

• Architecture : Basée sur l'architecture VLA $\pi_{0.5}$, elle combine un backbone vision-langage pré-entraîné avec un expert d'action par flow-matching. Elle supporte les objectifs de texte, d'image et de point de passage via des encodeurs spécifiques.
• Objectif d'Entraînement : Le modèle apprend à prédire un champ de vecteurs qui transforme des échantillons de bruit en trajectoires cibles. Contra part aux méthodes qui prédisent une sortie déterministe unique, le flow-matching permet à la politique de modéliser des distributions d'actions multimodales, capturant le fait que plusieurs chemins distincts peuvent être réalisables pour une même paire observation-objectif.
• Inférence : Lors du déploiement, la politique ne nécessite que des observations RGB et une spécification d'objectif. Elle n'a pas besoin de capteurs de profondeur en ligne, de LiDAR ou de cartographie géométrique explicite, car le raisonnement géométrique a été distillé dans les poids de la politique pendant l'entraînement.

Contributions Clés

1. Entraînement VLA Supervisé par la Géométrie : Un paradigme qui distille un comportement de navigation conscient des obstacles à partir de vidéos égocentrées « in-the-wild » sans étiquettes d'action manuelles ou démonstrations robotiques.
2. Jeu de Données de Trajectoires Multimodales à Grande Échelle : Un jeu de données construit contenant environ 5 millions de trajectoires conditionnées par l'objectif, alignées avec des annotations de texte, de région d'image et de point de passage spatial, accompagnées de nuages de points 3D reconstruits et d'ESDF.
3. VEGA-Bench : Une nouvelle suite d'évaluation comprenant 250k scènes et 5 millions de cibles multimodales, conçue pour évaluer rigoureusement la progression vers l'objectif, les taux de collision et la marge de sécurité des obstacles.
4. Validation en Monde Réel : Preuves empiriques démontrant la transférabilité de l'approche à des robots physiques.

Résultats et Évaluation

Les auteurs ont évalué VEGA par rapport aux meilleures méthodes de référence (OmniVLA, NaVILA et $\pi_{0.5}$) sur VEGA-Bench et lors d'essais en monde réel.

• Performance de VEGA-Bench : VEGA a atteint une progression d'objectif comparable aux bases de référence, mais a considérablement réduit les taux de collision et amélioré la marge de sécurité des obstacles. Plus précisément, il a réduit les collisions de 33,0 % et amélioré la marge de sécurité des obstacles de 17,9 % par rapport à la meilleure méthode de référence.
• Essais Robotiques en Monde Réel : Déployé sur un robot quadrupède dans des environnements encombrés avec des obstacles statiques et dynamiques, VEGA a démontré des améliorations substantielles :
  • Taux de Succès : Amélioré d'au moins 150,0 %.
  • Évitement de Collision : Réduction des collisions d'au moins 66,7 %.
  • Marge de Sécurité des Obstacles : Amélioration d'au moins 60,0 %.
• Ancrage de l'Objectif : L'analyse qualitative et quantitative a montré que VEGA se conditionne avec succès sur des objectifs spécifiques (texte, image ou point de passage), évitant l'« effondrement de mode » observé chez les bases de référence où les politiques génèrent des chemins similaires quel que soit l'objectif.

Signification et Revendications

L'article affirme que la supervision géométrique dérivée de la vidéo fournit un signal scalable et efficace pour entraîner des VLAs de navigation conscients des obstacles. En exploitant l'abondance des vidéos égocentrées et en utilisant la géométrie uniquement comme enseignant lors de l'entraînement, VEGA comble l'écart entre les capacités de raisonnement sémantique des VLAs et les exigences de sécurité géométrique de la planification classique. Cette approche élimine le besoin de collecte de données robotiques coûteuses à grande échelle tout en permettant des politiques qui généralisent à des environnements réels complexes et encombrés.

Limites et Travaux Futurs

Les auteurs reconnaissent deux limites principales :

1. Absence de Mémoire : La politique actuelle est sans mémoire, reposant uniquement sur l'observation RGB actuelle et l'objectif. Cela peut être fragile lorsque les objectifs ou les obstacles sortent du champ de vision de la caméra. Les travaux futurs pourraient incorporer l'attention temporelle ou la mémoire latente.
2. Hypothèse de Géométrie Statique : La supervision ESDF locale ne modélise pas explicitement le mouvement des obstacles dynamiques. Bien que le replanification gère les nouveaux obstacles observés, le planificateur ne prédit pas les mouvements futurs des objets en mouvement. Les itérations futures pourraient intégrer la prédiction de trajectoire ou des champs de distance indexés par le temps.