Résumé Technique : Robostral Navigate

Problématique

Le déploiement de systèmes de navigation incarnés à grande échelle se heurte à des obstacles majeurs : les méthodes de pointe actuelles dépendent souvent de modalités de détection privilégiées (capteurs de profondeur, LiDAR, configurations multi-caméras) ou de cartes préétablies. Ces dépendances augmentent les coûts matériels, limitent la compatibilité avec diverses morphologies de robots (roulés, bipèdes, aériens) et nécessitent un étalonnage spécifique à l'environnement. De plus, l'entraînement de ces systèmes nécessite généralement une collecte de données en monde réel étendue et coûteuse. Le défi consiste à développer une recette de navigation qui minimise les hypothèses sur les capteurs, se généralise à travers différentes morphologies de robots et s'entraîne efficacement en utilisant uniquement la simulation.

Méthodologie

Robostral Navigate est un modèle de langage-vision (VLM) de 8 milliards de paramètres conçu pour résoudre la navigation incarnée en utilisant uniquement un flux d'images RGB monoculaires. Le système décompose la navigation en deux étapes distinctes : une planification de haut niveau via un VLM et un contrôle de bas niveau via une politique de diffusion.

1. Architecture du Modèle

• Planificateur Vision-Langage (VLM de 8B) : Le modèle central est initialisé à partir d'un VLM dense conçu pour l'ancrage spatial (désignation, comptage, localisation). Il prend en entrée une instruction en langage naturel et un historique de cadres RGB monoculaires.
• Navigation par Désignation (Pointing) : Au lieu de prédire des déplacements métriques liés à une géométrie de robot spécifique, le VLM prédit des points de passage (waypoints) en « pointant » vers la prochaine cible dans la vue de la caméra actuelle (coordonnées d'image $u, v$) et le changement de cap souhaité ($\Delta\theta$). Cette formulation dans l'espace de l'image garantit la robustesse aux intrinsèques de la caméra et à l'échelle de la scène.
• Repli sur Déplacement (Displacement Fallback) : Pour gérer les cas où la destination est hors du champ de vision (par exemple, nécessitant un virage), le modèle prédit conjointement des déplacements métriques ($\Delta x, \Delta y, \Delta\theta$) aux côtés des coordonnées de pointage. Si la destination est invisible, il omet les coordonnées d'image et se repose uniquement sur le déplacement métrique.
• Politique de Diffusion (121M de paramètres) : Les points de passage inférés par le VLM sont convertis en commandes motrices de bas niveau par un transformateur de diffusion léger. Cette politique produit une trajectoire dense de déplacements 2D relatifs et de rotations 1D à 10 Hz, qui est ensuite traduite en couples d'actionneurs à haute fréquence par un contrôleur de suivi de mouvement.

2. Stratégie d'Entraînement

Le pipeline d'entraînement est conçu pour une efficacité et une évolutivité maximales, reposant entièrement sur la simulation.

• Génération de Données : Le système est entraîné sur environ 2,4 millions de trajectoires expertes à travers 350 000 scènes simulées (intérieures et extérieures). La génération de données implique un échantillonnage de point le plus éloigné (farthest-point sampling) pour assurer la diversité des positions de départ/but et la variété des complexités de scène.
• Mise en Cache de Préfixe (Prefix-Caching) et Masquage d'Attention : Pour remédier à l'inefficacité computationnelle de l'entraînement séquentiel standard (où la complexité des jetons suit une progression $O(T^2)$), les auteurs emploient une technique de mise en cache de préfixe. Des épisodes entiers sont regroupés dans des séquences d'entraînement uniques. Un masque d'attention basé sur un arbre est utilisé pour empêcher le modèle de se conditionner sur les actions de vérité terrain précédentes pendant l'entraînement. Ceci est nécessaire car les actions de vérité terrain précédentes sont souvent très informatrices des actions futures (notamment en raison du paradigme du point de passage le plus visible), et le modèle s'appuierait autrement sur elles plutôt que d'apprendre une prédiction ancrée visuellement. Cela réduit le nombre de jetons d'entraînement de 22×, faisant passer le temps d'entraînement de mois à quelques jours.
• Généralisation Inter-Robot : Lors de la génération de données, les configurations des robots (hauteur, rayon, placement de la caméra, inclinaison) sont randomisées. Cela permet aux politiques apprises de se transférer sur différentes formes sans réentraînement.
• Apprentissage par Renforcement en Ligne (RL) : Après l'ajustement fin supervisé (SFT), le modèle subit un RL en ligne utilisant CISPO (une méthode d'estimation d'avantage relative de groupe). L'agent interagit avec un simulateur sur un sous-ensemble curaté de trajectoires « difficiles » où la politique SFT a échoué. La fonction de récompense est définie par $-\max(2, \text{dist\_to\_goal})$, incitant l'agent à atteindre l'objectif et à émettre une action STOP tout en évitant les manœuvres inutiles à proximité de la cible.

Contributions Clés

1. Dépendance Minimale aux Capteurs : Démontre qu'un VLM de 8B peut atteindre des performances de navigation de pointe en utilisant uniquement une seule caméra RGB, éliminant ainsi le besoin de capteurs de profondeur, de LiDAR ou de configurations multi-caméras.
2. Désignation dans l'Espace de l'Image : Introduit un mécanisme de prédiction de point de passage basé sur la désignation qui opère dans l'espace de l'image plutôt qu'en coordonnées métriques, permettant naturellement la généralisation inter-robot sans réétalonnage.
3. Recette d'Entraînement Efficace : Développe une méthode d'entraînement par mise en cache de préfixe qui réduit la complexité des jetons de 22×, permettant l'entraînement de politiques de navigation à grande échelle en quelques jours plutôt qu'en mois en utilisant des données de simulation uniquement.
4. Intégration de l'Apprentissage par Renforcement : Applique avec succès le RL en ligne pour améliorer les capacités d'exploration et de récupération, comblant l'écart entre le clonage comportemental et une navigation robuste à long terme.

Résultats

Le système a été évalué sur les benchmarks Room-to-Room in Continuous Environments (R2R-CE) et Room-Across-Room (RxR-CE).

• R2R-CE (Validation Unseen) : Robostral Navigate a atteint un Taux de Succès (SR) de 77,4 % et un SPL (Success weighted by Path Length) de 74,2 %.
  • Cela surpasse la meilleure base monoculaire (Qwen-RobotNav-4B, 66,9 % SR) de 10,5 points.
  • Cela surpasse également le meilleur système avec profondeur/multi-caméras (Qwen-RobotNav-8B, 72,1 % SR) de 5,3 points, malgré l'absence de capteurs auxiliaires.
• RxR-CE (Validation Unseen) : Le modèle a atteint un SR de 75,1 % et un SPL de 68,7 %, surpassant toutes les bases monoculaires et démontrant une efficacité de trajectoire supérieure aux modèles assistés par profondeur.
• Déploiement Inter-Robot : Les mêmes poids de modèle ont été déployés avec succès sur deux plateformes distinctes (Galaxea R1 et Hiwonder JetAuto) présentant des morphologies et des configurations de caméra différentes, validant les affirmations de généralisation inter-robot.

Signification

L'article soutient que Robostral Navigate représente une recette évolutive pour la robotique généraliste. En combinant une simulation à grande échelle, des algorithmes d'entraînement efficaces (mise en cache de préfixe) et l'apprentissage par renforcement, les auteurs démontent que la navigation de haute performance ne nécessite pas de capteurs privilégiés. Ce travail suggère qu'une approche à capteurs minimaux, lorsqu'elle est couplée à des méthodologies d'entraînement robustes, peut surpasser les systèmes exploitant des matériels complexes, abaissant ainsi la barrière au déploiement d'agents incarnés généralistes à travers divers matériels et de nouveaux environnements.