Résumé technique : Au-delà des points de passage : Ancrage par double carte de chaleur pour la navigation sémantique trans-embodiment

1. Définition du problème

L'article aborde un défi fondamental dans l'interaction humain-robot : l'ancrage d'instructions sémantiques ouvertes en objectifs locaux physiquement exécutables. Alors que la navigation traditionnelle repose sur des cartes métriques et que les cadres existants de Navigation Vision-Langage (VLN) régressent souvent des points de passage déterministes, ces approches souffrent de limitations critiques dans le déploiement réel :

• Effondrement de l'incertitude spatiale : La régression rigide d'un point force une coordonnée unique, ignorant la nature multi-modale des positions de stationnement valides.
• Cibles non navigables : Les méthodes déterministes ciblent fréquemment le centre géométrique des objets (par exemple, le centre d'un canapé), entraînant des collisions plutôt que des espaces libres navigables.
• Absence de contraintes d'orientation : Les coordonnées simples échouent à capturer des intentions complexes impliquant l'orientation (par exemple, « faire face à la fenêtre » ou « accompagner une personne »).
• Fragilité trans-embodiment : Les modèles entraînés à émettre des coordonnées spécifiques échouent souvent lors du transfert vers des robots ayant des contraintes cinématiques ou des empreintes au sol différentes.

Les auteurs se concentrent sur la navigation sémantique dans le champ de vision (FOV), où un robot reçoit des invites multimodales concises et entrelacées (texte et/ou images de référence) pour naviguer vers des cibles situées dans sa portée immédiate de capteurs.

2. Méthodologie

La solution proposée est un cadre unifié Vision-Langage qui remplace la régression d'un point unique par une représentation par double carte de chaleur prédite directement dans l'espace image 2D à la première personne.

2.1 Représentation par double carte de chaleur

Au lieu de sortir une seule coordonnée $(x, y)$, le modèle prédit deux cartes de chaleur probabilistes denses :

1. Carte de chaleur de navigation ($H_{nav}$) : Représente une « affordance de point de stationnement ». Elle capture des régions continues accessibles (par exemple, l'espace au sol adjacent à un objet) plutôt que les centres d'objets. Les pixels non navigables sont nuls ; les valeurs sur l'espace libre décroissent de manière monotone avec la distance à la cible, normalisées dans l'intervalle $[0, 1]$.
2. Carte de chaleur de face-à-face ($H_{fac}$) : Encode les contraintes d'orientation. Elle est définie comme une Gaussienne 2D centrée sur le centre géométrique de la cible de face-à-face, convertissant la sélection d'orientation discrète en probabilité spatiale continue.

Ces cartes de chaleur fonctionnent comme un champ de potentiel sémantique différentiable, permettant aux planificateurs locaux en aval d'intégrer l'intention sémantique avec les coûts de collision et les contraintes cinématiques.

2.2 Architecture du modèle

Le système emploie une architecture à double flux basée sur Qwen3-VL (un modèle de 8 milliards de paramètres) :

• Backbone : Utilise Qwen3-VL avec un fine-tuning LoRA ($r=16, \alpha=32$) pour préserver les capacités à vocabulaire ouvert.
• Extraction de caractéristiques : Concatène les caractéristiques visuelles de type « deepstack » d'un encodeur ViT ($F_{vis}$) et les caractéristiques contextuelles du décodeur VLM ($F_{vlm}$).
• Attention croisée : Fusionne les modalités en utilisant des jetons visuels comme requêtes et des jetons VLM comme clés/valeurs, avec un mécanisme de masquage pour empêcher la fuite d'information depuis des jetons de remplissage ou d'assistant.
• Décodeur conscient des coordonnées : Inspiré de CenterNet, le décodeur concatène des canaux de coordonnées normalisés $(x, y)$ avec les caractéristiques fusionnées. Il utilise un goulot d'étranglement 1x1 et un ASPP pour l'agrégation multi-échelle, suivi de branches convolutionnelles parallèles pour $H_{nav}$ et $H_{fac}$. Les auteurs utilisent explicitement un suréchantillonnage par convolution avec redimensionnement (Resize-Conv) pour éviter les artefacts en damier.

2.3 Formation et pipeline de données

• Données synthétiques automatisées : Un pipeline entièrement automatisé utilisant Isaac Sim, Kujiale et des ressources GRUtopia génère des instructions multimodales appariées et des cartes de chaleur d'affordance. Des modèles de fondation (Gemini, SAM3) gèrent la normalisation des ressources, l'extraction de masques et la génération d'images de référence.
• Fonction de perte : Une somme pondérée de l'Entropie Croisée Binaire (BCE) pour la navigation et d'une perte focale repondérée par une Gaussienne pour le face-à-face. Une stratégie d'annelage dynamique est utilisée pour équilibrer les deux objectifs pendant l'entraînement.
• Intégration système : Les cartes de chaleur prédites sont projetées dans l'espace géométrique 3D en utilisant des matrices de profondeur et extrinsèques. Un planificateur local par intégrale de chemin prédictive de modèle (MPPI) échantillonne des trajectoires, les évaluant sur la base de la récompense sémantique intégrée issue des cartes de chaleur et des coûts de collision physique.

3. Contributions clés

1. Cadre novateur : Introduction d'un cadre de navigation sémantique à vocabulaire ouvert supportant des entrées multimodales flexibles et entrelacées (texte, images, ou les deux) pour l'ancrage de cibles dans le champ de vision.
2. Représentation par double carte de chaleur : Une méthode pour faire le pont entre le raisonnement VLM de haut niveau et l'évitement d'obstacles de bas niveau en prédisant l'affordance navigable et les contraintes de face-à-face sous forme de champs de probabilité denses, assurant à la fois la précision sémantique et la faisabilité physique.
3. Pipeline de données automatisé : Un pipeline complet, assisté par des modèles de fondation, pour générer des jeux de données synthétiques à grande échelle d'instructions multimodales appariées à des cartes de chaleur d'affordance.
4. Validation trans-embodiment : Démonstration de performances robustes à travers divers embodiments robotiques (Jetbot à roues, humanoïde H1 et quadrupède Aliengo) en simulation.

4. Résultats expérimentaux

Le cadre a été évalué par rapport à des bases de référence de 8 milliards de paramètres (InternVLA-N1-System2, Molmo, Qwen3-VL-Instruct) sur la division MP3D val_test et en simulation à travers trois types de robots.

• Performance sur les benchmarks : La méthode proposée a atteint des performances zero-shot de l'état de l'art. Notamment, elle a considérablement amélioré le Rappel de navigation (0,6740 contre 0,2044 pour Qwen3-VL) et le Score F1 global (0,4917 contre 0,3758).
• Taux d'affordance (AR) : Le modèle a atteint un AR de 0,7265, surpassant nettement les bases de référence (par exemple, 0,2492 pour Molmo), indiquant une capacité supérieure à placer des cibles dans des espaces libres physiquement exécutables.
• Fusion de caractéristiques : Des études d'ablation ont révélé que l'attention croisée entre les caractéristiques ViT et les caractéristiques VLM offrait le meilleur compromis, surpassant l'ajout direct ou les bases de référence VLM uniquement. Cela confirme la valeur de l'amélioration explicite des caractéristiques visuelles par le contexte linguistique.
• Validation en simulation : À travers Jetbot, H1 et Aliengo, le modèle proposé a atteint des taux de réussite (SR) significativement plus élevés que la base de référence Qwen3-VL fine-tunée, tant dans les scènes vues que non vues (par exemple, 0,7012 contre 0,4146 pour les scènes vues de Jetbot).
• Analyse du biais de survie : L'article note que bien que les bases de référence montrent parfois une erreur de navigation (NE) plus faible, cela est attribué à un « biais de survie » où les bases de référence ne rapportent des erreurs que pour les quelques prédictions valides qu'elles font, alors que l'approche par carte de chaleur prédit avec succès des points valides dans une fraction beaucoup plus élevée d'épisodes.

5. Signification et revendications

L'article revendique que, en abandonnant la régression rigide de points en faveur d'une prédiction dense de cartes de chaleur, le cadre atténue efficacement la fragilité de la navigation sémantique traditionnelle. La signification réside dans :

• Sécurité et faisabilité : En modélisant « où se tenir » plutôt que « où se trouve l'objet », le système évite intrinsèquement les cibles non navigables.
• Transférabilité : Le découplage de l'intention sémantique (carte de chaleur) et de l'exécution physique (planificateur) permet de réutiliser la même sortie VLM à travers divers embodiments robotiques sans réentraînement.
• Praticité : L'approche répond au besoin réaliste de commandes concises et guidées par l'intention dans le champ de vision immédiat du robot, allant au-delà des « roadbooks » granulaires requis par les tâches VLN traditionnelles.

Les auteurs positionnent ce travail comme une étape vers une navigation sémantique trans-embodiment sûre, offrant une voie transférable qui intègre le raisonnement de haut niveau avec les contraintes physiques de bas niveau.