Résumé technique : Le langage comme capteur : Estimation calibrée de la croyance spatiale dans des scènes 3D à partir du langage naturel

Énoncé du problème

Les robots opérant dans des environnements centrés sur l'humain reçoivent fréquemment des descriptions en langage naturel d'informations spatiales (par exemple, « J'ai laissé mon sac à dos sur la table ») qui font référence à des objets situés en dehors de leur champ de vision perceptuel actuel. Alors que les humains peuvent ancrer de tels énoncés ambigus dans une croyance spatiale grâce à des connaissances préalables, les systèmes de cartographie métrique-sémantique traditionnels ignorent ces signaux, forçant les robots à découvrir les objets en partant de zéro. Inversement, les modèles de vision-langage 3D (3D-VLM) existants produisent des ancrages déterministes qui manquent de calibration d'incertitude, ce qui les rend inappropriés pour une fusion probabiliste avec des données de capteurs en flux continu. Le défi central consiste à transformer un langage naturel ambigu en une distribution de probabilité spatiale calibrée qui rend compte à la fois de l'ambiguïté référentielle (quel objet est référencé) et de l'ambiguïté spatiale (où sur cet objet se trouve la cible), permettant son utilisation comme un capteur stochastique dans un cadre d'inférence bayésienne.

Méthodologie

Le papier propose un cadre en deux parties : un Modèle de Capteur de Langage (LSM) pour générer des distributions calibrées, et VL-Map, un cadre de cartographie probabiliste pour fusionner ces distributions avec des observations visuelles.

1. Modèle de Capteur de Langage (LSM)

Le LSM est conçu pour mapper un énoncé $L_j$ et un graphe de scène a priori $m^-$ en une distribution de mélange gaussien calibrée sur l'état latent de la cible $m^\dagger$. Le modèle décompose le problème en deux facteurs (Éq. 1) :
$$P(m^\dagger | L_j, m^-) = \sum_{h_i \in H} P(m^\dagger | h_i, m^-) \cdot P(h_i | L_j, m^-)$$

• Génération d'hypothèses (Désambiguïsation du référent) : Un grand modèle de langage (LLM) est sollicité avec l'énoncé et un graphe de scène sérialisé pour énumérer des hypothèses candidates $h_i$. Chaque hypothèse associe un objet ancre candidat (par exemple, une table spécifique) à une relation spatiale ancrée (par exemple, « sur »). Le LLM assigne des poids de confiance $P(h_i | L_j, m^-)$ à ces candidats.
• Ancrage spatial : Pour chaque hypothèse, un Transformateur de Capteur de Langage prédit une distribution gaussienne 3D $N(\mu_i, \Sigma_i)$.
  • Architecture : Le modèle utilise un backbone de transformateur spatial entraîné de zéro pour affiner les jetons d'objets via une attention auto-génométrique. Il les fusionne avec des plongements textuels (provenant d'un modèle BERT gelé) via un backbone de fusion globale.
  • Sortie : Une tête de décodeur conditionnée par FiLM produit la moyenne $\mu_i$ et la covariance $\Sigma_i$. La covariance encode l'incertitude spatiale (par exemple, la précision de la définition de « sur la table »), tandis que les poids du mélange encodent l'incertitude référentielle.
  • Entraînement : Le modèle est entraîné avec une combinaison de pertes de log-vraisemblance négative et de régression euclidienne directe pour garantir que les covariances prédites sont bien calibrées.

2. VL-Map (Cartographie Métrique-Sémantique Vision-Langage)

VL-Map intègre la sortie du LSM dans un cadre de mise à jour de croyance bayésienne récursive.

• Représentation : L'environnement est discrétisé en une grille de voxels. L'état cible est un indicateur binaire sur ces voxels.
• Fusion : Le cadre traite les énoncés linguistiques comme des observations stochastiques analogues à des capteurs visuels. Il maintient une croyance postérieure $b_t(m^\dagger)$ en mettant à jour de manière récursive les observations visuelles $Z_{1:t}$ et les observations linguistiques $L_{1:M}$.
• Implémentation : Les vraisemblances linguistiques sont converties en log-odds et ajoutées à la carte de croyance au niveau du voxel (implémentée au sein du framework Hydra). Cela permet au robot d'affiner sa croyance sur l'emplacement de la cible à mesure qu'il explore, même avant une confirmation visuelle directe.

Contributions Clés

1. Modèle de Capteur de Langage (LSM) : Un modèle basé sur les transformateurs qui convertit le langage non structuré et le contexte de la scène en distributions spatiales de mélanges gaussiens calibrées. Contrairement aux travaux précédents, il modélise explicitement l'ambiguïté référentielle et spatiale, produisant des covariances qui reflètent la véritable incertitude.
2. Cadre VL-Map : Une formulation bayésienne qui traite le langage naturel comme une modalité de détection probabiliste. Il fusionne les vraisemblances dérivées du langage avec la perception visuelle embarquée pour mettre à jour une croyance spatiale unifiée sur la structure latente de la scène.
3. Validation Empirique : Démontre que le LSM est le seul prédicteur de langage évalué qui conserve la calibration à travers diverses relations spatiales et niveaux d'ambiguïté. Lorsqu'il est fusionné dans VL-Map, il surpasse significativement les bases de référence, assignant environ 70 % de masse de probabilité postérieure supplémentaire à l'emplacement réel de la cible par rapport au modèle de fondation le plus robuste.

Résultats Expérimentaux

Les auteurs ont évalué leur approche sur le benchmark VLA-3D (simulation) et sur un robot mobile Boston Dynamics Spot (monde réel).

Ancrage Spatial Statique

• Calibration : Mesurée par l'ANEES (Average Normalized Estimation Error Squared), où 3 indique une calibration parfaite. Le LSM a atteint un ANEES de 1,72 (vu) et 3,14 (non vu), restant dans le régime calibré. En revanche, les modèles de base (Scaffolded-LLM, Scaffolded-VLM) présentent une surconfiance sévère avec des valeurs ANEES allant de 43 à 80.
• Précision : Le LSM a réduit l'RMSE d'environ la moitié par rapport à Scaffolded-LLM et des deux tiers par rapport à Scaffolded-VLM.

Estimation de Croyance en Boucle Fermée

• Gain d'Information : Dans les simulations en boucle fermée, le LSM fournit un gain d'information positif dès les premiers 30 % de la trajectoire, alors que les modèles de fondation produisent souvent un gain négatif (dégradant la croyance en dessous d'un a priori uniforme en raison de prédictions incorrectes et surconfiantes).
• Taux de Succès : Lorsque la cible n'est jamais directement observée par la vision, le LSM a réussi dans 70 % des épisodes avec un gain d'information moyen positif (+1,65 nats). Toutes les méthodes de base ont échoué à maintenir un gain d'information positif dans ce régime, avec des taux de réussite plafonnés à 40 % ou moins.
• Monde Réel : Sur le robot Spot, la fusion du LSM avec des données visuelles en flux continu a entraîné un gain d'information moyen de +4,34 nats et a concentré 8,7 % de la croyance postérieure terminale sur la cible, confirmant le transfert sim-to-real de la représentation du graphe de scène.

Signification et Revendications

L'article affirme que le langage peut fonctionner comme une modalité de détection fiable pour le raisonnement spatial robotique, à condition que l'incertitude soit explicitement modélisée et fusionnée de manière probabiliste. Les auteurs soutiennent que :

• La cartographie métrique-sémantique traditionnelle ignore des signaux a priori précieux provenant du langage humain.
• Les modèles multimodaux prêts à l'emploi sont insuffisants car ils produisent des sorties déterministes et non calibrées qui dégradent activement l'inférence bayésienne lorsqu'elles sont fusionnées avec des données de capteurs.
• En traitant le langage comme une observation spatiale stochastique avec des covariances calibrées, les robots peuvent maintenir des croyances précises sur les régions non observées et converger vers l'emplacement réel de la cible beaucoup plus rapidement que les approches uniquement basées sur la vision.

Le travail souligne que la « calibration » du capteur de langage est le goulot d'étranglement critique ; sans elle, les a priori linguistiques peuvent être pires que l'absence de tout a priori. Le cadre LSM et VL-Map proposé répond avec succès à cela en garantissant que les estimations d'incertitude du capteur de langage restent dans le régime calibré, permettant un raisonnement spatial robuste en boucle fermée.