CrossMaps: Confidence-Aware Open-Vocabulary Semantic Mapping for Rover Navigation

Résumé Technique : CrossMaps – Cartographie Sémantique à Vocabulaire Ouvert et Sensible à la Confiance pour la Navigation de Rovers

Énoncé du Problème
Les rovers autonomes opérant dans des environnements non structurés sont confrontés à des défis importants pour maintenir des représentations spatiales qui soient à la fois géométriquement précises et sémantiquement significatives. Les systèmes de navigation traditionnels reposent sur des cartes géométriques basées sur le SLAM, qui capturent la structure spatiale mais manquent de la compréhension sémantique nécessaire pour l'interaction à vocabulaire ouvert. Bien que les modèles de vision-langage (VLM) récents aient permis la cartographie sémantique à vocabulaire ouvert (ex: VLMaps), le déploiement de ces systèmes sur des rovers mobiles reste difficile. Les problèmes clés incluent les observations bruitées et dépendantes du point de vue, les variations d'embeddings dues à l'éclairage et à la perspective, ainsi que la nécessité de équilibrer la stabilité de la carte sur de longs horizons avec l'adaptabilité requise pour incorporer de nouvelles preuves. Les méthodes existantes fusionnent souvent toutes les preuves en une seule représentation avec un traitement limité de l'incertitude, ce qui les rend sensibles au bruit des capteurs et aux changements environnementaux dynamiques.

Méthodologie : Le Pipeline CrossMaps
CrossMaps répond à ces défis via un pipeline de cartographie sémantique à vocabulaire ouvert, en temps réel et sensible à la confiance, conçu pour les rovers mobiles. Le système intègre des embeddings CLIP multi-échelles avec une architecture à double mémoire et des mécanismes de fusion de données sensibles à la confiance.

1. Extraction d'Embeddings Multi-échelles :
   Le pipeline traite les données RGB-D entrantes en divisant les cadres RGB en tuiles multi-échelles. Chaque tuile est encodée à l'aide d'un transformateur visuel CLIP pré-entraîné (ViT-L/14) pour générer des embeddings sémantiques alignés avec le langage naturel. Cette approche par tuiles évite le coût computationnel des embeddings denses par pixel tout en maintenant la robustesse contre le mouvement de la caméra.

2. Projection Spatiale et Fusion :
   En utilisant les images de profondeur ($D_t$) et les points de vue du rover ($T_t$) estimés par le SLAM, le système rétro-projette les pixels de profondeur dans l'espace 3D. Ces points 3D sont associés aux embeddings sémantiques de leurs tuiles d'image correspondantes. Les observations sont accumulées dans une carte de grille spatiale vue de dessus.

3. Mémoire à Court Terme (STM) Sensible à la Confiance :
   La STM agit comme une carte de grille dynamique qui agrège les observations récentes. Elle modélise explicitement l'incertitude de perception en attribuant des valeurs de confiance aux observations basées sur trois indices :

• Confiance Géométrique : Prend en compte la distance du capteur et la visibilité, appliquant une décroissance basée sur la distance pour les observations lointaines.
• Confiance Sémantique : Mesure l'accord entre les nouveaux embeddings et l'évidence actuelle de la cellule via la similitude cosinus dans l'espace CLIP. Les observations incohérentes sont pondérées à la baisse.
• Confiance Temporelle : Applique une décroissance temporelle à la confiance dans les régions rarement observées, permettant à la carte de s'adapter aux changements.

La fusion au sein de la STM est effectuée via une agrégation pondérée par la confiance. Chaque cellule maintient un accumulateur sémantique ($S_C$) et un accumulateur de confiance ($W_C$). Les nouvelles observations sont soumises à un filtrage doux (soft gating) basé sur la cohérence sémantique avant d'être ajoutées à l'embedding de la cellule.

4. Architecture à Double Mémoire (Promotion de la STM vers la LTM) :
   Pour garantir la stabilité, CrossMaps utilise une Mémoire à Long Terme (LTM) qui stocke des points de repère sémantiques persistants. Les cellules de la STM sont promues vers la LTM uniquement si elles satisfont trois critères stricts :

• Haute Confiance : La confiance accumulée ($W_C$) doit dépasser un seuil ($\tau_c$).
• Cohérence Sémantique : La norme de la moyenne des embeddings fusionnés au sein d'une cellule doit dépasser un seuil ($\tau_h$), garantissant que les observations conflictuelles ne corrompent pas la carte à long terme.
• Diversité de Point de Vue : La cellule doit être observée depuis plusieurs points de vue distincts (suivis via un masque de bits), confirmant sa fiabilité au-delà d'une perspective unique.

5. Requêtes en Langage Naturel :
   La carte résultante supporte les requêtes à vocabulaire ouvert. Une requête en langage naturel est encodée en un embedding de texte CLIP et comparée aux embeddings des cellules via la similitude cosinus. Le résultat est une carte thermique spatiale où le score de correspondance est pondéré par la cohérence de la cellule. Cela permet aux cellules à haute confiance de servir de points de repère fiables tout en mettant en évidence des régions potentiellement utiles à faible confiance.

Principales Contributions
Le papier présente quatre contributions principales :

1. Un cadre de cartographie sémantique à vocabulaire ouvert sensible à la confiance qui assigne une confiance par point et par cellule aux observations basées sur CLIP en utilisant des indices géométriques, sémantiques et temporels lors de la fusion de la carte.
2. Une représentation de carte sémantique à double mémoire qui agrège les observations dans une carte de grille à court terme (STM) et ne promeut dans une carte de points de repère persistante à long terme (LTM) que les cellules suffisamment confiantes, cohérentes et soutenues par plusieurs vues.
3. Un pipeline de cartographie sémantique en temps réel qui fusionne les embeddings CLIP multi-échelles par tuiles avec un alignement spatial basé sur le SLAM pour construire des cartes 3D interrogeables par le langage sous le mouvement du rover.
4. Un mécanisme de promotion et de requête basé sur la confiance et la cohérence qui utilise l'accord intra-cellule pour façonner les cartes thermiques et la sélection des cellules, tout en utilisant la confiance par cellule pour réguler la promotion à long terme et les cibles de navigation.

Résultats et Démonstration
Les auteurs ont implémenté CrossMaps comme un nœud ROS 2 modulaire sur un UGV Waveshare équipé d'un GPU NVIDIA Jetson Orin et d'une caméra RGB-D. Le système fonctionne aux côtés de RTAB-Map pour la localisation.

• Opération en Temps Réel : Le pipeline traite avec succès les flux RGB-D pour construire des cartes sémantiques en temps réel.
• Performance de Requête : Le système génère des cartes thermiques spatiales pour des requêtes en langage naturel (ex: "plante", "marteau").
• Atténuation du Bruit : Les visualisations démontrent que si la STM contient des observations bruitées, la LTM les filtre efficacement, résultant en des suggestions plus éparses et fiables. Par exemple, les requêtes pour "marteau" montrent des cartes thermiques STM bruitées, mais des cartes thermiques LTM plus propres et plus fiables, validant l'efficacité des mécanismes de filtrage par confiance et cohérence.

Signification et Revendications
Le papier affirme que CrossMaps démontre la faisabilité de combiner la perception à vocabulaire ouvert avec une fusion sensible à la confiance et une représentation à double mémoire pour permettre aux rovers de construire des cartes sémantiques interrogeables par le langage tout en atténuant le bruit perceptuel. En séparant les observations incertaines (STM) des structures stables (LTM), le système atteint un équilibre entre plasticité et robustesse. Les auteurs positionnent ce travail comme une étape vers une navigation de rover plus sûre en cas d'observabilité partielle, avec des travaux futurs prévoyant d'intégrer l'extraction de caractéristiques basée sur la segmentation et d'étendre le cadre vers le partage de connaissances multi-agents et le raisonnement neuro-symbolique pour des scénarios critiques de sécurité.