CrossMaps: Confidence-Aware Open-Vocabulary Semantic Mapping for Rover Navigation

Resumen Técnico: CrossMaps – Mapeo Semántico de Vocabulario Abierto con Conciencia de Confianza para la Navegación de Rovers

Planteamiento del Problema
Los rovers autónomos que operan en entornos no estructurados enfrentan desafíos significativos para mantener representaciones espaciales que sean tanto geométricamente precisas como semánticamente significativas. Los sistemas de navegación tradicionales dependen de mapas geométricos basados en SLAM, los cuales capturan la estructura espacial pero carecen de la comprensión semántica necesaria para la interacción de vocabulario abierto. Si bien los modelos de visión y lenguaje (VLM) recientes han permitido el mapeo semántico de vocabulario abierto (por ejemplo, VLMaps), el despliegue de estos sistemas en rovers móviles sigue siendo difícil. Los problemas clave incluyen observaciones ruidosas y dependientes del punto de vista, variaciones en los embeddings debido a la iluminación y la perspectiva, y la necesidad de equilibrar la estabilidad del mapa en horizontes largos con la adaptabilidad requerida para incorporar nueva evidencia. Los métodos existentes a menudo fusionan toda la evidencia en una sola representación con un tratamiento limitado de la incertidumbre, lo que los hace susceptibles al ruido de los sensores y a los cambios ambientales dinámicos.

Metodología: El Pipeline de CrossMaps
CrossMaps aborda estos desafíos a través de un pipeline de mapeo semántico de vocabulario abierto en tiempo real y con conciencia de confianza, diseñado para rovers móviles. El sistema integra embeddings de CLIP multiescala con una arquitectura de memoria dual y mecanismos de fusión de datos conscientes de la confianza.

1. Extracción de Embeddings Multiescala:
   El pipeline procesa los datos RGB-D entrantes dividiendo los fotogramas RGB en teselas (tiles) multiescala. Cada tesela es codificada utilizando un transformador visual preentrenado (ViT-L/14) de CLIP para generar embeddings semánticos alineados con el lenguaje natural. Este enfoque a nivel de tesela evita el costo computacional de los embeddings densos a nivel de píxel, manteniendo la robustez frente al movimiento de la cámara.

2. Proyección Espacial y Fusión:
   Utilizando imágenes de profundidad ($D_t$) y puntos de vista del rover ($T_t$) estimados por SLAM, el sistema proyecta hacia atrás los píxeles de profundidad al espacio 3D. Estos puntos 3D se asocian con los embeddings semánticos de sus teselas de imagen correspondientes. Las observaciones se acumulan en un mapa de rejilla espacial de vista superior.

3. Memoria a Corto Plazo (STM) con Conciencia de Confianza:
   La STM actúa como un mapa de rejilla dinámico que agrega observaciones recientes. Modela explícitamente la incertidumbre de la percepción asignando valores de confianza a las observaciones basados en tres claves:

   • Confianza Geométrica: Tiene en cuenta la distancia del sensor y la visibilidad, aplicando una degradación basada en la distancia a las observaciones distantes.
   • Confianza Semántica: Mide el acuerdo entre los nuevos embeddings y la evidencia actual de la celda mediante la similitud de coseno en el espacio de CLIP. Las observaciones inconsistentes se penalizan.
   • Confianza Temporal: Aplica una degradación basada en el tiempo a la confianza en regiones observadas raramente, permitiendo que el mapa se adapte a los cambios.

   La fusión dentro de la STM se realiza mediante una agregación ponderada por confianza. Cada celda mantiene un acumulador semántico ($S_C$) y un acumulador de confianza ($W_C$). Las nuevas observaciones se filtran suavemente basándose en la consistencia semántica antes de ser añadidas al embedding de la celda.

4. Arquitectura de Memoria Dual (Promoción de STM a LTM):
   Para garantizar la estabilidad, CrossMaps emplea una Memoria a Largo Plazo (LTM) que almacena hitos semánticos persistentes. Las celdas en la STM se promueven a la LTM solo si satisfacen tres criterios estrictos:

   • Alta Confianza: La confianza acumulada ($W_C$) debe exceder un umbral ($\tau_c$).
   • Coherencia Semántica: La norma de la media de los embeddings fusionados dentro de una celda debe exceder un umbral ($\tau_h$), asegurando que las observaciones conflictivas no corrompan el mapa a largo plazo.
   • Diversidad de Puntos de Vista: La celda debe ser observada desde múltiples puntos de vista distintos (rastreados mediante una máscara de bits), confirmando su fiabilidad más allá de una sola perspectiva.

5. Consulta de Lenguaje Natural:
   El mapa resultante soporta consultas de vocabulario abierto. Una consulta de lenguaje natural se codifica en un embedding de texto de CLIP y se compara con los embeddings de las celdas mediante similitud de coseno. El resultado es un mapa de calor espacial donde la puntuación de coincidencia se pondera por la coherencia de la celda. Esto permite que las celdas de alta confianza actúen como hitos fiables mientras que, al mismo tiempo, se resaltan regiones potencialmente útiles de baja confianza.

Contribuciones Clave
El artículo presenta cuatro contribuciones principales:

1. Un marco de mapeo semántico de vocabulario abierto con conciencia de confianza que asigna confianza a nivel de punto y de celda a las observaciones basadas en CLIP utilizando claves geométricas, semánticas y temporales durante el mapeo de la fusión.
2. Una representación de mapa semántico de memoria dual que agrega observaciones en un mapa de rejilla a corto plazo (STM) y promueve solo las celdas suficientemente confiables, coherentes y con soporte de múltiples vistas hacia un mapa de hitos persistente a largo plazo (LTM).
3. Un pipeline de mapeo semántico en tiempo real que fusiona embeddings de CLIP multiescala a nivel de tesela con alineación espacial basada en SLAM para construir mapas 3D consultables mediante lenguaje bajo el movimiento del rover.
4. Un mecanismo de promoción y consulta basado en la confianza y la coherencia que utiliza el acuerdo intra-celular para dar forma a los mapas de calor y la selección de celdas, mientras utiliza la confianza de la celda para filtrar la promoción a largo plazo y los objetivos de navegación.

Resultados y Demostración
Los autores implementaron CrossMaps como un nodo modular de ROS 2 en un UGV Waveshare equipado con una GPU NVIDIA Jetson Orin y una cámara RGB-D. El sistema opera junto con RTAB-Map para la localización.

• Operación en Tiempo Real: El pipeline procesa exitosamente flujos RGB-D para construir mapas semánticos en tiempo real.
• Rendimiento de Consultas: El sistema genera mapas de calor espaciales para consultas de lenguaje natural (por ejemplo, "planta", "martillo").
• Mitigación de Ruido: Las visualizaciones demuestran que, mientras la STM contiene observaciones ruidosas, la LTM filtra eficazmente estas, resultando en sugerencias más dispersas y fiables. Por ejemplo, las consultas para "martillo" muestran mapas de calor de la STM ruidosos, pero mapas de calor de la LTM más limpios y fiables, validando la eficacia de los mecanismos de filtrado de confianza y coherencia.

Significancia y Reivindicaciones
El artículo afirma que CrossMaps demuestra la viabilidad de combinar la percepción de vocabulario abierto con la fusión consciente de la confianza y una representación de memoria dual para permitir que los rovers construyan mapas semánticos consultables mediante lenguaje mientras mitigan el ruido perceptual. Al separar las observaciones inciertas (STM) de las estructuras estables (LTM), el sistema logra un equilibrio entre plasticidad y robustez. Los autores posicionan este trabajo como un paso hacia una navegación de rover más segura en condiciones de observabilidad parcial, con planes futuros para integrar la extracción de características basada en segmentación y extender el marco hacia el intercambio de conocimiento multi-agente y el razonamiento neuro-simbólico para escenarios críticos de seguridad.