Mapping the Unseen: Unified Promptable Panoptic Mapping with Dynamic Labeling using Foundation Models

Resumen Técnico: Mapeo Panóptico Unificado y Promptable con Etiquetado Dinámico mediante Modelos de Fundación

Planteamiento del Problema
El mapeo panóptico es esencial para permitir que los robots razonen tanto sobre la geometría como sobre la semántica en entornos estructurados. Sin embargo, los sistemas existentes enfrentan un compromiso crítico: los métodos tradicionales que dependen de conjuntos de categorías predefinidas (vocabulario cerrado) carecen de expresividad semántica, mientras que los enfoques recientes de vocabulario abierto suelen producir etiquetas inconsistentes. Los modelos de vocabulario abierto frecuentemente generan etiquetas estrechamente relacionadas o sinónimas (por ejemplo, "mesa de comedor", "mesa de madera", "escritorio de cocina") para el mismo objeto. Cuando estas etiquetas inconsistentes se fusionan en un mapa 3D, fragmentan las entidades panópticas, degradan la consistencia volumétrica y no logran resolver cómo reconciliar las predicciones de vocabulario abierto con los priors volumétricos o la escala del objeto. Las soluciones actuales requieren entrenamiento por escena offline, dependen del razonamiento basado en grafos o no logran unificar los sinónimos en una estructura categórica consistente manteniendo la precisión geométrica.

Metodología
El marco propuesto de Mapeo Panóptico Unificado y Promptable (UPPM, por sus siglas en inglés) aborda estos desafíos introduciendo un mecanismo de Descriptor Dinámico que tiende un puente entre la percepción de vocabulario abierto y el mapeo panóptico 3D consistente. El flujo de trabajo opera sin entrenamiento por escena ni campos de radiancia neuronal, utilizando modelos de fundación comerciales en un proceso de múltiples etapas:

1. Extracción de Características Visual-Lingüísticas++ (VLFE++): El sistema procesa entradas RGB utilizando Tag2Text para generar subtítulos de imágenes y etiquetas a nivel de objeto. Estas se analizan mediante etiquetado de Partes de la Oración (POS) y lematización para normalizar variantes morfológicas (por ejemplo, de "sillas" a "silla"), creando un conjunto de etiquetas candidatas de vocabulario abierto.
2. Recuperación Semántica (SR): Para resolver la fragmentación de etiquetas, SR mapea las etiquetas de vocabulario abierto a un conjunto fijo de categorías semánticas unificadas (basadas en clases de COCO-Stuff) mediante similitud de coseno con embeddings de MPNet. Crucialmente, cada categoría unificada porta un prior de tamaño volumétrico heredado (Pequeño, Mediano o Grande). Este paso produce Descriptores Elementales ($e_i = \langle o_i, \hat{c}_i, \hat{\nu}_i \rangle$), que contienen la etiqueta original de vocabulario abierto, la categoría unificada y el prior de tamaño.
3. Segmentación Panóptica de Vocabulario Abierto: Grounding-DINO detecta objetos utilizando las etiquetas de vocabulario abierto, y el Segment Anything Model (SAM) genera máscaras de segmentación. Se emplea una estrategia de Supresión de No Máximos (NMS) Personalizada para manejar duplicados derivados de prompts semánticamente similares. A diferencia del NMS tradicional basado en IoU, este método utiliza un criterio de proximidad basado en coordenadas para suprimir cajas delimitadoras casi idénticas y una supresión basada en contención para cajas anidadas, reduciendo significativamente las asociaciones redundantes.
4. Fusión Panóptica Unificada (UPF): El sistema fusiona la geometría y la semántica en un mapa multi-resolución multi-TSDF. Durante la fusión, los descriptores elementales asociados con el mismo submapa 3D (objeto) se agregan en un único Descriptor Dinámico. Este descriptor acumula todas las etiquetas de vocabulario abierto observadas a lo largo del tiempo mientras mantiene una única categoría unificada estable y un prior de tamaño. La asociación se determina mediante la Intersección sobre la Unión (IoU) entre las máscaras predichas y renderizadas, con un umbral mínimo para evitar enlaces espurios.

Contribuciones Clave

1. Mecanismo de Descriptor Dinámico Panóptico: UPPM introduce una novedosa estructura de datos que agrega etiquetas de vocabulario abierto al nivel del objeto durante la fusión en lugar de en el momento de la detección. Esto permite que el sistema preserve una rica expresividad de vocabulario abierto (permitiendo consultas como "mesa marrón claro" o "mesa de comer") mientras impone consistencia categórica (unificándolas bajo "mesa") y priors de tamaño geométrico.
2. Pipeline Libre de Entrenamiento: El sistema construye mapas panópticos 3D que son geométricamente precisos y semánticamente consistentes sin requerir entrenamiento por escena, razonamiento basado en grafos o campos de radiancia neuronal, lo que lo hace adecuado para aplicaciones robóticas en tiempo real.
3. Evaluación Exhaustiva y Ablación: Los autores evalúan UPPM en tres regímenes (Segmentación-al-Mapa, Mapa-al-Mapa y Segmentación-a-Segmentación) en los conjuntos de datos ScanNet v2, RIO y Flat. Los estudios de ablación confirman que la semántica unificada, el NMS personalizado y los componentes de filtrado de fotogramas borrosos son críticos para el rendimiento del sistema.

Resultados
Los resultados experimentales demuestran que UPPM logra un rendimiento general superior en comparación con las líneas base de conjunto cerrado y de vocabulario abierto más avanzadas:

• Reconstrucción Geométrica: En el conjunto de datos Flat, UPPM logró una precisión de 0.61 cm y una completitud de 1.10 cm, superando a competidores como Kimera y PanMap. En el conjunto de datos RIO, ruidoso y del mundo real, UPPM mostró robustez ante el desenfoque por movimiento, logrando una distancia de Chamfer de 5.65 cm y una distancia de Hausdorff de 10.05 cm, significativamente mejor que otros métodos de vocabulario abierto.
• Calidad de Segmentación Panóptica: UPPM alcanzó la mayor Calidad Panóptica (PQ: 0.414) y Calidad de Reconocimiento (RQ: 0.475) en el conjunto de datos Flat.
• Perspectivas de Ablación: La eliminación de la semántica unificada (PPM) condujo a un etiquetado ambiguo y una menor precisión de reconstrucción. El NMS personalizado mejoró la ratio de completitud en un 8.27% y redujo los falsos negativos en un 16.9% en entornos de vocabulario abierto. El filtrado de fotogramas borrosos mejoró notablemente el rendimiento en el ruidoso conjunto de datos RIO.
• Eficiencia: Aunque UPPM opera a 2.28 FPS (más lento que las líneas base de conjunto cerrado debido al procesamiento de lenguaje-visión), intercambia la tasa de fotogramas por capacidad de vocabulario abierto y una mejor calidad panóptica sin necesidad de reentrenamiento.

Significancia
El artículo sostiene que UPPM representa un cambio de paradigma de la detección de etiquetas en el tiempo de detección hacia la agregación semántica en el tiempo de fusión. Al reconciliar la semántica de cola larga de los modelos de fundación con los requisitos de consistencia del mapeo panóptico, UPPM permite que los robots mantengan mapas 3D persistentes y consultables. El sistema preserva la interpretabilidad de los prompts de vocabulario abierto —permitiendo la recuperación de objetos condicionada por el lenguaje mediante sinónimos y paráfrasis— al tiempo que ofrece una fuerte precisión geométrica y evita la fragmentación de instancias que afecta a los enfoques de mapeo de vocabulario abierto existentes. Los autores posicionan esto como un paso hacia la comprensión de escenas robusta y en tiempo real que no depende de una optimización pesada por escena.