Occupancy-Grounded Room Segmentation for Hierarchical 3D Scene Graphs

Resumen Técnico: Segmentación de Habitaciones Basada en Ocupación para Grafos de Escena 3D Jerárquicos

Planteamiento del Problema
Los Grafos de Escena 3D Jerárquicos (3DSG) son esenciales para que los robots de interior organicen la información geométrica y semántica a través de escalas espaciales, vinculando la percepción a nivel de objeto con el razonamiento a nivel de habitación. Sin embargo, la construcción de la "capa de habitaciones" en los sistemas existentes carece de una definición geométrica estandarizada. Los enfoques actuales derivan los nodos de las habitaciones a partir de sustratos espaciales dispares, tales como cúmulos de conectividad de lugares, planos de paredes o salidas de segmentación. En consecuencia, los nodos de las habitaciones no se evalúan frente a un criterio geométrico común, lo que dificulta determinar si un nodo de habitación predicho corresponde realmente a una instancia física de habitación en el entorno. Además, las evaluaciones existentes suelen depender de métricas indirectas (por ejemplo, precisión de la trayectoria) en lugar de comparaciones geométricas directas con los diseños de las habitaciones de referencia (ground-truth).

Metodología
Los autores proponen un pipeline de 3DSG basado en ocupación que ancla los nodos de las habitaciones a regiones de espacio libre rastreadas, derivadas de la descomposición de ocupación. El pipeline procesa la entrada RGB-D a través de cuatro etapas principales:

1. Percepción Geométrica: Los fotogramas RGB-D se integran en un mapa de octree de ocupación 3D. Este mapa se colapsa en una capa de espacio libre 2D mediante un análisis de despeje vertical. Una celda de suelo se marca como "libre" solo si su columna de vóxeles verticales contiene un hueco de al menos 0.3 m, preservando eficazmente los límites arquitectónicos (paredes) mientras se suprimen el desorden bajo o superior.
2. Anclaje de Regiones (Novedad Principal): La capa de espacio libre 2D se particiona en regiones poligonales utilizando una forma incremental de DUDE (Decomposition of Unstructured Discrete Environments). Estas regiones se rastrean en el tiempo mediante asociación de Intersección sobre Unión (IoU) para asegurar la estabilidad frente al ruido del mapeo. Crucialmente, cada región rastreada estable se ancla a exactamente un nodo de habitación, proporcionando a cada habitación una huella poligonal explícita y persistente.
3. Construcción del Grafo: El sistema ensambla un grafo jerárquico que contiene nodos de agente, objeto, navegación y habitación. Los objetos y los nodos de navegación se asignan a los nodos de habitación basados en la contención poligonal. La adyacencia de las habitaciones se establece solo cuando las regiones de soporte están conectadas por un cruce navegable.
4. Marco de Evaluación: A diferencia de los métodos anteriores, este enfoque permite evaluar la capa de habitaciones como una tarea estándar de segmentación de habitaciones 2D. Los polígonos de habitaciones predichos se emparejan uno a uno con instancias de habitaciones anotadas de referencia utilizando la asignación húngara basada en IoU.

Contribuciones Clave

• Anclaje Geométrico Explícito: El artículo introduce un método donde los nodos de las habitaciones no son cúmulos abstractos, sino que están explícitamente anclados a polígonos de espacio libre rastreados, otorgándoles una extensión espacial medible.
• Evaluación Estandarizada: Aplica métricas de segmentación de habitaciones 2D (Recall, Precisión, F1, mIoU, Boundary F1) a las capas de habitaciones de 3DSG por primera vez, permitiendo la comparación directa de la recuperación de instancias de habitaciones frente a la verdad de terreno.
• Implementación del Pipeline: Se proporciona un pipeline completo que fusiona la percepción geométrica, la descomposición de espacio libre y el rastreo de regiones para generar un 3DSG jerárquico.

Resultados
El método fue evaluado en 12 escenas de Matterport3D y comparado con Hydra, un modelo de referencia de conectividad de lugares de última generación.

• Recuperación de Instancias: El enfoque basado en ocupación superó significativamente a Hydra en Recall (0.379 vs. 0.152) y puntuación F1 (0.427 vs. 0.241). En promedio, el método propuesto recuperó casi cinco habitaciones de referencia por escena, comparado con menos de dos para Hydra.
• Compromiso de Precisión: El método propuesto exhibió una Precisión menor (0.518 vs. 0.703). Los autores atribuyen esto a los nodos de habitación no emparejados cuyos polígonos de región estaban demasiado mal delimitados para satisfacer los criterios estrictos de coincidencia de IoU, a menudo debido a problemas de fidelidad de los bordes.
• Modos de Fallo: El análisis cualitativo reveló que mientras Hydra sufre de "colapso" (fusionando distintas habitaciones en nodos únicos debido a la conectividad densa), los fallos del método propuesto son a menudo locales, derivados de la descomposición de espacio libre que fusiona configuraciones no convexas o conexiones estrechas. Además, la precisión de los bordes está limitada por los errores en la reconstrucción del mapa de ocupación subyacente.
• Ablación: La variación del umbral de DUDE ($d_{thr}$) demostró un compromiso entre la granularidad de la descomposición y el recall; los umbrales más gruesos redujeron significamente el número de habitaciones predichas y el recall.

Significancia y Reivindicaciones
El artículo afirma que el anclaje basado en ocupación proporciona una forma medible y comparable de evaluar el razonamiento a nivel de habitación en los 3DSG. Al exponer la capa de habitaciones como polígonos explícitos, los autores demuestran que es posible recuperar sustancialmente más instancias de habitaciones que los modelos de referencia de conectividad de lugares.

Sin embargo, los autores mantienen un tono modesto respecto al éxito último del enfoque. Establecen explícitamente que la recuperación de instancias de habitaciones y las huellas de habitaciones con bordes precisos siguen siendo problemas abiertos. Los resultados resaltan un compromiso fundamental entre cobertura y precisión: aunque el método recupera más habitaciones, lucha con la delimitación precisa de los bordes. El artículo concluye que la calidad de la capa de habitaciones está limitada, en última instancia, por la calidad del mapa de ocupación de entrada y la granularidad de la descomposición del espacio libre, más que por la estrategia de anclaje por sí sola.