Feasibility of Indoor Frame-Wise Lidar Semantic Segmentation via Distillation from Visual Foundation Model

Título: Viabilidad de la Segmentación Semántica de Lidar en Cuadros (Frame-Wise) en Interiores mediante Destilación de Modelos Fundacionales Visuales

1. El Problema

La segmentación semántica de escaneos Lidar en interiores es un paso fundamental para aplicaciones de comprensión de escenas 3D y mapeo (como Scan-to-BIM o SLAM semántico). Sin embargo, existen dos barreras principales:

• Costo de Anotación: Obtener etiquetas de ground truth (verdad terreno) a nivel de cuadro (frame-wise) para entrenar modelos de aprendizaje profundo es extremadamente costoso y consume mucho tiempo.
• Falta de Datos y Brecha de Dominio: A diferencia de los escenarios de conducción autónoma (que tienen grandes conjuntos de datos etiquetados como SemanticKITTI), los interiores carecen de benchmarks estandarizados. Además, los modelos preentrenados en exteriores no generalizan bien a interiores debido a la gran diferencia en la distribución de datos (brecha de dominio).
• Limitaciones de Métodos Actuales: La segmentación a nivel de escena es lenta y requiere modelado geométrico previo; los métodos basados en visión requieren calibración precisa y solo cubren el campo de visión superpuesto; y los métodos puramente geométricos o basados en heurísticas fallan en entornos complejos.

2. Metodología

El artículo propone adaptar el marco de trabajo ScaLR (originalmente diseñado para conducción autónoma) al entorno interior mediante un proceso de destilación cruzada de modalidades (2D a 3D). El flujo de trabajo consta de tres componentes principales:

• Destilación Cruzada (Teacher-Student):

  • Maestro (Teacher): Un Modelo Fundacional Visual (VFM) preentrenado en 2D (como DINOv2 o OneFormer) que procesa las imágenes de la cámara.
  • Estudiante (Student): Una red neuronal 3D (en este caso, WaffleIron) que procesa la nube de puntos Lidar.
  • Mecanismo: Se proyectan los puntos 3D del Lidar a los píxeles 2D de la imagen correspondiente. El objetivo de aprendizaje es minimizar la distancia (pérdida de similitud coseno) entre las características del punto 3D y las características del píxel 2D correspondiente. Esto transfiere el conocimiento semántico del 2D al 3D sin necesidad de etiquetas 3D manuales.

• Adaptación de Datos para Interiores:

  • Se desarrolló una tubería de procesamiento específica para conjuntos de datos de SLAM en interiores (NTU-VIRAL, TIERS, M2DGR e ITC).
  • Se gestionan configuraciones de sensores heterogéneas (diferentes tipos de Lidar, cámaras monocromáticas vs. RGB, geometrías de proyección distintas) para asegurar la alineación correcta entre puntos y píxeles.

• Generación de Etiquetas Pseudo:

  • Dado que no hay etiquetas reales, se utilizan las máscaras de segmentación generadas por el VFM (OneFormer) en las imágenes 2D.
  • Estas máscaras se proyectan sobre los puntos Lidar para crear "pseudo-etiquetas". Estas etiquetas sirven tanto para el ajuste fino (fine-tuning) del modelo como para la evaluación downstream.

• Validación:

  • Para verificar la fiabilidad de las pseudo-etiquetas, los autores crearon manualmente un pequeño conjunto de datos (1,720 cuadros del dataset ITC) para comparar el rendimiento real contra el rendimiento estimado por pseudo-etiquetas.

3. Contribuciones Clave

1. Adaptación de ScaLR a Interiores: Se demuestra por primera vez que el marco de destilación 2D-3D, exitoso en exteriores, es viable para la segmentación de escaneos Lidar en interiores a nivel de cuadro.
2. Pipeline de Datos Heterogéneo: Se crea una infraestructura de datos que permite unificar y procesar múltiples datasets de SLAM en interiores con diferentes configuraciones de sensores.
3. Evaluación sin Anotación Manual: Se demuestra que es posible entrenar y afinar modelos en datasets arbitrarios utilizando únicamente pseudo-etiquetas derivadas de VFMs, eliminando la dependencia de anotaciones manuales costosas.
4. Dataset de Validación Propio: Se proporciona un pequeño dataset de Lidar en interiores con anotaciones manuales para validar la fiabilidad de la evaluación basada en pseudo-etiquetas, llenando un vacío en la literatura.

4. Resultados

• Rendimiento con Pseudo-etiquetas: El modelo destilado y ajustado finamente alcanza un mIoU (Intersección sobre Unión media) de hasta el 56% bajo evaluación con pseudo-etiquetas en datasets como NTU-VIRAL y TIERS.
• Rendimiento con Etiquetas Reales: Al evaluar contra las etiquetas manuales reales (dataset ITC), el modelo logra un mIoU del 35.8% y una precisión general del 70.3%.
  • Comparativa: Este resultado supera significativamente a una línea base supervisada (RandLA-Net preentrenada en S3DIS), que solo alcanzó un 10.7% de mIoU en el mismo conjunto de pruebas, demostrando la superioridad de la destilación cruzada sobre la transferencia directa de modelos de exteriores.
• Robustez del VFM: El rendimiento es estable independientemente del modelo VFM utilizado como maestro (OneFormer vs. DINOv2), lo que sugiere que la representación 3D aprendida no es sensible a la arquitectura específica del encoder 2D.
• Eficiencia: El modelo de 24 capas de WaffleIron ofrece el mejor equilibrio entre precisión y costo computacional, permitiendo inferencia en tiempo real (>15 Hz).
• Brecha de Dominio: Se observó una fuerte dependencia del dominio; los modelos entrenados en un dataset específico funcionan mejor en ese mismo dataset que en otros, debido a las diferencias en la configuración de sensores y la geometría de las escenas. Sin embargo, el entrenamiento combinado en múltiples datasets interiores mejora la generalización.

5. Significado e Impacto

Este trabajo es pionero al establecer la viabilidad de la segmentación semántica de Lidar en interiores sin anotaciones manuales. Sus implicaciones son:

• Habilitación de SLAM Semántico en Tiempo Real: Al operar a nivel de cuadro (frame-wise) y no requerir reconstrucción global previa, el método es apto para tareas de SLAM semántico en tiempo real.
• Reducción de Costos: Elimina la necesidad de costosos procesos de anotación manual de nubes de puntos 3D, permitiendo el uso de grandes volúmenes de datos de SLAM existentes que anteriormente eran inutilizables para aprendizaje supervisado.
• Puente entre 2D y 3D: Valida que los modelos fundacionales visuales (VFMs) pueden transferir conocimiento semántico rico a dominios 3D complejos y dispersos como el Lidar en interiores.
• Referencia Futura: Aunque existen limitaciones (ruido en las pseudo-etiquetas, brecha de dominio entre sensores), el estudio sienta las bases para futuros benchmarks estandarizados y estrategias de refinamiento de etiquetas en entornos interiores.

En resumen, el artículo demuestra que la destilación cruzada de modelos fundacionales visuales es una estrategia práctica y efectiva para superar la escasez de datos etiquetados en la segmentación Lidar de interiores.