3D sans 3D Scans: Scalable Pre-training from Video-Generated Point Clouds

1. Problema y Motivación

El aprendizaje auto-supervisado en 3D (3D-SSL) ha avanzado significativamente, pero su escalabilidad se ve severamente limitada por la escasez y el alto costo de los datos.

• Barrera de Datos: A diferencia de las imágenes 2D, donde existen miles de millones de datos no etiquetados, la adquisición de escaneos 3D reales de entornos interiores es costosa, laboriosa y requiere sensores especializados (LiDAR, cámaras de profundidad).
• Limitación Actual: Los conjuntos de datos más grandes disponibles (como ScanNet) ofrecen solo alrededor de 5,000 escenas únicas. Incluso combinando datos reales y sintéticos, los métodos actuales (como Sonata) se entrenan con aproximadamente 140,000 muestras, muy lejos de la escala de los modelos de visión 2D (como DINOv3 con 1.7 mil millones de imágenes).
• Hipótesis: Los autores proponen que es posible aprender representaciones 3D robustas sin escaneos reales, utilizando únicamente videos no etiquetados (como recorridos inmobiliarios) para generar nubes de puntos sintéticas.

2. Metodología Propuesta: LAM3C

El núcleo del trabajo es LAM3C (Laplacian-Aware Multi-level 3D Clustering with Sinkhorn-Knopp), un marco de pre-entrenamiento auto-supervisado diseñado específicamente para aprender de nubes de puntos generadas por video (VGPC), las cuales son inherentemente ruidosas e incompletas.

A. Dataset: RoomTours

Para superar la falta de datos, los autores construyeron RoomTours:

• Fuente: Recopilación de 3,462 videos de recorridos por habitaciones (real-estate tours) desde YouTube y otros repositorios públicos.
• Procesamiento:
  1. Segmentación: Uso de CLIP para filtrar cuadros interiores y clasificarlos en salas de estar, dormitorios y baños.
  2. Reconstrucción: Aplicación del modelo de reconstrucción feed-forward π3 (pi3) para convertir secuencias de video en nubes de puntos 3D.
  3. Alineación: Un proceso de post-procesamiento que normaliza la escala, la orientación (eje Z hacia arriba) y elimina puntos estadísticamente atípicos.
• Escala: El dataset final contiene 49,219 escenas de nubes de puntos generadas por video.

B. Arquitectura y Función de Pérdida

LAM3C utiliza una arquitectura de profesor-alumno (Teacher-Student) con actualizaciones EMA (Exponential Moving Average) para el profesor. Se basa en el algoritmo de agrupamiento Sinkhorn-Knopp para asignar prototipos a los puntos.

Para manejar la naturaleza imperfecta de las VGPC (ruido, huecos, duplicados), LAM3C introduce dos nuevas pérdidas de regularización sobre la pérdida de agrupamiento estándar:

1. Pérdida de Suavizado Laplaciano (Laplacian Smoothing Loss):

   • Construye un grafo de vecinos más cercanos (kNN) sobre la nube de puntos.
   • Penaliza la divergencia entre las incrustaciones (embeddings) de puntos espacialmente adyacentes.
   • Utiliza pesos basados en la distancia y una penalización Huber para ser robusto a outliers, asegurando que la geometría local suave se mantenga en el espacio de características.

2. Pérdida de Consistencia de Ruido (Noise Consistency Loss):

   • En lugar de tratar diferentes vistas de la misma escena como completamente independientes, esta pérdida fuerza a que las representaciones globales de dos vistas aumentadas (una con ruido, otra enmascarada) de la misma escena sean consistentes.
   • Esto estabiliza el aprendizaje frente a regiones ruidosas o faltantes en la reconstrucción.

3. Resultados Clave

Los autores evaluaron LAM3C en tareas de segmentación semántica e instancial en entornos interiores (ScanNet, ScanNet++, S3DIS).

• Rendimiento Superior sin Datos Reales: LAM3C, entrenado exclusivamente con VGPC (sin ningún escaneo 3D real), supera a los métodos anteriores de auto-supervisión (como Sonata) que se entrenaron con miles de escaneos reales.
  • En segmentación semántica (ScanNet, 10% de fine-tuning), LAM3C alcanza un mIoU de 77.7 (con PTv3-Base y 49k escenas), superando a Sonata (79.4 con datos reales, pero comparado en condiciones justas sin filtrado de datos de validación, LAM3C es muy competitivo o superior en configuraciones específicas).
  • En segmentación de instancias (S3DIS), LAM3C logra un mAP de 45.7, superando a Sonata entrenado solo con datos reales (41.5) y igualando a la versión de Sonata que usa datos reales y sintéticos.
• Escalabilidad: Se demostró que el rendimiento mejora a medida que aumenta el tamaño del dataset de VGPC (de 1k a 16k y 49k escenas), indicando un potencial de escalado que los datos reales no pueden igualar fácilmente.
• Eficiencia de Datos: En escenarios con pocos datos de fine-tuning (ej. 1% de las escenas de ScanNet), LAM3C mantiene un rendimiento superior, demostrando que las representaciones aprendidas son muy transferibles.

4. Contribuciones Principales

1. Pipeline de Generación de Datos: Creación de RoomTours, un dataset masivo de 49k nubes de puntos generadas a partir de videos no etiquetados de la web, demostrando la viabilidad de usar videos como fuente de supervisión 3D.
2. Marco LAM3C: Propuesta de un método de aprendizaje auto-supervisado que logra estabilidad en nubes de puntos imperfectas mediante pérdidas de regularización de suavizado laplaciano y consistencia de ruido.
3. Validación Empírica: Demostración de que las nubes de puntos generadas por video son suficientes para aprender representaciones 3D de alta calidad, superando a métodos que dependen de escaneos reales costosos.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la visión 3D:

• Desacoplamiento de Sensores: Elimina la dependencia de hardware costoso (LiDAR, cámaras de profundidad) para el pre-entrenamiento de modelos 3D.
• Escalabilidad Infinita: Abre la puerta a utilizar la inmensa cantidad de videos no etiquetados disponibles en internet (YouTube, tours inmobiliarios) para entrenar modelos fundacionales 3D a una escala que antes era imposible.
• Robustez: Demuestra que los modelos pueden aprender geometría y semántica robustas incluso a partir de reconstrucciones ruidosas e imperfectas, siempre que se utilicen las estrategias de regularización adecuadas.

En resumen, el paper prueba que "3D sin escaneos 3D" es una realidad viable, ofreciendo una ruta escalable y económica para el futuro del aprendizaje de inteligencia espacial en 3D.