Towards Foundation Models for 3D Scene Understanding: Instance-Aware Self-Supervised Learning for Point Clouds

1. El Problema

A pesar de los avances recientes en el aprendizaje auto-supervisido (SSL) para nubes de puntos, que han mejorado la comprensión semántica de escenas 3D sin necesidad de anotaciones humanas, existe una brecha significativa en la conciencia de instancias (instance awareness).

• Limitación actual: Los métodos existentes (basados en consistencia de características entre vistas aumentadas o modelado de escenas enmascaradas) capturan bien la estructura semántica global, pero fallan en preservar las relaciones geométricas finas necesarias para distinguir objetos individuales (localización de instancias).
• Consecuencia: Las representaciones resultantes se transfieren pobremente a tareas de segmentación de instancias y panóptica, requiriendo a menudo un ajuste fino (finetuning) completo para lograr un rendimiento aceptable.
• Desafío clave: Equilibrar la invariancia semántica (necesaria para la consistencia) con la sensibilidad geométrica requerida para aprender la agrupación de instancias. Los métodos anteriores tienden a colapsar en soluciones triviales (como normales o poses) si no se regularizan adecuadamente.

2. Metodología: PointINS

El artículo propone PointINS, un marco de aprendizaje auto-supervisido diseñado explícitamente para aprender simultáneamente consistencia semántica y razonamiento geométrico.

Arquitectura General

El framework utiliza una arquitectura profesor-estudiante (teacher-student) con auto-distilación, similar a métodos recientes como DOS y Sonata:

• Entrada: Una nube de puntos se aumenta aleatoriamente en dos vistas distintas.
• Redes: Un "estudiante" procesa un subconjunto visible (enmascarado) y un "profesor" procesa la nube completa. Los parámetros del profesor se actualizan mediante un promedio móvil exponencial (EMA) de los del estudiante.
• Ramas:
  1. Rama Semántica: Utiliza un mecanismo de agrupación basado en prototipos para aprender representaciones invariantes a la vista.
  2. Rama de Desplazamiento (Offset Branch): Una rama adicional que predice un vector de desplazamiento 3D para cada punto, dirigido hacia el centroide geométrico de su instancia subyacente. Esta rama es sensible a transformaciones espaciales (rotación, escala).

Estrategias de Regularización Complementarias

Dado que predecir desplazamientos sin etiquetas es inestable y propenso al colapso, los autores introducen dos estrategias de regularización que explotan propiedades estadísticas y estructurales inherentes:

1. Regularización de la Distribución de Desplazamientos (ODR - Offset Distribution Regularization):

   • Objetivo: Proporcionar una restricción global.
   • Mecanismo: Alinea los desplazamientos predichos con priores geométricos empíricos observados en escenas reales.
     • Las magnitudes de los desplazamientos siguen una distribución de cola larga (long-tailed).
     • Las direcciones están distribuidas uniformemente en la esfera unitaria.
   • Implementación: Utiliza la Transformación Integral Probabilística (PIT) para mapear las magnitudes y direcciones predichas a estas distribuciones objetivo, preservando el orden relativo pero corrigiendo la distribución global.

2. Regularización de Agrupamiento Espacial (SCR - Spatial Clustering Regularization):

   • Objetivo: Proporcionar una restricción local y coherencia de instancias.
   • Mecanismo: Utiliza las características semánticas aprendidas (que ya muestran cierta conciencia de clase) para generar máscaras de pseudo-instancias.
   • Proceso:
     • Se aplica K-means a las características del profesor.
     • Dentro de cada segmento, se construye un grafo de vecinos más cercanos (k-NN) sobre los centroides predichos y se usa Búsqueda en Anchura (BFS) para dividir el cluster en componentes conectados (pseudo-instancias).
     • Se calcula un nuevo centroide para cada pseudo-instancia y se utiliza como objetivo de supervisión para los puntos dentro de ella.
   • Efecto: Fuerza a los puntos vecinos que pertenecen a la misma instancia a predecir desplazamientos que convergen hacia un centroide común.

Funcionamiento Conjunto

ODR y SCR son complementarios: ODR estabiliza la predicción global de desplazamientos, evitando que SCR agrupe puntos de manera irregular, mientras que SCR refina la coherencia local que ODR no puede capturar por sí sola. El estudiante aprende a imitar los desplazamientos refinados del profesor mediante una función de pérdida de distilación.

3. Contribuciones Clave

1. Nuevo Marco SSL: Introducción de PointINS, el primer marco auto-supervisido explícitamente diseñado para aprender consistencia semántica y razonamiento geométrico (desplazamientos hacia centroides) de forma conjunta.
2. Estrategias de Regularización: Identificación de dos propiedades consistentes esenciales para la localización robusta de instancias y la formulación de ODR y SCR como estrategias de regularización complementarias que previenen el colapso del modelo.
3. Rendimiento Superior: Demostración de que el método supera a los métodos auto-supervisidos más avanzados (SOTA) en tareas de segmentación de instancias y panóptica, tanto en entornos interiores como exteriores, acercándose al rendimiento de modelos totalmente supervisados.

4. Resultados Experimentales

El método se evaluó en cinco conjuntos de datos (ScanNet, ScanNet200, S3DIS, nuScenes, SemanticKITTI) bajo tres protocolos: linear probing, decoder probing y finetuning.

• Segmentación de Instancias (Interiores):
  • Logró un aumento promedio de +3.5% en mAP en comparación con los enfoques auto-supervisidos existentes.
  • En ScanNet, con solo linear probing, alcanzó el 80-90% del rendimiento de un modelo totalmente supervisado.
• Segmentación Panóptica (Exteriores):
  • Logró una ganancia promedio de +4.1% en PQ (Panoptic Quality).
  • En nuScenes, superó a los baselines en +4.8% PQ.
• Eficiencia de Etiquetas:
  • En escenarios de muy pocas etiquetas (0.1% y 1%), PointINS superó consistentemente a otros métodos SSL y se acercó al rendimiento de modelos supervisados, demostrando una alta transferibilidad.
• Escalabilidad:
  • El rendimiento mejoró consistentemente al aumentar la escala de los datos de pre-entrenamiento (combinando múltiples conjuntos de datos), acercándose al rendimiento supervisado en linear probing.

5. Significado e Impacto

Este trabajo representa un paso crucial hacia la creación de modelos fundacionales 3D verdaderos.

• Puente entre Semántica y Geometría: Demuestra que la conciencia de instancias no es incompatible con el aprendizaje auto-supervisido, sino que puede lograrse mediante la regularización geométrica inteligente.
• Reducción de Costos: Al lograr un rendimiento superior en tareas de agrupación de instancias sin etiquetas, reduce la dependencia de anotaciones costosas y laboriosas en dominios como la conducción autónoma y la robótica.
• Generalización: La capacidad de transferir representaciones aprendidas a diversos dominios (interior/exterior) y tareas (semántica/instancia/panóptica) sugiere que PointINS sienta las bases para modelos 3D unificados capaces de una comprensión holística de escenas.

En resumen, PointINS transforma el aprendizaje auto-supervisido de nubes de puntos de una tarea puramente semántica a una capaz de comprender la estructura geométrica de objetos individuales, superando las limitaciones de los métodos anteriores y acercándose al rendimiento de los modelos supervisados.