CLAP: Unsupervised 3D Representation Learning for Fusion 3D Perception via Curvature Sampling and Prototype Learning

El artículo presenta CLAP, un método de pre-entrenamiento no supervisado que combina muestreo de curvatura y aprendizaje de prototipos para aprender representaciones 3D fusionadas de imágenes y nubes de puntos, logrando mejoras significativas en tareas de percepción 3D en comparación con los métodos anteriores.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un robot a "ver" y entender el mundo en 3D, como si fuera un conductor de coche autónomo. El problema es que enseñarle a un humano a dibujar y etiquetar cada coche, peatón y semáforo en miles de fotos y escaneos láser es una tarea titánica, costosa y aburrida.

Aquí es donde entra CLAP, el nuevo método que presentan en este paper. Vamos a explicarlo con una analogía sencilla: El Chef y el Restaurante.

1. El Problema: Cocinar con los ojos vendados

Imagina que tienes dos cocineros (los sensores):

• El Cocinero Visual (Cámara): Ve el mundo en colores y formas (como una foto), pero no sabe a qué distancia están las cosas. Es como ver un pastel en una foto: se ve delicioso, pero no sabes si es de verdad o de cartón.
• El Cocinero Táctil (Láser/LiDAR): Sabe exactamente la forma y la distancia de las cosas (como si tocara el pastel con un bastón), pero no ve los colores ni entiende si es un coche o un árbol.

Antes, los científicos entrenaban a cada cocinero por separado. El visual aprendía solo con fotos y el táctil solo con puntos láser. El problema es que no hablaban entre ellos. El visual no sabía la profundidad y el táctil no sabía el contexto. Además, intentar entrenar a ambos a la vez era como intentar cocinar un banquete para 1000 personas en una sartén pequeña: ¡la computadora se quedaba sin memoria!

2. La Solución: CLAP (El Chef Inteligente)

Los autores crearon CLAP (Curvature Sampling and Learnable Prototype), que es como un jefe de cocina súper eficiente que logra entrenar a ambos cocineros juntos sin quemar la cocina. Lo hace con tres trucos mágicos:

Truco A: "La Muestra Curvada" (Curvature Sampling)

Imagina que tienes que pintar un mapa de un mundo 3D.

• El método viejo: Pintaba cada punto del suelo (que es plano y aburrido) y cada punto de un coche (que tiene formas interesantes). ¡Perdía mucho tiempo pintando el suelo!
• El método CLAP: Se da cuenta de que el suelo plano no tiene mucha información. En cambio, se fija en las curvas (las esquinas de los coches, las ruedas, los bordes de los edificios).
  • Analogía: Es como si en lugar de leer cada letra de un libro para entender la historia, solo leyeras las palabras clave y los títulos de los capítulos. CLAP "muestrea" solo las partes curvas e interesantes del mundo, ignorando el suelo plano. Esto hace que la computadora pueda trabajar mucho más rápido y entrenar a los dos cocineros al mismo tiempo.

Truco B: "Los Prototipos de Lego" (Prototype Learning)

Ahora que pueden trabajar juntos, necesitan un lenguaje común.

• Imagina que tienes un montón de piezas de Lego sueltas (los datos de la cámara y del láser).
• CLAP crea unas cajas de colores (los "prototipos").
  • Una caja roja podría ser "coche".
  • Una caja azul podría ser "carretera".
  • Una caja verde podría ser "peatón".
• El sistema aprende a poner las piezas de la cámara (la foto del coche) y las piezas del láser (la forma del coche) en la misma caja roja.
• Analogía: Es como si el cocinero visual y el táctil aprendieran a usar el mismo diccionario. Ya no dicen "es un objeto rojo" y "es un objeto cuadrado" por separado; dicen juntos: "¡Es un coche!".

Truco C: "El Juego de Intercambio" (Swapping Prediction)

Para asegurarse de que realmente están entendiendo el mundo y no solo adivinando, CLAP les hace un juego:

• Le muestra al cocinero visual una foto de un coche y le pregunta: "¿En qué caja de Lego va esto?".
• Luego, le muestra al cocinero táctil la forma del mismo coche (sin la foto) y le pregunta lo mismo.
• Si ambos ponen la pieza en la misma caja, ¡ganaron! Si no, el sistema les corrige. Esto fuerza a que la cámara y el láser se entiendan profundamente.

3. ¿Qué lograron? (Los Resultados)

Cuando probaron este método en ciudades reales (usando datos de NuScenes y Waymo), los resultados fueron increíbles:

• Doble de eficiencia: CLAP mejoró el rendimiento hasta un 100% más que los métodos anteriores.
• Aprendizaje rápido: Incluso cuando les dieron muy pocos datos para el entrenamiento final (como si solo pudieran practicar 1 hora en lugar de 10), CLAP funcionó mucho mejor que los otros métodos.

En resumen

CLAP es como un entrenador deportivo que, en lugar de hacer entrenar a los jugadores de baloncesto y fútbol por separado en campos distintos, los pone a jugar juntos en un campo inteligente.

1. Ignora el césped aburrido (muestreo por curvatura) para centrarse en los jugadores.
2. Les da camisetas de colores (prototipos) para que sepan qué equipo son.
3. Les hace jugar partidos de intercambio para que aprendan a pasarse el balón (interacción entre cámara y láser).

El resultado es un sistema de percepción 3D que es más rápido, más inteligente y que necesita menos "etiquetas" humanas para aprender a ver el mundo. ¡Una gran victoria para los coches autónomos del futuro! 🚗🤖🚀

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "CLAP: UNSUPERVISED 3D REPRESENTATION LEARNING FOR FUSION 3D PERCEPTION VIA CURVATURE SAMPLING AND PROTOTYPE LEARNING", presentado en ICLR 2026.

1. El Problema

La percepción 3D multimodal (fusión de cámaras y LiDAR) es crucial para aplicaciones como la conducción autónoma, ya que combina la riqueza semántica de las imágenes con la precisión geométrica de las nubes de puntos. Sin embargo, entrenar modelos de percepción 3D multimodal requiere grandes cantidades de datos etiquetados, lo cual es costoso y consume mucho tiempo.

Aunque el aprendizaje no supervisado (pre-entrenamiento sin etiquetas) ha demostrado ser prometedor, los métodos existentes basados en renderizado diferenciable enfrentan un desafío computacional crítico:

• Procesar simultáneamente nubes de puntos grandes e imágenes de alta resolución requiere una memoria de GPU masiva (incluso las GPUs más avanzadas solo pueden manejar un batch size de 1 si se procesan todos los puntos y píxeles).
• Para mitigar esto, los métodos anteriores (como UniPAD) realizan el pre-entrenamiento de forma separada para cada modalidad (LiDAR e imagen).
• Limitación: Al entrenar por separado, no se aprovecha la complementariedad entre la semántica de alto nivel (de la imagen) y la estructura 3D (del LiDAR) durante la fase de pre-entrenamiento, lo que limita la capacidad del modelo para aprender representaciones de fusión robustas.

2. Metodología: CLAP

Los autores proponen CLAP (Curvature sampLing and leArnable Prototype), un método de pre-entrenamiento no supervisado conjunto que supera las barreras computacionales y fomenta la interacción entre modalidades. El pipeline se basa en tres componentes principales:

A. Muestreo por Curvatura (Curvature Sampling)

Para hacer viable el pre-entrenamiento conjunto sin explotar la memoria de la GPU, CLAP no muestrea puntos/píxeles de forma uniforme.

• Observación: Las superficies planas (como el suelo) tienen redundancia informativa, mientras que las superficies con alta curvatura (como los bordes de un vehículo) contienen más información estructural.
• Implementación: Se estima la curvatura de cada punto en la nube de puntos calculando la derivada segunda del campo de distancia firmado (SDF).
• Proceso: Se calculan los pesos de muestreo basados en la norma del gradiente de la normal (curvatura geodésica). Se utilizan estos pesos para seleccionar un subconjunto de puntos y píxeles más informativos para la reconstrucción.
• Eficiencia: Esta estrategia reduce drásticamente la carga computacional (menos del 1% de sobrecarga de memoria) permitiendo procesar ambas modalidades simultáneamente.

B. Aprendizaje de Prototipos (Prototype Learning)

Para explotar la complementariedad entre modalidades, CLAP introduce un espacio de características común mediante prototipos aprendibles.

• Prototipos: Se inicializan $N_K$ vectores aprendibles que representan partes de la escena 3D.
• Esquema Expectation-Maximization (EM): Se entrena un espacio de características común donde los embeddings del LiDAR y de la cámara se asocian a estos prototipos. El objetivo es maximizar la similitud entre los embeddings de cada modalidad y el conjunto de prototipos.
• Pérdida de Predicción de Intercambio (Swapping Prediction Loss): Inspirado en SwAV, esta pérdida fuerza al modelo a predecir la asignación de prototipos de una modalidad basándose en la otra, fomentando así la interacción profunda entre la semántica de la imagen y la geometría del LiDAR.

C. Regularización de Matriz Gram

Para evitar que todos los prototipos colapsen en el mismo vector (un problema común en el aprendizaje no supervisado), se introduce una pérdida de regularización basada en la Matriz Gram. Esta pérdida minimiza la similitud entre los diferentes prototipos, asegurando que representen partes distintas de la escena.

Función de Pérdida Total:
El modelo se optimiza combinando:

1. Pérdida de Renderizado ($L_{rend}$): Reconstrucción de rango y color (RGB) mediante renderizado diferenciable sobre el campo neuronal.
2. Pérdida de Aprendizaje de Prototipos ($L_{proto}$): Combinación de la pérdida EM, la pérdida de intercambio (Swapping) y la regularización de la Matriz Gram.

3. Contribuciones Clave

1. Primer Pre-entrenamiento Conjunto: CLAP es el primer método de pre-entrenamiento basado en renderizado diferenciable que entrena conjuntamente encoders de LiDAR, cámara y fusión, superando la limitación de memoria mediante el muestreo por curvatura.
2. Muestreo por Curvatura: Una estrategia novedosa que selecciona puntos y píxeles informativos basándose en la geometría de la superficie, mejorando la eficiencia sin sacrificar la calidad de la representación.
3. Espacio de Características Común: Uso de prototipos aprendibles y un esquema EM para crear un espacio compartido que captura la interacción entre la semántica visual y la geometría 3D.
4. Regularización Efectiva: Introducción de una regularización de Matriz Gram para evitar el colapso de los prototipos, garantizando una representación diversa de la escena.

4. Resultados Experimentales

Los métodos se evaluaron en los conjuntos de datos NuScenes y Waymo, utilizando detectores de objetos 3D de última generación (BEVFusion y CenterPoint) en configuraciones de few-shot (pocos datos etiquetados).

• Rendimiento en NuScenes:
  • CLAP logró una mejora de 2.48% en mAP y 1.76% en NDS sobre la inicialización aleatoria.
  • Esta mejora es aproximadamente un 100% mayor que la obtenida por el método SOTA anterior (UniPAD), que solo logró mejoras marginales o comparables.
  • CLAP superó consistentemente a otros métodos de pre-entrenamiento (OCC-MAE, SLidR, PPKT) en todas las categorías de objetos.
• Rendimiento en Waymo:
  • CLAP obtuvo el mejor rendimiento en convergencia, con una mejora de +1.28% en mAP promedio sobre el estado del arte, duplicando las ganancias de los métodos anteriores.
• Propiedades de Escalabilidad:
  • En experimentos donde se redujo drásticamente la cantidad de datos de fine-tuning (hasta 0.5%), CLAP mostró mejoras significativas (hasta +7.22% en mAP), demostrando una alta eficiencia en el uso de datos y un gran potencial de escalabilidad.
• Estudios Ablativos:
  • Se demostró que el muestreo uniforme (como en UniPAD) no mejora el pre-entrenamiento conjunto.
  • El muestreo por curvatura es esencial para la viabilidad y el rendimiento.
  • El aprendizaje de prototipos aporta la mayor ganancia final al integrar la interacción multimodal.

5. Significado e Impacto

El trabajo de CLAP representa un avance significativo en la percepción 3D multimodal al resolver el cuello de botella computacional que ha impedido el pre-entrenamiento conjunto de imágenes y LiDAR.

• Eficiencia de Datos: Demuestra que es posible aprender representaciones ricas y fusionadas sin etiquetas, reduciendo la dependencia de la anotación manual costosa.
• Sinergia Multimodal: Al entrenar conjuntamente, el modelo aprende a alinear la geometría del LiDAR con la semántica de la cámara de manera más efectiva que los enfoques separados.
• Escalabilidad: Los resultados sugieren que a medida que aumente la cantidad de datos de pre-entrenamiento, el rendimiento de CLAP podría superar aún más a los métodos actuales, estableciendo un nuevo estándar para la percepción autónoma.

En resumen, CLAP ofrece una solución elegante y eficiente para el pre-entrenamiento no supervisado de fusión 3D, combinando técnicas de muestreo inteligente y aprendizaje de prototipos para lograr un rendimiento superior en tareas de detección de objetos 3D.