PASR: Pose-Aware 3D Shape Retrieval from Occluded Single Views

Resumen Técnico: PASR

1. El Problema

La recuperación de formas 3D a partir de una única vista (imagen RGB) es un desafío fundamental en la visión por computadora. Los métodos actuales suelen dividirse en dos categorías:

• Alineación multimodal: Mapean características de nubes de puntos a espacios de lenguaje-visión existentes (como CLIP), pero tienen dificultades para generalizar a imágenes del mundo real que no coinciden exactamente con los modelos sintéticos.
• Espacios de incrustación (embeddings) conjuntos: Aprenden representaciones globales de imágenes y formas 3D, pero al ser métodos de "alimentación hacia adelante" (feed-forward) y holísticos, son vulnerables a las oclusiones parciales y carecen de una interpretación geométrica clara.

El problema central que aborda PASR es la falta de robustez ante oclusiones y la incapacidad de los modelos actuales para manejar la variabilidad de pose y la generalización a mallas 3D no vistas durante el entrenamiento.

2. Metodología

PASR propone reformular la recuperación de formas como un problema de análisis por síntesis a nivel de características. El marco de trabajo opera en dos etapas principales:

A. Entrenamiento (Destilación de Conocimiento):

• Codificador 3D de puntos: El modelo utiliza un codificador (PointNeXt) para extraer características multi-escala para cada punto de una nube de puntos. Esto permite capturar tanto detalles geométricos locales como contexto semántico global.
• Destilación desde un modelo fundacional 2D: Para cerrar la brecha entre 2D y 3D, PASR destila el conocimiento de un modelo fundacional (DINOv3). Se proyectan las características 3D aprendidas sobre un plano 2D mediante un renderizador diferenciable utilizando la pose real.
• Función de pérdida: Se utiliza una pérdida de similitud de coseno entre el mapa de características proyectado (3D) y el mapa de características de la imagen original (2D), aplicando una máscara de primer plano para asegurar que la alineación solo ocurra en el objeto.

B. Inferencia (Optimización en tiempo de prueba):

• Búsqueda inicial: Dado que la pose de la imagen de consulta es desconocida, el modelo realiza una búsqueda rápida comparando la imagen con una serie de poses predefinidas (discretizadas) para obtener un ranking grueso de candidatos.
• Refinamiento mediante Análisis por Síntesis: Para los mejores $k$ candidatos, el modelo realiza una optimización en tiempo de prueba. Busca iterativamente la pose (ángulos de Euler) y la forma que mejor reconstruyan el mapa de características de la imagen de consulta. Este proceso es inherentemente robusto a las oclusiones, ya que el modelo intenta "encajar" la geometría 3D con las características visibles de la imagen.

3. Contribuciones Clave

• Representación explícita a nivel de punto: A diferencia de los métodos que usan vectores globales, PASR aprende representaciones detalladas de cada punto, lo que permite una mayor sensibilidad a la geometría fina.
• Robustez ante oclusiones: Al utilizar la optimización de análisis por síntesis, el modelo puede ignorar las partes ocluidas y centrarse en las características visibles para la alineación.
• Capacidad Multitarea: El marco permite realizar no solo la recuperación de formas, sino también la estimación de pose 3D y la clasificación de categorías dentro de un mismo sistema, sin supervisión adicional para estas tareas.
• Generalización: Demuestra una capacidad superior para recuperar formas 3D que no estaban presentes en el conjunto de entrenamiento (unseen shapes).

4. Resultados

El modelo alcanza el estado del arte (SOTA) en los conjuntos de datos Pix3D y Pascal3D:

• Precisión de recuperación: En Pix3D, logra un 81.59% de precisión Top-1. En Pascal3D, alcanza un 76.43%.
• Resistencia a la oclusión: Supera significativamente a los modelos previos (como CMIC o Uni3D) en escenarios de oclusión severa (L3). Por ejemplo, en Pascal3D con oclusión L3, supera a Uni3D por un margen de 17.21%.
• Transferencia: En pruebas de transferencia a objetos no vistos (categoría de sillas de Pix3D a Pascal3D), PASR mantiene una precisión mucho más alta que los métodos basados en contraste.

5. Significancia

La importancia de PASR radica en su capacidad para transformar un problema de "comparación de vectores" en un problema de "reconstrucción geométrica". Al integrar el conocimiento de modelos fundacionales 2D con la estructura explícita del 3D, ofrece una solución práctica para aplicaciones del mundo real donde los objetos suelen estar parcialmente ocultos y las cámaras se encuentran en poses desconocidas, sentando las bases para una mejor comprensión de escenas 3D en robótica y navegación autónoma.