Resumen Técnico: Correspondencia 3D a Nivel de Categoría en el Espacio de la Cámara mediante Priors de Objetos Morfables

Definición del Problema

El artículo aborda el desafío de la correspondencia 3D monocular a nivel de categoría en el espacio de la cámara. Si bien los avances recientes han mejorado la estimación de pose a nivel de categoría, las representaciones existentes a menudo no logran capturar las semánticas de grano fino necesarias para el razonamiento sobre partes, funciones e interacciones de los objetos.

La tarea se define formalmente de la siguiente manera: Dadas dos imágenes RGB-D ($I_q$ y $I_t$) de objetos de la misma categoría y un punto 3D de consulta $x_q$ en el espacio de la cámara de $I_q$, el objetivo es predecir el punto 3D correspondiente $x_t$ en el espacio de la cámara de $I_t$ que representa la misma parte semántica. A diferencia de enfoques anteriores que mapean píxeles a espacios canónicos normalizados (por ejemplo, NOCS), este trabajo apunta a correspondencias directamente en el espacio 3D de la cámara. Este enfoque busca resolver las ambigüedades inherentes a la coincidencia 2D (dependencia del punto de vista, oclusión, simetría) y evita la naturaleza indefinida de los espacios centrados en el objeto donde la escala y el centro no están bien definidos.

Una brecha crítica identificada es la falta de benchmarks que apoyen la correspondencia amodal (inferir partes ocluidas o no visibles) y el manejo explícito de la simetría (donde múltiples posiciones geométricas son semánticamente equivalentes) para diversos objetos domésticos.

Metodología: Morpheus

Los autores proponen Morpheus, un marco que aprende priors de forma a nivel de categoría morfables para establecer correspondencias 3D semánticamente consistentes sin supervisión explícita de correspondencia. La idea central es representar todos los objetos dentro de una categoría como deformaciones que preservan la identidad de una malla plantilla compartida.

1. Predicción de Correspondencia 3D Basada en Mallas

Morpheus media todas las predicciones a través de una malla plantilla deformable. Para una imagen RGB-D de entrada, el modelo predice:

• Una deformación específica de la instancia de la malla plantilla.
• Una pose 6D del objeto ($\omega$), estimada utilizando una red de difusión de pose preentrenada.

La correspondencia se establece mediante transferencia de malla:

1. Un punto 3D de consulta $x_q$ se proyecta sobre la superficie de la malla de consulta deformada ($M_q^{def}$).
2. La ubicación del punto se codifica como coordenadas baricéntricas relativas a la cara de la malla subyacente.
3. Debido a que todas las instancias comparten la misma topología de malla, estas coordenadas se transfieren directamente a la malla objetivo deformada ($M_t^{def}$), obteniendo el punto correspondiente $x_t$ en el espacio de la cámara objetivo.
   Esto reduce el problema a predecir la pose y la deformación de una plantilla compartida en lugar de hacer coincidir puntos directamente entre imágenes.

2. Priors 3D Morfables

El marco utiliza una representación híbrida de malla volumétrica:

• Forma Canónica: Representada como un Campo de Distancia Firmada (SDF) $\phi_{sdf}$, que se convierte en una malla mediante Tetraedros de Marcha Diferenciables. Esto permite un modelado flexible de geometrías intrincadas.
• Deformaciones Específicas de la Instancia: Un campo de deformación afín $\phi_a$ adapta la malla canónica a instancias específicas. Este campo es impulsado por un código latente $l$ extraído de la imagen de entrada por un codificador de deformación (basado en una columna vertebral DINOv2).
• La deformación se define como un mapeo afín que desplaza los vértices basándose en el código latente, preservando la identidad semántica de los vértices de la plantilla a través de las deformaciones.

3. Objetivos de Entrenamiento

Morpheus se entrena utilizando supervisión geométrica sin etiquetas de correspondencia explícitas. La alineación semántica emerge implícitamente porque cada instancia debe deformar la misma plantilla canónica mientras permanece consistente con los datos observados. La pérdida de entrenamiento incluye:

• Pérdida 2D: Reconstrucción de máscara de objeto amodal (MSE) y superposición de transformada de distancia para asegurar que la malla deformada coincida con las regiones visibles y ocluidas del objeto.
• Pérdida 3D: Distancia de Chamfer entre los vértices de la malla deformada y los vértices de la malla de verdad fundamental.
• Regularización: Pérdida eikonal (para imponer propiedades SDF), regularización de deformación $\ell_2$ (para prevenir deformaciones excesivas) y regularización de suavidad basada en bordes.
• Supervisión de Pose: Se proporciona supervisión de pose 6D para estabilizar la optimización y reducir mínimos locales.

Contribuciones Clave

1. Formulación de la Tarea: El artículo identifica la correspondencia 3D monocular a nivel de categoría en el espacio de la cámara como un paso necesario más allá de las representaciones centradas en la pose hacia una comprensión 3D semánticamente alineada.
2. Benchmark HouseCorr3D: Los autores introducen HouseCorr3D, el primer benchmark a gran escala para esta tarea. Comprende:
   • 178,000 imágenes en 50 categorías de objetos domésticos.
   • 280 instancias de objetos únicas.
   • Anotaciones de puntos clave 3D directamente en modelos CAD.
   • Etiquetas de correspondencia amodal para regiones ocluidas.
   • Anotaciones de simetría explícitas para manejar las ambigüedades geométricas de manera justa.
3. Marco Morpheus: Un método que aprende priors morfables para producir correspondencias 3D semánticamente consistentes directamente en el espacio de la cámara, desacoplando la forma canónica, la deformación y la pose del objeto.
4. Validación Empírica: Demostración de que la comprensión semántica de objetos 3D puede emerger sin supervisión directa de correspondencia, logrando resultados de vanguardia en el benchmark propuesto.

Resultados

Los experimentos en HouseCorr3D muestran que Morpheus supera sustancialmente a las líneas base existentes, incluyendo:

• Coincidencia de Características 2D: DINOv2, MagicPony2D y NOCS (elevado a 3D).
• Coincidencia en Espacio 3D: GenPose++ y MagicPony.

Hallazgos Clave:

• Rendimiento: Morpheus logra el PCK@0.1 (Porcentaje de Puntos Clave Correctos) más alto en configuraciones 2D, 3D modal (visible) y 3D amodal (ocluido).
• Manejo de Oclusión: A diferencia de los métodos 2D que fallan en partes ocluidas, Morpheus reconstruye con éxito las regiones ocluidas debido a su supervisión amodal y prior compartido.
• Simetría y Deformación: Morpheus maneja las simetrías de los objetos y las variaciones de forma mejor que los métodos que dependen de espacios de objetos normalizados (como NOCS) o espacios canónicos/cámara entrelazados (como MagicPony).
• Generalización: La evaluación en un subconjunto filtrado del conjunto de datos real ROPE (de Omni6DPose) confirma que el modelo se generaliza a datos reales, con caídas de rendimiento atribuidas principalmente al ruido en la profundidad y las anotaciones, más que a fallos del modelo.

Significado y Afirmaciones

El artículo afirma que establecer correspondencias en el espacio 3D de la cámara es un cambio fundamental respecto a los enfoques anteriores de espacio 2D o espacio 3D de objetos normalizado. Al aprovechar los priors de objetos morfables, los autores demuestran que:

• Las correspondencias 3D semánticas pueden aprenderse implícitamente a través de representaciones deformables compartidas, eliminando la necesidad de supervisión de correspondencia explícita y costosa.
• Este enfoque permite el razonamiento amodal, permitiendo a los sistemas inferir la estructura 3D completa de los objetos incluso cuando las partes están ocluidas, lo cual es crítico para la manipulación e interacción robótica.
• El benchmark HouseCorr3D llena un vacío crítico en la literatura, proporcionando el primer conjunto de datos a gran escala con anotaciones amodales y conscientes de la simetría para evaluar la correspondencia 3D a nivel de categoría a partir de imágenes individuales.

El trabajo sugiere que el progreso futuro en robótica encarnada y RA/RV requiere ir más allá de la coincidencia de características 2D hacia un razonamiento 3D robusto que tenga en cuenta la geometría completa del objeto, incluidas las regiones ocluidas y las simetrías.