Resumen Técnico: Artic-O: Reconstrucción de Objetos Articulados de Extremo a Extremo mediante el Aprendizaje de la Geometría Latente

1. Planteamiento del Problema

La reconstrucción de objetos articulados (por ejemplo, armarios, cajones) a partir de imágenes dispersas de múltiples estados es una tarea desafiante que requiere recuperar tres componentes distintos pero interdependientes: la geometría 3D completa, la segmentación de las partes móviles (activas) y los parámetros que definen el mecanismo de movimiento (articulaciones).

Los enfoques existentes enfrentan limitaciones significativas:

• Los métodos basados en geometría requieren entradas 3D limpias y completas (nubes de puntos o mallas), que a menudo no están disponibles en escenarios del mundo real.
• Los métodos basados en imágenes suelen depender de la optimización por instancia (lenta y laboriosa) o de la recuperación de bibliotecas de geometría (de fidelidad limitada).
• Limitaciones del estado del arte (SoTA): Métodos recientes como LARM [Yuan et al. 2025] mejoran la eficiencia mediante la síntesis de vistas novedosas feed-forward, pero separan la reconstrucción de la geometría de la estimación de la articulación. Esta separación puede propagar errores de reconstrucción hacia la estimación del movimiento y no logra imponer consistencia entre la forma, las partes activas y los parámetros de movimiento. Además, LARM requiere una etapa de post-procesamiento separada para estimar la articulación, careciendo de un flujo de trabajo de extremo a extremo (end-to-end).

2. Metodología: Artic-O

Artic-O es un marco de trabajo de extremo a extremo y feed-forward que predice simultáneamente la geometría completa del objeto, la segmentación de la parte activa y los parámetros de articulación a partir de imágenes dispersas de múltiples estados (típicamente dos estados finales con múltiples vistas). La innovación central es la extensión del aprendizaje de la geometría latente de la reconstrucción de objetos estáticos a la reconstrucción de objetos articulados.

2.1 Visión General de la Arquitectura

El marco consta de tres componentes principales:

1. Codificador de Imágenes Sensible al Estado:

   • Basado en la arquitectura NOVA3R/VGGT, este codificador toma imágenes dispersas de dos estados de articulación ($I_0, I_1$) como entrada.
   • Emplea un mecanismo de incrustación de tokens sensible al estado (state-aware token embedding), añadiendo incrustaciones aprendibles a los tokens de parches de imagen para distinguir entre los dos estados observados.
   • Produce latentes de geometría ($z_{geo}$) y tokens de imagen ($f_{img}$). Los latentes de la geometría están condicionados por la evidencia de la imagen pero residen en un espacio latente preentrenado.

2. Decodificador de Forma de Flujo de Emparejamiento (Flow-Matching) Congelado:

   • Artic-O utiliza un decodificador de flujo de emparejamiento (FM) preentrenado y congelado, entrenado con nubes de puntos de objetos completos.
   • En lugar de predecir la geometría directamente en el espacio de la imagen, el modelo mapea las observaciones dispersas al espacio latente de este decodificador.
   • El decodificador reconstruye la nube de puntos completa ($\hat{P}$) integrando un campo de velocidad predicho a partir de ruido muestreado. Crucialmente, este decodificador se mantiene congelado durante el entrenamiento, sirviendo como un fuerte prior para la recuperación de la geometría oculta e interior.

3. Cabezales de Razonamiento de Partes y Articulación Basados en la Imagen:

   • Memoria de Partes: Para conectar eficientemente la evidencia visual con la geometría, el modelo destila los tokens de imagen y los latentes de la geometría en un conjunto compacto de tokens de "memoria de partes" mediante atención cruzada.
   • Cabezal de Segmentación: Utilizando la memoria de partes, las características de geometría punto a punto ($f_{pcd}$) y los tokens de imagen, el modelo predice una máscara binaria ($\hat{S}$) que distingue la parte móvil activa del contexto estático.
   • Cabezal de Articulación: Un mecanismo impulsado por ranuras (slot-driven) utiliza la representación de la ranura activa y las características punto a punto para predecir los parámetros de la articulación. Soporta movimientos tanto prismáticos (traslación lineal) como revolutos (rotación), prediciendo ejes, orígenes y rangos de movimiento. Para las articulaciones revolutas, emplea un mecanismo de votación densa para localizar el eje.

2.2 Estrategia de Entrenamiento

Para equilibrar los objetivos conflictivos de la reconstrucción generativa de la geometría y el razonamiento discriminativo a nivel de parte, Artic-O emplea dos estrategias de entrenamiento específicas:

• Currículo de Geometría a Articulación:

  • Etapa 1: El modelo se entrena únicamente con la pérdida de flujo de emparejamiento ($L_{fm}$) para adaptar el codificador de imágenes al entorno articulado de dos estados, asegurando que el espacio latente capture una geometría válida antes de introducir la supervisión a nivel de parte.
  • Etapa 2: Se introducen los cabezales de segmentación y articulación. El codificador de imágenes se actualiza con una tasa de aprendizaje más baja, mientras que los cabezales se entrenan con una tasa más alta para aprender rápidamente sin desestabilizar el prior de la geometría.

• Entrenamiento de Dos Pasadas Desacopladas:

  • Dentro de un solo paso de entrenamiento, el codificador se ejecuta una vez, pero el decodificador congelado se ejecuta dos veces con diferentes programas de ruido.
  • Paso 1 (Paso FM): Utiliza muestras de trayectoria ruidosa estándar para optimizar la reconstrucción de la geometría ($L_{fm}$).
  • Paso 2 (Paso Seg/Art): Utiliza una mezcla de muestras ruidosas y muestras "limpias" (donde $t=1$, es decir, la geometría real) para entrenar la segmentación y la articulación. Esto asegura que los cabezales aprendan de identidades de partes inequívocas (limpias) mientras permanecen robustos ante reconstrucciones imperfectas (ruidosas) encontradas durante la inferencia.

3. Contribuciones Clave

• Flujo de Trabajo de Extremo a Extremo y Feed-Forward: Artic-O es el primer método que unifica la reconstrucción de la geometría completa, la segmentación de la parte activa y la predicción de los parámetros de articulación en un solo paso feed-forward, eliminando la necesidad de optimización por instancia o etapas de post-procesamiento separadas.
• Prior de Geometría Latente para la Articulación: Al aprovechar un decodificador de flujo de emparejamiento congelado, el método recupera el volumen interior completo y las estructuras ocultas que los métodos condicionados por la vista suelen omitir, proporcionando un contexto estructural estable para el razonamiento de la articulación.
• Memoria de Partes Basada en la Imagen: Un módulo novedoso que destila la evidencia visual de múltiples vistas y estados en una representación compacta, permitiendo la separación efectiva de las partes activas de los contextos estáticos.
• Currículo y Entrenamiento de Dos Pasadas: Un régimen de entrenamiento diseñado a medida que equilibra la naturaleza generativa de la reconstrucción de la geometría con los requisitos discriminativos de la segmentación de partes y la estimación del movimiento.

4. Resultados Experimentales

Los experimentos se realizaron con el conjunto de datos PartNet-Mobility, siguiendo el protocolo de evaluación de LARM.

• Reconstrucción de la Geometría: Artic-O supera a LARM, reduciendo la Distancia de Chamfer (CD) de 0.019 a 0.017 y mejorando el F-score del 93.8% al 95.4%. Los resultados cualitativos muestran volúmenes interiores más completos y un mejor manejo de las regiones ocultas.
• Precisión de la Articulación: El método logra una precisión comparable o superior en las métricas de articulación. Notablemente, la precisión del rango de movimiento ($M_r$) mejoró del 87.0% al 93.5%, y el éxito de eje-ángulo mejoró del 96.7% al 97.1%.
• Eficiencia: La mejora más significativa es la velocidad de inferencia. Artic-O procesa un objeto en 0.32 segundos, comparado con aproximadamente 9 minutos para LARM (una aceleración de ~1680x), ya que evita la optimización iterativa y los bucles de síntesis de vistas novedosas.
• Estudios de Ablación:
  • Eliminar el prior de geometría congelado degrada tanto la geometría como la articulación.
  • Eliminar la memoria de partes basada en la imagen reduce significamente el éxito de eje-ángulo (en ~19.8 puntos).
  • Eliminar el currículo o el entrenamiento de dos pasadas conduce a caídas sustanciales tanto en la calidad de la geometría como en la precisión de la articulación.
• Mundo Real y Multi-Parte: El modelo se generaliza a capturas de iPhone del mundo real sin optimización en tiempo de prueba y puede extenderse a objetos de múltiples partes mediante inferencia independiente por parte, superando también a LARM en estos escenarios.

5. Significación y Reivindicaciones

El artículo sostiene que Artic-O representa un paso significativo hacia la reconstrucción escalable y eficiente de activos 3D interactivos. Al alejarse de los procesos de forma descompuesta y de los enfoques basados en optimización, Artic-O demuestra que:

1. Consistencia: El aprendizaje conjunto de la geometría y la articulación de manera de extremo a extremo produce una mayor consistencia entre la forma y el movimiento que las etapas separadas.
2. Viabilidad: La reconstrucción de articulaciones de alta calidad es factible en tiempo real (sub-segundo) sin requerir entradas 3D limpias o ajustes costosos por instancia.
3. Generalización: El enfoque de geometría latente permite al modelo inferir formas completas plausibles y mecanismos de movimiento a partir de evidencia visual dispersa e incompleta, lo que lo hace adecuado para aplicaciones de uso descendente (downstream) como gemelos digitales, AR/VR e inteligencia incorporada donde la generación rápida de activos es crítica.

Los autores mantienen una postura modesta, señalando que, si bien el método maneja eficazmente las partes que se mueven de forma independiente, actualmente no aborda cadenas cinemáticas complejas, aunque cubre muchos objetos articulados cotidianos.