PAOLI: Pose-free Articulated Object Learning from Sparse-view Images

1. Planteamiento del Problema

El objetivo es modelar objetos articulados (objetos rígidos conectados por juntas que permiten rotación o traslación, como puertas, cajones o tijeras) a partir de videos o conjuntos de imágenes.

• Limitaciones de los métodos actuales: Las técnicas state-of-the-art (como ArticulatedGS o PARIS) requieren:
  • Vistas densas: Aproximadamente 100 imágenes por estado de articulación.
  • Poses de cámara conocidas: Las imágenes deben estar en un sistema de coordenadas compartido y pre-calibrado.
  • Supervisión manual: A menudo dependen de segmentaciones o parámetros de articulación etiquetados.
• El desafío de PAOLI: El trabajo aborda un escenario mucho más realista pero difícil: reconstruir objetos articulados utilizando solo 4 vistas por estado de articulación y sin conocimiento de la pose de la cámara (imágenes no poseadas).
• El obstáculo central: Al reconstruir cada estado de articulación independientemente (ya que no hay poses compartidas), se obtienen modelos 3D en sistemas de coordenadas diferentes. El problema crítico no es solo la reconstrucción 3D, sino establecer una correspondencia 3D-a-3D robusta entre estas formas desalineadas para poder analizar el movimiento de las partes.

2. Metodología (PAOLI)

El método propone un pipeline de tres etapas que combina la reconstrucción 3D basada en Gaussian Splatting (GS) con un campo de deformación optimizado en tiempo de prueba.

Etapa 1: Reconstrucción Inicial Independiente

• Se toman dos conjuntos de imágenes (fuente $I_s$ y objetivo $I_t$), cada uno con $K$ vistas (ej. 4) sin pose conocida.
• Se utiliza FreeSplatter (una red feed-forward para reconstrucción 3D desde pocas vistas) para generar dos modelos iniciales de Gaussian Splatting ($G_s$ y $G_t$) de forma independiente.
• Se refinan los parámetros extrínsecos de la cámara minimizando la pérdida fotométrica, pero los modelos permanecen en sistemas de coordenadas arbitrarios y desalineados.

Etapa 2: Correspondencia Densa mediante Campos de Deformación

Este es el núcleo de la innovación. En lugar de usar puntos clave (keypoints) esparsos (que fallan en superficies sin textura o con grandes movimientos), PAOLI aprende un campo de deformación denso.

• Red de Deformación ($F_{deform}$): Una red neuronal ligera (MLP) que mapea los medios de las Gaussianas de la fuente ($\mu_s$) a transformaciones rígidas (rotación, traslación y escala) para alinearlas con el estado objetivo.
• Restricción de Rigidez: Se utiliza una codificación posicional de baja frecuencia (controlada por un parámetro $k_0$) para asegurar que la deformación sea suave y respete la rigidez local de las partes del objeto.
• Optimización: La red se entrena on-the-fly (en tiempo de prueba) para cada objeto, minimizando:
  1. La distancia de Chamfer entre los medios de las Gaussianas deformadas y las del objetivo.
  2. La pérdida fotométrica ($L_1$) entre las imágenes renderizadas.
• Resultado: Se establece un mapa de correspondencia denso y robusto entre los dos estados.

Etapa 3: Optimización Conjunta y Desentrelazado

Una vez establecidas las correspondencias, se separan las partes estáticas de las móviles y se refina el modelo.

• Estimación de Pose Inicial: Se utiliza el algoritmo robusto TEASER++ sobre las correspondencias densas para identificar el componente rígido mayoritario (raíz) y los outliers (hojas/móviles), obteniendo transformaciones iniciales.
• Estrategia de Refinamiento Progresivo (3 Fases):
  1. Refinamiento de Pose Rígida: Se congelan las geometrías y se optimizan solo las transformaciones rígidas ($\pi$) para estabilizar la alineación global.
  2. Refinamiento de Geometría y Segmentación: Se desbloquean las Gaussianas y se introduce un término de desplazamiento no rígido ($\delta\mu$) para corregir errores de segmentación. Se actualizan iterativamente las etiquetas de las partes basándose en el error de alineación.
  3. Refinamiento de Apariencia: Se fija la geometría y se optimizan los colores y las poses finales de las partes para maximizar la calidad visual.
• Salida Final: Se obtiene un "gemelo digital" con geometría 3D, apariencia, segmentación de partes y parámetros cinemáticos (eje, ángulo, pivote o magnitud de traslación).

3. Contribuciones Clave

1. Formulación del Problema: Primer trabajo que aborda la reconstrucción de objetos articulados desde vistas escasas y no poseadas, identificando la correspondencia 3D-a-3D desalineada como el desafío principal.
2. Correspondencia Densa: Propone un detector de correspondencia robusto basado en un campo de deformación denso optimizado en tiempo de prueba, superando a los métodos basados en puntos clave y redes pre-entrenadas.
3. Pipeline Completo: Demuestra un sistema funcional que recupera geometría, apariencia y cinemática completa sin supervisión de poses ni datos densos.

4. Resultados y Evaluación

El método se evaluó en el dataset sintético 3D PartNet-Mobility y en objetos del mundo real.

• Comparación Cuantitativa:
  • PAOLI supera significativamente a los métodos baselines como ArticulatedGS (AGS), GaussReg y FM-Dense.
  • Mientras que AGS falla al no converger con solo 4 vistas (ruido excesivo), y los métodos de correspondencia densa pre-entrenados (FM-Dense) producen segmentaciones incorrectas, PAOLI logra errores angulares y de posición muy bajos.
  • Métricas clave: PSNR (~26-29 dB), SSIM (>0.95) y Distancia de Chamfer (CD) muy bajos, indicando alta fidelidad geométrica y visual.
• Evaluación Cualitativa:
  • Las visualizaciones muestran que PAOLI logra una segmentación precisa de partes móviles y estáticas, y estima correctamente los ejes de articulación, incluso en objetos complejos como tijeras, refrigeradores y láminas USB.
  • Funciona bien en objetos reales (botella, proyector, cajón) tras eliminar el fondo.
• Análisis de Ablación:
  • Se demostró que cada componente (optimización de pose de cámara, pérdida de distancia de Chamfer, pérdida fotométrica) es crucial. Eliminar cualquiera degrada el rendimiento.
  • El parámetro de frecuencia $k_0$ es vital: valores muy bajos impiden la deformación necesaria, y valores muy altos rompen la rigidez.

5. Significado e Impacto

PAOLI representa un avance significativo hacia la robustez en escenarios del mundo real:

• Reducción de requisitos de captura: Permite modelar objetos articulados con solo 4 fotos, eliminando la necesidad de escáneres 3D costosos o configuraciones de cámaras múltiples calibradas.
• Aplicabilidad Robótica: Facilita la integración de robots en entornos no estructurados, donde es imposible obtener vistas densas o poses de cámara perfectas, permitiendo a los robots entender y manipular objetos que se abren, cierran o deslizan.
• Paradigma de Aprendizaje: Introduce un enfoque de "optimización en tiempo de prueba" (test-time optimization) para resolver problemas de correspondencia en lugar de depender de modelos pre-entrenados genéricos, lo que permite adaptarse a la geometría específica de cada objeto.

En resumen, PAOLI demuestra que es posible aprender representaciones de objetos articulados de alta fidelidad bajo supuestos de entrada mucho más débiles que los existentes, resolviendo el problema fundamental de alinear modelos 3D desalineados mediante deformaciones densas y optimización conjunta.