CARI4D: Category Agnostic 4D Reconstruction of Human-Object Interaction

1. El Problema

La captura de interacciones humano-objeto (HOI) a partir de cámaras RGB monoculares es fundamental para aplicaciones en realidad aumentada, robótica y videojuegos. Sin embargo, la reconstrucción 4D (espacio + tiempo) a partir de un solo punto de vista presenta desafíos significativos:

• Ambigüedad de escala y profundidad: Recuperar la geometría detallada y la escala métrica real sin sensores de profundidad es difícil.
• Variabilidad: Tanto la forma humana como la de los objetos pueden variar enormemente entre sujetos y categorías.
• Oclusiones: Las interacciones físicas a menudo implican oclusiones severas donde el objeto o las manos del humano se ocultan.
• Limitaciones de métodos anteriores: La mayoría de los trabajos existentes requieren plantillas de objetos conocidas, se limitan a categorías específicas entrenadas, o producen reconstrucciones inconsistentes en el tiempo (deslizamiento de escala o traducción) que no son útiles para aplicaciones prácticas.

2. Metodología: CARI4D

CARI4D es el primer método agnóstico a la categoría que reconstruye la interacción humano-objeto a escala métrica y de manera consistente en el tiempo a partir de un solo video RGB. La arquitectura sigue un enfoque de "coarse-to-fine" (de grueso a fino) que integra modelos fundacionales (foundation models) con un módulo de razonamiento de contacto aprendido.

A. Reconstrucción de Objetos a Escala Métrica (Sección 3.1)

• Suposición: El objeto es mayormente visible en el primer frame (común antes de la interacción).
• Proceso:
  1. Se utiliza f-BRS para obtener la máscara del objeto.
  2. Hunyuan3D-2 reconstruye la malla del objeto (inicialmente en escala normalizada).
  3. UniDepth estima la profundidad métrica.
  4. FoundationPose se utiliza en una búsqueda de escala de "grueso a fino" (grid search) para alinear la malla reconstruida con la nube de puntos de profundidad estimada, seleccionando la escala que minimiza la distancia de Chamfer.

B. Inicialización de Pose y Selección de Hipótesis (Sección 3.2)

• Objeto: Dado que la estimación directa de pose puede fallar debido a ruido o oclusiones, se propone un algoritmo de selección de hipótesis de pose.
  • FoundationPose genera $K$ candidatos de pose.
  • Se filtran basándose en: (a) IoU de la máscara (comparando la máscara renderizada con la del input, ignorando la oclusión humana) y (b) suavidad temporal (distancia geodésica con la pose del frame anterior).
  • Si todos fallan por oclusión, el sistema salta frames hacia adelante/atrás para recuperar la pista.
• Humano: Se usa NLF para la pose humana, alineándola a la escala métrica de UniDepth mediante un ajuste iterativo de punto más cercano (ICP) en la profundidad $z$.

C. Razonamiento de Contacto y Refinamiento: CoCoNet (Sección 3.3)

• Problema: Las inicializaciones son independientes y no consideran contactos finos, lo que puede causar que el objeto "flote" o penetre en el humano.
• Solución: CoCoNet (Category agnostic Contact reasoning network).
  • Paradigma Render-and-Compare: Renderiza la estimación inicial (RGB, profundidad, máscaras) y la compara con las observaciones reales del video.
  • Arquitectura: Utiliza codificadores DINOv2 (congelado para RGB, fine-tuned para mapas de profundidad/máscaras) y bloques de atención espaciotemporal para procesar secuencias.
  • Salida: Predice actualizaciones delta ($\Delta$) para las poses humanas y del objeto, así como etiquetas binarias de contacto para cada mano.
  • Estrategia de Entrenamiento: Se introduce una alineación de profundidad entre la profundidad estimada y la Ground Truth (GT) para evitar que la red aprenda errores sistemáticos del estimador de profundidad, enfocándose solo en la pose relativa.

D. Optimización Conjunta Basada en Contacto (Sección 3.4)

• Para garantizar coherencia física y suavidad, se realiza una optimización conjunta guiada por las predicciones de contacto de CoCoNet.
• Función de Pérdida ($L$): Combina:
  • $L_c$: Pérdida de contacto (minimiza distancia mano-objeto si hay contacto).
  • $L_{j2d}$: Pérdida de reproyección 2D de las articulaciones.
  • $L_m$: Pérdida de máscara de objeto (consciente de oclusiones).
  • $L_{pen}$: Pérdida de penetración (evita que el objeto atraviese el cuerpo humano usando Volumetric SMPL).
  • $L_{acc}$: Pérdida de aceleración (promueve movimiento suave).

3. Contribuciones Clave

1. Primera metodología agnóstica a la categoría: No requiere plantillas de objetos ni conocimiento previo de la categoría, generalizando zero-shot a objetos no vistos.
2. Reconstrucción 4D a escala métrica: Logra una consistencia global de traducción y escala en todo el video, algo que los métodos anteriores no lograban sin derivación.
3. Nuevos algoritmos:
   • Selección dinámica de hipótesis de pose para manejar oclusiones severas.
   • CoCoNet: Una red de razonamiento de contacto que refina poses y predice contactos finos.
   • Marco de optimización conjunta consciente de contactos.
4. Rendimiento superior: Supera a los métodos existentes en datasets de distribución y en datos no vistos (zero-shot).

4. Resultados Experimentales

Los experimentos se realizaron en los datasets BEHAVE (distribución) e InterCap (no visto/zero-shot).

• Comparación en BEHAVE:
  • CARI4D supera a InterTrack y VisTracker en más de un 35% en error de distancia de Chamfer combinado (CD-c).
  • Logra una precisión significativamente mayor en la reconstrucción de la malla del objeto y la pose humana.
• Generalización Zero-Shot (InterCap):
  • CARI4D generaliza a objetos y categorías completamente nuevas, superando a métodos basados en imágenes (como PICO) y seguimiento basado en video.
  • PICO falla a menudo en correspondencias de contacto (ej. manos izquierda/derecha invertidas), mientras que CARI4D mantiene la coherencia.
• Videos "In-the-wild":
  • El método funciona en videos de internet reales con iluminación variable, oclusiones y objetos diversos, demostrando robustez.
• Eficiencia:
  • Es significativamente más rápido que los métodos de optimización por imagen (PICO tarda ~5 min por imagen) y más rápido que otros métodos de seguimiento de video, procesando un video de 300 frames en ~45 minutos (vs. 118-1560 min de otros).

5. Significado e Impacto

CARI4D representa un avance crucial al cerrar la brecha entre la investigación académica y el uso en el mundo real para la reconstrucción 4D.

• Escalabilidad: Al eliminar la necesidad de plantillas de objetos o setups multicámara, permite procesar grandes volúmenes de datos de video disponibles públicamente.
• Aplicaciones Robóticas y de Aprendizaje: La consistencia métrica y temporal es vital para el aprendizaje por imitación en robótica, donde las trayectorias inconsistentes o las escalas erróneas pueden llevar a fallos en la ejecución de tareas.
• Generalización: La capacidad de manejar categorías no vistas (zero-shot) abre la puerta a aplicaciones en entornos abiertos y dinámicos donde no se puede predefinir el inventario de objetos.

Limitaciones

El artículo reconoce que el método se centra en la interacción de cuerpo completo y no modela explícitamente la articulación detallada de los dedos, lo que puede llevar a errores en manipulaciones finas (ej. sostener un plato pequeño). Además, depende de la inicialización de FoundationPose, que puede fallar en movimientos extremadamente rápidos u oclusiones totales, generando errores de rotación de 180 grados difíciles de corregir.