ECHO: Ego-Centric modeling of Human-Object interactions

Resumen Técnico: ECHO – Modelado de interacciones Humano-Objeto desde una perspectiva Egocéntrica

Planteamiento del Problema

Modelar las Interacciones Humano-Objeto (HOI, por sus siglas en inglés) desde una perspectiva egocéntrica es un desafío crítico, particularmente cuando se depende de señales dispersas provenientes de dispositivos portátiles ubicuos como gafas inteligentes y pulseras. Los enfoques existentes suelen requerir entradas densas como imágenes RGB, escenas escaneadas previamente o trajes especializados de captura de movimiento, lo que limita la escalabilidad y la generalización. Además, los métodos actuales basados en aprendizaje suelen tener dificultades con la naturaleza subdeterminada de inferir el movimiento de cuerpo completo, la dinámica de los objetos y los estados de contacto basándose únicamente en datos limitados de sensores (por ejemplo, seguimiento de cabeza y muñecas). Ha faltado un marco unificado capaz de aprender tanto de conjuntos de datos de movimiento humano a gran escala como de colecciones especializadas de HOI, gestionando simultáneamente el seguimiento intermitente y las observaciones parciales.

Metodología

Los autores presentan ECHO, un marco unificado que recupera conjuntamente la pose humana, el movimiento del objeto y la dinámica de contacto basándose únicamente en un seguimiento disperso de 3 puntos (cabeza y dos muñecas). El método opera en un sistema de coordenadas centrado en la cabeza por cada fotograma para mantener la invariancia a la configuración de la secuencia global.

1. Representación

• Humano: Modelado mediante el modelo paramétrico de cuerpo SMPL-X, centrándose en el vector de pose corporal ($\theta_H$) mientras se infiere la posición de la raíz mediante la alineación con la cabeza rastreada.
• Objeto: Representado como una secuencia de transformaciones SE(3) relativas a la cabeza. La clase y la geometría del objeto se codifican mediante vectores one-hot y características de PointNext extraídas de los vértices canónicos del objeto.
• Contacto: Modelado como una modalidad continua ($I$) que abarca tanto las interacciones humano-objeto como las humano-suelo. Las distancias entre los puntos de la superficie muestreados y los objetos se mapean al rango $[0, 1]$ utilizando una función sigmoide para garantizar la estabilidad.
• Condicionamiento: El modelo está condicionado por las orientaciones canónicas de la cabeza y las manos, la distancia cabeza-suelo y las transformaciones relativas entre fotogramas consecutivos.

2. Modelo de Difusión Tri-variante

En el núcleo de ECHO se encuentra un novedoso proceso de difusión tri-variante que modela la distribución conjunta del movimiento humano ($H$), la trayectoria del objeto ($O$) y las secuencias de contacto ($I$).

• Programas de Ruido Independientes: A diferencia de los modelos de difusión estándar que utilizan un único programa de ruido, ECHO emplea pasos de eliminación de ruido independientes ($T_H, T_O, T_I$) para cada modalidad. Esto permite un condicionamiento flexible: el modelo puede tomar datos observados para una o dos modalidades (por ejemplo, movimiento humano conocido) mientras difunde y predice las otras (por ejemplo, movimiento del objeto y contactos).
• Arquitectura: La red de eliminación de ruido se construye sobre un Transformador de Difusión (DiT) con incrustaciones posicionales rotatorias. Procesa tokens de entrada compuestos por condiciones y ya sea las modalidades observadas o ruido, produciendo la secuencia de interacción completa.
• Estrategia de Entrenamiento: El modelo se entrena con una combinación de conjuntos de datos de movimiento humano a gran escala (AMASS) y colecciones de HOI más pequeñas (BEHAVE, OMOMO). Durante el entrenamiento, el modelo aprende a reconstruir las modalidades faltantes a partir de las observadas mediante el muestreo de combinaciones de estados ruidosos y limpios. Para las muestras de AMASS (que carecen de interacciones con objetos), el condicionamiento del objeto se reemplaza con tokens aprendibles para señalar la ausencia de interacción.

3. Inferencia: Inpainting Suave (Smooth Inpainting)

Para permitir la generación de interacciones temporalmente consistentes para secuencias arbitrariamente largas, ECHO introduce un mecanismo de inpainting suave.

• A diferencia de los enfoques estándar de ventana deslizante que requieren post-procesamiento o descartan predicciones superpuestas, el inpainting suave mezcla las predicciones pasadas y actuales en la región de superposición en cada paso de difusión.
• Esto asegura transiciones fluidas y permite un procesamiento autorregresivo y en tiempo real de sec sequences largas.
• Guía de Inferencia: Se emplea un enfoque de guía basado en clasificadores para actualizar las predicciones, asegurando que las mallas humanas y de objetos generadas se alineen con los vectores de contacto predichos (forzando la plausibilidad física).

Principales Contribuciones

1. Primer HOI de extremo a extremo desde Seguimiento Disperso: ECHO es el primer método que reconstruye Interacciones Humano-Objeto de cuerpo completo únicamente mediante el seguimiento de 3 puntos (cabeza y manos), recuperando conjuntamente el movimiento, la trayectoria del objeto y el contacto.
2. Difusión Tri-variante Unificada: Los autores introducen una formulación de difusión con programas de ruido independientes que soporta un condicionamiento cruzado flexible. Este diseño permite al modelo aprovechar observaciones parciales (por ejemplo, seguimiento de manos intermitente o visibilidad parcial de un objeto) y entrenar con una mezcla de datos de solo movimiento y de HOI.
3. Robustez y Escalabilidad: El marco es robusto al ruido de los sensores y al seguimiento intermitente. Logra un rendimiento de vanguardia al aprender fuertes sesgos de movimiento humano de conjuntos de datos a gran escala, capturando al mismo tiempo los matices de la interacción.
4. Inpainting Suave: Se propone un novedoso mecanismo de inferencia para generar secuencias temporalmente consistentes y arbitrariamente largas sin los artefactos comunes en los enfoques basados en ventanas.

Resultados Experimentales

El método fue evaluado en los conjuntos de datos BEHAVE y OMOMO, con validación adicional en el conjunto de datos AMASS para la calidad del movimiento.

• Rendimiento: ECHO supera significativamente a los modelos de referencia (incluyendo versiones adaptadas de BoDiffusion y EgoAllo) tanto en la reconstrucción del movimiento humano (MPJPE, MPJVE) como en el seguimiento de objetos (error vértice-a-vértice, error de centro).
• Precisión de Contacto: El modelo logra una mayor precisión de contacto (AccI) y genera interacciones físicamente plausibles, evitando artefactos comunes como la penetración de objetos o la flotación observados en métodos competidores.
• Robustez al Ruido: Los experimentos que simulan el seguimiento intermitente de las manos (perdiendo hasta el 75% de la entrada) muestran que ECHO mantiene un rendimiento estable, degradándose significativamente solo cuando falta el 90% de los datos.
• Entrada Dispersa: Proporcionar observaciones parciales para la modalidad humana o del objeto mejora significativamente la calidad de la reconstrucción para esa modalidad y regulariza la predicción de la modalidad no observada.
• Estudios de Ablación: Eliminar la modalidad de interacción, el conjunto de datos AMASS o el mecanismo de inpainting suave conduce a caídas sustanciales en el rendimiento, confirmando la necesidad del entrenamiento conjunto, los sesgos a gran escala y la estrategia de inferencia propuesta.

Significación y Reivindicaciones

El artículo afirma que ECHO representa un paso adelante significativo en la percepción egocéntrica al demostrar que las interacciones humanas y de objetos complejas pueden inferirse a partir de señales portátiles mínimas y dispersas. Al unificar el modelado del movimiento humano, la dinámica del objeto y el contacto dentro de un único marco generativo, ECHO supera las limitaciones de los métodos anteriores que dependían de datos visuales densos o restricciones diseñadas manualmente. La capacidad de entrenar con diversos tipos de datos y gestionar el seguimiento intermitente lo convierte en una solución versátil para aplicaciones en salud, asistentes personales e IA espacial, donde el modelado de interacciones robustas y en tiempo real es esencial. Los autores enfatizan que su enfoque proporciona una base sólida para la investigación futura en el modelado de interacciones egocéntricas, particularmente en escenarios donde los datos de los sensores son incompletos o ruidosos.