DISPLAY: Directable Human-Object Interaction Video Generation via Sparse Motion Guidance and Multi-Task Auxiliary

El artículo presenta DISPLAY, un marco de generación de videos de interacción humano-objeto que logra un control intuitivo y alta fidelidad mediante una guía de movimiento dispersa (coordenadas de muñeca y cajas delimitadoras de objetos) y una estrategia de entrenamiento auxiliar multi-tarea para superar las limitaciones de flexibilidad y consistencia física de los métodos existentes.

Lo esencial

¡Claro que sí! Imagina que quieres crear un video donde una persona interactúa con un objeto nuevo (como agarrar una taza o un iPad) que no estaba en el video original. Hacer esto con la tecnología actual es como intentar dirigir una película de acción sin guion, sin actores de doblaje y sin saber cómo se mueven las manos: ¡el resultado suele ser un caos!

El paper que me has pasado presenta DISPLAY, una nueva herramienta que soluciona este problema de una manera muy inteligente. Aquí te lo explico con analogías sencillas:

1. El Problema: "Demasiado control, poco espacio"

Antes, para hacer videos de personas agarrando cosas, los científicos tenían que dar instrucciones muy complejas y detalladas (como dibujar cada hueso de la mano o usar videos de referencia exactos).

• La analogía: Es como intentar enseñar a alguien a conducir dándole un manual de 500 páginas con instrucciones para cada movimiento de los dedos. Si el coche (el objeto) es nuevo o tiene una forma rara, el conductor se confunde y choca. Además, los objetos solían "atravesar" las manos o deformarse como si fueran de gelatina.

2. La Solución: "El Guía Espartano" (Sparse Motion Guidance)

El equipo de Baidu creó DISPLAY, que funciona con una idea brillante: menos es más. En lugar de dar miles de instrucciones, solo te piden dos cosas muy simples:

1. Dónde están las muñecas: Solo necesitas marcar dónde empieza y termina el movimiento de las manos (como poner dos puntos en un mapa).
2. Una caja para el objeto: Un simple recuadro que diga "aquí va el objeto", sin importar si es una taza, un teléfono o una pizza.

• La analogía: Imagina que eres un director de cine. En lugar de decirle al actor "mueve el dedo índice 2 milímetros a la izquierda y luego gira la muñeca 15 grados", solo le dices: "Empieza aquí, termina allá, y agarras este objeto". El actor (la IA) usa su imaginación para rellenar los detalles de cómo se ve la mano agarrando la cosa. Esto hace que el video sea mucho más flexible y realista, incluso si el objeto es totalmente nuevo.

3. El Secreto: "El Ojo que se Obsesiona con el Objeto" (Object-Stressed Attention)

A veces, cuando la IA intenta poner un objeto nuevo, se olvida de cómo se ve o cómo debe moverse.

• La analogía: Piensa en un estudiante que está estudiando para un examen. Si el profesor le pone demasiados apuntes de historia y matemáticas, el estudiante puede olvidar el tema principal.
  DISPLAY tiene un mecanismo especial llamado "Atención Estresada por el Objeto". Es como si el profesor le dijera al estudiante: "¡Oye, no te olvides del objeto! ¡Míralo con lupa!". La IA pone un "peso" extra en el objeto, asegurándose de que la taza no se convierta en una manzana y que la mano no la atraviese.

4. El Entrenamiento: "Aprendiendo con Ayuda Extra" (Multi-Task Auxiliary)

El mayor problema es que hay muy pocos videos de alta calidad de personas agarrando cosas específicas.

• La analogía: Imagina que quieres aprender a cocinar un plato muy específico (como un soufflé), pero solo tienes 10 recetas. Si solo practicas con esas 10, nunca serás un chef experto.
  DISPLAY usa una estrategia de "Entrenamiento Multitarea". Le enseña al modelo no solo con los 10 videos perfectos de soufflés, sino también con miles de videos de gente cocinando cosas diferentes, moviéndose, etc. Así, el modelo aprende a entender el movimiento humano en general y luego aplica ese conocimiento para hacer el soufflé perfecto, incluso si nunca ha visto ese ingrediente exacto antes.

¿Qué puedes hacer con DISPLAY?

Con esta herramienta, puedes hacer tres cosas mágicas:

1. Cambiar objetos: Tomas un video de alguien agarrando una manzana y le dices a la IA: "Cambia la manzana por una laptop". La IA ajustará la mano para agarrar la laptop perfectamente.
2. Insertar objetos: Tomas un video de alguien sentado en una mesa vacía y le dices: "Pon una taza de café en sus manos". La IA inventará el movimiento de agarrarla y ponerla en la mesa.
3. Interactuar con el entorno: Si hay un objeto en el video pero nadie lo toca, puedes decirle a la IA: "Haz que la persona lo levante".

En resumen

DISPLAY es como tener un asistente de dirección de cine que es muy listo pero no necesita micro-manipular cada detalle. Tú le das una idea simple (dónde van las manos y qué objeto usar), y la IA se encarga de llenar los huecos con un movimiento natural, realista y físicamente posible, sin que el objeto se deforme ni atraviese la mano. ¡Es como darle magia a los videos!

Resumen técnico

Resumen Técnico: DISPLAY

1. El Problema

La generación de video centrada en humanos ha avanzado rápidamente, pero los métodos existentes para la Interacción Humano-Objeto (HOI) presentan limitaciones críticas:

• Falta de control y consistencia física: Los modelos basados en texto a menudo generan interacciones físicamente inconsistentes (ej. objetos que atraviesan las manos o se deforman) y carecen de control espacial preciso.
• Dependencia de señales densas: Los enfoques controlados actuales requieren señales de control complejas y de alta dimensión (como mallas 3D de manos, mapas de profundidad de objetos o videos de plantilla completos), lo que limita la flexibilidad y la generalización a objetos nuevos.
• Desequilibrio de representación: Existe una asimetría entre las representaciones de control: las manos suelen tener señales fuertes (puntos clave 2D/3D), mientras que los objetos carecen de representaciones estructurales explícitas, causando que el modelo se sobreajuste a las manos y falle con objetos novedosos.
• Escasez de datos: Hay una falta de datos de alta calidad de HOI con anotaciones precisas, lo que restringe el entrenamiento de modelos robustos.

2. Metodología

El marco DISPLAY aborda estos problemas mediante tres componentes principales:

A. Guía de Movimiento Escaso (Sparse Motion Guidance)
En lugar de usar señales densas, DISPLAY utiliza una guía ligera compuesta por:

• Coordenadas de las muñecas: Solo los puntos de las articulaciones de las muñecas (izquierda y derecha) para guiar la trayectoria de las manos. Esto actúa como un "efector final", evitando el sobreajuste a gestos manuales específicos.
• Caja delimitadora agnóstica a la forma: Una caja que representa la ubicación y el tamaño del objeto, pero sin imponer una forma específica.
• Ventaja: Esto equilibra la representación entre la mano y el objeto, permite la inserción de objetos nuevos sin necesidad de reentrenamiento y reduce la carga de entrada del usuario (solo requiere hacer clic en unos pocos fotogramas clave).

B. Arquitectura del Modelo

• Base: Se construye sobre un modelo de flujo de coincidencia (Flow Matching) basado en DiT (Diffusion Transformer) preentrenado (Wan2.1-14B), que se mantiene congelado.
• Rama de Condicionamiento (Condition Branch): Se clonan capas de transformadores del modelo base para inyectar las condiciones sin perder la capacidad generativa original.
• Atención Estrésada en Objetos (Object-Stressed Attention - OSA):
  • Para superar la escasez de datos y la dificultad de aprender interacciones finas con guía escasa, se introduce un mecanismo de atención modificado.
  • Este mecanismo aplica coeficientes de ponderación ($\alpha$) para enfatizar los tokens de referencia del objeto y sus interacciones con el resto de la escena.
  • Fórmula clave: Modifica la atención estándar para dar mayor peso a la relación objeto-mano, asegurando que el objeto generado sea físicamente consistente con la pose humana y el entorno.

C. Entrenamiento Auxiliar Multi-Tarea (Multi-Task Auxiliary Training)
Para mitigar la escasez de datos de HOI de alta calidad:

• Se utiliza una estrategia de entrenamiento mixto que combina:
  1. Datos de HOI anotados (alta calidad).
  2. Videos humanos con anotaciones débiles (sin interacción explícita).
• Máscaras de Entrenamiento: Se aplican estrategias de enmascaramiento (Human-Body Masking y Multi-Task Training Mask) donde se ocultan aleatoriamente partes del video o la secuencia de movimiento durante el entrenamiento.
• Beneficio: Esto permite que el modelo aprenda a sintetizar movimientos plausibles y a generalizar tareas como la inserción de objetos, el reemplazo y la interacción ambiental, incluso cuando faltan condiciones de entrada en la inferencia.

3. Contribuciones Clave

1. Marco DISPLAY: Un nuevo enfoque para la generación de videos HOI que permite un control intuitivo y robusto utilizando solo guía de movimiento escasa (muñecas + caja del objeto).
2. Atención Estrésada en Objetos (OSA): Un mecanismo novedoso que mejora la robustez de la síntesis de objetos bajo condiciones de guía escasa, garantizando consistencia física y apariencia.
3. Estrategia de Entrenamiento Multi-Tarea: Una pipeline de curación de datos y entrenamiento que supera la barrera de la escasez de datos de HOI, permitiendo al modelo aprender de corpus más amplios y diversos.
4. Interfaz de Autoría de Movimiento: Una herramienta de usuario que facilita la creación de trayectorias de muñeca y ubicación de objetos para escenarios de reemplazo, inserción e interacción ambiental.

4. Resultados y Evaluación

El modelo fue evaluado en tareas de reemplazo de objetos, inserción de objetos e interacción ambiental, comparándose con SOTA (State-of-the-Art) como VACE, HunyuanCustom, HuMo, Re-HOLD y AnchorCraft.

• Métricas Cuantitativas: DISPLAY obtuvo el mejor rendimiento en calidad visual (FID más bajo: 67.5, Aesthetics más alto: 0.547) y consistencia temporal (FVD más bajo: 560.29).
• Fidelidad de Objetos: Logró puntuaciones significativamente superiores en O-CLIP (0.890) y O-DINO (0.832), demostrando una mejor preservación de la apariencia del objeto de referencia en comparación con otros métodos que sufren deformaciones.
• Fidelidad de Manos: Aunque WanAnimate tiene una puntuación ligeramente superior en fidelidad de manos (HF), DISPLAY mantiene una puntuación comparable (0.987) mientras supera a todos los demás en la consistencia de la interacción (Contact Agreement - CA).
• Resultados Cualitativos: Los videos generados muestran interacciones físicamente plausibles, sin artefactos de interpenetración, y permiten la inserción de objetos nuevos que se adaptan naturalmente a las manos del usuario, algo que otros métodos fallan en lograr con objetos no vistos.

5. Significado e Impacto

• Flexibilidad sin precedentes: DISPLAY elimina la necesidad de videos de plantilla complejos o mallas 3D detalladas, permitiendo a los usuarios controlar interacciones complejas con solo unos pocos clics.
• Generalización a Objetos Nuevos: Al ser agnóstico a la forma del objeto, el sistema puede generar interacciones realistas con objetos que no existían en los datos de entrenamiento, un desafío mayor para la comunidad de visión por computadora.
• Aplicaciones Prácticas: El marco tiene un gran potencial en comercio electrónico (demostración de productos), entretenimiento (creación de contenido para redes sociales) y medios digitales, democratizando la creación de videos de interacción humano-objeto de alta fidelidad.

En resumen, DISPLAY representa un avance significativo al equilibrar el control del usuario con la calidad generativa, resolviendo el problema del desequilibrio de representación en la HOI mediante una guía escasa inteligente y estrategias de entrenamiento avanzadas.