💻 computer science

Real-Time Human-Centric World Modeling for Upper-Body Human-Object Interaction

Este artículo presenta un modelo de mundo centrado en el humano en tiempo real que sintetiza interacciones coherentes de la parte superior del cuerpo combinando una representación implícita multiescala unificada para el movimiento humano continuo con estados discretos codificados por lenguaje para un control preciso del contacto con objetos, logrando una inferencia de 25 FPS en GPUs H100.

Autores originales: Chaonan Ji, Jinwei Qi, Peng Zhang, Bang Zhang

Publicado 2026-07-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Chaonan Ji, Jinwei Qi, Peng Zhang, Bang Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo una película donde el personaje principal puede estirar la mano, agarrar una taza de café, dar un sorbo y dejarla en su lugar, todo esto mientras habla contigo. Durante mucho tiempo, los científicos de la computación han sido excelentes haciendo que el cuerpo del personaje se mueva de forma realista, pero a menudo han tenido dificultades con la parte de "agarrar". A veces, la mano atravesaba la taza como un fantasma, o la taza cambiaba mágicamente de forma al ser tocada. Este es el desafío de la "interacción humano-objeto": enseñar a una computadora no solo cómo se mueve una persona, sino cómo toca físicamente y cambia el mundo que la rodea.

Para lograr esto, los investigadores suelen confiar en dos herramientas principales. Primero, la generación de video, que es como un artista digital que puede pintar imágenes en movimiento basadas en una descripción. Segundo, el modelado del mundo, que es una forma elegante de decir que una computadora intenta predecir cómo cambia una escena a lo largo del tiempo. La gran pregunta ha sido: ¿Podemos combinar esto para crear un personaje que no solo baile en el lugar, sino que realmente interactúe con objetos en tiempo real, como un personaje de un videojuego que se siente lo suficientemente real como para ser tocado?

Esto es exactamente en lo que un equipo de investigadores de Tongyi Lab ha estado trabajando. Construyeron un nuevo sistema que actúa como un "modelo de mundo centrado en el humano en tiempo real". Piensa en esto como un titiritero digital que no solo controla las extremidades del títere, sino que también decide si el títere sostiene un martillo o si solo está agitando la mano en el aire. Su objetivo era crear un sistema que pudiera tomar un video en vivo de una persona, una imagen de un objeto (como una taza) y un comando simple (como "agarrar" o "sin contacto"), y generar instantáneamente un video donde la persona interactúa con ese objeto perfectamente.

El equipo descubrió que, al dividir el control en dos partes distintas, podían resolver este problema mucho mejor que los métodos anteriores. La primera parte es el estado humano continuo, que maneja los movimientos fluidos y suaves del cuerpo, las manos y el rostro. Imagina esto como la mano del titiritero guiando los músculos del títere. La segunda parte es el estado de interacción discreto, que es como un interruptor simple que le dice al sistema: "¿Está la mano tocando el objeto ahora mismo?" o "¿Lo está sosteniendo?". Al usar un comando específico y corto para este interruptor (como las palabras "agarrar" o "sin contacto") en lugar de una oración larga y complicada, la computadora puede cambiar entre estos estados de forma instantánea y precisa.

El resultado es un sistema capaz de generar estas interacciones a una velocidad de 25 fotogramas por segundo con un retraso de solo unos 1000 milisegundos. Esto significa que es lo suficientemente rápido como para sentirse como una conversación en vivo o un videojuego en tiempo real. Los investigadores demostraron que su método crea movimientos de manos más realistas y un mejor contacto con los objetos en comparación con los sistemas antiguos, que a menudo producían fallos extraños como objetos flotantes o manos que no llegaban a cerrarse alrededor de lo que debían sujetar. También crearon un conjunto de datos especial de más de 30,000 ejemplos para enseñar a su sistema cómo deberían verse estas interacciones. Aunque no han afirmado que esto resuelva todos los problemas del universo, sus experimentos sugieren que este enfoque "continuo-discreto" es un paso significativo hacia la creación de humanos digitales que realmente puedan interactuar con su mundo en tiempo real.

Resumen Técnico: Modelado de Mundo Centrado en el Humano en Tiempo Real para la Interacción Humano-Objeto en el Tren Superior

Declaración del Problema

Los avances recientes en la generación de video de personas han mejorado la calidad de la síntesis del tren superior para aplicaciones como telepresencia y agentes interactivos. Sin embargo, los métodos existentes se centran principalmente en la generación impulsada por el movimiento centrada en la persona (por ejemplo, reencarnación o animación de avatares) sin modelar explícitamente la interacción humano-objeto o sus efectos en la escena local circundante. Aunque los modelos de generación condicionados por texto pueden representar interacciones, a menudo dependen de prompts de forma libre que entrelazan la semántica del movimiento y la interacción, lo que conduce a un control de movimiento débil y resultados de contacto inestables. Además, la mayoría de los enfoques actuales son computacionalmente costosos y limitados a la generación fuera de línea, careciendo del marco unificado necesario para un despliegue interactivo y en tiempo real donde el movimiento de una persona y su estado de contacto específico con objetos deben controlarse simultáneamente y con baja latencia.

Metodología

Los autores proponen un modelo de mundo centrado en el humano en tiempo real para la generación interactiva del tren superior. El marco sintetiza la dinámica de un mundo local coherente centrado en una persona, donde los movimientos coordinados del cuerpo, las manos y el rostro evolucionan conjuntamente con interacciones discretas humano-objeto controlables. El núcleo del método es un esquema de control conjunto continuo-discreto que consta de dos componentes complementarios:

1. Control Continuo del Estado Humano

Para modelar la dinámica coordinada del tren superior, las manos y el rostro, los autores introducen una representación implícita unificada basada en el codificación de movimiento multiescala.

Descomposición Multiescala: La entrada de conducción se descompone en cuatro regiones: el tren superior, la mano izquierda, la mano derecha y el rostro.
Codificación Implícita: Las entradas de movimiento específicas de cada región se codifican en vectores latentes utilizando codificadores basados en ViT. Estos latentes se fusionan en un espacio latente compartido.
Retargeting Implícito: Los latentes de movimiento fusionados se concatenan con parches de imágenes de referencia proyectados linealmente y se introducen en un decodificador. Este diseño permite un control expresivo y detallado de la dinámica cuerpo-mano-rostro sin un retargeting esquelético explícito, preservando la identidad mientras se capturan detalles de movimiento sutiles.

2. Control del Estado de Interacción Discreto

Para modelar la relación de contacto entre la persona y los objetos circundantes, los autores representan la interacción mediante comandos de estado de interacción discretos codificados en lenguaje en lugar de prompts semánticos abiertos.

Estados Discretos: El estado de interacción ( $s_o$ ) se define como un pequeño conjunto de variables discretas, específicamente "sin contacto" y "sujeción" (grasp).
Control Explícito: El texto sirve como un comando explícito para cambiar entre estos estados, complementando el control continuo del estado humano. Esta separación permite al modelo generar diferentes resultados visuales locales (por ejemplo, sujetar vs. no contacto) bajo condiciones de movimiento humano similares.
Pipeline de Datos: Se construyó un pipeline de renderizado dedicado para generar un conjunto de datos de alta calidad de más de 30,000 muestras. Este pipeline utiliza Z-Image para la generación de referencia, Qwen-VL para la detección de objetos y Wan2.2-14B-I2V para la síntesis de video, filtrado por Qwen-VL e inspección manual para asegurar la plausibilidad de la interacción.

3. Optimización en Tiempo Real

Para lograr la inferencia en streaming en tiempo real, el modelo se optimiza para la eficiencia:

Destilación: El modelo se destila utilizando CausVid, reduciendo los pasos de muestreo de 20 a 4 e introduciendo atención causal y de ventana deslizante para la generación autorregresiva.
Self-Forcing: Se emplea la técnica Self-Forcing para mitigar la acumulación de errores temporales durante la generación iterativa.
Rendimiento: Estas optimizaciones permiten la generación en streaming a 25 FPS en dos GPUs H100 con una latencia de extremo a extremo de aproximadamente 1000 ms.

4. Estrategia de Entrenamiento

El modelo se somete a una estrategia de entrenamiento de dos etapas:

Etapa I (Preentrenamiento del Estado Humano): El modelo aprende una representación humana implícita unificada a partir de videos generales de movimiento del tren superior (sin referencias de objetos) mediante Flow Matching, aumentado con una pérdida de alineación de representación (características DINOv3) y pérdida de supervisión de puntos clave.
Etapa II (Aprendizaje del Estado de Interacción): El modelo se inicializa desde la Etapa I, el codificador de movimiento se congela y los módulos restantes se entrenan con el conjunto de datos de interacción sintética utilizando únicamente el objetivo de Flow Matching para aprender el control de interacción discreta.

Contribuciones Clave

Modelo de Mundo Centrado en el Humano: Un marco que formula la evolución de la escena centrada en la persona mediante el modelado conjunto de estados humanos continuos y estados de interacción discretos, yendo más allá de la simple reproducción de movimiento hacia el modelado de un mundo local interactivo.
Esquema de Control Unificado: La introducción de una representación implícita multiescala unificada para el control del estado humano combinada con comandos de estado de interacción discretos condicionados por lenguaje, permitiendo la generación de interacción humano-objeto precisa y controlable.
Sistema en Tiempo Real: El desarrollo de un sistema de streaming capaz de realizar inferencia a 25 FPS en GPUs H100, soportando el cambio de estado de interacción en línea con baja latencia.

Resultados

El artículo presenta evaluaciones cualitativas y cuantitativas comparando su método con líneas de base de vanguardia (Wan2.2, Humo, VACE, MAI y Wan-Animate).

Cualitativo: El método demuestra una preservación de identidad superior, interacciones mano-objeto más estables y un seguimiento de movimiento más preciso en comparación con las líneas de base. Maneja con éxito movimientos complejos de las manos y permite el cambio explícito entre los estados de "sin contacto" y "sujeción" bajo movimientos de conducción similares.
Cuantitativo: El método logra un rendimiento favorable en métricas objetivas, incluyendo un FVD más bajo (154.1) y tLPIPS (0.178), un CLIP-I más alto (0.851) y una mejor Calidad de Objeto (OQ: 0.151). También muestra errores HandSIM y FaceSIM más bajos, lo que indica una mejor precisión de movimiento local de grano fino. Los estudios de usuario confirman mejoras en el seguimiento de texto, el seguimiento de acciones, la consistencia del movimiento y la calidad visual.

Significado

Los autores afirman que este trabajo representa un paso práctico más allá de la imitación de movimiento hacia el modelado de mundo centrado en el humano en tiempo real. Al desacoplar el movimiento continuo humano de los estados de interacción discretos y optimizar para el rendimiento en tiempo real, el marco aborda las limitaciones de los métodos actuales que carecen de control de interacción explícito o son demasiado lentos para aplicaciones interactivas. El sistema permite la síntesis de estados de mundo local coherentes, controlables e interactivos centrados en una persona, facilitando aplicaciones en telepresencia y agentes interactivos donde una persona no solo se mueve, sino que también interactúa con y altera su entorno inmediato.