🤖 AI

Beyond Skeletons: Learning Animation Directly from Driving Videos with Same2X Training Strategy

El artículo presenta DirectAnimator, un nuevo marco de trabajo que evita los estimadores de pose propensos a errores mediante el aprendizaje directo a partir de videos de conducción a través de un Triplete de Claves de Conducción y una estrategia de entrenamiento Same2X para lograr una animación de imágenes humanas robusta y con estado del arte, con una identidad preservada y eficiencia mejoradas.

Autores originales: Yuan Zeng, Yujia Shi, Yuhao Yang, Dongxia Liu, Zongqing Lu, Wenming Yang, Qingmin Liao

Publicado 2026-06-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuan Zeng, Yujia Shi, Yuhao Yang, Dongxia Liu, Zongqing Lu, Wenming Yang, Qingmin Liao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres enseñarle a un personaje digital (una foto estática) cómo bailar. En el pasado, el "maestro" (la IA) tenía que primero mirar un video de un bailarín real, intentar dibujar un esqueleto de palitos sobre él y luego decirle al personaje digital: "Mueve tu brazo izquierdo aquí, dobla tu rodilla allá".

El problema con esta forma antigua es que dibujar figuras de palitos es difícil. Si el brazo del bailarín cruza su cuerpo, la figura de palitos se confunde. Si el bailarín agita la mano rápidamente, la figura de palitos podría perder la mano por completo. Cuando el maestro da instrucciones malas, el bailarín digital termina con extremidades extra, cuerpos retorcidos o un rostro vacío y sin emociones.

DirectAnimator es un nuevo enfoque que se salta las figuras de palitos por completo. En lugar de intentar traducir el video a un dibujo simplificado, permite que la IA aprenda directamente de los píxeles brutos del video, tal como un humano aprende observando una demostración en lugar de leer un manual.

Así es como funciona, desglosado en conceptos simples:

1. El "Driving Cue Triplet" (El taburete de tres patas)

En lugar de una desordenada figura de palitos, los autores crearon un "conjunto de instrucciones" de tres partes llamado Driving Cue Triplet. Piensa en esto como darle a la IA tres lentes específicos para mirar el video a través de ellos:

La Pose Cue (El lente de movimiento): Imagina tomar el video del bailarín y desenfocar todos los detalles como el patrón de la camisa o la textura del cabello. Te queda una forma "fantasmagórica" que muestra solo cómo se están moviendo. Esto ayuda a la IA a concentrarse en los pasos de baile sin distraerse con la ropa.
La Face Cue (El lente de expresión): Los autores se dieron cuenta de que las figuras de palitos son terribles para mostrar expresiones faciales. Así que, simplemente, recortan el rostro del bailarín del video y se lo pasan directamente a la IA. Esto asegura que el personaje digital pueda sonreír, fruncir el ceño o parecer sorprendido, tal como la persona real.
La Location Cue (El lente de mapa): A veces, el bailarín en el video está lejos, mientras que la foto que quieres animar es un primer plano. La "Location Cue" actúa como un mapa, diciéndole a la IA exactamente dónde deben colocarse el cuerpo y el rostro para que el baile encaje perfectamente en la foto sin estirarla ni aplastarla.

2. El "CueFusion DiT" (El mezclador inteligente)

Una vez que la IA tiene estos tres lentes, necesita mezclarlos. El artículo presenta un bloque "mezclador" especial (llamado CueFusion DiT).

Piensa en la Foto de Referencia (la persona que quieres animar) como el Pastel Base.
Piza las Driving Cues (los movimientos de baile y expresiones) como el Glaseado y la Decoración.
Este mezclador asegura que el glaseado (el baile) se aplique perfectamente al pastel (la persona) sin cambiar el sabor del pastel (la identidad de la persona). Hace que el bailarín se parezca a ti, pero se mueva como el video.

3. La estrategia de entrenamiento "Same2X" (El ejercicio de práctica)

Entrenar a una IA para que haga que un extraño baile como otra persona es increíblemente difícil. Es como pedirle a un estudiante que copie un baile que nunca ha visto, mientras lleva una máscara que oculta su propio rostro. La IA se confunde y aprende lentamente.

Los autores solucionaron esto con un ingenioso método de entrenamiento de dos pasos llamado Same2X:

Paso 1 (El ejercicio fácil): Primero, enseñan a la IA usando videos donde el bailarín y la foto son la misma persona. Esto es fácil; la IA aprende: "De acuerdo, cuando el brazo sube, el brazo sube".
Paso 2 (El ejercicio difícil): Después, intentan enseñarle con personas diferentes. Pero en lugar de empezar desde cero, usan un "fantasma" de la primera lección. Le dicen a la IA: "¿Recuerdas cómo aprendiste a mover el brazo en el Paso 1? Haz ese mismo patrón de movimiento aquí, aunque la persona sea diferente".
El Resultado: Esto actúa como una red de seguridad. Evita que la IA se confunda y le permite aprender la tarea difícil de "persona diferente" 6.7 veces más rápido que antes.

Por qué esto es importante (Según el artículo)

El artículo afirma que, al saltarse el paso de la "figura de palitos" y usar estos tres lentes inteligentes más el entrenamiento de dos pasos, su sistema:

Soluciona el problema de la "mano fantasma": No añade accidentalmente extremidades extra cuando una persona cruza sus brazos.
Captura emociones: Los rostros se ven naturales y expresivos, no como máscaras congeladas.
Ahorra tiempo: Se entrena mucho más rápido y utiliza menos recursos computacionales que los métodos anteriores.
Maneja el caos: Funciona bien incluso cuando el video tiene movimientos rápidos, movimiento borroso o personas bloqueándose entre sí.

En resumen, DirectAnimator deja de intentar traducir un video a un mal dibujo y, en su lugar, enseña a la IA a "observar y aprender" directamente del video, utilizando un ejercicio de entrenamiento especial para asegurarse de que lo haga bien a la primera.

Resumen Técnico: Más allá de los esqueletos: Aprendizaje de animación directamente de videos de conducción con la estrategia de entrenamiento Same2X

1. Planteamiento del problema

La Animación de Imágenes Humanas (HIA, por sus siglas en inglés) tiene como objetivo generar videos fotorrealistas de una identidad de referencia estática realizando poses y expresiones derivadas de un video de conducción. Los métodos actuales de vanguardia suelen depender de representaciones intermedias —como mapas de esqueletos 2D, DensePose o parámetros SMPL— como señales de conducción. Los autores identifican dos limitaciones críticas en este paradigma:

Ruido e falta de fiabilidad: Los estimadores de pose suelen fallar ante oclusiones, articulaciones complejas o desenfoque de movimiento, produciendo esqueletos erróneos o incompletos. Estos errores se propagan directamente al video generado, causando distorsiones anatómicas (p. ej., confusión entre el frente y la espalda, extremidades faltantes).
Expresividad limitada: Los puntos clave dispersos y los mapas de esqueletos tienen dificultades para capturar expresiones faciales matizadas y dinámicas corporales complejas, lo que a menudo resulta en animaciones antinaturales o carentes de expresión.

Además, entrenar modelos para escenarios de identidad cruzada (donde el video de referencia y el de conducción presentan personas distintas) es inherentemente difícil. El modelo debe aprender simultáneamente a transferir el movimiento/expresión mientras preserva la apariencia de la identidad de referencia, lo que genera gradientes ruidosos y una convergencia lenta.

2. Metodología

Los autores proponen DirectAnimator, un marco que evita la estimación explícita de la pose y aprende la animación directamente de los píxeles brutos del video de conducción. La metodología consta de tres componentes principales:

A. Triplete de Claves de Conducción (Driving Cue Triplet)

En lugar de depender de esqueletos estimados, DirectAnimator extrae un "Triplete de Claves de Conducción" estructurado del video de conducción bruto para servir como señal de condicionamiento:

Clave de Pose (Pose Cue): Se obtiene segmentando el primer plano (usando modelos como Grounded SAM) y aplicando un filtrado de paso bajo en el dominio de la frecuencia. Esto suprime los detalles de apariencia de alta frecuencia (texturas de la ropa) mientras preserva la dinámica de la pose temporalmente coherente.
Clave Facial (Face Cue): Implica recortar, redimensionar y centrar las regiones faciales del video de conducción para proporcionar información semántica rica para la síntesis expresiva, abordando las limitaciones de los puntos de referencia de 68 puntos.
Clave de Localización (Location Cue): Comprende máscaras de cuerpo y rostro basadas en rejilla y suavizadas. Estas proporcionan prioridades espaciales para alinear la escala y posición del video de conducción con la imagen de referencia, evitando la fuga de identidad y la distorsión estructural.

B. Bloque de Fusión de Claves DiT (CueFusion DiT Block - CF-DiT)

El marco utiliza un backbone de Transformer de Difusión (DiT). Para inyectar las claves de conducción de manera efectiva, los autores introducen el Bloque CueFusion DiT:

La imagen de referencia se codifica en embeddings de visión que fluyen a través de la ruta principal de eliminación de ruido.
Las tres claves de conducción se codifican en embeddings de control separados.
Estos embeddings de control modulan los bloques DiT mediante Normalización de Capa Adaptativa (AdaLN) y conexiones residuales con compuerta (gated residual connections). Este diseño asegura que la identidad ("quién") sea transportada por la ruta principal, mientras que el movimiento y la expresión ("cómo") se inyectan a través de la modulación condicional sin interrumpir el proceso de eliminación de ruido.

C. Estrategia de Entrenamiento Same2X

Para abordar los desafíos de optimización del entrenamiento de identidad cruzada, los autores proponen una estrategia de dos etapas llamada Same2X:

Preentrenamiento de Mismo ID (Same-ID Pretraining): El modelo se entrena primero en pares donde las identidades de referencia y de conducción son la misma para establecer capacidades robustas de transferencia de movimiento y expresión.
Adaptación de Identidad Cruzada (Cross-ID Adaptation): Luego, el modelo se adapta a escenarios de identidad cruzada. Crucialmente, en lugar de depender únicamente de datos de identidad cruzada ruidosos, los autores generan claves de conducción pseudo a partir de datos de mismo ID para simular condiciones de identidad cruzada.
Pérdida de Alineación (Alignment Loss): Se introduce una novedosa Pérdida de Alineación Same2X ( $L_{S2X}$ ). Esta pérdida minimiza la distancia de coseno entre los embeddings de características del modelo de identidad cruzada y un modelo de mismo ID preentrenado en bloques específicos de DiT. Esto regulariza la optimización, alineando el espacio de características de identidad cruzada con el espacio de mismo ID bien aprendido, acelerando así la convergencia y estabilizando el entrenamiento.

3. Contribuciones Clave

Condicionamiento de Video Directo: El artículo reformula la HIA para utilizar los píxeles brutos del video de conducción (procesados en un triplete de claves estructuradas) como la señal de conducción, eliminando la acumulación de errores de los estimadores de pose intermedios.
Triplete de Claves Estructuradas y CF-DiT: La introducción de las claves de Pose, Rostro y Localización, fusionadas mediante un bloque especializado de CueFusion DiT, proporciona una representación más robusta y semánticamente rica para controlar el movimiento y la expresión.
Estrategia de Entrenamiento Same2X: Un marco generalizable que aprovecha la alineación de características entre configuraciones de mismo ID e identidad cruzada. Esta estrategia acelera significativamente la convergencia en escenarios de identidad cruzada y reduce la dependencia de grandes conjuntos de datos de identidad cruzada del mundo real mediante el uso de datos pseudo.

4. Resultados Experimentales

Los autores evaluaron DirectAnimator en los conjuntos de datos TikTok y Unseen, comparándolo con líneas base basadas en SD (AnimateAnyone, MagicAnimate), SVD (StableAnimator, MimicMotion) y DiT (UniAnimate-DiT, DynamiCtrl).

Rendimiento Cuantitativo: DirectAnimator logró resultados de vanguardia en FID, SSIM, error L1 y Similitud de Identidad Facial (FIS) en ambos conjuntos de datos. Notablemente, en el desafiante conjunto de datos "Unseen" (que presenta movimientos de baile complejos), superó consistentemente a todas las líneas base en todas las métricas.
Transferencia de Pose y Expresión: El método demostró un rendimiento superior en la Consistencia de Puntos de Referencia de Pose (PLC) y la Consistencia de Puntos de Referencia Facial (FLC), confirmando un seguimiento de la pose corporal más preciso y una transferencia de expresión fiel.
Mejoras Cualitativas: Las comparaciones visuales mostraron que DirectAnimator evita los artefactos comunes vistos en los métodos basados en esqueletos, como extremidades adicionales, ambigüedad de frente-atrás y puntos de referencia faltantes. Mantuvo una alta preservación de la identidad y consistencia del fondo.
Eficiencia: Se demostró que la estrategia Same2X alcanza el mismo nivel de pérdida 6.7 veces más rápido que el entrenamiento sin ella en la etapa de identidad cruzada. El método también logró estos resultados con menos recursos computacionales (4 GPUs H20) en comparación con algunas líneas base que requieren 8 A100s.

5. Significación y Reivindicaciones

El artículo sostiene que DirectAnimator representa un cambio desde la dependencia de abstracciones de pose intermedias y ruidosas hacia el aprendizaje directo de demostraciones visuales holísticas. Al omitir los estimadores de pose, el método logra una mayor robustez ante oclusiones y articulaciones complejas.

Los autores enfatizan que la estrategia de entrenamiento Same2X es una contribución significativa para el entrenamiento de Transformers de Difusión para HIA, ya que transfiere eficazmente la supervisión de configuraciones de mismo ID (más sencillas) a escenarios de identidad cruzada (más desafiantes). Este enfoque no solo mejora la calidad de la generación, sino que también ofrece una vía para reducir la dependencia de costosos y curados conjuntos de datos de identidad cruzada del mundo real mediante el aprovechamiento de datos pseudo y la alineación de características.

El trabajo concluye que, si bien persisten limitaciones respecto a la calidad de las claves pseudo, DirectAnimator allana el camino para un aprendizaje de animación más intuitivo y a nivel humano, que imita cómo los humanos perciben el movimiento: a través de claves visuales holísticas en lugar de representaciones esqueléticas simplificadas.