EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

Resumen Técnico de EverAnimate: Animación Humana a Escala de Minutos mediante Restauración de Flujo Latente

1. Declaración del Problema

El artículo aborda el desafío de generar videos de animación humana guiados por poses a largo plazo (a escala de minutos) manteniendo una alta fidelidad visual y una identidad de personaje consistente. Los métodos existentes, que suelen depender de una generación autoregresiva por trozos, sufren de deriva acumulada con el tiempo. Los autores identifican dos tipos distintos de deriva:

• Deriva de Calidad de Bajo Nivel: Degradación progresiva de fondos y texturas estáticas causada por la decodificación y recodificación repetidas (viajes de ida y vuelta del VAE) de los cuadros de continuidad entre trozos.
• Deriva Semántica de Alto Nivel: Inconsistencias en la identidad del personaje, la apariencia facial y los detalles de la ropa, particularmente en regiones que experimentan un movimiento significativo.

Los autores argumentan que las soluciones actuales, como los sumideros de atención (usar un cuadro de referencia como ancla global) o el reciclaje de errores, son insuficientes. Los sumideros de atención actúan como señales pasivas que especifican qué preservar, pero fallan en corregir activamente las desviaciones de la trayectoria, mientras que la continuación repetida en el espacio de imágenes inevitablemente daña los detalles visuales en regiones estáticas.

2. Metodología: EverAnimate

EverAnimate es un marco de entrenamiento posterior eficiente diseñado para estabilizar la generación de larga duración operando directamente en espacio latente en lugar de en el espacio de imágenes. Introduce dos mecanismos complementarios:

A. Propagación Latente Persistente (PLP)
En lugar de decodificar el video del trozo anterior, extraer el último cuadro y volver a codificarlo (la tubería estándar de continuidad), EverAnimate propaga memoria latente directamente a través de los trozos.

• Memoria de Movimiento ($M_{mot}$): Preserva la continuidad temporal a corto plazo propagando las últimas $r$ rebanadas latentes del trozo anterior.
• Memoria de Identidad ($M_{id}$): Ancla la identidad multivista a través de todos los trozos. Esta se construye codificando un pequeño conjunto de cuadros muestreados del trozo de contexto.
• Aumento de Memoria: Para evitar el sesgo espacial donde el contexto de memoria dicta inadvertidamente la disposición espacial del cuadro generado, los autores aplican aumentos espaciales leves (traslación aleatoria y reescalado) a la memoria de identidad durante el entrenamiento.
• Inyección: Estas memorias se concatenan con los latentes objetivo guiados por poses para formar la entrada del Transformador de Difusión (DiT), asegurando que el modelo se condicione en información semántica persistente sin una reconstrucción destructiva en el espacio de imágenes.

B. Coincidencia de Flujo Restaurativo (RFM)
Para abordar la deriva que ocurre dentro de un trozo, EverAnimate introduce un objetivo de restauración implícito durante el proceso de muestreo.

• Concepto: La Coincidencia de Flujo (FM) estándar entrena al modelo para transportar ruido gaussiano a una variedad de datos limpia. Sin embargo, en la generación a largo plazo, el modelo puede encontrar estados perturbados debido a errores acumulados.
• Mecanismo: Durante el entrenamiento, el punto final objetivo se perturba ($\tilde{X}_1$) para simular la deriva. Luego, el modelo se entrena para predecir un campo de velocidad que no solo siga la trayectoria limpia, sino que también corrija activamente la trayectoria desde el estado perturbado de vuelta al punto final limpio.
• Ajuste de Velocidad: La velocidad objetivo se ajusta para incluir un término de restauración: $\tilde{U}_t = U_t + \lambda(t)(X_t - \tilde{X}_t)$.
• Reprogramación: Para evitar la inestabilidad del entrenamiento (donde el término de corrección se vuelve desproporcionadamente grande cerca del punto final limpio), se aplica un peso de tiempo acotado $\lambda(t)$ (un programa en forma de campana). Esto asegura que la restauración sea más fuerte en las regiones de ruido intermedio donde las perturbaciones son informativas, evitando al mismo tiempo la sobre-corrección en los extremos de alto o bajo ruido.

Entrenamiento e Inferencia
El marco utiliza un ajuste LoRA ligero sobre una columna vertebral DiT preentrenada (Wan-2.2-Animate). El entrenamiento ocurre en dos etapas: (1) Adaptación de memoria para aprender la propagación latente, y (2) Adaptación anti-deriva utilizando la función de pérdida de Coincidencia de Flujo Restaurativo. Durante la inferencia, el modelo se despliega trozo a trozo en el espacio latente, reutilizando rebanadas latentes para el siguiente trozo sin decodificar cuadros intermedios.

3. Contribuciones Clave

• Identificación del Problema: Los autores revelan empíricamente que la continuación en el espacio de imágenes y los sumideros de atención son insuficientes para la animación a escala de minutos, identificando limitaciones específicas en cómo los métodos actuales manejan la degradación por viajes de ida y vuelta del VAE y el anclaje semántico.
• Principio del Espacio Latente: Derivan un principio para la generación estable a largo plazo: la memoria semántica debe propagarse autoregresivamente en el espacio latente, y la deriva debe corregirse mediante capacidades intrínsecas de restauración.
• Marco EverAnimate: Un método de entrenamiento posterior que comprende Propagación Latente Persistente (para continuidad entre trozos) y Coincidencia de Flujo Restaurativo (para fidelidad dentro del trozo), el cual requiere únicamente un ajuste LoRA ligero.

4. Resultados Experimentales

El método se evalúa en un conjunto de datos que combina Champ, UBC, Seedance y videos de YouTube recopilados personalmente, comparado en duraciones de 10s, 30s, 60s y 90s.

• Rendimiento Cuantitativo: EverAnimate supera a los métodos más avanzados (incluyendo Wan-Animate, UniAnimate-DiT y SteadyDancer) en todas las métricas.
  • A 10 segundos, mejora el PSNR en un 8% y el SSIM en un 7% sobre Wan-Animate, mientras reduce el LPIPS en un 22% y el FID en un 11%.
  • A 90 segundos, las ganancias aumentan significativamente: PSNR/SSIM mejoran un 15% cada uno, y LPIPS/FID se reducen un 32% y un 27%, respectivamente.
  • Logra el PSNR de Cara (F-PSNR) más alto, indicando una consistencia de identidad superior.
• Rendimiento Cualitativo: Las comparaciones visuales muestran que, mientras que las líneas base sufren degradación de fondo y parpadeo de identidad con el tiempo, EverAnimate mantiene fondos estables e identidad de personaje consistente a lo largo de secuencias de un minuto.
• Estudios de Ablación: Eliminar la Coincidencia de Flujo Restaurativo (RFM) reduce significativamente la calidad perceptual, mientras que eliminar la Propagación Latente Persistente (PLP) debilita la continuidad entre trozos, confirmando la necesidad de ambos componentes.

5. Significado y Afirmaciones

El artículo afirma que EverAnimate representa un cambio de la continuación en el espacio de imágenes al control del estado latente para la animación de larga duración. Al desacoplar la propagación de la memoria semántica del ciclo destructivo de decodificación/recodificación de imágenes, y al equipar al modelo con una capacidad intrínseca para corregir la deriva de la trayectoria, EverAnimate permite la generación de videos a escala de minutos que anteriormente eran inalcanzables con alta fidelidad. Los autores lo posicionan como una solución a la asimetría específica entre entrenamiento y prueba en la animación guiada por poses, donde la generación a largo plazo falla debido a errores acumulados tanto en la estructura del movimiento como en la síntesis visual.