Resumen Técnico: Reequilibrar la Dominancia del Marco de Referencia para Mejorar el Movimiento en Modelos de Imagen a Video

Declaración del Problema

Los modelos de imagen a video (I2V), aunque capaces de preservar la apariencia de una imagen de referencia, sufren frecuentemente de un "sesgo de movimiento estático". En comparación con sus contrapartes de texto a video (T2V), los modelos I2V a menudo generan videos con un movimiento excesivamente limitado o débil, incluso cuando el prompt de texto describe explícitamente una acción dinámica. Los enfoques existentes para mitigar este problema suelen implicar modificar la vía de condicionamiento de la imagen (por ejemplo, añadiendo ruido o rediseñando la coincidencia de flujos) o debilitar la señal de condicionamiento. Sin embargo, estos métodos a menudo requieren entrenamiento adicional o introducen una compensación donde la mejora del movimiento se logra a costa de la fidelidad a la imagen de referencia.

Metodología: DyMoS (Deslizador de Movimiento Dinámico)

Los autores proponen DyMoS, un método libre de entrenamiento y agnóstico al modelo que aborda el sesgo de movimiento estático interviniendo directamente en el mecanismo de autoatención durante la inferencia, sin alterar los pesos del modelo ni la imagen de entrada.

Idea Central: Dominancia del Marco de Referencia

Mediante un análisis de los mapas de autoatención en generaciones emparejadas de T2V e I2V, los autores identifican un fenómeno al que denominan dominancia del marco de referencia. En los modelos I2V, los tokens de consulta en los marcos no referenciales asignan significativamente más atención a los tokens clave del marco de referencia (el primer marco) en comparación con sus contrapartes T2V. Esta atención excesiva propaga la información de referencia a lo largo del eje temporal, suprimiendo la dinámica inter-frame y resultando en salidas estáticas.

Implementación Técnica

DyMoS mitiga esta dominancia reequilibrando los logits de atención durante los pasos iniciales de eliminación de ruido. El método introduce un desplazamiento escalar de sesgo en los logits de atención asociados a los tokens clave del marco de referencia.

La modulación se aplica de la siguiente manera:

1. Ajuste de Logits: Para los tokens de consulta no referenciales ($i \notin I_{f0}$) que atienden a tokens clave de referencia ($j \in I_{f0}$), se resta un escalar positivo $\gamma$ de los logits de atención $L[i, j]$ antes de la operación de softmax:
   $$\tilde{L}[i, j] = L[i, j] - \gamma \cdot \phi(f(i)) \cdot \mathbb{1}[j \in I_{f0}] \cdot \mathbb{1}[i \notin I_{f0}]$$
   Aquí, $\gamma$ controla la fuerza de la intervención, y $\phi(\cdot)$ es un programa por marco (que por defecto es uniforme).
2. Alcance Temporal: La modulación se aplica únicamente durante la primera fracción $\lambda$ de los pasos de eliminación de ruido. Esto se dirige a la etapa temprana donde se determina el movimiento global, permitiendo que los pasos posteriores refinen la apariencia y la coherencia temporal utilizando la atención estándar.
3. Guía Libre de Clasificador (CFG): La modulación se aplica exclusivamente a la rama condicional de texto de la ecuación CFG, dejando la rama de texto nulo sin cambios. Esto dirige la actualización guiada alejándose de la dominancia del marco de referencia mientras mantiene la integridad estructural del proceso de generación.

Contribuciones Clave

• Identificación del Mecanismo: El artículo identifica la "dominancia del marco de referencia" en la autoatención como un impulsor principal del movimiento estático en modelos I2V, distinguiéndolo de problemas simples de condicionamiento de entrada.
• Intervención Libre de Entrenamiento: DyMoS ofrece una solución simple y agnóstica al modelo que no requiere ajuste fino, reentrenamiento ni modificación de la imagen de entrada. Opera exclusivamente ajustando los logits de atención durante la inferencia.
• Control Continuo: El método introduce un único parámetro escalar ($\gamma$) que permite a los usuarios controlar continuamente el espectro desde la preservación estricta de la imagen de referencia (estática) hasta un movimiento altamente dinámico, cerrando efectivamente la brecha entre las dinámicas de movimiento I2V y T2V.
• Preservación de la Fidelidad: A diferencia de métodos anteriores que sacrifican la calidad visual o la consistencia de referencia para mejorar el movimiento, DyMoS mejora la dinámica del movimiento manteniendo una alta fidelidad a la imagen de referencia y la calidad visual.

Resultados Experimentales

Los autores validaron DyMoS en múltiples arquitecturas base I2V de última generación, incluyendo Wan 2.2, Wan 2.1, HunyuanVideo-1.5 y CogVideoX-5B.

• Dinámica de Movimiento: En todas las arquitecturas base, DyMoS logró consistentemente puntuaciones más altas de Grado Dinámico (medidas por VBench y VideoScore) en comparación tanto con la línea base vanilla como con el método de última generación ALG. Por ejemplo, en Wan 2.2, el Grado Dinámico aumentó de 51.7 (Línea Base) a 64.8 (DyMoS), una mejora significativa sobre los 55.3 de ALG.
• Calidad Visual: Crucialmente, DyMoS mantuvo puntuaciones de Calidad de Video comparables a la línea base y a ALG, demostrando que el movimiento mejorado no degrada la fidelidad visual.
• Alineación con Texto: El método logró las puntuaciones ViCLIP más altas entre los métodos comparados, lo que sugiere que reducir la dominancia del marco de referencia permite que el modelo siga mejor las descripciones de movimiento en los prompts de texto.
• Preferencia Humana: En un estudio con usuarios, DyMoS fue seleccionado como el mejor video en todos los criterios (Dinamismo del Movimiento, Fidelidad del Marco de Referencia, Alineación con Texto y Preferencia General) con mayor frecuencia que la línea base o ALG.
• Eficiencia: El método incurre en una sobrecarga de tiempo de inferencia negligible (por ejemplo, 1.2% en Wan 2.2), ya que implica únicamente operaciones ligeras elemento a elemento sobre los logits de atención en lugar de pasadas forward adicionales.

Significado y Afirmaciones

El artículo afirma que el sesgo de movimiento estático en la generación I2V no es una limitación inherente del mecanismo de condicionamiento en sí, sino una consecuencia de cómo se enruta la información de referencia a través de la autoatención. Al intervenir a nivel de logits de atención, DyMoS reequilibra efectivamente el enfoque del modelo, permitiendo un movimiento dinámico sin comprometer las fortalezas centrales de los modelos I2V (fidelidad de referencia).

Los autores posicionan a DyMoS como una herramienta práctica para usuarios y desarrolladores, ofreciendo una "escala deslizante" de control de movimiento mediante un único parámetro. Señalan que, aunque el método es efectivo, fuerzas de modulación excesivamente grandes pueden reducir la consistencia de la apariencia, y que trabajos futuros podrían explorar la adaptación automática de la fuerza de modulación basada en prompts específicos o tipos de movimiento. El trabajo demuestra que intervenciones simples y dirigidas en el mecanismo de atención pueden producir mejoras sustanciales en la calidad del video generativo sin el costo computacional del reentrenamiento.