Resumen Técnico: Atribución de Movimiento para la Generación de Vídeo (Motive)

Declaración del Problema

A pesar de los rápidos avances en los modelos de generación de vídeo, el papel específico de los datos de entrenamiento en la configuración del movimiento (dinámicas temporales) sigue siendo poco comprendido. Los métodos de atribución de datos existentes, diseñados principalmente para la generación de imágenes, se centran en la apariencia visual estática. Cuando se aplican de forma ingenua al vídeo, estos métodos colapsan el movimiento en la apariencia, fallando al distinguir entre fondos estáticos y trayectorias dinámicas. Esto crea una brecha en la comprensión de qué clips de entrenamiento influyen en la coherencia temporal, la plausibilidad física y patrones de movimiento específicos (por ejemplo, velocidad, aceleración, deformación). Además, la atribución de vídeo enfrenta desafíos únicos: el alto coste computacional de procesar secuencias largas, los sesgos introducidos por la longitud variable de los clips y la dificultad de aislar las relaciones temporales del contenido espacial.

Metodología: Marco de Trabajo Motive

Los autores presentan Motive (MOTIon attribution for Video gEneration), un marco de atribución de datos basado en gradientes diseñado para aislar la influencia específica del movimiento de la apariencia estática. El marco opera en el régimen de ajuste fino (fine-tuning), con el objetivo de identificar qué clips de entrenamiento influyen más fuertemente en la dinámica temporal de un vídeo de consulta generado.

Componentes Principales

1. Computación de Gradientes Escalable:

   • Para manejar modelos de miles de millones de parámetros y grandes conjuntos de datos, Motive evita la inversión exacta de la Hessiana. En su lugar, aproxima la influencia mediante la similitud de gradientes utilizando un precondicionador de identidad.
   • Estrategias de Eficiencia: Emplea una variante de muestra única (fijando un único paso de tiempo $t_{fix}$ y una única extracción de ruido $\epsilon_{fix}$) para reducir la varianza manteniendo la estabilidad del ranking. Además, reduce los costes de almacenamiento utilizando una proyección Fastfood (transformada de Johnson–Lindenstrauss) para proyectar los gradientes de alta dimensión a un espacio de menor dimensión ($D' = 512$) antes de calcular la similitud de coseno.
   • Corrección de Sesgo por Longitud de Fotogramas: La magnitud de los gradientes correlaciona con la duración del vídeo. Motive normaliza los gradientes por el número de fotogramas ($F$) antes de la proyección para asegurar una atribución justa entre clips de distintas longitudes.

2. Ponderación Consciente del Movimiento (Máscara de Movimiento):

   • A diferencia de la atribución estándar que trata un vídeo como una unidad única, Motive repondera los gradientes basándose en el movimiento local.
   • Detección de Movimiento: El marco utiliza AllTracker para extraer el flujo óptico y los vectores de desplazamiento en el espacio de píxeles.
   • Alineación Latente: Las magnitudes de movimiento se submuestrean para alinearse con la rejilla latente del modelo (donde se calculan los gradientes).
   • Pérdida Ponderada por Movimiento: Se aplica una máscara de magnitud de movimiento ($W$) a la función de pérdida. Esta suprime los gradientes de regiones estáticas (fondos, texturas) y enfatiza los gradientes de regiones dinámicas (objetos en movimiento, movimiento de cámara). La puntuación de influencia resultante rastrea el movimiento generado hacia los clips de entrenamiento que contribuyeron a esos comportos dinámicos específicos.

3. Estrategia de Selección de Datos:

   • Para un vídeo de consulta dado, Motive calcula las puntuaciones de influencia conscientes del movimiento para todas las muestras de entrenamiento.
   • Selección de Subconjuntos: Para seleccionar un subconjunto de ajuste fino, se eligen las muestras con las puntuaciones más altas ($top-K$). Para múltiples consultas, un mecanismo de votación por mayoría agrega las puntuaciones, seleccionando muestras que son consistentemente influyentes a través de diferentes consultas de movimiento.

Contribuciones Clave

1. Atribución Escalable para Vídeo: Un enfoque de atribución basado en gradientes computacionalmente eficiente que escala a modelos generativos y conjuntos de datos de vídeo a gran escala, utilizando estimadores de muestra única y proyecciones estructuradas.
2. Corrección de Sesgo por Longitud de Fotogramas: Una técnica de normalización novedosa que corrige el sesgo donde los vídeos más largos reciben artificialmente puntuaciones de influencia más altas debido a la acumulación de magnitudes de gradiente.
3. Atribución Centrada en el Movimiento: El primer marco que aísla explícitamente la dinámica temporal de la apariencia estática en modelos generativos de vídeo mediante máscaras de pérdida ponderadas por movimiento, permitiendo rastrear patrones de movimiento específicos hasta los datos de entrenamiento.
4. Validación Empírica: Demostración de que el uso de datos seleccionados por Motive (solo el 10% del conjunto de datos) mejora la suavidad del movimiento y el grado dinámico en VBench, superando tanto a la selección aleatoria como a los modelos de referencia de atribución que no consideran el movimiento.

Resultados Experimentales

El marco fue evaluado en los modelos de texto-a-vídeo Wan2.1-T2V-1.3B y Wan2.2-TI2V-5B, así como en LTX-2B, utilizando los conjuntos de datos VIDGEN-1M y 4DNeX-10M.

• Rendimiento Cuantitativo (VBench):
  • Motive alcanzó las puntuaciones más altas de Grado Dinámico (47.6% en Wan2.1 y 48.3% en Wan2.2), superando significativamente a la selección aleatoria (41.3%) y a la atribución de vídeo completo (43.8%).
  • Notablemente, Motive superó al ajuste fino de todo el conjunto de datos en las métricas de grado dinámico utilizando solo el 10% de los datos.
  • Mantuvo puntuaciones competitivas en Suavidad de Movimiento, Consistencia de Sujeto y Calidad Estética.
• Evaluación Humana:
  • En comparaciones por pares con 17 anotadores, los modelos guiados por Motive lograron una tasa de victoria del 74.1% contra el modelo base preentrenado y una tasa de victoria del 53.1% contra los modelos de ajuste fino completo.
• Estudios de Ablación:
  • Dimensión de Proyección: Una dimensión de proyección de 512 proporcionó el mejor equilibrio entre precisión (correlación de Spearman $\rho \approx 74.7\%$ con gradientes completos) y eficiencia.
  • Normalización de Longitud de Fotogramas: Eliminar esta corrección causó que los rankings correlacionaran fuertemente con la longitud del vídeo ($\rho=78.0\%$) en lugar de la calidad del movimiento. La normalización redujo las correlaciones espurias de longitud en un 54%.
  • Máscara de Movimiento: Los modelos ajustados con selección consciente del movimiento superaron a aquellos que utilizaban la atribución de vídeo completo, confirmando que aislar las señales de movimiento es crítico para mejorar las dinámicas temporales.

Significado y Reivindicaciones

El artículo afirma presentar el primer marco para atribuir el movimiento en lugar de la apariencia visual en modelos generativos de vídeo y utilizar esta atribución para la curación de datos de ajuste fino.

Los autores enfatkan que, si bien el escalado de datos a gran escala ha impulsado el progreso en la generación de vídeo, la influencia específica de los datos sobre el movimiento ha sido una "caja negra". Motive proporciona una lente directa para entender por qué los modelos se mueven de la manera en que lo hacen. Al aislar la dinámica temporal, el marco permite:

• Curación de Datos Dirigida: Seleccionar una pequeña fracción de datos de alta influencia para mejorar significativamente la calidad del movimiento y la plausibilidad física.
• Diagnóstico de Modos de Fallo: Identificar qué clips de entrenamiento conducen a artefactos o inconsistencias de movimiento específicos.
• Eficiencia: Lograr un rendimiento que iguala o supera el ajuste fino de todo el conjunto de datos con una fracción de los datos, haciendo que la generación de movimiento de alta calidad sea más accesible.

El trabajo concluye que, a medida que los modelos de vídeo escalen, la comprensión del movimiento a nivel de datos será esencial para construir sistemas generativos más controlables y físicamente plausibles.