Resumen Técnico: Generación de Video Composicional mediante Guía en Tiempo de Inferencia (CVG)

Declaración del Problema

Los modelos de difusión de texto a video (T2V) han logrado avances significativos en fidelidad visual y coherencia temporal. Sin embargo, suelen fallar en prompts que requieren una comprensión composicional fina, como relaciones espaciales específicas (por ejemplo, "detrás de", "entre"), direcciones de movimiento (por ejemplo, "girando a la izquierda"), conteos numéricos e interacciones complejas entre múltiples entidades. Aunque la condicionamiento por texto estándar y la guía libre de clasificadores proporcionan señales globales del prompt, a menudo carecen de la verificación explícita necesaria para satisfacer estas restricciones finas. Las soluciones existentes para mejorar el control composicional generalmente requieren reentrenar el generador con entradas auxiliares (por ejemplo, cuadros delimitadores, diseños), ajuste fino mediante modelos de recompensa o búsquedas costosas en tiempo de prueba, todas las cuales demandan datos adicionales, capacidad de cómputo o controles proporcionados por el usuario.

Metodología: CVG

Los autores proponen CVG (Generación de Video Composicional), un marco de guía en tiempo de inferencia que mejora la fidelidad composicional en modelos T2V congelados sin modificar su arquitectura ni sus pesos. La hipótesis central es que los mapas de atención cruzada internos de un modelo preentrenado ya codifican las señales de anclaje espacio-temporal necesarias para evaluar la corrección composicional.

1. Mecanismo Central

CVG opera extrayendo mapas de atención cruzada de tokens de sujeto del generador T2V congelado durante el proceso de eliminación de ruido. Estos mapas indican dónde localiza el modelo entidades específicas (por ejemplo, "perro", "pelota") y cómo evolucionan estas localizaciones a lo largo del tiempo. En lugar de utilizar el token de relación en sí, el clasificador recibe únicamente los mapas de atención de las entidades involucradas en la composición.

2. El Clasificador Composicional

Se entrena un clasificador ligero para predecir etiquetas composicionales (por ejemplo, "izquierda", "detrás") basándose en estos mapas de atención.

• Arquitectura: El clasificador consta de un módulo de agregación aprendido, una columna vertebral de Modelo de Visión-Lenguaje (VLM) congelado (Qwen2.5-VL-7B) y una cabeza de clasificación entrenable.
• Datos de Entrenamiento: El clasificador se entrena con una mezcla de videos reales (obtenidos mediante inversión de video) y videos sintéticos.
• Inversión Dual para Prevención de Fugas: Para prevenir la "fuga de composición" (donde el clasificador hace trampa leyendo rastros textuales de la palabra de relación en los mapas de atención en lugar de un anclaje visual), los autores emplean una estrategia de inversión dual. Cada video de entrenamiento se invierte dos veces: una vez con el prompt de composición correcto y otra vez con un prompt incorrecto muestreado del vocabulario. Ambas inversiones se supervisan con la misma etiqueta de verdad fundamental. Esto obliga al clasificador a depender de la disposición visual espacio-temporal real de las entidades.
• Generalización: Dado que el clasificador se construye sobre una columna vertebral de VLM congelado, hereda priores semánticos amplios, lo que le permite generalizar a etiquetas de composición semánticamente relacionadas más allá del conjunto específico visto durante el entrenamiento.

3. Guía en Tiempo de Inferencia

Durante la generación de video, el clasificador actúa como un controlador diferenciable:

1. En pasos de eliminación de ruido seleccionados, el sistema extrae mapas de atención cruzada de tokens de sujeto del latente actual.
2. El clasificador predice una distribución sobre clases composicionales.
3. Se calcula una pérdida de entropía cruzada entre la predicción y la etiqueta de composición objetivo.
4. El gradiente de esta pérdida se retropropaga para actualizar la variable de video latente, dirigiendo la trayectoria hacia la composición deseada.
5. Programa de Guía: Para preservar la calidad visual y los priores de apariencia del generador subyacente, la guía se aplica solo durante los primeros 8 pasos de eliminación de ruido, donde se establecen el movimiento grueso y la estructura de la escena.

4. Extensiones

• Guía de Múltiples Composiciones: CVG soporta prompts estructurados temporalmente (por ejemplo, "gira a la izquierda y luego a la derecha") aplicando restricciones de composición específicas a segmentos temporales enmascarados del video.
• Generación Autoregresiva: El método se extiende a la generación de videos largos asignando etiquetas de composición objetivo a lotes generados individualmente, manteniendo la continuidad temporal a través del contexto autoregresivo.

Contribuciones Clave

1. Marco de Control en Tiempo de Inferencia: CVG proporciona un método para dirigir generadores T2V congelados utilizando gradientes de un clasificador composicional ligero, eliminando la necesidad de ajuste fino, condicionamiento auxiliar o diseños proporcionados por el usuario.
2. Clasificador Basado en VLM: La introducción de un clasificador entrenado en mapas de atención cruzada de tokens de sujeto utilizando una columna vertebral de VLM congelado, lo que permite la generalización a configuraciones composicionales no vistas o raras.
3. Entrenamiento por Inversión Dual: Una estrategia de entrenamiento novedosa que utiliza inversión dual para mitigar la fuga de composición, asegurando que el clasificador aprenda del anclaje visual en lugar de artefactos textuales.
4. Validación Empírica: Evaluación exhaustiva que demuestra una mayor fidelidad composicional mientras se preserva la calidad visual en múltiples columnas vertebrales (Wan2.2, CogVideoX) y regímenes de generación (videos cortos y largos).

Resultados Experimentales

Los autores evaluaron CVG en el benchmark T2V-CompBench y VBench (para videos cortos) y VBench-Long (para videos largos), comparando contra generadores base y TTOM (una línea base fuerte de optimización en tiempo de prueba guiada por diseños).

• Rendimiento Cuantitativo: CVG superó consistentemente tanto a los modelos base como a TTOM en todas las columnas vertebrales probadas.
  • En Wan2.2-14B, CVG mejoró la puntuación promedio de T2V-CompBench de 0.556 (base) a 0.594, superando a TTOM (0.579).
  • En VBench, CVG logró las puntuaciones finales más altas para videos cortos (por ejemplo, 86.3% en Wan2.2-14B frente a 85.0% para TTOM) y videos largos (69.62% frente a 68.08% para TTOM).
  • Las ganancias fueron más pronunciadas en dimensiones sensibles a la composición: Movimiento, Relaciones Espaciales, Atributos de Contenido y Atributos Dinámicos.
• Mejoras Cualitativas: Los ejemplos visuales mostraron que CVG realizaba correctamente restricciones complejas (por ejemplo, "conejo encima de la tortuga", "cangrejo arrastrándose desde debajo de la madera flotante") donde las líneas base y TTOM fallaban con relaciones espaciales o direcciones de movimiento incorrectas.
• Estudio con Usuarios: En un estudio de preferencia humana sobre 100 prompts, los participantes prefirieron CVG sobre TTOM para Composicionalidad (39.6% vs. 20.7% en Wan2.2-14B) y Alineación con Texto, mientras calificaron la Calidad como comparable en la mayoría de los casos (54.6% "ambos").

Significado y Afirmaciones

El artículo afirma que los fallos composicionales en la generación T2V no necesitan abordarse reentrenando el generador. En su lugar, las señales de anclaje internas del modelo (mapas de atención cruzada) pueden aprovecharse mediante un clasificador ligero basado en VLM congelado para dirigir la generación en tiempo de inferencia.

Los autores enfatizan que CVG logra estas mejoras sin:

• Modificar la arquitectura del modelo.
• Ajustar finamente el generador.
• Requerir diseños, cuadros delimitadores o controles espaciales proporcionados por el usuario.

El trabajo sugiere que las representaciones internas de los modelos de difusión de video pueden servir como mecanismos de control accionables para alinear los videos generados con prompts composicionales complejos, ofreciendo un camino libre de entrenamiento y eficiente hacia una mayor fidelidad composicional.

Limitaciones

Los autores señalan que la efectividad de CVG depende de la calidad de las señales de anclaje internas del modelo. Si bien la columna vertebral del VLM ayuda a la generalización, el método es más fuerte para composiciones centradas en el sujeto (dirección de movimiento, diseño espacial) y puede ser menos fiable para prompts ambiguos, composiciones sutiles o escenas con múltiples sujetos altamente interactivos. El enfoque dirige la trayectoria de eliminación de ruido en lugar de aprender nuevas capacidades generativas, lo que significa que no puede corregir déficits generativos fundamentales en el modelo base.