Co-Director: Agentic Generative Video Storytelling

1. Declaración del Problema

Aunque los modelos de difusión han logrado una generación de video de alta fidelidad, transformar estos clips en narrativas coherentes y de larga duración sigue siendo un desafío significativo. Los enfoques actuales enfrentan tres limitaciones principales:

• Deriva Semántica y Fallos en Cascada: Las pipelines agénticas existentes dependen de cadenas lineales en "cascada" de módulos independientes (por ejemplo, guion $\to$ storyboard $\to$ video). Los errores en las etapas iniciales se propagan aguas abajo, causando deriva de identidad (los personajes cambian de apariencia) e incoherencia narrativa.
• Falta de Optimización Global: Los sistemas actuales utilizan prompts estáticos y diseñados a mano. Carecen de un mecanismo para mapear la intención creativa de alto nivel hacia la generación aguas abajo, fallando al explorar estrategias narrativas novedosas o equilibrar la exploración con la explotación.
• Brechas en la Evaluación: Las pruebas de referencia existentes se centran en subtareas aisladas (por ejemplo, texto a imagen) o dependen de entidades del mundo real memorizadas, fallando al evaluar verdaderas capacidades de narración de extremo a extremo bajo restricciones estrictas.

2. Metodología: Marco Co-Director

Los autores proponen Co-Director, un marco jerárquico multiagente que formaliza la narración de video como un problema de optimización global. El sistema integra un Bandido de Muchos Brazos (MAB) para la selección de estrategias globales con bucles locales de auto-refinamiento.

A. Arquitectura Jerárquica Multiagente

El sistema es orquestado por un Agente Orquestador central ($\Phi_{orch}$) que gestiona el flujo y el estado global:

1. Agente de Pre-Producción ($\Phi_{pre}$): Transforma los prompts del usuario y las referencias visuales en un Storyboard ($S$) estructurado. Genera:
   • Brief Creativo: Enriquecimiento contextual.
   • Argumento ($L$): Guion escena por escena.
   • Activos Visuales ($V$): Generación de referencias faltantes de personajes o accesorios.
   • Storyboard: Descriptores detallados de escena incluyendo cinemática de cámara y directrices de audio.
2. Agente de Producción ($\Phi_{prod}$): Sintetiza artefactos multimodales a partir del storyboard:
   • Agente de Fotograma Clave ($\Phi_{frame}$): Genera fotogramas iniciales para establecer priores visuales y prevenir la deriva de identidad.
   • Agente de Video ($\Phi_{video}$): Condiciona modelos de difusión de video sobre fotogramas clave para generar clips ($C$).
   • Agente de Audio ($\Phi_{audio}$): Sintetiza voz en off y música basándose en directrices globales.
3. Agente de Post-Producción ($\Phi_{post}$): Ensambla los clips y el audio en el video final ($F$).

B. Optimización Global mediante Bandidos de Muchos Brazos (MAB)

En lugar de prompts lineales, Co-Director trata el proceso creativo como una búsqueda sobre un espacio de parámetros jerárquico ($\theta$).

• Espacio de Acción: Definido por tres ejes ortogonales:
  1. Estrategia Creativa ($\theta_{cs}$): Informativa, Transformacional o Comparativa.
  2. Modo Narrativo ($\theta_{nm}$): Analítico, Viñeta o Drama Narrativo.
  3. Arquetipo Estético ($\theta_{aa}$): Claridad/Energía, Premium Cinematográfico, Enfoque Minimalista o Realismo Cinético.
• Mecanismo: El MAB (utilizando el algoritmo UCB1) selecciona una combinación de estos parámetros ($\theta^{(t)}$) para cada iteración. El Orquestador sintetiza estos en instrucciones específicas inyectadas en los prompts de los sub-agentes, asegurando que todos los agentes se alineen con una intención creativa unificada.
• Señal de Recompensa: Un Juez MLLM evalúa el video final y emite una señal de recompensa factorizada $R = (r_{cs}, r_{nm}, r_{aa})$. Esto desacopla la evaluación de la estrategia creativa de la calidad de ejecución, permitiendo que el MAB aísle qué parámetros específicos impulsaron el éxito.
• Arranque en Caliente: Un LLM inicializa los valores esperados del MAB basándose en el dominio del producto para sesgar la exploración temprana hacia configuraciones teóricamente sólidas.

C. Optimización Local mediante Auto-Refinamiento Agéntico

Para prevenir la propagación de errores, el sistema emplea bucles de descenso por retroalimentación:

• Refinamiento del Argumento: Un LLM evalúa la narrativa en cuanto a calidad del gancho, cohesión e integración del producto, reescribiendo el prompt si las puntuaciones caen por debajo de un umbral.
• Refinamiento de Fotogramas Clave: Un MLLM evalúa la secuencia de fotogramas clave conjuntamente (no individualmente) para detectar la deriva de identidad e inconsistencias ambientales, regenerando selectivamente solo los fotogramas defectuosos.

3. Contribuciones Clave

1. Marco Co-Director: El primer sistema que formaliza la narración generativa como un problema de optimización global utilizando la dirección impulsada por MAB, avanzando más allá de las pipelines lineales hacia una arquitectura jerárquica y coherente.
2. Parametrización Jerárquica: Un método novedoso para propagar la intención creativa a través de agentes descomponiendo estrategias de alto nivel en directrices específicas y accionables para sub-agentes, previniendo colisiones semánticas.
3. GenAd-Bench: Una nueva prueba de referencia rigurosa compuesta por 400 escenarios a través de 200 productos ficticios. Utiliza entidades ficticias para prevenir la memorización del modelo e impone restricciones estrictas sobre la fidelidad de activos visuales, la alineación demográfica y el atractivo de marketing.
4. Mecanismo de Recompensa Factorizada: Un enfoque de evaluación novedoso que desacopla la eficacia estratégica de la calidad de ejecución, permitiendo una asignación precisa de créditos en pipelines no diferenciables.

4. Resultados Experimentales

Los autores evaluaron Co-Director en GenAd-Bench frente a líneas base de última generación, incluyendo modelos monolíticos (Veo 3.1, Wan 2.6), plataformas comerciales (HeyGen, Creatify) y otros marcos agénticos (AniMaker, MovieAgent).

• Rendimiento: Co-Director logró la puntuación promedio más alta (81.4/100), superando significativamente a la siguiente mejor línea base agéntica (MovieAgent con 65.3) y a modelos monolíticos (Veo 3.1 con 63.6).
• Métricas Clave:
  • Fidelidad de Activos Visuales (VAF): 82.1 (vs. 67.0 para Wan 2.6).
  • Alineación Demográfica (DA): 91.4 (vs. 81.3 para MovieAgent).
  • Atractivo de Marketing (MA): 82.0.
  • Calidad Visual (VQ): 70.2.
• Estudios de Ablación:
  • Eliminar la optimización MAB (Búsqueda Aleatoria) redujo la puntuación promedio a 75.7.
  • Eliminar el auto-refinamiento local (Argumento o Fotograma Clave) causó caídas significativas en la coherencia narrativa y la fidelidad de activos (por ejemplo, VAF cayó ~9.8 puntos sin refinamiento de fotogramas clave).
  • El diseño de "Recompensa Factorizada" resultó crítico; colapsarlo en un solo escalar redujo el rendimiento en 5.0 puntos.
• Eficiencia: El MAB con Arranque en Caliente convergió a resultados de alta calidad en las primeras iteraciones, mientras que la Búsqueda Aleatoria requirió muchas más iteraciones para encontrar configuraciones comparables.

5. Significado

• Automatización Creativa Principiada: Co-Director demuestra que el video generativo puede ir más allá del simple seguimiento de prompts hacia el razonamiento creativo estratégico, equilibrando la exploración de nuevas ideas con la explotación de estilos probados.
• Escalabilidad para Creadores Independientes: Al automatizar la compleja coordinación de guion, consistencia visual y dirección, el marco democratiza la producción cinematográfica de alto nivel, anteriormente accesible solo para grandes equipos.
• Evaluación Robusta: La introducción de GenAd-Bench establece un nuevo estándar para evaluar flujos de trabajo generativos de extremo a extremo, abordando específicamente el "sesgo de memorización" en las pruebas de referencia actuales.
• Generalizabilidad: Aunque se demuestra en publicidad, la capacidad del marco para manejar restricciones estrictas y mantener la identidad sugiere aplicabilidad a narrativas cinematográficas más amplias, cortometrajes y creación de contenido personalizado.

En resumen, Co-Director representa un cambio de paradigma desde pipelines de generación lineales y propensas a errores hacia un sistema agéntico auto-corregido y optimizado globalmente, logrando resultados de última generación en coherencia narrativa, consistencia visual y alineación estratégica.