Co-Director: Agentic Generative Video Storytelling

1. Declaração do Problema

Embora os modelos de difusão tenham alcançado a geração de vídeo de alta fidelidade, transformar esses clipes em narrativas longas e coerentes permanece um desafio significativo. As abordagens atuais enfrentam três limitações principais:

• Deriva Semântica e Falhas em Cascata: Pipelines agênticas existentes dependem de cadeias lineares em "cascata" de módulos independentes (por exemplo, roteiro $\to$ storyboard $\to$ vídeo). Erros nas etapas iniciais propagam-se a jusante, causando deriva de identidade (mudança na aparência dos personagens) e incoerência narrativa.
• Falta de Otimização Global: Sistemas atuais utilizam prompts estáticos e artesanais. Eles carecem de um mecanismo para mapear a intenção criativa de alto nível para a geração a jusante, falhando em explorar estratégias narrativas inovadoras ou equilibrar exploração com exploração.
• Lacunas de Avaliação: Benchmarks existentes focam em subtarefas isoladas (por exemplo, texto-para-imagem) ou dependem de entidades do mundo real memorizadas, falhando em avaliar capacidades reais de narrativa ponta a ponta sob restrições rigorosas.

2. Metodologia: Framework Co-Director

Os autores propõem o Co-Director, um framework hierárquico multiagente que formaliza a narrativa de vídeo como um problema de otimização global. O sistema integra uma Banda Multibras (Multi-Armed Bandit - MAB) para seleção de estratégia global com loops locais de auto-refinamento.

A. Arquitetura Hierárquica Multiagente

O sistema é orquestrado por um Agente Orquestrador ($\Phi_{orch}$) central que gerencia o fluxo e o estado global:

1. Agente de Pré-Produção ($\Phi_{pre}$): Transforma prompts do usuário e visuais de referência em um Storyboard ($S$) estruturado. Ele gera:
   • Brief Criativo: Enriquecimento contextual.
   • Trama ($L$): Roteiro cena por cena.
   • Ativos Visuais ($V$): Geração de referências de personagens/propriedades ausentes.
   • Storyboard: Descritores detalhados de cena, incluindo cinemática de câmera e diretrizes de áudio.
2. Agente de Produção ($\Phi_{prod}$): Sintetiza artefatos multimodais a partir do storyboard:
   • Agente de Quadro-Chave ($\Phi_{frame}$): Gera quadros iniciais para estabelecer priores visuais e prevenir deriva de identidade.
   • Agente de Vídeo ($\Phi_{video}$): Condiciona modelos de difusão de vídeo em quadros-chave para gerar clipes ($C$).
   • Agente de Áudio ($\Phi_{audio}$): Sintetiza narração e música com base em diretrizes globais.
3. Agente de Pós-Produção ($\Phi_{post}$): Monta clipes e áudio no vídeo final ($F$).

B. Otimização Global via Bandas Multibras (MAB)

Em vez de prompts lineares, o Co-Director trata o processo criativo como uma busca sobre um espaço de parâmetros hierárquico ($\theta$).

• Espaço de Ação: Definido por três eixos ortogonais:
  1. Estratégia Criativa ($\theta_{cs}$): Informativa, Transformacional ou Comparativa.
  2. Modo Narrativo ($\theta_{nm}$): Analítico, Vignette ou Drama Narrativo.
  3. Arquétipo Estético ($\theta_{aa}$): Clareza/Energia, Premium Cinematográfico, Foco Minimalista ou Grit Cinético.
• Mecanismo: A MAB (usando o algoritmo UCB1) seleciona uma combinação desses parâmetros ($\theta^{(t)}$) para cada iteração. O Orquestrador sintetiza esses parâmetros em instruções específicas injetadas nos prompts dos subagentes, garantindo que todos os agentes se alinhem a uma intenção criativa unificada.
• Sinal de Recompensa: Um Juiz MLLM avalia o vídeo final e emite um sinal de recompensa fatorado $R = (r_{cs}, r_{nm}, r_{aa})$. Isso desacopla a avaliação da estratégia criativa da qualidade de execução, permitindo que a MAB isole quais parâmetros específicos impulsionaram o sucesso.
• Início Quente (Warm Start): Um LLM inicializa os valores esperados da MAB com base no domínio do produto para enviesar a exploração inicial para configurações teoricamente sólidas.

C. Otimização Local via Auto-Refinamento Agêntico

Para prevenir a propagação de erros, o sistema emprega loops de descida por feedback:

• Refinamento da Trama: Um LLM avalia a narrativa quanto à qualidade do gancho, coesão e integração do produto, reescrevendo o prompt se as pontuações ficarem abaixo de um limite.
• Refinamento de Quadros-Chave: Um MLLM avalia a sequência de quadros-chave conjuntamente (não individualmente) para detectar deriva de identidade e inconsistências ambientais, regenerando seletivamente apenas os quadros defeituosos.

3. Contribuições Principais

1. Framework Co-Director: O primeiro sistema a formalizar a narrativa generativa como um problema de otimização global usando direção guiada por MAB, avançando além de pipelines lineares para uma arquitetura hierárquica e coerente.
2. Parametrização Hierárquica: Um método inovador para propagar intenção criativa entre agentes, decompondo estratégias de alto nível em diretrizes específicas e acionáveis para subagentes, prevenindo colisões semânticas.
3. GenAd-Bench: Um novo benchmark rigoroso consistindo em 400 cenários através de 200 produtos fictícios. Utiliza entidades fictícias para prevenir a memorização do modelo e impõe restrições rigorosas à fidelidade de ativos visuais, alinhamento demográfico e apelo de marketing.
4. Mecanismo de Recompensa Fatorada: Uma abordagem de avaliação inovadora que desacopla a eficácia estratégica da qualidade de execução, permitindo atribuição precisa de crédito em pipelines não diferenciáveis.

4. Resultados Experimentais

Os autores avaliaram o Co-Director no GenAd-Bench contra baselines de última geração, incluindo modelos monolíticos (Veo 3.1, Wan 2.6), plataformas comerciais (HeyGen, Creatify) e outros frameworks agênticos (AniMaker, MovieAgent).

• Desempenho: O Co-Director alcançou a pontuação média mais alta (81,4/100), superando significativamente a próxima melhor baseline agêntica (MovieAgent com 65,3) e modelos monolíticos (Veo 3.1 com 63,6).
• Métricas Principais:
  • Fidelidade de Ativos Visuais (VAF): 82,1 (vs. 67,0 para Wan 2.6).
  • Alinhamento Demográfico (DA): 91,4 (vs. 81,3 para MovieAgent).
  • Apelo de Marketing (MA): 82,0.
  • Qualidade Visual (VQ): 70,2.
• Estudos de Ablação:
  • Remover a otimização MAB (Busca Aleatória) reduziu a pontuação média para 75,7.
  • Remover o auto-refinamento local (Trama ou Quadro-Chave) causou quedas significativas na coerência narrativa e fidelidade de ativos (por exemplo, VAF caiu ~9,8 pontos sem refinamento de quadro-chave).
  • O design de "Recompensa Fatorada" provou ser crítico; colapsá-lo em um único escalar reduziu o desempenho em 5,0 pontos.
• Eficiência: A MAB com Início Quente convergiu para resultados de alta qualidade nas primeiras iterações, enquanto a Busca Aleatória exigiu muitas mais iterações para encontrar configurações comparáveis.

5. Significado

• Automação Criativa Principiada: O Co-Director demonstra que o vídeo generativo pode ir além do simples seguimento de prompts para raciocínio criativo estratégico, equilibrando a exploração de novas ideias com a exploração de estilos comprovados.
• Escalabilidade para Criadores Independentes: Ao automatizar a complexa coordenação de roteiro, consistência visual e direção, o framework democratiza a produção cinematográfica de alto nível, anteriormente acessível apenas a grandes equipes.
• Avaliação Robusta: A introdução do GenAd-Bench estabelece um novo padrão para avaliar fluxos de trabalho generativos ponta a ponta, abordando especificamente o "viés de memorização" nos benchmarks atuais.
• Generalizabilidade: Embora demonstrado em publicidade, a capacidade do framework de lidar com restrições rigorosas e manter identidade sugere aplicabilidade a narrativas cinematográficas mais amplas, curtas-metragens e criação de conteúdo personalizado.

Em resumo, o Co-Director representa uma mudança de paradigma de pipelines de geração lineares e propensos a erros para um sistema agêntico globalmente otimizado e auto-corretivo, alcançando resultados de última geração em coerência narrativa, consistência visual e alinhamento estratégico.