Resumo Técnico: DramaDirector: Geração de Curtas Dramas Guiada por Geometria

Declaração do Problema

A geração de curtas dramas a partir de resumos de enredo apresenta desafios únicos que os atuais pipelines de texto-para-vídeo têm dificuldade em abordar. Os curtas dramas são caracterizados por ritmos de cortes rápidos, mudanças de foco impulsionadas pelo diálogo e convenções cinematográficas específicas (ex: planos sobre o ombro, close-ups empilhados) que diferem significamente da narrativa novelística.

As abordagens existentes enfrentam duas limitações primárias:

1. Divergência da Gramática de Planos: Modelos de Linguagem de Grande Escala (LLMs), carecendo de exposição a corpora de curtas dramas em larga escala, tendem a gerar storyboards em um estilo novelístico. Eles falham em capturar os cortes rápidos e os ritmos emocionais específicos inerentes à produção de curtas dramas.
2. Subespecificação da Geometria Cinematográfica: Descrições textuais frequentemente carecem das restrições espaciais necessárias para definir um quadro (ex: oclusão de ombro, direção do olhar, ordenação de profundidade). Como esses detalhes são inerentemente visuais, os geradores subsequentes que recebem apenas pistas textuais ambíguas não conseguem recuperar a fidelidade geométrica necessária, mesmo com geradores mais fortes ou prompts mais ricos.

Metodologia: DramaDirector

Os autores propõem o DramaDirector, um framework fundamentado em geometria que preenche a lacuna entre o planejamento narrativo e a realização visual, tomando emprestada a geometria cinematográfica de uma galeria de planos de curtas dramas reais. O framework opera através de um pipeline estruturado:

1. Pipeline de Geração Fundamentada em Geometria

O sistema decompõe a tarefa de geração em estágios de planejamento e realização:

• Planejamento de Storyboard: Um planejador LLM ($g_\phi$) gera um storyboard $Y$ consistindo em pares de condições visuais estáticas ($q_j$) e condições narrativas dinâmicas ($d_j$).
  • $q_j$ inclui enquadramento de câmera, cena e estado do sujeito, ancorando o keyframe.
  • $d_j$ inclui ação, diálogo e emoção, impulsionando o rollout temporal.
• Fundamentação Aumentada por Recuperação: Em vez de depender apenas de texto, o sistema recupera uma referência de profundidade-pose ($I^r_j$) de uma galeria pré-indexada ($G$) de planos de curtas dramas reais. Esta recuperação é baseada na compatibilidade geométrica entre a condição de texto $q_j$ e os planos da galeria, medida por um modelo de alinhamento texto-visual aprendido.
• Síntese:
  • Geração do Primeiro Quadro: Um gerador ($F_\xi$) sintetiza o keyframe ($I^0_j$) condicionando-se a $q_j$ enquanto herda o layout, pose e profundidade da referência recuperada $I^r_j$.
  • Síntese de Vídeo: Um modelo de imagem-para-vídeo ($H_\psi$) realiza o rollout do plano usando $I^0_j$ como âncora visual e $d_j$ como instrução temporal.

2. Estratégia de Treinamento

O planejador é treinado usando uma combinação de Fine-Tuning Supervisionado (SFT) e Aprendizado por Reforço (RL):

• SFT com Restrição de Esquema: O planejador é adaptado via fine-tuning supervisionado multitarefa em storyboards de curtas dramas reais. As tarefas incluem:
  • Continuação de Storyboard: Predição autorregressiva de planos.
  • Predição de Plano Único: Melhoria da realização local.
  • Preenchimento de Múltiplos Campos: Recuperação de campos ausentes.
  • Ordenação de Planos: Fortalecimento da coerência temporal.
  • Reconstrução: Reforço do grounding plano-para-plano.
• RL com GRPO: O planejador é otimizado adicionalmente usando Group Relative Policy Optimization (GRPO) com uma função de recompensa multiobjetivo:
  • Recompensa de Recuperação Visual ($R_{ret}$): Uma recompensa contrastiva que garante que as condições estáticas do storyboard gerado se alinhem geometricamente com os vetores visuais do episódio alvo.
  • Recompensa de Prontidão para Geração de Vídeo ($R_{vid}$): Um juiz LLM pontua as condições narrativas dinâmicas quanto à concretude, coerência e ritmo.
  • Recompensa de Validade de Esquema ($R_{fmt}$): Penaliza campos ausentes ou saídas não analisáveis.
  • Os pesos para essas recompensas são suavizados linearmente para priorizar a validade do esquema e o fundamento visual antes de mudar o foco para a prontidão do vídeo.

3. Alinhamento Texto-Visual Consciente de Geometria

Um modelo de alinhamento dedicado é treinado para pontuar a correspondência geométrica entre uma condição de texto estática e um candidato a plano.

• Entrada: As condições de texto são decompostas em câmera, cena e estados do sujeito. A evidência visual consiste em mapas de profundidade e mapas de pose humana, removendo aparência e identidade para focar puramente na geometria.
• Treinamento: O modelo utiliza aprendizado contrastivo bidirecional com mineração de negativos difíceis (hard negative mining). Os negativos são extraídos de planos não adjacentes, episódios diferentes e especificamente de dentro do mesmo drama para evitar desajustes triviais, garantindo que o modelo aprenda distinções geométricas refinadas.

Principais Contribuições

1. Framework DramaDirector: Uma abordagem novel que desacopla condições visuais estáticas e narrativas dinâmicas, recuperando referências de profundidade-pose de planos reais para guiar a geração do primeiro quadro e a síntese de vídeo.
2. Paradigma de Treinamento: Uma estratégia de treinamento híbrida combinando SFT multitarefa com restrição de esquema com RL baseado em GRPO, utilizando um alinhamento de recompensa texto-visual aprendido para otimizar storyboards para executabilidade de planos reais.
3. Benchmark DramaBoard: Um dataset abrangente construído a partir de 35 dramas de ação real (2,8K episódios, 81K planos) apresentando storyboards estruturados, keyframes alinhados e protocolos de avaliação multidimensionais cobrindo qualidade narrativa, seguimento de instrução e qualidade intrínseca de vídeo.
4. Ganhos de Desempenho: Evidência empírica demonstrando melhorias sobre baselines representativos de multi-agentes e geração de vídeo em fidelidade, consistência e controlabilidade.

Resultados Experimentais

Experimentos foram conduzidos no benchmark DramaBoard, comparando o DramaDirector contra oito baselines (incluindo SkyScript, MovieAgent e SkyReels-A2).

• Qualidade Narrativa do Storyboard: O DramaDirector alcançou as pontuações mais altas em Relevância (0,7230) e Coerência (0,7732), superando baselines como UniVA e MovieAgent. Isso indica que a supervisão multitarefa e a otimização de recompensa capturam efetivamente o ritmo e a continuidade dos curtas dramas.
• Seguimento de Instrução: O modelo alcançou as maiores pontuações de Similaridade (0,6826) e Pureza (0,9752), demonstrando forte alinhamento com prompts narrativos dinâmicos e uma redução em elementos alucinados.
• Qualidade Intrínseca do Vídeo: O DramaDirector atingiu a maior Estética (0,8189) e o menor DIS (0,1549, indicando melhor estabilidade temporal), enquanto ficou em segundo lugar em Consistência (0,9003).
• Estudos de Ablação:
  • Remover a recompensa de recuperação causou a maior queda na coerência.
  • Mapas de profundidade foram identificados como o principal indício de recuperação; remover os mapas de profundidade quase colapsou o desempenho da recuperação.
  • A combinação de profundidade e pose provou ser essencial para equilibrar o layout espacial e a dinâmica dos personagens.
• Discriminabilidade de Recuperação: O modelo de alinhamento do DramaDirector superou codificadores de linguagem-visão de propósito geral (ex: Tongyi-Vision) e outros métodos RAG (ex: VidoRAG) em métricas de recuperação (R@10, N@10), confirmando o valor da projeção explícita de profundidade-pose.

Significância e Alegações

O artigo alega que o DramaDirector transforma com sucesso o fundamento cinematográfico de um problema de prompting de texto para um problema de recuperação e recompensa. Ao alavancar priors geométricos do mundo real (profundidade e pose) em vez de tentar verbalizar restrições espaciais complexas, o framework preenche a lacuna entre o planejamento de alto nível e a síntese visual de baixo nível.

Os autores posicionam este trabalho como um passo em direção à geração de keyframes coerentes e ao ritmo cinematográfico na síntese de vídeo por IA. Eles enfatizam que sua abordagem aborda a "gramática de planos" específica de curtas dramas, que modelos genéricos de texto-para-vídeo frequentemente perdem. A introdução do DramaBoard é destacada como uma contribuição crítica para o campo, fornecendo o primeiro benchmark estruturado com anotações ao nível de plano e protocolos de avaliação especificamente para geração de curtas dramas.

O artigo conclui modestamente, reconhecendo que, embora o fundamento aumentado por recuperação melhore a fidelidade visual, ele ainda pode ter dificuldades com interações altamente complexas ou de cauda longa onde a galeria de referência carece de layouts espaciais comparáveis. Sugere-se que trabalhos futuros explorem gêneros mais amplos, sincronização áudio-visual mais estreita e edição de storyboard interativa.