🤖 AI

The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation

Este artigo apresenta um framework agêntico que conta com um ScripterAgent e um DirectorAgent, apoiado por um novo benchmark e métricas de avaliação, para preencher a lacuna semântica entre o diálogo e a geração de vídeos cinematográficos de longo horizonte, traduzindo conceitos de alto nível em scripts executáveis que garantem coerência narrativa e fidelidade ao roteiro.

Autores originais: Chenyu Mu, Xin He, Qu Yang, Wanshun Chen, Jiadi Yao, Huang Liu, Zihao Yi, Bo Zhao, Xingyu Chen, Ruotian Ma, Fanghua Ye, Erkun Yang, Cheng Deng, Zhaopeng Tu, Xiaolong Li, Linus

Publicado 2026-05-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chenyu Mu, Xin He, Qu Yang, Wanshun Chen, Jiadi Yao, Huang Liu, Zihao Yi, Bo Zhao, Xingyu Chen, Ruotian Ma, Fanghua Ye, Erkun Yang, Cheng Deng, Zhaopeng Tu, Xiaolong Li, Linus

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer fazer um filme, mas tudo o que tem é uma conversa informal entre duas pessoas. Você não tem um roteiro, nenhuma direção de câmera e nenhuma ideia de quanto tempo cada cena deve durar. Se você apenas pedir a um gerador de vídeo de IA atual para "fazer um filme a partir desse bate-papo", geralmente falha. Ele pode criar um clipe bonito de 5 segundos, mas não consegue contar uma história que dure minutos, e os personagens frequentemente parecem diferentes em cada tomada.

Este artigo apresenta um novo "Framework Agente" (uma equipe de especialistas em IA) para resolver esse problema. Pense nisso como uma equipe de produção cinematográfica digital que transforma um simples bate-papo em um filme cinematográfico completo.

Veja como a equipe deles funciona, dividida em três personagens principais:

1. O ScripterAgent: O "Roteirista"

O Problema: Diálogos brutos são bagunçados. Eles não dizem onde está a câmera, como o ator deve se mover ou como é a iluminação.
A Solução: O ScripterAgent age como um roteirista profissional que ama detalhes.

O que ele faz: Ele pega o bate-papo informal e escreve um roteiro detalhado, tomada por tomada. Ele decide: "Ok, para esta linha, precisamos de um close-up no rosto do ator, depois um plano aberto do parque, e a câmera deve fazer um movimento lento para a esquerda."
Como ele aprendeu: Os pesquisadores o ensinaram usando um conjunto de dados especial chamado ScriptBench. Eles não apenas alimentaram-no com dados aleatórios; usaram um processo rigoroso "guiado por especialistas", onde regras semelhantes às humanas verificavam o roteiro em busca de erros (como garantir que um personagem não teletransportasse ou mudasse de roupa de repente).
O Segredo: Eles o treinaram em duas etapas. Primeiro, ensinaram-lhe a gramática dos roteiros (Ajuste Fino Supervisionado). Depois, usaram um método de "treinamento" (Aprendizado por Reforço) onde a IA era recompensada por fazer escolhas que pareciam artísticas e dramáticas, não apenas logicamente corretas.

2. O DirectorAgent: O "Diretor de Cinema"

O Problema: Mesmo com um roteiro perfeito, as IAs de vídeo atuais só conseguem criar clipes curtos (como 8–12 segundos). Se você tentar fazer um filme de 2 minutos, a IA fica confusa e os personagens começam a parecer pessoas diferentes em cada novo clipe.
A Solução: O DirectorAgent age como um diretor que gerencia uma filmagem longa dividindo-a em partes gerenciáveis.

A Estratégia: Em vez de pedir à IA para fazer o filme inteiro de uma vez, o DirectorAgent corta o roteiro em pequenas "cenas" que se encaixam nos limites da IA.
O Truque de "Ancoragem de Quadros": Este é o movimento mais inteligente deles. Quando a IA termina a Cena 1, o DirectorAgent pega o último quadro dessa cena e o usa como a foto inicial da Cena 2.
- Analogia: Imagine passar o bastão em uma corrida de revezamento. O corredor (Cena 2) não começa do zero; ele começa exatamente onde o corredor anterior (Cena 1) parou. Isso mantém o rosto do personagem, as roupas e o fundo exatamente iguais, criando um filme longo e contínuo.

3. O CriticAgent: O "Crítico de Cinema"

O Problema: Como saber se o filme é realmente bom?
A Solução: O CriticAgent é um juiz de IA que assiste ao filme final e lê o roteiro para ver se eles coincidem.

O que ele verifica: Ele analisa coisas como "A câmera se moveu como o roteiro disse?", "A emoção do ator combinou com o diálogo?" e "A história fluiu logicamente?".
Nova Métrica: Eles inventaram uma nova pontuação chamada VSA (Alinhamento Visual-Roteiro). Pense nisso como uma "verificação de sincronia". Não pergunta apenas: "O cachorro está no vídeo?". Pergunta: "O cachorro está no vídeo no segundo exato em que o roteiro disse que ele deveria aparecer?".

O Que Eles Descobriram?

A equipe testou seu sistema nas melhores IAs de vídeo do mundo (como Sora, Veo e outras).

O Resultado: Quando usaram sua equipe de "Roteirista" e "Diretor", as IAs de vídeo fizeram filmes muito melhores. Os personagens permaneceram consistentes, a história fez sentido e os vídeos seguiram o roteiro com muito mais precisão.
A Troca: Eles descobriram uma regra engraçada na IA atual: Alguns modelos são ótimos em fazer as coisas parecerem realistas e bonitas (espetáculo visual), mas lutam para seguir o roteiro exatamente. Outros são ótimos em seguir o roteiro, mas podem parecer um pouco menos "cinematográficos". Seu framework ajuda a equilibrar isso, fazendo com que a IA siga a história melhor sem perder a qualidade visual.

Em Resumo

Este artigo diz: "O Roteiro é Tudo o Que Você Precisa."
Se você quer transformar uma simples conversa em um filme, não pode apenas pedir à IA para "fazer isso". Você precisa de um Roteirista em IA para escrever o plano detalhado, um Diretor em IA para costurar os clipes para que os personagens não mudem de rosto, e um Crítico em IA para garantir que o produto final realmente corresponda ao plano. Essa abordagem em equipe preenche a lacuna entre uma ideia simples e uma história cinematográfica completa.

Resumo Técnico: Uma Estrutura Agente para Geração de Vídeo Cinematográfico a partir de Diálogos de Longo Alcance

1. Declaração do Problema

Avanços recentes em modelos de geração de vídeo (por exemplo, Sora2-Pro, Veo3.1, Wan2.5) demonstraram a capacidade de sintetizar clipes de vídeo realistas e de alta fidelidade a partir de prompts de texto simples. No entanto, persiste uma significativa "lacuna semântica" ao tentar gerar narrativas de longa duração e coerentes a partir de conceitos de alto nível, como diálogos. Os modelos atuais lutam para traduzir diálogos esparsos e de granularidade grosseira em planos detalhados e executáveis necessários para a execução cinematográfica. Essa limitação manifesta-se em três desafios centrais:

Ambiguidade Contextual: Resolver ambiguidades inerentes a diálogos esparsos sem contexto visual rico.
Conhecimento de Domínio: Gerar especificações de câmera tecnicamente válidas, direções de encenação e composições de plano.
Raciocínio Criativo: Preencher a lacuna entre o que é dito (diálogo) e o que deve ser mostrado (ação visual) para manter a coerência narrativa e temporal.

Abordagens existentes frequentemente dependem de descrições passivas (vídeo para texto) ou falham em fornecer o "roteiro" granular necessário para orientar a produção cinematográfica automatizada, levando a desvios de identidade, estilização inconsistente e perda de continuidade narrativa na geração de longo alcance.

2. Metodologia

Os autores propõem uma estrutura agente inovadora, de ponta a ponta, composta por três agentes especializados: ScripterAgent, DirectorAgent e CriticAgent. Este pipeline inverte a relação convencional vídeo-linguagem, passando de descrições passivas para a geração ativa de planos de produção cinematográfica executáveis.

2.1 ScripterAgent: Geração de Roteiro a partir de Diálogo

O núcleo da estrutura é o ScripterAgent, projetado para traduzir diálogos grosseiros em um roteiro cinematográfico estruturado e de granularidade fina.

Conjunto de Dados (ScriptBench): Para treinar este agente, os autores construíram o ScriptBench, um benchmark em larga escala (1.750 instâncias) derivado de cenas cinematográficas de alta fidelidade. O conjunto de dados apresenta contexto trimodal rico (diálogo, áudio, posições dos personagens) e é anotado por meio de um novo pipeline guiado por especialistas:
1. Reconstrução de Contexto: Inferência de relacionamentos entre personagens, tendências emocionais e relações causais a partir de entradas multimodais.
2. Planejamento Semântico em Nível de Plano: Divisão da narrativa em planos com base na integridade, duração (limitada a 10s), coerência semântica e viabilidade técnica.
3. Correção de Erros Adaptativa de Múltiplas Rodadas: Um loop automatizado que verifica a completude do diálogo, a consistência dos personagens, a coerência da cena e a racionalidade física, refinado por auditorias de especialistas.
Paradigma de Treinamento: O ScripterAgent emprega uma abordagem de treinamento em duas etapas sobre um modelo base Qwen-Omni-7B:
1. Ajuste Fino Supervisionado (SFT): Ensina ao modelo a sintaxe estrutural de roteiros cinematográficos (formato JSON) e a completude narrativa.
2. Aprendizado por Reforço (RL): Utiliza Otimização de Política Relativa de Grupo (GRPO) com uma função de recompensa híbrida. Esta função combina uma recompensa estrutural baseada em regras (formato, completude) com uma recompensa de preferência humana (treinada em pontuações de direção de especialistas para tensão dramática, imagética visual e ritmo). Esta etapa alinha o modelo com a estética profissional de direção.

2.2 DirectorAgent: Execução de Longo Alcance

O DirectorAgent orquestra modelos de geração de vídeo de última geração para executar o roteiro gerado. Ele aborda as limitações temporais dos modelos atuais (tipicamente 8–12 segundos) por meio de uma Estratégia de Geração Contínua entre Cenas:

Segmentação Inteligente Baseada em Planos: O roteiro é partitionado em "cenas" que respeitam limites cinematográficos (integridade do plano, batidas narrativas) e se encaixam na janela de geração do modelo alvo.
Mecanismo de Ancoragem de Quadros: Para garantir continuidade visual entre cenas, o último quadro da cena precedente ( $N-1$ ) é extraído e usado como uma âncora visual (imagem de condicionamento) para o primeiro quadro da cena subsequente ($0$). Este "relé visual" preserva a identidade do personagem, o vestuário e o layout da cena, mitigando o desvio de identidade comum em segmentações ingênuas.

2.3 CriticAgent: Estrutura de Avaliação

Um sistema de avaliação multifacetado avalia tanto a geração de roteiro quanto a geração de vídeo:

Avaliação por IA: Impulsionada por LLMs (por exemplo, gemini-2.5-pro), avalia a correção estrutural, a racionalidade dos planos e a qualidade cinematográfica em dimensões como articulação da câmera, linguagem corporal e arcos emocionais.
Avaliação Humana: Painéis de diretores e roteiristas profissionais avaliam a qualidade artística, incluindo tensão dramática, imagética visual e consistência dos personagens.
Alinhamento Visual-Roteiro (VSA): Uma nova métrica automatizada introduzida para quantificar a fidelidade temporal-semântica. O VSA mede se os eventos visuais ocorrem dentro de seus intervalos de tempo designados, conforme especificado pelo roteiro, abordando a limitação de métricas padrão que verificam apenas se o conteúdo aparece, e não quando.

3. Resultados Principais

Experimentos extensivos no conjunto de teste ScriptBench demonstram a eficácia da estrutura em múltiplos modelos de vídeo de última geração (Vidu2, Seedance1.5-Pro, Kling2.6, Wan2.6, HYVideo1.5, Sora2-Pro, Veo3.1).

Geração de Roteiro: O ScripterAgent completo (SFT + RL) supera significativamente as linhas de base (por exemplo, CHAE, MoPS, SEED-Story). Especialistas humanos avaliaram suas saídas como superiores em Tensão Dramática (4,1 vs. 3,7) e Imagética Visual (4,3 vs. 3,8). A etapa de RL foi considerada crucial para elevar dimensões criativas além da correção estrutural.
Geração de Vídeo: O uso dos roteiros do ScripterAgent como entrada melhorou universalmente o desempenho em todos os modelos de vídeo testados.
- Fidelidade: As pontuações de Fidelidade ao Roteiro aumentaram significativamente (por exemplo, Wan2.6 de 3,2 para 4,0; Sora2-Pro de 3,6 para 4,2).
- Coerência Temporal: A métrica VSA confirmou uma coerência temporal-semântica aprimorada, com pontuações melhorando em mais de 7 pontos em alguns casos (por exemplo, Veo3.1 de 51,4 para 53,8).
- Consistência: A estratégia de Ancoragem de Quadros reduziu efetivamente o desvio de identidade e melhorou a Consistência dos Personagens e a Coerência Narrativa.
Análise de Trade-off: O estudo revela um trade-off fundamental nos modelos SOTA atuais: alguns (como Sora2-Pro) se destacam em espetáculo visual e realismo físico, enquanto outros (como HYVideo1.5) priorizam a fidelidade ao roteiro e a integridade narrativa. A estrutura aprimora o último sem sacrificar o potencial do primeiro.

4. Significado e Contribuições

O artigo afirma fornecer a primeira solução de ponta a ponta para geração de vídeo cinematográfico orientada por diálogos, oferecendo um novo paradigma para a narrativa automatizada. Suas principais contribuições são:

Estrutura Agente: Um novo sistema de três agentes que preenche a lacuna semântica entre diálogos esparsos e saída cinematográfica coerente, indo além da simples engenharia de prompts para planejamento estruturado.
ScriptBench e ScripterAgent: A introdução de um benchmark de alta qualidade, guiado por especialistas, e de um modelo treinado com um paradigma SFT+RL em duas etapas para gerar roteiros cinematográficos executáveis de qualidade profissional.
Estratégia de Coerência Temporal: A demonstração de que uma abordagem "centrada no roteiro", combinada com ancoragem de quadros, pode superar as restrições de duração fixa dos geradores de vídeo atuais, permitindo consistência narrativa de longo alcance.
Insight sobre Limitações de Modelos: A identificação de um trade-off crítico entre espetáculo visual e adesão estrita ao roteiro em modelos de vídeo líderes, fornecendo orientação valiosa para o desenvolvimento futuro de modelos e seleção de aplicações.
Nova Métrica: A proposta de Alinhamento Visual-Roteiro (VSA) para medir quantitativamente a fidelidade temporal-semântica, uma dimensão anteriormente negligenciada pelas métricas padrão de qualidade de vídeo.

Os autores concluem que este trabalho vai além da geração baseada em prompts simples, estabelecendo as bases para sistemas sofisticados de narrativa automatizada capazes de raciocinar sobre cinematografia, ritmo e consistência de longo prazo. Sugere-se que trabalhos futuros se concentrem no controle de granularidade fina (por exemplo, sincronização labial) e na geração adaptativa de estilo.