Bridging Creative Intent and Visual Quality: Creator-Driven Recurrent Video Generation with Agentic Feedback Loops

Resumo Técnico: CHIEF – Estrutura de Avaliação Iterativa Híbrida Impulsionada pelo Criador

Declaração do Problema
Embora a IA generativa tenha democratizado a criação de conteúdo, os vídeos gerados por IA frequentemente sofrem com a falta de coerência narrativa e direção criativa, particularmente conforme a duração aumenta. Diferente da programação, onde a geração por IA se beneficia de sinais de feedback objetivos e automáticos (ex: casos de teste) que permitem a auto-melhoria de ciclo fechado, a geração de vídeo depende de avaliação subjetiva em relação ao enredo, cenas e narrativa. As estruturas existentes que tentam preencher essa lacuna geralmente substituem sinais automáticos por modelos de recompensa agregados e alinhados a humanos ou múltiplos juízes de LLM. No entanto, essas abordagens fornecem um feedback estreito que captura preferências genéricas em vez de um sentimento autêntico do espectador. Além disso, elas frequentemente herdam uma estrutura de ciclo fechado autônoma dos paradigmas de programação, falhando em acomodar a direção criativa de criadores humanos que precisam guiar o processo iterativo.

Metodologia
O artigo apresenta o CHIEF (Estrutura de Avaliação Iterativa Híbrida Impulsionada pelo Criador), um sistema multiagente modular projetado para a co-criação humano-IA. O CHIEF opera através de um loop iterativo envolvendo três módulos primários:

1. Gerador de Vídeo:

   • Adota uma estratégia de "dividir para conquistar", processando um roteiro dividido em descrições de clipes curtos (ex: 8 segundos).
   • Orquestrador de Prompts: Traduz as descrições dos clipes em prompts estruturados para modelos subsequentes, ancorando descrições de ambiente e personagens ao longo do roteiro para garantir consistência.
   • Pipeline de Dois Estágios: Primeiro, gera keyframes usando modelos de texto-para-imagem (ex: Imagen 4.0) para estabelecer referências visuais de personagens e locais. Segundo, realiza a síntese de vídeo interpolando entre os keyframes usando modelos de geração de vídeo (ex: Veo 3.1) condicionados aos prompts dos clipes.
   • Música: Opcionalmente gera faixas de áudio via modelos de texto-para-áudio (ex: ElevenLabs), permitindo que os criadores selecionem e sincronizem músicas apropriadas ao clima (mood).

2. Agentes de Feedback:

   • Simula espectadores humanos para fornecer feedback subjetivo automático.
   • Geração de Persona: Utiliza LLMs para gerar personas distintas baseadas em históricos de comentários de usuários (ex: do YouTube) ou críticas completas (ex: do Rotten Tomatoes). Essas personas são refinadas via um loop de auto-melhoria (inspirado no Self-Refine) para capturar vozes e estilos de comentários específicos.
   • Categorias de Agentes:
     • Agentes de Persona de Audiência: Avaliam questões locais e capturam o sentimento geral do público.
     • Agentes de Críticos de Cinema: Avaliam a estrutura narrativa e a qualidade cinematográfica.
   • Os agentes operam em paralelo, fornecendo feedback tanto no nível do keyframe quanto no nível do clipe.

3. Tradutor de Feedback:

   • Atua como a interface entre o sistema e o criador humano.
   • Extração de Problemas: Decompõe o feedback bruto dos agentes em tuplas estruturadas contendo uma descrição, uma categoria de alto nível (narrativa, ritmo, personagem, visual, técnica) e uma pontuação de urgência.
   • Agregação e Classificação: Resume os problemas por categoria, priorizando por urgência e fornecendo reclamações representativas ao criador.
   • Refinador: Uma interface de linguagem natural que converte os pedidos de revisão do criador (em texto simples) em prompts atualizados para a próxima iteração.

Configurações do Sistema
O CHIEF suporta dois modos distintos de operação:

• Refinamento Autônomo: O sistema itera sobre os vídeos sem a entrada do criador a cada etapa, usando um subcomponente "Planner" para direcionar o Refinador. Este modo visa vídeos de curta duração (~1 minuto), focando em correções técnicas locais e aderência ao prompt, utilizando o roteiro original como âncora semântica.
• Geração de Filmes Impulsionada pelo Criador: O criador conduz o loop de iteração, aprovando cada refinamento e regeneração. Este modo suporta narrativas mais longas e complexas (ex: um filme de 10 minutos). O Tradutor de Feedback fornece perspectivas diversas apenas quando o criador busca crítica externa, garantindo que as grandes decisões criativas permaneçam sob controle humano.

Principais Contribuições

1. Estrutura Human-in-the-Loop: Propõe uma estrutura de criação de vídeo multiagente que prioriza a liderança do criador sobre a auto-melhoria autônoma, permitindo que os criadores expressem e refinem sua direção criativa.
2. Agentes de Feedback Baseados em Persona: Introduz um sistema de agentes que mimetizam o comportamento humano real através de diversas personas, fornecendo feedback subjetivo automático que captura o sentimento da audiência e a crítica narrativa, o que a auto-avaliação sozinha não consegue alcançar.
3. Validação Empírica com Não-Especialistas: Demonstra a utilidade da estrutura com estudantes de ensino médio e universitários sem experiência em filmagem, que utilizaram com sucesso o CHIEF para produzir vídeos que variam de clipes de 1 minuto a um curta-metragem completo de 10 minutos.

Resultados
O artigo avalia o CHIEF em dois cenários:

• Refinamento Autônomo: Em estudos de caso de vídeos de 1 minuto, o sistema identificou e corrigiu com sucesso artefatos locais (ex: objetos flutuantes, inconsistências de iluminação) e melhorou a densidade atmosférica (ex: densidade de multidão em cenas de metrô) ao longo de cinco iterações. Os agentes de crítica de cinema e de audiência forneceram feedbacks complementares, com os críticos focando na estrutura narrativa e os de audiência na coerência visual.
• Geração de Filmes Impulsionada pelo Criador: Uma equipe de estudantes não-especialistas produziu um filme de 10 minutos sobre uma assistente de IA que se volta contra a humanidade. O processo iterativo permitiu um refinamento criativo significativo, transformando tropos genéricos de ficção científica em cenas tensas e emocionalmente ressonantes.
• Avaliação do Público: Uma exibição ao vivo do filme estudantil comparou uma versão baseline (não refinada) contra a versão refinada pelo CHIEF. A versão refinada recebeu uma classificação significativamente maior (4.1/5 vs. 2.4/5) de um público composto por professores, alunos e pais, com feedbacks citando melhoria na coerência e engajamento.

Significância e Alegações
Os autores alegam que o CHIEF aborda a lacuna nas estruturas existentes de geração de vídeo ao substituir o feedback agregado estreito por simulação diversificada fundamentada em personas, e ao mudar de loops autônomos para refinamento dirigido pelo humano. O artigo argumenta que, embora o feedback autônomo seja eficaz para melhorias técnicas locais, ele é mais poderoso quando pareado com o "controle do criador" (creator gating), permitindo a geração de vídeos longos e coerentes que se alinham a uma visão criativa específica. O trabalho destaca que a geração de vídeo bem-sucedida para tarefas criativas requer um sistema que suporte, em vez de substituir, a intenção do criador humano.

O artigo mantém uma postura modesta, reconhecendo limitações como a natureza não uniforme das melhorias autônomas (que podem introduzir novos artefatos ao corrigir antigos) e a dificuldade de resolver consistentemente os problemas identificados. Nota também que, embora a estrutura reduza as barreiras técnicas para os criadores, ela também levanta preocupações potenciais sobre a manipulação das preferências do público e a evasão de salvaguardas de segurança através do ajuste iterativo de prompts, embora esses riscos não tenham sido empiricamente avaliados neste trabalho.