Resumo Técnico: MUSE – Um Framework Multiagente para Visualização de Histórias Não Estruturadas via Orquestração Cognitiva de Ciclo Fechado

1. Definição do Problema

O artigo aborda o desafio fundamental de gerar histórias audiovisuais de longa duração e coerentes a partir de prompts de usuário curtos e não estruturados. Os sistemas de geração multimodal atuais dependem tipicamente de pipelines de alimentação direta (feed-forward) ou refinamento baseado apenas em prompts. À medida que o horizonte de geração se estende, essas abordagens sofrem de um gap entre intenção e execução: a intenção narrativa de alto nível (identidade do personagem, relações espaciais, progressão causal) falha em persistir ao longo de dezenas de etapas de geração. Isso leva à deriva semântica, inconsistência de identidade (personagens mudando de aparência ou voz) e descontinuidade temporal entre os planos (shots). Os autores argumentam que essas falhas decorrem não apenas de modelos generativos imperfeitos, mas da falta de restrições persistentes e interpretáveis por máquina que façam a ponte entre a intenção narrativa abstrata e a execução estocástica e local.

2. Metodologia: O Framework MUSE

O MUSE reformula a contação de histórias de longa duração não como uma tarefa de geração de passagem única, mas como um problema de aplicação de restrições de ciclo fechado. Ele utiliza um sistema multiagente modular coordenado por um controlador omnimodal que executa um loop iterativo de Planejamento–Execução–Verificação–Revisão (Plan–Execute–Verify–Revise).

2.1 Arquitetura Central

O framework desacopla o planejamento de alto nível da execução de baixo nível, mantendo uma memória de estado compartilhado ($H$) que armazena informações persistentes (identidades de personagens, restrições de plano, layouts aceitos) através das etapas.

• Representação de Controle Explícito: Em vez de depender de tentativas de linguagem natural, o MUSE traduz a intenção narrativa em controles explícitos e executáveis por máquina (ex: âncoras de identidade, layouts de caixas delimitadoras (bounding boxes), fronteiras temporais).
• Feedback Estruturado: A verificação é realizada via sinais multimodais estruturados e tipados (ex: incompatibilidade de identidade, violação de layout) em vez de auto-refinamento heurístico. Isso permite revisões direcionadas e limitadas, em vez de uma reamostragem sem restrições.

2.2 Orquestração em Três Fases

O processo de geração é dividido em três fases especializadas gerenciadas por equipes de agentes distintas:

1. Pré-produção (Ancoragem de Identidade):

   • Objetivo: Estabelecer estados narrativos globais que permaneçam invariantes (identidade do personagem, estilo).
   • Mecanismo: O sistema decompõe o roteiro e constrói estados de identidade multimodal persistentes ($z_c = \{z^{(c)}_{vis}, z^{(c)}_{voc}\}$).
   • Inovação: Introduz a Síntese de Traços Vocais (VTS), que deriva representações vocais estáveis diretamente de descritores semânticos (idade, gênero, timbre) sem a necessidade de áudio de referência. Isso "trava" a identidade acústica antes da geração, prevenindo a deriva de voz.
   • Verificação: Checa o alinhamento com as instruções e a consistência entre personagens antes que qualquer renderização ocorra.

2. Produção (Composição Espacial):

   • Objetivo: Sintetizar ativos visuais e de áudio ao nível do plano, impondo restrições espaciais e cinematográficas.
   • Mecanismo: Utiliza Roteamento Dinâmico para escolher entre geração direta e síntese guiada por layout. Quando o controle espacial é necessário, sintetiza um layout grosseiro ($L^{(i)}_{bbox}$) como um prior estrutural rígido para o gerador visual.
   • Verificação: Avalia a presença de entidades, coerência visual e qualidade de integração. As revisões são localizadas em regiões de falha (ex: ajustando layouts ou modificando rotas de geração) em vez de regenerar todo o plano.

3. Pós-produção (Síntese Temporal):

   • Objetivo: Montar ativos estáticos em planos de vídeo temporalmente coerentes.
   • Mecanismo: Modela a geração temporal como um processo condicionado ao estado. Cada plano é gerado condicionado ao segmento de roteiro atual e ao estado terminal do plano anterior ($Tail(v_{i-1})$).
   • Inovação: Utiliza uma Janela Deslizante de Contexto para evitar resets de estado e descontinuidades de movimento.
   • Verificação: Audita a conformidade de fronteiras e o vazamento narrativo (ex: garantir que os eventos da próxima cena não apareçam prematuramente).

3. Protocolo de Avaliação: MUSEBench

Reconhecendo que a contação de histórias aberta carece de referências de verdade absoluta (ground-truth), os autores introduzem o MUSEBench, um protocolo de avaliação sem referência.

• Escopo: Contém 30 prompts narrativos curados em cinco gêneros (Suspense, Vida Cotidiana, Época, Ficção Científica, Fantasia) com variados níveis de complexidade.
• Métricas: Avalia qualidade de roteiro, consistência visual, alinhamento visual-roteiro e geração de áudio. Utiliza Modelos Multimodais Grandes (LMMs) para pontuação, validados contra julgamentos humanos.
• Métricas Chave: Inclui Resolução de Estado Narrativo (NSR), Riqueza de Expansão da História (SER), Pontuação de Elaboração Criativa (CES) e uma nova Pontuação de Eficácia Narrativa (NES) para medir a sinergia audiovisual (penalizando a narração tautológica).

4. Resultados Experimentais

O artigo compara o MUSE contra baselines representativos (Vlogger, AnimDirector, MMStoryAgent, V-GOT, MovieAgent) tanto no ViStoryBench (dependente de referência) quanto no MUSEBench (sem referência).

• Desempenho Quantitativo: O MUSE supera substancialmente os baselines em coerência narrativa de longo horizonte e consistência de identidade cross-modal. No MUSEBench, atinge pontuações mais altas em qualidade de roteiro (NSR, SER, CES) e alinhamento visual-roteiro.
• Consistência de Identidade: O MUSE demonstra melhorias significativas na Pontuação de Identidade de Personagem (CIDS) e redução na Distância de Estilo de Personagem (CSD), particularmente na manutenção de identidades de personagens não humanos e na prevenção de alucinações estruturais.
• Sinergia Áudio-Visual: Diferente dos baselines que muitas vezes carecem de áudio ou usam TTS genérico, o módulo VTS do MUSE permite síntese de áudio customizada via texto, alcançando consistência superior em idade, emoção e prosódia comparado a modelos como CosyVoice2 e F5-TTS em tarefas de continuação.
• Estudos de Ablação: Experimentos confirmam que tanto o módulo de Planejamento (para decomposição racional de roteiro) quanto o módulo de Feedback (para revisões direcionadas) são críticos. O mecanismo de feedback impulsiona especificamente melhorias na preservação de identidade e coerência de estilo.

5. Significância e Alegações

O artigo alega três contribuições primárias:

1. Reformulação do Problema: Muda o paradigma da geração sem restrições para a aplicação de restrições de ciclo fechado, modelando explicitamente a intenção narrativa como restrições executáveis por máquina para mitigar o gap entre intenção e execução.
2. O Framework MUSE: Propõe um sistema multiagente que impõe consistência global através de um loop estruturado, utilizando representações de controle explícito e feedback multimodal tipado para permitir correções direcionadas em visão, áudio e tempo.
3. MUSEBench: Introduz um protocolo de avaliação multidimensional e sem referência que permite a avaliação holística de sistemas de contação de histórias abertos, sem restringir a geração a roteiros predefinidos.

Os autores concluem que o MUSE demonstra que a imposição de restrições narrativas globais via orquestração de ciclo fechado melhora substancialmente a qualidade cinematográfica e a coerência de histórias audiovisuais de longa duração. Eles reconhecem limitações, como dificuldades em manter a identidade em cenas aglomeradas/ocultas e a necessidade de maior controle sobre a fala expressiva, mas afirmam que sua abordagem fornece um caminho escalável para uma contação de histórias confiável de longo horizonte.