Resumo Técnico: DirectorBench

Declaração do Problema

A geração de vídeos de longa duração está evoluindo da síntese curta e de cena única para narrativas de vários planos com duração de minutos, exigindo controle cinematográfico, integração de áudio e sincronização multimodal. No entanto, os benchmarks de avaliação existentes são insuficientes para esse novo paradigma. As métricas atuais focam principalmente na fidelidade visual local, na consistência temporal de curto horizonte ou no alinhamento genérico com prompts. Elas falham em diagnosticar falhas de fluxo de trabalho em sistemas agênicos multiestágio, negligenciam a coordenação de áudio e multimodal e colapsam a qualidade em uma única pontuação agregada que ignora preferências dependentes do usuário. Consequentemente, há uma falta de ferramentas de diagnóstico capazes de localizar gargalos (por exemplo, qualidade de transição versus qualidade de quadro único) ou avaliar como diferentes perfis de usuário percebem o mesmo conteúdo gerado.

Metodologia: DirectorBench

Os autores introduzem o DirectorBench, um benchmark de diagnóstico personalizado multiagente projetado para avaliar a geração de vídeos de longa duração por meio de metadados estruturados, perfis de usuário e um sistema de pontos de verificação hierárquico.

1. Construção do Benchmark

• Especificações de Metadados: O benchmark utiliza 80 entradas de metadados estruturadas em 7 categorias (narrativa, comercial, educacional, ficção científica, cinematográfica, ação, vida cotidiana). Cada entrada é um documento JSON definindo requisitos objetivos para três modalidades:
  • Texto: Arcos de história de três atos, roteiros por plano, diálogos e narração.
  • Visual: Descrições de planos, movimentos de câmera, iluminação e restrições de consistência (identidade, roupas, cena).
  • Áudio: Diálogos, sincronia labial, música de fundo, efeitos sonoros e controle de tom.
• Perfis de Usuário: Sete perfis de usuário distintos ($u_1 \dots u_7$) representam preferências do mundo real. Cada perfil define:
  • Pesos de Prioridade: Importância relativa de quatro dimensões (Narrativa, Visual, Áudio, Sincronização Multimodal). Nota: Estabilidade é tratada como uma métrica de nível de sistema, não como preferência do usuário.
  • Restrições Rígidas: Requisitos não negociáveis (por exemplo, sincronia labial perfeita) que acionam penalidades significativas se violados.
  • Gosto do Usuário: Preferências estéticas detalhadas e níveis de expertise usados para gerar prompts personalizados.
• Prompts Personalizados: Um LLM gera instruções específicas de criação ($p = g(m, u)$) combinando metadados e perfis de usuário, garantindo que os prompts reflitam a expertise e os pesos de prioridade do usuário, mantendo ao mesmo tempo o conteúdo de informação equivalente.

2. Rubrica Dinâmica de Pontos de Verificação

Para lidar com diversos tipos de vídeo, o DirectorBench emprega uma rubrica dinâmica de pontos de verificação:

• Perfil de Conteúdo: Um modelo de linguagem visual analisa quadros representativos e saídas de ASR para gerar um "Perfil de Conteúdo" com 18 atributos semânticos (por exemplo, presença de personagens, diálogos, mudanças de cena).
• Ativação de Pontos de Verificação: Um registro de 40 pontos de verificação organizados em 9 submétricas através de 5 dimensões (Roteiro, Visual, Áudio, Multimodal, Estabilidade) é mantido. Com base no Perfil de Conteúdo, apenas os pontos de verificação relevantes são ativados (por exemplo, pontos de verificação de sincronia labial são ignorados para vídeos de paisagem sem diálogos).
• Pontuação: Os pontos de verificação ativados são pontuados em uma escala ordinal de 1 a 5, normalizados para [0, 1] e agregados com pesos conscientes do conteúdo.

3. Pipeline de Avaliação Multiagente

A avaliação é implementada como um Grafo Acíclico Direcionado (DAG) usando LangGraph, consistindo em quatro fases:

• Fase 0 (Pré-processamento): Ferramentas extraem sinais estruturados (limites de planos, fluxo óptico, separação de áudio, ASR, histogramas de cor). Todos os rastros de ferramentas são registrados para auditabilidade.
• Fase 1 (Avaliação Especializada): Quatro agentes paralelos (Roteiro, Visual, Áudio, Estabilidade) avaliam suas respectivas dimensões usando o contexto da ferramenta e o perfil de conteúdo.
• Fase 2 (Avaliação Multimodal): Um agente dedicado avalia a consistência texto-vídeo e a sincronização vídeo-áudio, verificando alegações contra metadados e saídas de ferramentas.
• Fase 3 (Síntese de Diagnóstico): Um orquestrador agrega as pontuações em um Relatório de Diagnóstico estruturado. Isso inclui:
  • Pontuações gerais por dimensão e conscientes do perfil.
  • Uma lista priorizada de gargalos (pontos de verificação com baixa pontuação).
  • Sinais de baixa confiança para revisão humana.
  • Recomendações acionáveis vinculadas a falhas específicas.

Contribuições Principais

1. Framework DirectorBench: Um benchmark de diagnóstico personalizado e multiagente com 80 entradas de metadados, 7 perfis de usuário e 40 critérios de pontos de verificação em cinco dimensões.
2. Pipeline de Avaliação: Um pipeline dinâmico e aumentado por ferramentas que ativa pontos de verificação com base no conteúdo, usa agregação consciente de confiança e produz relatórios de diagnóstico em nível de ponto de verificação em vez de pontuações agregadas únicas.
3. Análise Empírica: Uma avaliação abrangente de 4 fluxos de trabalho agênicos, 6 LLMs base e 7 perfis de usuário, revelando modos de falha específicos e o impacto da personalização na avaliação de qualidade.

Resultados Experimentais e Observações

Os autores avaliaram quatro fluxos de trabalho (MovieAgent, ViMax, Dreamina, Kling), seis LLMs base e sete perfis de usuário.

• Assinaturas de Fluxo de Trabalho e Gargalos:

  • Gargalos Entre Unidades: O modo de falha mais persistente em todos os fluxos de trabalho é a qualidade de transição (pontuação média 0,256) e a coerência temporal (0,405). Mesmo o melhor fluxo de trabalho (Kling) pontuou apenas 0,356 em transições. Em contraste, a fidelidade de quadro único e o cumprimento do prompt foram significativamente mais altos (0,71).
  • Compensações Arquiteturais: Agentes de código fechado (Dreamina, Kling) superaram os de código aberto. O Dreamina destacou-se na conformidade com prompts, mas lutou com a continuidade entre planos devido ao seu fluxo de trabalho incremental de ação de edição. O Kling manteve melhor coerência global através de uma tela compartilhada, mas sacrificou a preservação estrita de restrições.
  • Sensibilidade ao Tipo de Vídeo: Vídeos de ação foram a categoria mais difícil de gerar (0,455), enquanto o design de planos cinematográficos foi o mais forte (0,509).

• Impacto do LLM Base (RQ2):

  • A escolha do LLM base afetou principalmente o raciocínio narrativo (Roteiro) e a coordenação multimodal.
  • A qualidade visual, a fidelidade de áudio e a estabilidade foram amplamente governadas pela arquitetura do fluxo de trabalho e permaneceram insensíveis à escolha do LLM base.
  • Nenhum LLM único dominou todas as dimensões; os modelos mostraram especializações complementares (por exemplo, Seed 2.0 Pro para roteiro, GLM-5.1 para áudio).

• Necessidade de Personalização (RQ3):

  • A avaliação genérica (agregação com pesos iguais) mascara variações significativas dependentes do usuário. O mesmo vídeo pode receber pontuações variando em mais de 10 pontos percentuais dependendo do perfil de usuário (por exemplo, um usuário "Visual-Intenso" versus um usuário "Áudio e Emoção").
  • Uma única pontuação agregada falha em capturar se um sistema satisfaz intenções específicas do usuário.

• Alinhamento Humano:

  • Uma avaliação humana com 14 anotadores validou o DirectorBench. Avaliadores humanos concordaram que a continuidade entre planos e a consistência multimodal são os aspectos mais fracos dos sistemas atuais, alinhando-se com a detecção de gargalos do benchmark.
  • Humanos também confirmaram que existem variações de qualidade dependentes de preferência, apoiando a necessidade de avaliação personalizada.

Significado e Alegações

O artigo afirma que o DirectorBench aborda uma lacuna crítica na avaliação de geração de vídeos de longa duração, indo além de pontuações agregadas para fornecer insights diagnósticos e conscientes do perfil.

• Valor Diagnóstico: Revela que o principal gargalo na geração atual de longa duração não está dentro de quadros individuais, mas na continuidade entre unidades (planos e modalidades).
• Fluxo de Trabalho vs. Modelo: O estudo demonstra que a arquitetura do fluxo de trabalho é um fator mais dominante na qualidade do que a escolha do LLM base, sugerindo que as prioridades de otimização devem focar no design do sistema (por exemplo, propagação de estado global) antes da seleção do modelo.
• Centrado no Usuário: O benchmark prova que a "qualidade" não é um escalar absoluto, mas uma função da intenção do usuário. A avaliação personalizada é necessária para descobrir modos de falha e variações de qualidade que métricas genéricas obscurecem.

Os autores posicionam o DirectorBench como uma ferramenta para orientar melhorias direcionadas de métodos, localizando gargalos específicos, em vez de meramente classificar sistemas. Eles reconhecem limitações relacionadas à dependência de avaliadores baseados em modelos e sugerem que trabalhos futuros devem focar em fechar o ciclo usando esses sinais de diagnóstico para acionar mecanismos direcionados de regeneração ou reparo.