Resumo Técnico: WORLDJEN – Um Benchmark Multidimensional de Ponta a Ponta para Modelos de Vídeo Generativo

1. Declaração do Problema

A avaliação de modelos de vídeo generativo permanece um desafio aberto devido às limitações das métricas e benchmarks existentes. Métricas tradicionais baseadas em referência, como SSIM e PSNR, priorizam a fidelidade de pixels em detrimento da correção semântica, enquanto métricas distribucionais como a Distância de Vídeo Fréchet (FVD) favorecem a similaridade de textura em vez da plausibilidade física.

Os benchmarks atuais, como o VBench 2.0, dependem de Resposta a Perguntas Visuais Binárias (VQA) realizada por Modelos de Visão e Linguagem (VLMs). Os autores identificam quatro falhas críticas nessa abordagem:

1. Perda de Resolução: Métricas subjacentes (DINO, CLIP, RAFT) redimensionam os quadros para 224×224 pixels, suavizando artefatos temporais de alta granularidade e violações de física.
2. Viés Binário: A VQA binária sofre de "viés de sim", onde os VLMs tendem a responder "Sim" a menos que as falhas sejam catastróficas, carecendo de granularidade para detectar diferenças sutis de qualidade ou distinguir graus de falha.
3. Estreiteza dos Prompts: Os prompts são frequentemente projetados para dimensões únicas, falhando em refletir a complexidade de consultas do mundo real que se sobrepõem a múltiplos eixos de qualidade.
4. Custo de Escalabilidade: A avaliação abrangente exige a geração de milhares de vídeos (por exemplo, o VBench 2.0 requer ~3.200 vídeos), criando uma barreira proibitiva para o desenvolvimento iterativo rápido.

2. Metodologia: O Framework WORLDJEN

O WORLDJEN aborda essas limitações por meio de um pipeline de duas fases projetado para reduzir os custos de geração de vídeo, ao mesmo tempo que aumenta a granularidade e a confiabilidade da avaliação.

Fase A: Curadoria de Prompts

• Fonte: Prompts são filtrados do corpus VidProM (~1,7 milhão de prompts escritos por humanos), retendo ~5.000 após pré-filtragem.
• Avaliação Multidimensional: 16 dimensões de qualidade são definidas em quatro grupos:
  • Movimento e Estabilidade: Consistência de Sujeito/Cena, Suavidade do Movimento, Flickering Temporal, Consistência Inercial.
  • Lógica e Física: Mecânica Física, Perenidade do Objeto, Fidelidade Humana, Grau de Dinâmica.
  • Adesão à Instrução: Adesão Semântica, Relação Espacial, Deriva Semântica.
  • Qualidade Estética: Composição, Iluminação, Harmonia de Cores, Gestalt Estrutural.
• Refinamento: Os prompts são pontuados quanto à adequação e dificuldade, com remediação de questões de segurança/copyright, e aprimorados por LLMs para aumentar a complexidade sem alterar os temas centrais. O conjunto curado final contém 3.754 prompts únicos.

Fase B: Motor de Avaliação

• Geração de Perguntas Específicas ao Prompt: Para cada prompt e dimensão aplicável, um pipeline estruturado de LLM gera 10 perguntas na escala Likert (escala de 1 a 5). Essas perguntas cobrem eventos esperados, modos de falha, modos de sucesso e sondas adversariais, garantindo que sejam específicas ao prompt e não genéricas.
• Geração de Vídeo: Um vídeo é gerado por par (modelo, prompt). O estudo avalia 6 modelos de última geração (Veo 3.1 Fast, Kling v2.6 Pro, LTX-2, Wan v2.2 A14B, Hunyuan v1.5, Wan 2.1 1.3B) em 50 prompts curados, resultando em 300 vídeos.
• VLM como Juiz: Os vídeos são avaliados por um VLM (Gemini 3 Flash) em resolução nativa. O framework emprega amostragem de quadros consciente da dimensão:
  • Modo Holístico (32 quadros): Para dimensões estéticas e semânticas globais.
  • Modo Amostrado (16 quadros): Para dimensões de consistência.
  • Modo Micro (~12 quadros): Amostragem densa dos primeiros ~2 segundos para dimensões de movimento e física.
• Pontuação: O VLM emite pontuações inteiras na escala Likert (1–5) e justificativas. Essas pontuações são agregadas e convertidas em classificações Bradley-Terry (BT) via Estimativa de Máxima Verossimilhança (MLE) para produzir um ranking classificado.

3. Principais Contribuições

1. Curadoria de Prompts: Um corpus de 3.754 prompts escritos por humanos e aprimorados por LLMs, filtrados e julgados em 16 dimensões para garantir ampla cobertura e interações complexas entre dimensões.
2. Verdade Terrena Humana: Um estudo cego de preferência em pares envolvendo 7 anotadores (4 especialistas, 3 externos) que avaliaram 750 pares de modelos (2.696 votos) em 50 prompts. Isso estabeleceu uma classificação BT humana com uma estrutura clara de três níveis e 66,9% de concordância entre anotadores.
3. Questionários Likert Específicos ao Prompt: Um sistema que gera 10 perguntas específicas por dimensão por prompt, substituindo a VQA binária por pontuação granular de 1 a 5 para capturar diferenças sutis de qualidade.
4. Motor de Avaliação VLM: Um pipeline automatizado usando um juiz VLM em resolução nativa que reproduz a estrutura de classificação de três níveis estabelecida por humanos com concordância de ranking perfeita ($\hat{\rho}=1.000$ de Spearman).
5. Pontuação de Alinhamento Humano Previsto (PHAS): Uma média ponderada das pontuações de dimensão calibrada contra preferências humanas usando regressão logística ridge não negativa, oferecendo uma métrica agregada interpretável.

4. Resultados

Avaliação Humana

O estudo humano revelou uma hierarquia distinta de três níveis entre os seis modelos:

• Nível Superior: Veo 3.1 Fast e Kling v2.6 Pro (estatisticamente indistinguíveis dentro do nível, mas claramente separados do nível médio).
• Nível Médio: Wan v2.2 A14B, LTX-2 e Hunyuan v1.5 (agrupamento estatisticamente indistinguível).
• Nível Inferior: Wan 2.1 1.3B (significativamente atrás dos demais).

Avaliação VLM

O motor VLM do WORLDJEN, usando o Gemini 3 Flash, reproduziu exatamente a verdade terrena humana:

• Concordância de Ranking: Spearman $\hat{\rho}=1.000$ ($p=0.0014$) e Kendall $\tau=1.000$ em relação às classificações BT humanas.
• Estabilidade do Nível: A estrutura de três níveis permaneceu invariante em 1.000 reamostragens bootstrap.
• Insights Dimensionais:
  • Lacuna de Física: Todos os modelos obtiveram as pontuações mais baixas em Mecânica Física e Consistência Inercial (média de ~3,0/5), indicando uma lacuna significativa em plausibilidade física em toda a indústria.
  • Convergência Estética: Dimensões como Harmonia de Cores e Deriva Semântica mostraram pontuações altas (>4,5) e baixa variância, sugerindo que os modelos convergiram para a qualidade estética.
  • Fidelidade Humana: Um diferenciador chave, com o Veo 3.1 Fast liderando (4,15) e o Wan 2.1 1.3B ficando atrás (2,94).

Estudos de Ablação

• Independência do Auditor: Reavaliação com Claude Sonnet 4.6 preservou a estrutura de três níveis e a ordem de ranking, embora com um deslocamento sistemático de rigor (pontuações absolutas mais baixas).
• Viabilidade de Código Aberto: Gemma 4 (31B) preservou a estrutura de níveis, mas mostrou correlação mais fraca em dimensões temporais e físicas de alta granularidade em comparação com o Gemini de código fechado.
• Comparação com VBench: Nos mesmos 50 prompts, o VBench alcançou uma correlação de Spearman de apenas 0,60 com as classificações humanas e falhou em distinguir corretamente os níveis. O WORLDJEN demonstrou poder de discriminação 1–12 vezes maior devido ao processamento em resolução nativa e granularidade da escala Likert, enquanto as métricas do VBench saturaram perto de valores de teto.

5. Significado e Alegações

O artigo afirma que o WORLDJEN fornece um proxy confiável, escalável e alinhado com humanos para avaliar modelos de vídeo generativo. Seu significado principal reside em:

• Superar o Viés Binário: Ao substituir a VQA binária por questionários na escala Likert, o framework captura a nuance necessária para classificar modelos que seriam indistinguíveis para juízes binários.
• Fidelidade de Resolução: O processamento de vídeos em resolução nativa permite a detecção de artefatos temporais e violações de física que são suavizados pela redução de escala para 224×224 em outros benchmarks.
• Eficiência: Ao usar prompts curados adversarialmente que testam até 16 dimensões simultaneamente, o WORLDJEN reduz o número de vídeos necessários para significância estatística em comparação com benchmarks específicos por dimensão.
• Insight Industrial: O benchmark revela que, embora a qualidade estética tenha melhorado, a plausibilidade física permanece um gargalo crítico para os modelos atuais de última geração, mesmo para os performers de nível superior.

Os autores enfatizam que o framework foi projetado para resistir a "jogos" (Lei de Goodhart) e fornece uma base robusta para o desenvolvimento futuro de modelos, com todo o código, prompts e conjuntos de dados liberados para reprodutibilidade.