UniVBench: Towards Unified Evaluation for Video Foundation Models

O artigo apresenta o UniVBench, um novo benchmark unificado e uma avaliação agêntica (UniV-Eval) projetados para superar as limitações dos métodos atuais ao avaliar de forma integrada e rigorosa as capacidades de compreensão, geração, edição e reconstrução de vídeo em modelos de fundação de vídeo, utilizando um conjunto de dados diversificado e complexo criado por humanos.

O essencial

Imagine que os Modelos de Fundação de Vídeo são como "chefes de cozinha" do futuro. Eles prometem fazer de tudo: entender o que está acontecendo em um filme, criar novos filmes do zero, editar cenas existentes e até recriar um filme que já viram, como se fosse um "desenho de memória".

O problema é que, até agora, não tínhamos uma maneira justa de testar se esses chefs realmente sabem fazer tudo isso de uma vez só. As provas antigas eram como testar um chef apenas em "fazer bolo" ou apenas em "cortar legumes", mas nunca ver se ele consegue fazer um banquete completo.

Aqui está o que o paper UniVBench propõe, explicado de forma simples:

1. O Problema: Provas Desconexas

Antes, existiam muitos testes separados:

• Um teste para ver se a IA entende o vídeo (como um professor de cinema).
• Outro para ver se a IA cria vídeos (como um diretor de cinema).
• Outro para edição.

O problema é que esses testes usavam vídeos curtos, simples ou até vídeos da internet que podiam ter direitos autorais (o que é perigoso). Além disso, cada teste usava uma régua de medição diferente. Era como tentar comparar a velocidade de um carro, a força de um cavalo e a inteligência de um cachorro usando apenas uma régua de madeira. Não fazia sentido!

2. A Solução: O "Exame Final" Unificado (UniVBench)

Os autores criaram o UniVBench, que é como um Olimpíada Completa para IAs de Vídeo.

• A Arena (O Dataset): Eles criaram 200 vídeos novos, feitos por humanos profissionais (como cineastas de verdade), sem problemas de direitos autorais.
  • Analogia: Em vez de usar clipes de TV antigos, eles construíram um estúdio de cinema do zero, com atores, cenários e roteiros complexos.
• Os 4 Desafios Principais: O modelo precisa passar em quatro provas ao mesmo tempo:
  1. Entender: Descrever o que está no vídeo.
  2. Criar: Fazer um vídeo novo a partir de um texto.
  3. Editar: Mudar algo no vídeo (ex: "troque a roupa do personagem").
  4. Reconstruir (A novidade!): O modelo vê um vídeo, descreve-o com palavras e depois tenta recriar o vídeo original apenas usando essa descrição.
  • Analogia: É como se você mostrasse um quadro para um pintor, ele descrevesse o quadro com palavras, e depois tentasse pintar uma cópia perfeita apenas lendo a descrição dele. Se a cópia ficar ruim, significa que ele não entendeu bem o original ou não sabe pintar bem.

3. O Juiz Inteligente (UniV-Eval)

Como avaliamos se o vídeo ficou bom? Antigamente, usavam números simples (como uma nota de 0 a 10). Mas um vídeo pode ser ótimo em cores e ruim em movimento.

O UniVBench usa um Sistema de Avaliação Agente (o "Juiz Robô"):

• Ele não dá apenas uma nota. Ele analisa o vídeo quadro a quadro (shot-level).
• Ele verifica 8 dimensões de cinema: Estilo, Personagem, Ação, Cenário, Câmera, Iluminação, Cor e Posição Espacial.
• Analogia: Em vez de um professor dar um "7" na redação, é como ter um crítico de cinema que aponta exatamente: "A iluminação está errada no segundo 3, o personagem sumiu no segundo 5, mas a cor está perfeita". Isso ajuda os criadores da IA a saberem exatamente onde melhorar.

4. O Que Descobriram?

Ao testar várias IAs famosas, eles descobriram que:

• Especialistas vs. Generalistas: As IAs que são boas em apenas criar vídeos são péssimas em entendê-los, e vice-versa.
• A Lacuna da Unificação: Nenhuma IA atual consegue fazer tudo bem ao mesmo tempo. Elas ainda têm "pontos cegos". Por exemplo, muitas conseguem criar cores lindas, mas falham miseravelmente em fazer os personagens se moverem de forma lógica (como uma pessoa andando sem tropeçar).
• O Teste de Reconstrução: Foi o mais difícil. Quando a IA tenta recriar um vídeo baseada apenas na sua própria descrição, a qualidade cai muito. Isso mostra que elas ainda não "entendem" o vídeo de verdade, apenas estão chutando o que fazer.

Resumo em uma Frase

O UniVBench é o primeiro "teste de direção" completo para IAs de vídeo, usando um cenário de cinema real e um juiz detalhista para descobrir que, embora essas IAs sejam talentosas em fazer uma coisa de cada vez, elas ainda estão longe de serem os "diretores de cinema" completos e inteligentes que prometem ser.

Por que isso importa? Porque para termos assistentes de IA que realmente entendam e criem vídeos para nós no futuro, precisamos de um teste que meça tudo isso junto, e não apenas pedaços soltos.

Resumo técnico

Resumo Técnico: UniVBench

1. O Problema

Os modelos fundamentais de vídeo (Video Foundation Models) emergiram como uma direção promissora para sistemas multimodais de próxima geração, visando integrar compreensão, geração, edição e seguimento de instruções em uma única arquitetura. No entanto, a avaliação desses modelos enfrenta limitações críticas:

• Fragmentação das Benchmarks: As avaliações atuais são específicas para tarefas isoladas (apenas compreensão, apenas geração ou apenas edição), não permitindo uma avaliação unificada do desempenho do modelo em todo o seu espectro de capacidades.
• Escopo Limitado: A maioria dos conjuntos de dados utiliza vídeos curtos, de um único plano (single-shot) ou vídeos da web com direitos autorais, o que gera riscos de contaminação de dados e não reflete cenários complexos do mundo real.
• Métricas Desconexas: Não existe um padrão unificado de métricas. A compreensão de vídeo usa sobreposição de n-gramas (BLEU, CIDEr), a geração usa métricas distribucionais (FVD) e a edição requer combinações ad hoc. Isso impede comparações justas entre tarefas e obscurece as compensações (trade-offs) entre os pontos fortes e fracos de um modelo.
• Falta de Avaliação Cinematográfica: As benchmarks existentes negligenciam dimensões cinematográficas essenciais como iluminação, cor, relação espacial e coerência narrativa em múltiplos planos.

2. Metodologia

Para abordar essas lacunas, os autores introduzem o UniVBench, o primeiro benchmark unificado projetado especificamente para avaliar modelos fundamentais de vídeo.

• Construção do Dataset (UniVBench):

  • Escala e Diversidade: O conjunto de dados contém 200 vídeos de alta qualidade, criados manualmente por humanos (livres de direitos autorais), divididos entre vídeos de plano único e vídeos de múltiplos planos (multi-shot), com uma média de 3,72 planos por vídeo.
  • Anotações Ricas: Cada vídeo possui legendas detalhadas, instruções de edição em múltiplos formatos e imagens de referência.
  • Taxonomia Cinematográfica: A avaliação é estruturada em 8 dimensões fundamentais (estilo, sujeito, ação, fundo, câmera, iluminação, cor, relações espaciais) decompostas em 21 sub-dimensões finas.
  • Novo Tarefa (Reconstrução): Introduz a tarefa Video-to-Video (V2V) Reconstruction, onde o modelo deve primeiro compreender o vídeo (gerar uma legenda detalhada) e, em seguida, reconstruir o vídeo a partir desse texto. Isso testa o acoplamento entre percepção e geração.

• Sistema de Avaliação Unificada (UniV-Eval):

  • Desenvolveram um sistema de avaliação baseado em agentes (agentic evaluation system) que padroniza a geração de prompts, a análise de instruções e a pontuação em todas as tarefas.
  • Abordagem Dinâmica: Em vez de um único escore escalar, o sistema decompõe a avaliação em listas de verificação (checklists) interpretáveis em nível de plano (shot-level).
  • Processo: O sistema decompõe o vídeo em planos, alinha instruções e referências, e utiliza um LLM (Seed-1.6) para avaliar a saída do modelo contra as anotações de referência, gerando feedback granular sobre falhas específicas (ex: inconsistência de ação, erro de iluminação).

3. Contribuições Principais

1. Primeiro Dataset Unificado Multi-tarefa: Um conjunto de dados livre de contaminação de direitos autorais, focado em vídeos de múltiplos planos, cobrindo compreensão, geração, edição e reconstrução.
2. Sistema de Avaliação Agente (UniV-Eval): Uma metodologia que permite medições consistentes e comparáveis entre tarefas diferentes, com pontuação multidimensional e atribuição de erros finos (separando falhas de percepção de falhas de geração).
3. Framework de Diagnóstico: Um framework principista para atribuir capacidades e falhas dos modelos ao longo do espectro "percepção-geração", fornecendo feedback acionável para o treinamento.

4. Resultados Experimentais

Os autores avaliaram diversos modelos de ponta (comerciais e open-source) no UniVBench:

• Especialização vs. Unificação: Os resultados revelam uma especialização distinta. Modelos focados em compreensão (ex: Gemini 2.5 Pro) superam em tarefas de texto (V2T), enquanto modelos de geração (ex: Seedance-1.0-Pro) lideram em síntese (T2V).
• A Lacuna da Unificação: Nenhum modelo atual se destaca em todo o espectro de tarefas simultaneamente. Modelos unificados (como Showo-2, Omni-Video) mostram desempenho significativamente inferior em tarefas específicas de compreensão ou geração em comparação com modelos especializados.
• Dificuldade com "Ação": A dimensão de "Ação" (dinâmica temporal complexa) consistentemente recebe as pontuações mais baixas em todas as tarefas, indicando que a síntese e interpretação de movimentos complexos permanecem um grande desafio.
• Controle Estilístico: Modelos generativos demonstram maior controle sobre atributos estilísticos (cor, iluminação, estilo de vídeo), onde obtêm suas melhores pontuações.
• Validação Humana: O sistema UniV-Eval alcançou uma concordância de ~85% com avaliações humanas, validando sua confiabilidade em comparação com métricas tradicionais (como BLEU) ou julgadores LLM simples.

5. Significado e Impacto

O UniVBench estabelece uma base fundamental para o desenvolvimento de inteligência de vídeo instrucional de propósito geral.

• Padronização: Oferece o primeiro framework capaz de medir o progresso rumo a modelos verdadeiramente unificados, superando a fragmentação atual das avaliações.
• Diagnóstico Preciso: Ao fornecer feedback granular e rastreável, permite que pesquisadores identifiquem se as falhas de um modelo residem na compreensão (percepção) ou na síntese (geração), guiando melhorias arquiteturais.
• Futuro: O trabalho aponta para a necessidade de expandir a escala do dataset e validar novos modelos unificados, acelerando o desenvolvimento de sistemas multimodais robustos que podem entender, criar e editar vídeo de forma integrada e coerente.

Em resumo, o UniVBench não é apenas um novo conjunto de dados, mas uma mudança de paradigma na forma como avaliamos a inteligência de vídeo, movendo-se de métricas isoladas para uma avaliação holística, cinematográfica e baseada em instruções.