💻 computer science

VGA-BenchV2: An Expanded Unified Benchmark and Multi-Model Framework for Evaluating Video Aesthetics and Generation Quality

Este artigo apresenta o VGA-BenchV2, um benchmark expandido alinhado ao ser humano e um framework multi-modelo que escala significativamente as anotações e as dimensões de avaliação para avaliar conjuntamente a qualidade e a estética da geração de vídeo, enquanto também estabelece um pipeline de avaliação-para-otimização para ajustar geradores visando um melhor alinhamento estético.

Autores originais: Longteng Jiang, DanDan Zheng, Qianqian Qiao, Heng Huang, Huaye Wang, Yihang Bo, Bao Peng, Jingdong Chen, Jun Zhou, Xin Jin

Publicado 2026-08-27

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Longteng Jiang, DanDan Zheng, Qianqian Qiao, Heng Huang, Huaye Wang, Yihang Bo, Bao Peng, Jingdong Chen, Jun Zhou, Xin Jin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nos últimos anos, os computadores aprenderam a criar imagens em movimento a partir de simples descrições escritas. Esta tecnologia, conhecida como geração de texto para vídeo, passou de esboços experimentais para ferramentas capazes de produzir cenas coerentes, estáveis e visualmente impressionantes. Artistas, cineastas e publicitários estão começando a usar esses sistemas para imaginar novos mundos, mas uma questão fundamental permanece: como sabemos se o resultado é realmente bom? Por muito tempo, os cientistas mediram esses vídeos verificando detalhes técnicos, como se os quadros fluíam suavemente ou se o computador seguiu as instruções literalmente. No entanto, um vídeo pode ser tecnicamente perfeito e ainda assim parecer plano, sem vida ou artisticamente monótono. A peça que faltava era uma forma de medir a experiência humana de assistir ao vídeo — sua beleza, seu clima e sua ressonância emocional.

Uma equipe de pesquisadores da Ant Group, da Academia de Cinema de Pequim e do Instituto de Inteligência Artificial Geral de Pequim enfrentou esse desafio com um novo framework chamado VGA-BenchV2. O trabalho deles vai além das simples verificações técnicas para criar um sistema que entende e avalia a estética de vídeo da mesma forma que um humano faz. Eles construíram uma biblioteca massiva de mais de 60.000 vídeos gerados por 12 modelos de computador diferentes, usando 1.016 prompts cuidadosamente escritos para testar qualidades visuais específicas. Para ensinar seus computadores a julgar esses vídeos, a equipe recrutou especialistas humanos para fornecer mais de 36.000 novas classificações e rótulos. Esse feedback humano foi usado para treinar uma equipe híbrida de avaliadores de inteligência artificial: um especializado em dar uma pontuação contínua para beleza, e outros dois que atuam como críticos visuais, identificando tags artísticas específicas e verificando se o vídeo faz sentido. O resultado é um sistema que não apenas classifica o quão bom um vídeo parece, mas também usa esse julgamento para ajudar os modelos de computador a aprenderem e melhorarem a si mesmos.

O núcleo deste novo framework é uma mudança da medição passiva para a orientação ativa. No passado, os benchmarks eram como boletins que simplesmente diziam a um aluno se ele passou ou falhou. O VGA-BenchV2 atua mais como um tutor que explica exatamente o que precisa ser melhorado e depois ajuda o aluno a praticar. Os pesquisadores organizaram sua avaliação em duas categorias principais: estética e qualidade de geração. O lado estético observa os elementos artísticos, como iluminação, harmonia de cores, composição e o clima geral da cena. O lado da geração verifica se o vídeo é fisicamente plausível, se os personagens se movem naturalmente e se a história corresponde ao prompt escrito. Ao decompor esses conceitos amplos em 52 subcategorias específicas, a equipe garantiu que a avaliação fosse detalhada e precisa, cobrindo tudo, desde o tipo de plano de câmera até o realismo do movimento de fluidos.

Para construir este sistema, a equipe começou com um grande conjunto de prompts, que são as instruções escritas dadas aos geradores de vídeo. Esses 1.016 prompts foram projetos para desencadear efeitos visuais específicos, garantindo que os vídeos resultantes pudessem ser julgados de forma justa contra critérios claros. Eles então coletaram a saída de 12 modelos líderes de geração de vídeo, criando um conjunto de mais de 60.000 vídeos. A etapa crucial foi a fase de anotação humana. Os pesquisadores reuniram uma quantidade massiva de feedback humano, adicionando 36.000 novas anotações de nível de tarefa aos seus dados existentes. Isso incluiu mais de 16.000 classificações para qualidade estética, onde humanos pontuaram vídeos em uma escala de zero a dez, e mais de 13.000 rótulos para tagging estético, onde humanos identificaram atributos visuais específicos, como a cor da luz ou o tipo de plano. Eles também adicionaram milhares de notas sobre qualidade de geração para garantir que os vídeos fossem realistas e consistentes.

Com essa vasta quantidade de dados rotulados por humanos, a equipe treinou três avaliadores especializados de inteligência artificial. O primeiro, chamado VAQA-Net, aprendeu a prever uma pontuação contínua de quão bonito um vídeo é, imitando efetivamente o olho humano para composição e tom. Os outros dois avaliadores, VTag-Net e VGQA-Net, são baseados em grandes modelos de visão-linguagem, que são sistemas avançados capazes de entender tanto imagens quanto texto. Esses modelos foram treinados para agir como críticos: um identifica tags artísticas específicas, como se uma cena usa iluminação suave ou alto contraste, enquanto o outro responde a perguntas detalhadas sobre o realismo e a consistência do vídeo. Essa combinação permite que o sistema forneça tanto uma pontuação numérica quanto uma explicação detalhada e interpretável de por que um vídeo é bom ou ruim.

O verdadeiro poder do VGA-BenchV2 reside em sua capacidade de fechar o ciclo entre avaliação e melhoria. Uma vez que os avaliadores foram treinados para corresponder às preferências humanas, os pesquisadores os usaram como um sistema de recompensa para aprendizado por reforço. Neste processo, os modelos de computador que geram os vídeos mostram suas próprias criações e recebem uma pontuação baseada na qualidade estética prevista pelo avaliador. Se a pontuação for alta, o modelo é encorajado a fazer vídeos semelhantes; se a pontuação for baixa, ele é induzido a mudar sua abordagem. Em um teste específico, os pesquisadores aplicaram este método para ajustar um gerador de vídeo chamado Wan2.1. Os resultados mostraram que a pontuação estética média do modelo aumentou, e os vídeos resultantes exibiram composições visuais mais atraentes e uma qualidade geral superior. Isso demonstra que o framework não apenas mede o desempenho; ele impulsiona ativamente a tecnologia em direção a melhores resultados artísticos.

O estudo também forneceu um ranking abrangente do estado da arte atual na geração de vídeo. Ao aplicar seus novos avaliadores aos 12 modelos diferentes, a equipe foi capaz de compará-los em todas as 52 dimensões. Os resultados revelaram diferenças significativas na forma como cada modelo lida com o controle artístico versus a consistência técnica. Alguns modelos se destacaram em seguir prompts complexos, enquanto outros produziram resultados visualmente mais agradáveis. Os dados mostraram que, embora muitos modelos tenham melhorado na fidelidade técnica, ainda existe uma lacuna ampla em sua capacidade de produzir consistentemente vídeos que se alinhem com as preferências estéticas humanas. Isso destaca a importância do novo framework, que fornece uma maneira padronizada de medir essas qualidades sutis, mas críticas.

Em última análise, o VGA-BenchV2 representa um passo significativo para tornar a inteligência artificial mais sintonizada com as sensibilidades humanas. Ao combinar um conjunto massivo de dados de julgamentos humanos com um sofisticado sistema de avaliação híbrida, os pesquisadores criaram uma ferramenta que pode avaliar a geração de vídeo com uma profundidade e nuance que eram anteriormente impossíveis. O framework une a lacuna entre a capacidade técnica e a expressão artística, oferecendo um caminho para que futuros modelos aprendam não apenas como gerar pixels, mas como criar arte que ressoe com as pessoas. À medida que a geração de vídeo continua a evoluir, ferramentas como esta serão essenciais para garantir que as máquinas que construímos possam criar conteúdo que não seja apenas real, mas também belo.

Resumo Técnico: VGA-BenchV2

Declaração do Problema

O rápido avanço dos modelos de vídeo de Conteúdo Gerado por IA (AIGC) superou o desenvolvimento de frameworks de avaliação capazes de avaliar qualidades estéticas centradas no ser humano. Os benchmarks existentes focam primariamente na fidelidade técnica, utilizando métricas como FVD (Fréchet Video Distance) e CLIP Score para medir similaridade de distribuição, consistência temporal e artefatos visuais de baixo nível. Essas métricas falham em capturar fatores perceptivos refinados, essenciais para aplicações do mundo real em arte digital e cinema, tais como composição, iluminação, harmonia de cores e estilo artístico. Além disso, as ferramentas de avaliação convencionais são frequentemente passivas; elas podem classificar modelos, mas carecem da capacidade de fornecer sinais de supervisão alinhados ao humano necessários para melhorar ativamente modelos generativos através de otimização. Embora esforços anteriores, como o V-Bench e o VGA-Bench original, tenham introduzido taxonomias multidimensionais, eles foram limitados pela granularidade grosseira, dependência de modelos de pontuação prontos para uso e escala insuficiente de supervisão rotulada por humanos para treinar avaliadores robustos.

Metodologia

O VGA-BenchV2 aborda essas limitações estendendo o VGA-Bench original em um framework unificado que integra anotação em larga escala, uma arquitetura de avaliador híbrido automatizado e um pipeline de otimização baseado em Aprendizado por Reforço (RL).

1. Taxonomia Herdada e Expandida

O framework retém a taxonomia detalhada do VGA-Bench, organizada em duas dimensões primárias com 52 subdimensões:

Dimensão Estética:
- Qualidade Estética: Pontuação contínua (0–10) em 10 dimensões (ex: Pontuação Geral, Composição, Iluminação, Cor, Profundidade de Campo).
- Etiquetagem Estética: Rótulos de classificação discretos em 11 dimensões (ex: Tipos de Composição, Tipo de Plano, Posição da Fonte de Luz, Temperatura de Cor).
Dimensão de Geração:
- Consistência Vídeo-Texto: 10 subdimensões que garantem o alinhamento semântico entre os prompts e o conteúdo do vídeo (ex: Personagem, Ação, Objeto, Movimento de Câmera).
- Realidade e Plausibilidade: 16 subdimensões que avaliam o realismo físico (ex: Movimento Fluido, Colisão de Corpo Rígido, Realismo de Cena).
- Qualidade Básica: 5 subdimensões cobrindo ruído, clareza e estabilidade.

2. Construção de Dados

Suíte de Prompts: O framework utiliza 1.016 prompts diversos projetados para acionar explicitamente dimensões específicas, garantindo que as avaliações sejam semanticamente fundamentadas.
Pool de Vídeos: Mais de 6 de 60.000 vídeos foram gerados por 12 modelos mainstream de texto-para-vídeo (incluindo SVD, AnimateDiff, HunyuanVideo e Sora2) usando a suíte de prompts.
Expansão da Anotação Humana: Um componente crítico do VGA-BenchV2 é a expansão substancial dos dados rotulados por humanos. Os autores coletaram 36.000 novas anotações de nível de tarefa, resultando em um total de 50.600 anotações. Isso representa um aumento de 13,46× em anotações de qualidade estética, um aumento de 11,15× em etiquetagem estética e um aumento de 1,55× em anotações de qualidade de geração em comparação com o VGA-Bench original.

3. Arquitetura de Avaliador Híbrido

Aproveitando o conjunto de dados expandido, os autores desenvolveram um sistema de avaliação híbrido:

VAQA-Net: Uma rede especializada para pontuação estética contínua. Ela emprega uma estratégia de aprendizado por transferência de dois estágios, iniciando com um codificador de vídeo pré-treinado em VADB e realizando o ajuste fino (fine-tuning) no grande conjunto de dados de vídeo gerado.
VTag-Net & VGQA-Net: Dois avaliadores baseados no Large Vision-Language Model (LVLM) Qwen3-VL-32B.
- VTag-Net: Treinado via ajuste de instrução para etiquetagem estética (classificação).
- VGQA-Net: Treinado via ajuste de instrução para avaliação de qualidade de geração (pergunta-resposta/raciocínio).

4. Pipeline de Avaliação-para-Otimização

O framework introduz um mecanismo para converter avaliadores em modelos de recompensa para Aprendizado por Reforço (RL). A pontuação estética prevista pela VAQA-Net serve como um sinal de recompensa escalar ( $r_\phi(v)$ ). Este sinal é integrado em um pipeline de Flow-GRPO (Group Relative Policy Optimization) para ajustar finamente geradores de vídeo. O processo inclui regularização KL para evitar o desvio da política (policy drift), permitindo que os modelos otimizem em direção a uma maior qualidade estética enquanto mantêm a estabilidade.

Principais Contribuições

Infraestrutura de Anotação Humana em Larga Escala: O VGA-BenchV2 transforma o benchmark de uma suíte de avaliação passiva em uma infraestrutura de treinamento ao adicionar 36.000 novas anotações de nível de tarefa, aumentando significativamente a escala da supervisão humana para tarefas estéticas e de geração.
Avaliador Híbrido Supervisionado por Humanos: O artigo apresenta um sistema que combina redes de regressão especializadas (VAQA-Net) com raciocínio semântico baseado em LVLM (VTag-Net, VGQA-Net). Esta arquitetura alcança alto alinhamento com julgamentos humanos, oferecendo simultaneamente interpretabilidade e escalabilidade.
Framework de Avaliação-para-Otimização: Diferente de benchmarks anteriores que param no ranqueamento, o VGA-BenchV2 fecha o ciclo ao usar os avaliadores aprendidos como modelos de recompensa. Isso permite o ajuste fino direto de geradores de vídeo via RL para alinhar as saídas com as preferências estéticas humanas.
Benchmark e Infraestrutura Unificados: O trabalho unifica 52 dimensões de avaliação, 1.016 prompts, mais de 60.000 vídeos e pipelines de otimização em um único framework, facilitando a análise sistemática e a comparação justa entre modelos.

Resultados Experimentais

Validação do Avaliador:
- VAQA-Net: Alcançou um Coeficiente de Correlação de Ordem de Posto de Spearman (SROCC) de 87,6% na pontuação estética geral, demonstrando forte consistência de ranking com especialistas humanos.
- VTag-Net: Mostrou precisão de classificação robusta, particularmente em dimensões objetivas como Cor da Luz (93,6%) e Número de Fontes de Luz (83,7%).
- VGQA-Net: Alcançou uma precisão média de aproximadamente 71,3% em 31 subdimensões de qualidade de geração, com pontuações altas em categorias desafiadoras como Realismo de Cena (89,2%).
Avaliação de Modelos: O framework avaliou 12 modelos de última geração. O Sora2 obteve as pontuações mais altas em Pontuação Estética (0,50), Classificação de Tags (0,64) e Nível de Geração (0,80), seguido pelo HunyuanVideo e Wan2.2.
Eficácia da Otimização: Em um experimento de ajuste fino por RL no Wan2.1, usando a VAQA-Net como modelo de recompensa, a pontuação estética média aumentou de 0,49 para 0,52 em um conjunto de teste não visto. A análise qualitativa confirmou melhorias na composição visual e no apelo estético geral.

Significância e Alegações

Os autores posicionam o VGA-BenchV2 não apenas como uma plataforma de avaliação rigorosa, mas como uma infraestrutura fundamental para o avanço dos sistemas de geração de vídeo de próxima geração. O artigo afirma que, ao unificar anotação em larga escala, avaliação automatizada híbrida e otimização baseada em RL, o framework permite que os geradores de vídeo melhorem não apenas em realismo técnico, mas também em qualidade estética e alinhamento com as preferências humanas. O trabalho aborda a lacuna entre métricas técnicas e valores artísticos centrados no ser humano, fornecendo um sistema de ciclo fechado que vai da construção do benchmark até a melhoria acionável do modelo. Os autores enfatizam que esta abordagem apoia o desenvolvimento de sistemas AIGC que harmonizam fidelidade, arte e preferência humana.