Resumo Técnico: VGI-Bench: Sondando a Inteligência Visual em Modelos de Geração de Vídeo

1. Declaração do Problema

Estudos recentes sugerem que os modelos de geração de vídeo estão evoluindo de simuladores visuais passivos para potenciais "raciocinadores visuais" capazes de raciocínio zero-shot através de sequências de quadros gerados. No entanto, avaliar essa capacidade permanece desafiador devido a três lacunas críticas nos benchmarks existentes:

1. Descompasso de Distribuição: Muitos benchmarks dependem de entradas abstratas ou de arte em linha (line-art), que se desviam dos priors de imagens naturais dos modelos de vídeo modernos, levando a falhas que refletem um descompasso de domínio visual em vez de limitações de raciocínio.
2. Falta de Sensibilidade ao Processo: As tarefas de raciocínio visual existentes muitas vezes permitem que os modelos respondam diretamente a partir da entrada ou focam apenas no estado final, falhando em testar se o modelo consegue simular trajetórias intermediárias válidas e processos em evolução.
3. Dificuldade Não Controlada: Os benchmarks atuais incluem tarefas que são trivialmente solucionáveis ou muito além do regime factível para os modelos atuais (por exemplo, exigindo perícia não visual ou excedendo durações de vídeo práticas), dificultando a avaliação diagnóstica.

2. Metodologia: VGI-Bench

Para abordar essas lacunas, os autores introduzem o VGI-Bench, um benchmark contendo 27 tarefas e 810 instâncias projetadas para avaliar a inteligência visual no limite da capacidade atual dos modelos de geração de vídeo.

2.1 Taxonomia e Design de Tarefas

O benchmark emprega uma taxonomia de dois níveis:

• Domínios de Tarefa (Mutuamente Exclusivos):
  • Organização Visual: Organizar, agrupar ou selecionar objetos com base em atributos visuais.
  • Manipulação Física: Ações ao nível de objeto (mover, empilhar, uso de ferramentas) que exigem interação física plausível.
  • Quebra-cabeças Estruturados: Quebra-cabeças regidos por regras que exigem restrições explícitas para transformar um estado inicial em um alvo.
  • Dinâmica Espaçotempoal: Raciocinar sobre a evolução do estado, ordenação e dependências temporais.
• Tags de Habilidade (Não exclusivas): As tarefas são anotadas com tags como Espacial, Temporal, Planejamento, Fundamentação de Atributos (Attribute Grounding), Física, Topologia e Affordance.

2.2 Construção de Dados e Controle de Qualidade

• Entradas: As tarefas utilizam entradas de estilo fotorrealista (imagens da web ou geradas via modelos de imagem como GPT-Image-2) para alinhar-se aos priors do modelo, evitando o uso de arte em linha abstrata.
• Sensibilidade ao Processo: O sucesso depende de trajetórias intermediárias válidas e evolução preservadora de regras, não apenas do estado final.
• Calibragem de Dificuldade: Um estágio de pré-geração testa as tarefas em modelos de estado da arte (SOTA). As tarefas são aceitas apenas se forem solucionáveis por pelo menos um modelo, mas falharem para pelo menos um, garantindo que sejam desafiadoras, porém factíveis.
• Métricas de Avaliação:
  • Completude (Comp.): Uma métrica global que avalia o progresso em direção ao objetivo (Completo, Parcial, Falhou).
  • Pontuação de Rubrica (Rub.): Uma métrica local que mede a validade do processo contra um checklist detalhado de regras e restrições. Utiliza uma estratégia de amostragem de quadros de granularidade adaptativa (4fps a 8fps) e uma janela de foco deslizante para detectar violações transitórias.
  • Pontuação Final: O produto da Completude e da Pontuação de Rubrica, penalizando tanto a falha no objetivo quanto a violação de regras.

2.3 Configuração de Avaliação

O benchmark avalia uma ampla gama de modelos de vídeo comerciais (ex: Seedance 2.0, Sora 2, Veo 3.1) e de código aberto (ex: Wan 2.7, HunyuanVideo 1.5). Um juiz automático baseado em VLM (Gemini-3-Flash) é utilizado, com confiabilidade validada contra anotações humanas. Um subconjunto de tarefas também é adaptado para modelos de geração de imagem para comparar a inferência de estado final estático contra a geração de vídeo procedural.

3. Resultados Principais

• Desempenho Geral: Os modelos atuais exibem habilidades de raciocínio emergentes, mas permanecem longe de uma inteligência visual de propósito geral confiável. Mesmo o modelo mais forte, Seedance 2.0, atinge apenas 51,0% sob os critérios de avaliação.
• Análise de Domínio e Habilidade:
  • Quebra-cabeças Estruturados é o domínio mais desafiador, expondo falhas na aderência a regras de múltiplas etapas e no rastreamento de estado.
  • As habilidades de Topologia e Temporal são as dimensões mais fracas, indicando dificuldades na preservação de conectividade e no rastreamento de estado de múltiplas etapas.
  • Modelos comerciais superam consistentemente os modelos de código aberto, embora todos tenham dificuldade em manter uma execução coerente de múltiplas etapas.
• Modos de Falha: Falhas comuns incluem:
  • Colapso Físico: Deformações irreais ou violação da gravidade (ex: objetos não rolando em superfícies inclinadas).
  • Violação de Regras: Realizar ações proibidas ou pular etapas essenciais enquanto alcança um estado final visualmente plausível.
  • Inconsistência de Objeto/Estado: Falha em preservar identidades ou posições de objetos ao longo do tempo (ex: objetos desaparecendo ou duplicando).
• Sensibilidade à Entrada: O desempenho é altamente sensível aos estilos visuais de entrada. Modelos de código aberto mostram quedas significativas ao mudar de entradas fotorrealistas para arte em linha, sugerindo que entradas abstratas em outros benchmarks podem confundir limitações de raciocínio com descompasso de domínio visual.
• Transferência de Ajuste Fino Sintético: O ajuste fino em dados abstratos sintéticos de larga escala (VBVR) melhora o desempenho em tarefas de sobreposição estrutural, mas oferece ganhos limitados em tarefas não sobrepostas. As melhorias são frequentemente limitadas pela cobertura estrutural da distribuição de treinamento.
• Dinâmicas de Denoising: A análise das etapas intermediárias de denoising revela uma autocorreção limitada. Os modelos tendem a refinar hipóteses iniciais em vez de corrigir erros de raciocínio; a "autocorreção" (errado $\to$ correto) ocorre em menos de 1% das transições, enquanto os modelos majoritariamente travam e refinam hipóteses iniciais (frequentemente incorretas).

4. Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. VGI-Bench: Um benchmark diagnóstico adaptado ao limite da capacidade atual dos modelos de vídeo, apresentando entradas realistas, tarefas sensíveis ao processo e níveis de dificuldade calibrados.
2. Avaliação Abrangente: Uma avaliação abrangente dos modelos generativos contemporâneos (tanto de imagem quanto de vídeo), destacando suas habilidades de raciocínio emergentes enquanto expõe limitações significativas na inteligência visual de propósito geral.
3. Análise Multifacetada: Um diagnóstico detalhado do comportamento de raciocínio de vídeo, cobrindo modos de falha, sensibilidade à entrada, os limites de transferência do ajuste fino sintético e as dinâmicas internas das trajetórias de denoising.

Os autores postulam que o VGI-Bench ajudará a estimular o desenvolvimento de próxima geração de modelos de geração de vídeo, fornecendo um framework rigoroso para distinguir entre fidelidade visual e raciocínio visual genuíno, identificando gargalos específicos como coerência física, aderência a regras e mecanismos de autocorreção.