Resumo Técnico: Physics-IQ Verified

Definição do Problema

Os Modelos Generativos de Vídeo (VGMs) estão sendo cada vez mais posicionados como "modelos de mundo" capazes de simular a realidade física para robótica e raciocínio visual geral. No entanto, avaliar se esses modelos aprenderam genuinamente o raciocínio físico ou se apenas aprenderam a produzir movimentos de aparência plausível permanece um desafio crítico. O benchmark Physics-IQ original [1] foi projetado para abordar isso, comparando continuações de vídeo geradas por modelos contra gravações de verdade fundamental (ground-truth) de experimentos físicos do mundo real.

Apesar de sua adoção como um protocolo de avaliação padrão, os autores identificam que o benchmark Physics-IQ original contém erros sistemáticos de medição que confundem a avaliação da compreensão física. Esses erros surgem de três fontes primárias:

1. Prompts Ambíguos: Os prompts de texto originais frequentemente carecem de clareza, contêm erros factuais, omitem informações cruciais ou falham em aderir às melhores práticas de prompting específicas de cada modelo. Isso introduz graus de liberdade na saída que são ortogonais à compreensão física, inflando a variância das métricas.
2. Ativações de Métricas Espúrias (Artefatos): Os vídeos de verdade fundamental contêm eventos visuais não relacionados aos fenômenos físicos alvo (ex: partes de um aparato girando, ruído de câmera ou erros de gravação). Esses "artefatos" disparam mapas de ativação usados pelas métricas do benchmark, fazendo com que a avaliação meça eventos não relacionados em vez do efeito físico em si.
3. Agregação de Pontuação Falha: A pontuação original agrega as métricas ao nível do conjunto de dados (dataset level). Essa abordagem obscurece modos de falha ao nível da amostra e atribui pesos desiguais às amostras com base em sua variação física, potencialmente subestimando experimentos com baixa variabilidade natural e superestimando aqueles com alta variabilidade.

Metodologia

Os autores propõem o Physics-IQ Verified, um benchmark refinado que audita e corrige sistematicamente o pipeline de avaliação original. A metodologia envolve três melhorias distintas:

1. Melhoria da Qualidade dos Prompts

Os autores reengenheiraram os prompts de texto para funcionarem como "questões de exame" precisas que especificam claramente a configuração experimental e o catalisador do fenômeno físico sem revelar o resultado.

• Correção de Prompts Imprecisos: Os prompts foram triados e corrigidos para quatro níveis de severidade: incorreção factual, imprecisão temporal, omissão de informações essenciais e linguagem vaga.
• Estrutura de Template: Para garantir um condicionamento consistente entre diferentes VGMs, os prompts foram decompostos em seis campos estruturados: SETUP (Configuração), SCENE (Cena), ACTION (Ação), CAM (Câmera), STYLE (Estilo) e SCOPE (Escopo).
  • CAM, STYLE e SCOPE são campos fixos que garantem um estilo de demonstração científica realista, orientação de câmera estática e uma restrição contra a alucinação de novos atores.
  • As instruções foram reescritas em termos positivos para evitar a negação, algo que muitos modelos lidam mal.

2. Limpeza de Artefatos

Os autores introduziram uma estratégia de remoção direcionada para "ativações de métricas espúrias" nos vídeos de verdade fundamental.

• Definição de Artefato: Artefatos são definidos como ativações de métricas causadas por eventos visuais que não fazem parte do efeito físico observado. Eles são categorizados como determinísticos (previsíveis, ex: maquinário rotativo) ou não determinísticos (erros de gravação aleatórios).
• Estratégia de Remoção: Usando anotações manuais, os artefatos são removidos via congelamento de quadros (frame freezing):
  • Remoção pós-efeito: Quadros após o término do fenômeno físico são congelados para remover artefatos de cauda.
  • Remoção de meio de efeito: Regiões espaciais contendo artefatos durante o fenômeno são congeladas para isolar o efeito físico.
  • Este processo garante que as métricas avaliem o fenômeno físico em vez de ruído visual não relacionado.

3. Melhoria da Agregação de Métricas

Os autores redefiniram o mecanismo de pontuação para operar ao nível da amostra em vez do nível do conjunto de dados.

• Pontuação ao Nível da Amostra: Uma pontuação é calculada para cada amostra de vídeo individual ($n$) através da média das métricas normalizadas.
• Peso Igualitário: Esta abordagem garante que cada amostra e cada métrica contribuam igualmente para a pontuação final, evitando que experimentos com alta variação física dominem o agregado.
• Interpretação do MSE: A métrica de Erro Quadrático Médio (MSE) é invertida (razão entre a variação física e o erro gerado) para que valores mais altos indiquem melhor desempenho, alinhando-a com as métricas de Intersecção sobre União (IoU).
• Clipping (Recorte): As sub-pontuações são limitadas ao intervalo $[0, 1]$ antes da agregação para evitar que uma única métrica excepcional influe desproporcionalmente o total.

Principais Resultados

Os autores avaliaram seis modelos de imagem-para-vídeo (I2V) (três de código aberto: Wan 2.2, HunyuanV-1.5, Cosmos3-N; três de código fechado: Sora 2, P-Video, Grok Imagine Video) usando tanto os protocolos originais quanto os verificados.

• Mudanças de Pontuação: A avaliação verificada geralmente aumentou as pontuações para a maioria dos modelos (devido aos prompts melhorados), mas diminuiu as pontuações para outros (devido à remoção de artefatos).
  • Sora 2 apresentou o maior aumento de pontuação, beneficiando-se significativamente dos prompts aprimorados.
  • Wan 2.2 foi o único modelo a mostrar uma diminuição de desempenho, sugerindo que sua alta pontuação original foi parcialmente impulsionada por fatores de confusão (prompts ambíguos ou artefatos).
• Mudanças de Ranking: Os refinamentos levaram a mudanças moderadas, mas significativas, nos rankings dos modelos.
  • Wan 2.2 caiu do 1º para o 3º lugar.
  • Sora 2 moveu-se do 6º para o 5º lugar.
  • Cosmos3-N melhorou do 5º para o 4º lugar.
  • P-Video caiu do 4º para o último lugar.
• Significância Estatística: A correlação entre os rankings originais e verificados foi moderada ($\text{Kendall's } \tau = 0.46$, $\text{Spearman's } \rho = 0.65$), indicando que o protocolo de avaliação influencia significativamente a avaliação do modelo. A análise de Bootstrap confirmou que essas diferenças de ranking são estatisticamente significativas e não decorrentes de variância aleatória.

Significância e Alegações

O artigo afirma que o Physics-IQ Verified fornece um sinal mais confiável para medir a compreensão física de VGMs. Ao remover fatores de confusão, como a ambiguidade de prompts e artefatos de verdade fundamental, e ao garantir o peso igualitário das amostras, o benchmark oferece uma análise mais refinada das capacidades dos modelos.

Os autores enfatizam que a fidelidade do benchmark original à compreensão física real foi comprometida por erros de medição. Os refinamentos propostos não apenas ajustam as pontuações, mas alteram fundamentalmente o cenário de avaliação, revelando que alguns modelos anteriormente bem classificados podem ter se beneficiado de artefatos de avaliação. O trabalho visa avançar a comunidade ao fornecer um padrão de avaliação robusto, rastreável e fisicamente preciso, facilitando assim o desenvolvimento da próxima geração de modelos generativos de vídeo fisicamente fundamentados.

O código e os dados do benchmark estão disponíveis no repositório Physics-IQ Verified GitHub.