Resumo Técnico: PhyGround – Avaliação do Raciocínio Físico em Modelos de Mundo Generativos

1. Declaração do Problema

Modelos de mundo generativos são cada vez mais utilizados para geração de vídeo, com a expectativa de que capturem as regras físicas que governam a dinâmica do mundo real. No entanto, os modelos atuais frequentemente violam princípios físicos básicos (por exemplo, objetos flutuando sem suporte, fluidos desaparecendo ou sombras em conflito com fontes de luz), minando sua autenticidade e aplicabilidade em domínios que exigem simulação confiável.

Os benchmarks existentes focados em física para vídeo enfrentam três limitações críticas:

1. Estruturas de Avaliação Superficiais: Frequentemente operam no nível do domínio (por exemplo, uma única pontuação de "dinâmica de fluidos"), mascarando falhas específicas ao nível da lei e falhando em distinguir entre desvios menores e violações graves.
2. Vieses de Anotação e Fadiga: A avaliação humana é vulnerável a vieses de resposta, fadiga e efeitos de ordenação, particularmente quando pequenos grupos de anotadores são utilizados sem um desenho experimental rigoroso.
3. Avaliação Automatizada Insuficiente: Métricas padrão (FVD, SSIM) medem similaridade distribucional em vez de aderência física. Abordagens existentes de VLM como juízes frequentemente dependem de modelos de código fechado com arquiteturas em evolução, tornando os resultados difíceis de reproduzir ou auditar, e carecem de especialização para diagnóstico físico granular.

2. Metodologia

O PhyGround aborda esses desafios através de um design de benchmark fundamentado em critérios, um estudo humano em larga escala com controle de qualidade e um juiz especializado de código aberto.

2.1 Design do Benchmark

• Pacote de Prompts: O benchmark consiste em 250 prompts curados derivados de quatro fontes (VideoPhy-2, Physics-IQ, OpenVid, WorldModelBench). Diferentemente de trabalhos anteriores que usavam prompts implícitos, o PhyGround aprimora cada prompt com um resultado físico esperado explícito (por exemplo, especificando que uma bola deve cair de uma mesa) para garantir que o modelo tente um evento físico pontuável.
• Taxonomia de Física: A avaliação decompõe o raciocínio físico em 13 leis distintas através de três domínios:
  • Mecânica de Corpos Sólidos (6 leis): Gravidade, Inércia, Momento, Impenetrabilidade, Colisão, Propriedades de materiais.
  • Dinâmica de Fluidos (5 leis): Flutuação, Deslocamento, Dinâmica de fluxo, Interação com limites, Continuidade.
  • Óptica (2 leis): Reflexão, Sombra.
• Mecanismo de Pontuação: Cada lei é operacionalizada via 2–3 subperguntas observáveis (por exemplo, "Objetos sem suporte flutuam para cima?"). Anotadores e juízes pontuam cada lei em uma escala Likert de 1–5, capturando a gravidade das violações em vez de julgamentos binários de aprovação/reprovação.

2.2 Avaliação Humana em Larga Escala

• Escala e Protocolo: O estudo recrutou 459 anotadores (incluindo 35 especialistas em física e não especialistas) para avaliar 2.000 vídeos gerados por 8 modelos. Isso resultou em 5.796 anotações completas e mais de 37.400 rótulos granulares.
• Controle de Qualidade: Baseando-se no desenho experimental das ciências sociais, o estudo empregou randomização da ordem dos vídeos e da atribuição de anotadores, limitou cargas de trabalho (~12,6 vídeos por anotador) e ocultou identidades dos modelos para reduzir efeitos de demanda. Um pipeline de controle de qualidade de duas etapas filtrou anotações de baixa qualidade com base na consistência das pontuações, discriminabilidade de dimensões, concordância entre pares e engajamento comportamental, retendo 352 anotadores.
• Confiabilidade: O conjunto de dados retido exibiu altas correlações de classificação de modelos de divisão de metade (Spearman's $\rho > 0,90$), garantindo classificações agregadas estáveis.

2.3 Juiz Automatizado: PhyJudge-9B

• Treinamento: O PhyJudge-9B é um Modelo de Linguagem e Visão (VLM) com 9 bilhões de parâmetros, ajustado finamente via Ajuste Fino Supervisionado (LoRA) nas anotações humanas estruturadas do PhyGround.
• Arquitetura: O modelo é treinado para emitir pontuações para leis específicas com base em quadros de vídeo, prompts aprimorados e uma rubrica específica de critérios contendo as subperguntas.
• Reprodutibilidade: Diferentemente de juízes de código fechado, o PhyJudge-9B é totalmente de código aberto com pesos fixos, permitindo auditoria independente e reprodutibilidade.

3. Resultados Principais

O benchmark avaliou oito modelos modernos de geração de vídeo (um de código fechado: Veo-3.1; sete de código aberto).

• Desempenho Geral: Nenhum modelo alcançou forte aderência física. A maior pontuação "Geral" (combinando dimensões gerais e de física) foi 3,28/5 (aprox. 66%), compartilhada por Wan2.2-27B-A14B e Veo-3.1.
• Decomposição por Domínio: Pontuações holísticas obscureceram diferenças significativas ao nível do domínio:
  • Wan2.2-27B-A14B destacou-se em Corpo Sólido (3,23) e coerência temporal, mas ficou atrás em Fluidos (3,18).
  • Veo-3.1 liderou decisivamente nos domínios de Fluidos (3,65) e Óptica (3,69), mas pontuou mais baixo em Corpo Sólido (3,12).
  • Cosmos-Predict2.5-2B mostrou um perfil "pontudo", classificando-se em 7º lugar no geral, mas alcançando uma alta pontuação em Óptica (3,35) enquanto lutava com Fluidos (2,77).
• Perfil de Dificuldade: Agregado entre os modelos, a mecânica de Corpo Sólido (2,79) provou ser o domínio mais desafiador, seguido por Fluidos (3,08) e Óptica (3,24). Dentro de Corpo Sólido, Momento e Colisão foram as leis mais difíceis, sugerindo que os modelos atuais lutam com resolução de contato e dinâmica de ricochete.
• Desempenho do Juiz: O PhyJudge-9B alcançou um viés relativo agregado significativamente menor em comparação ao Gemini-3.1-Pro de código fechado (3,3% vs. 16,6%). Também superou outras linhas de base (Claude, Qwen) e demonstrou que adicionar subperguntas aos prompts melhorou significativamente a precisão dos juízes VLM, enquanto o raciocínio de Cadeia de Pensamento (CoT) não produziu consistentemente benefícios adicionais.

4. Contribuições

1. Taxonomia por Lei Fundamentada em Critérios: Uma estrutura de avaliação inovadora que decompõe o raciocínio físico em 13 leis específicas com subperguntas observáveis, permitindo insights diagnósticos que pontuações holísticas não podem fornecer.
2. Conjunto de Dados Humanos em Larga Escala e Controlado: O maior grupo de anotadores humanos relatado (459 anotadores) para um benchmark de vídeo focado em física, projetado com protocolos de ciências sociais para garantir confiabilidade e estabilidade ($\rho > 0,90$).
3. PhyJudge-9B: Um juiz VLM especializado em física, aberto, que alcança viés substancialmente menor do que modelos de código fechado de última geração e suporta avaliação automatizada reprodutível e auditável.
4. Lançamento Abrangente do Benchmark: Lançamento completo de 250 prompts, anotações humanas, checkpoints de modelos e código de avaliação.

5. Significado

O PhyGround avança a avaliação de modelos de mundo generativos, deslocando-se de avaliações holísticas e superficiais para diagnósticos específicos por lei e granulares. Ao revelar que os modelos frequentemente possuem forças e fraquezas distintas através de diferentes restrições físicas (por exemplo, um modelo pode ser forte em dinâmica de fluidos, mas fraco em física de colisão), o benchmark fornece uma base sólida para melhoria direcionada de modelos. Além disso, o lançamento do PhyJudge-9B atende à necessidade crítica de avaliação automatizada reprodutível e auditável, movendo o campo para longe da dependência de APIs opacas e de código fechado. O trabalho sublinha que, embora os modelos atuais de geração de vídeo mostrem promessa, lacunas substanciais permanecem em sua capacidade de simular interações físicas complexas, particularmente em dinâmica de contato e continuidade de fluidos.