Resumo Técnico: Cada Juiz com Sua Própria Régua (JUDGEFIT)

Declaração do Problema

A avaliação da consistência física em geradores de vídeo e modelos de mundo depende cada vez mais de Modelos de Linguagem-Visão (VLMs) como juízes automatizados. Esses modelos fornecem sinais de recompensa, decisões de classificação e critérios de filtragem de dados. No entanto, os paradigmas de avaliação atuais tipicamente aplicam uma taxonomia global única e fixa (por exemplo, um conjunto de quatro domínios físicos) uniformemente a todos os VLMs.

Essa abordagem assume que todos os VLMs compartilham os mesmos eixos de competência de avaliação física e diferem apenas na magnitude de suas pontuações ao longo desses eixos. O artigo argumenta que isso é falho porque os VLMs, treinados em dados e arquiteturas distintas, codificam fenômenos físicos através de diferentes representações internas. Consequentemente, um esquema fixo frequentemente leva a:

• Dimensões Inativas: As pontuações de diferentes VLMs concentram-se em um único eixo (ex: "mecânica"), enquanto outras dimensões permanecem quase inativas.
• Perda de Resolução: O esquema falha em revelar forças ou pontos cegos distintos entre diferentes famílias de modelos.
• Desalinhamento: Os VLMs frequentemente discordam substancialmente de avaliadores humanos quanto ao senso comum físico, exibindo viés de posição e instabilidade de pontuação.

O problema central é que os esquemas de avaliação são tratados como propriedades do benchmark, e não como propriedades do avaliador. Um VLM deve ser avaliado ao longo de dimensões que ele possa confiavelmente perceber e pontuar.

Metodologia: JUDGEFIT

Os autores propõem o JUDGEFIT, um pipeline de duas etapas, semente-e-refinamento (seed-and-refine), projetado para descobrir uma taxonomia de avaliação por VLM. O procedimento trata o esquema de avaliação do juiz como um objeto otimizável, impulsionado por um diagnóstico calibrado do que o VLM específico pode pontuar de forma confiável.

Estágio 1: Semente (Anotação Aberta e Agrupamento)

1. Elicitação de Forma Livre: O VLM alvo é solicitado a listar erros de física que observa em um pequeno conjunto de vídeos ($D_{annot}$) usando linguagem natural de forma livre, sem dimensões predefinidas.
2. Agrupamento (Clustering): Um LLM agrupa essas descrições coletadas em categorias nomeadas e definidas para formar uma taxonomia semente inicial ($T_0$).
3. Alinhamento de Vocabulário: Como $T_0$ é construída unicamente a partir dos erros que o VLM relata, suas dimensões refletem o próprio vocabulário perceptual do VLM. Conceitos que o VLM nunca menciona estão ausentes da taxonomia inicial.

Estágio 2: Refinamento (Edição Guiada por Diagnóstico)

A taxonomia semente é refinada através de um loop iterativo onde um editor de LLM revisa as dimensões com base em um sinal de diagnóstico derivado de avaliações humanas.

1. Calibração: Um calibrador linear com regularização de Ridge mapeia as pontuações por dimensão do VLM para classificações de senso comum físico humano ($y$).
2. Diagnóstico: O calibrador revela três tipos de falhas:
   • Não Informativa: Dimensões cujas pontuações não correlacionam com as classificações humanas ($|\rho_i| < \tau$).
   • Instável: Dimensões onde o sinal do coeficiente inverte entre as dobras de validação cruzada ($\pi_i < \kappa$).
   • Redundante: Pares de dimensões que classificam os vídeos de forma quase idêntica ($r_{ij} > \gamma$).
   • Lacunas de Cobertura: Erros que os humanos penalizaram, mas que o VLM perdeu, identificados pela análise de resíduos contra as próprias anotações de forma livre do VLM.
3. Edição: Um editor de LLM propõe edições locais (REMOVER, REDEFINIR, MESCLAR, ADICIONAR, DIVIDIR) para abordar essas falhas.
4. Objetivo de Seleção ($J$): Uma taxonomia candidata é aceita apenas se melhorar um objetivo de seleção que recompensa a qualidade de classificação e a especificidade (ganhos sobre uma linha de base "halo" que usa apenas a pontuação média). Isso evita que a taxonomia colapse em uma única pontuação de "maldade geral".
5. Convergência: O loop se repete até que nenhuma edição melhore $J$. Empiricamente, a convergência ocorre em aproximadamente duas rodadas.

Principais Contribuições

1. Pipeline JUDGEFIT: Um procedimento de alta eficiência de amostragem que descobre taxonomias por VLM. Diferente de otimizadores de recompensa escalar que exigem centenas de iterações, o JUDGEFIT converge em ~2 rodadas ao usar um calibrador linear como sinal de diagnóstico em vez de um preditor final.
2. Estudo de Benchmark por VLM: Uma avaliação de 16 VLMs de oito famílias de modelos (incluindo Qwen, Gemma, GLM, Reka, Gemini, Seed, Nova, MiMo) usando o dataset VideoPhy-2. O estudo libera taxonomias refinadas e avaliações de teste (held-out).
3. Análise Cross-VLM: Uma tipologia de convergência de conceitos e viés por discriminação. Os autores identificam quais conceitos são universalmente legíveis entre os VLMs e quais permanecem como pontos cegos específicos de cada modelo, revelando que estilos de pontuação (rígido vs. leniente) variam independentemente da precisão de alinhamento.

Resultados

• Melhoria de Desempenho: A taxonomia refinada por VLM supera a linha de base de esquema global fixo (PhyGenBench) em vídeos de teste para todos os VLMs testados.
  • Melhoria Relativa Média: Aproximadamente 32% (a correlação de Spearman aumentou de 0.239 para 0.315).
  • Consistência: As melhorias mantêm-se em todo o espectro de capacidade, desde os juízes mais fortes (ex: Gemini-3-Flash-Thinking) até os mais fracos (ex: GLM-4.6V).
• Convergência: A maioria dos ganhos de desempenho ocorre na primeira rodada de refinamento. O procedimento é altamente eficiente comparado a métodos de busca de recompensa escalar iterativa.
• Generalização: As melhorias transferem-se do conjunto de anotação para o conjunto de teste disjunto, indicando que as taxonomias não sofrem overfitting ao conjunto de treinamento de 200 vídeos.
• Perfis Específicos de Modelo:
  • Cobertura de Conceitos: Embora um conjunto central de conceitos (momento, trajetória, rigidez) seja quase universal, conceitos de mecânica de fluidos (flutuabilidade, tensão superficial) formam uma cauda longa de cobertura esparsa.
  • Modos de Pensamento: O benefício das variantes de "pensamento" (thinking) é específico do modelo, não sistemático; alguns modelos melhoram, enquanto outros degradam ou permanecem inalterados.
  • Viés vs. Discriminação: Os juízes dividem-se em categorias "rígida" e "leniente" com base em sua colocação de escala, mas esse viés não correlaciona com sua precisão de alinhamento (Spearman $\rho$).

Significância e Alegações

O artigo afirma que esquemas de avaliação devem ser tratados como propriedades do avaliador, e não do benchmark. Ao fundamentar a taxonomia no próprio vocabulário de erro do juiz e refiná-la contra o julgamento humano, o JUDGEFIT expõe pontos cegos específicos do modelo que classificações gerais não podem antecipar.

Os autores argumentam que esta abordagem produz uma compreensão mais granular das capacidades dos VLMs:

• Revela que VLMs "fortes na média" não são uniformemente fortes em todas as regras físicas.
• Demonstra que padrões de confiabilidade diferem marcadamente entre famílias de modelos.
• Fornece um framework para descobrir quais regras físicas um VLM específico pode e não pode fundamentar no julgamento humano.

O trabalho sugere que afastar-se de rúbricas fixas de tamanho único em direção a taxonomias adaptáveis por modelo é essencial para avaliar e melhorar com precisão a consistência física em modelos de vídeo generativos.