Resumo Técnico: Physics-R1: Um Corpus de Olimpíada Auditado e Receita para Raciocínio em Física Visual

Declaração do Problema

O campo do raciocínio em física multimodal depende fortemente de benchmarks visão-linguagem para avaliar as capacidades dos modelos. No entanto, a construção desses benchmarks raramente é auditada, levando a três lacunas metodológicas críticas que distorcem as comparações entre modelos e inflacionam os rankings de fronteira:

1. Contaminação Treino-Avaliação: Conjuntos de treinamento públicos (por exemplo, SciInstruct, UGPhysics-Train) frequentemente contêm problemas parafraseados ou quase idênticos em relação aos conjuntos de avaliação. Auditorias convencionais de $n$-gramas em estágio único falham em detectar essas instâncias de "matéria escura de reescrita".
2. Deriva de Tradução: Benchmarks multilíngues frequentemente dependem de traduções para inglês de problemas originalmente compostos em outras línguas. Essas traduções podem degradar o conteúdo de informação (vocabulário, caso gramatical, escopo), levando a uma subestimação sistemática da capacidade do modelo nas versões traduzidas em comparação com as originais.
3. Saturação de Formato e Novidade: Os benchmarks atuais são frequentemente saturados por Questões de Múltipla Escolha (QMC) ou carecem de novidade, fazendo com que o desempenho atinja um "teto de fronteira fechada" onde o formato e a familiaridade com a tarefa, e não o raciocínio genuíno, impulsionam as pontuações.

Metodologia

O artigo propõe uma auditoria ponta a ponta do pipeline de avaliação e introduz uma receita de treinamento e um corpus correspondentes para abordar essas lacunas.

1. O Pipeline de Auditoria em Três Estágios

Para detectar contaminação que escapa às verificações padrão de $n$-gramas, os autores implementam um protocolo de auditoria em três estágios aplicado em pares entre conjuntos de treinamento e conjuntos de avaliação:

• Estágio 1 (N-gram): Calcula a similaridade Jaccard de 5-gramas ($J \ge 0,4$) para capturar duplicatas literais ou quase literais.
• Estágio 2 (Embedding): Utiliza mxbai-embed-large para calcular a similaridade cosseno ($\cos \ge 0,85$) para capturar duplicatas parafraseadas que o Estágio 1 perde.
• Estágio 3 (Juiz LLM): Um juiz LLM Haiku-4.5 classifica os candidatos do Estágio 2 como duplicatas próximas (parafraseamentos/variações numéricas do mesmo problema) ou vizinhos do mesmo tópico (física relacionada mas configurações distintas). Apenas duplicatas próximas são removidas.

2. Construção de Dados

• PHYSCORP-A: Um corpus multimodal de 6.432 registros construído aplicando a auditoria em três estágios a um conjunto pré-auditado de 14.294 registros. Inclui fontes como a Olimpíada de Física da Estônia (com rótulos de dificuldade nativos), apostilas de Kevin Zhou e sete olimpíadas internacionais.
• PHYSR1CORP: Um conjunto de treinamento fechado para RL de 2.268 registros (apenas QMC e numéricas) derivado do PHYSCORP-A, estritamente auditado contra seis avaliações públicas de física.
• PHYSOLYM-A: Um conjunto de avaliação de Olimpíada retido de 500 problemas. É 99,8% de fonte nova (uma sobreposição com OlympiadBench-Physics foi divulgada em vez de descartada) e inclui um subconjunto bilíngue inglês/estoniano para análise cross-linguística.

3. Receita Physics-R1

Physics-R1 é uma receita de Referência de Aprendizado por Reforço (RL) usando GSPO (Otimização de Política de Sequência em Grupo) e DAPO (Clipping Desacoplado e Amostragem Dinâmica), iniciada a frio a partir de Qwen3-VL-8B-Thinking.

• Função de Recompensa: Os autores recomendam uma recompensa binária de correção ($r \in \{0, 1\}$) baseada na correspondência da resposta extraída entre colchetes com a solução dourada. Eles argumentam que isso é ótimo em variância sob GSPO com vantagens normalizadas por grupo e robusto contra canais "Goodhart" onde os modelos otimizam por proxies de formatação (por exemplo, estrutura LaTeX) em vez de correção física. Uma recompensa densa de cinco componentes (incluindo unidades, leis de conservação e forma simbólica) é relatada como uma ablação.
• Currículo: Utiliza um currículo de dificuldade estilo MM-Eureka, descartando prompts onde o modelo base alcança 0/N ou N/N execuções.

Principais Descobertas

A auditoria e os experimentos revelam três descobertas principais:

1. Contaminação Oculta: Enquanto os conjuntos de treinamento públicos passam auditorias de $n$-gramas de estágio único (0 acertos), a auditoria em três estágios revela contaminação significativa. Por exemplo, no SciInstruct, a auditoria trouxe à tona 4.846 candidatos a paráfrase, dos quais 134 foram confirmados como duplicatas próximas pelo juiz LLM.
2. Delta de Tradução: Em 59 problemas de Olimpíada pareados Estoniano/Inglês, o Claude Sonnet 4.5 alcançou 30,5% de precisão estrita no texto original em estoniano, mas apenas 13,6% na tradução para inglês. Esse delta de 17 pontos sugere que as traduções para inglês subestimam sistematicamente a capacidade do modelo para modelos com forte transferência cross-linguística.
3. Gradiente de Formato e Novidade: Com pesos idênticos do Sonnet 4.5, o desempenho cai 46 pontos entre os benchmarks: 79,7% no PhyX (QMC) $\to$ 50,4% no OlympiadBench-Physics (aberto) $\to$ 33,4% no auditado PHYSOLYM-A (aberto, fonte nova). Esse gradiente demonstra que os benchmarks atuais estão saturados por formato e familiaridade, e não por profundidade de raciocínio.

Resultados

Physics-R1, treinado no PHYSR1CORP auditado com uma recompensa binária, demonstra a treinabilidade do corpus limpo:

• PHYSOLYM-A: Eleva o modelo base de 8B de 8,0% para 26,3% (média de 3 sementes), uma melhoria de +18,3 pontos. Fica 7,1 pontos atrás do Sonnet 4.5, mas supera todas as linhas de base de código aberto (incluindo Qwen3-VL-32B) e APIs fechadas não-Sonnet.
• PhysReason: Melhora de 23,9% para 39,6%, superando Qwen3-VL-32B e Gemini 2.5 Pro.
• OlympiadBench-Physics: Melhora de 46,2% para 46,2% (nota: o resumo afirma um aumento de +6,9 pp, implicando uma mudança de ~39,3% para 46,2% no split específico usado, embora a tabela mostre 46,2±1,5 para a média de 3 sementes).
• PhyX (QMC): Melhora de 77,8% para 77,8% (estável, pois as QMCs são frequentemente saturadas).

O artigo observa que a recompensa binária supera a recompensa densa em tarefas abertas (+8,9 pp no PhysReason, +6,4 pp no PHYSOLYM-A), enquanto performa comparavelmente em QMCs saturadas.

Significado e Alegações

O artigo posiciona-se como uma intervenção metodológica, e não como um avanço puramente algorítmico. Suas principais contribuições são:

• Evidência de Treinabilidade: Ao mostrar que um modelo treinado em um corpus rigorosamente auditado melhora significativamente em uma avaliação retida e livre de contaminação (PHYSOLYM-A), os autores validam que a estagnação anterior nos benchmarks de raciocínio em física foi parcialmente devida à contaminação de dados e saturação, e não apenas a limitações do modelo.
• Protocolo de Medição: O artigo argumenta que a medição defensável de física-VL requer três propriedades: uma auditoria em três estágios, padrões dourados em língua original e avaliação aberta de fonte nova.
• Lançamento de Artefatos: O lançamento de PHYSCORP-A, PHYSR1CORP, PHYSOLYM-A e da receita Physics-R1 fornece à comunidade ferramentas para reproduzir essas descobertas e construir modelos futuros sobre dados limpos.

Os autores afirmam modestamente que o Physics-R1 é uma "receita de referência" e que a recompensa binária é o "padrão implantável", ao mesmo tempo que reconhecem que a recompensa densa e sensibilidades específicas de sementes requerem ablações adicionais. O trabalho não afirma resolver todos os desafios de raciocínio em física (por exemplo, a teoria de perturbação em nível de pós-graduação permanece difícil), mas estabelece uma linha de base mais limpa para medir o progresso.