Resumo Técnico: SEEPHYS PRO

Declaração do Problema

Sistemas de IA multimodal enfrentam um desafio crítico na consistência de modalidades: a capacidade de preservar comportamentos de raciocínio idênticos quando informações equivalentes são apresentadas em formas diferentes (por exemplo, texto versus diagramas). As avaliações atuais frequentemente avaliam modelos em um único formato de entrada, obscurecendo se as melhorias na precisão da resposta final derivam de um raciocínio genuíno e invariante à representação ou de atalhos específicos de uma modalidade. Essa lacuna é particularmente aguda na física, onde diagramas frequentemente definem a estrutura do sistema físico e as ligações de variáveis, em vez de meramente ilustrar o texto. As avaliações existentes lutam para distinguir entre falhas na percepção de diagramas, leitura de variáveis, abstração física e raciocínio simbólico a jusante.

Metodologia

1. Benchmark SEEPHYS PRO

Os autores introduzem o SEEPHYS PRO, um benchmark de transferência de modalidade de granularidade fina fundamentado no princípio de "mesma física, representação diferente".

• Design: Cada problema de física inicial é transformado em quatro variantes semanticamente alinhadas que deslocam progressivamente informações críticas para a tarefa da linguagem para a visão:
  • Nível 1 (N1): Apenas texto (toda a estrutura, variáveis e quantidades em linguagem).
  • Nível 2 (N2): Estrutura-na-imagem (topologia/relações físicas na imagem; variáveis permanecem no texto).
  • Nível 3 (N3): Estrutura + Variáveis-na-imagem (o diagrama inclui rótulos e valores numéricos).
  • Nível 4 (N4): Imagem totalmente renderizada (declaração do problema, fórmulas e diagrama convertidos em uma única entrada visual, incluindo texto manuscrito).
• Construção de Dados: Derivado de mais de 5.000 páginas PDF de conjuntos de dados públicos, livros didáticos, olimpíadas e exames. O conjunto de dados contém 1.000 questões iniciais (4.000 variantes no total) cobrindo seis disciplinas de física (Mecânica, Eletromagnetismo, Óptica, Termodinâmica, Ondas, Física Moderna).
• Métricas: O benchmark define métricas específicas para decompor o desempenho:
  • Lacunas de Transferência: $\Delta S$ (transferência estrutural N1→N2), $\Delta V$ (fundamentação de variáveis N2→N3), $\Delta R$ (renderização N3→N4) e $\Delta T$ (lacuna total).
  • Consistência: A porcentagem de problemas resolvidos corretamente em todos os quatro níveis simultaneamente.

2. Diagnósticos em Tempo de Treinamento (Treinamento Cego)

Para investigar se o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) melhora genuinamente a fundamentação visual ou meramente explora atalhos estatísticos, os autores desenvolveram dois corpora de RL de física em grande escala (PhysRL-40K e PhysRL-8K).

• Controle de Treinamento Cego: Uma configuração de controle negativo onde todas as imagens de treinamento são mascaradas (substituídas por imagens pretas), tornando as instâncias de treinamento visualmente insolúveis.
• Comparação: Modelos são treinados via RL padrão (com imagens) e RL Cego (sem imagens) e avaliados em conjuntos de validação não mascarados.
• Análise de Mecanismo: Os autores empregam exclusão de texto, exclusão direcionada de texto, ablação da taxa de máscara de imagem e controles de saturação de formato para isolar as fontes de ganhos de desempenho no treinamento cego.

Resultados Principais

Fragilidade em Tempo de Inferência

A avaliação em 15 Modelos de Linguagem de Grande Escala Multimodal (MLLMs) de pesos fechados e abertos revela fragilidade significativa sob transferência de modalidade:

• Degradação de Desempenho: A precisão média cai de 49,2% (N1) para 35,8% (N4), resultando em uma lacuna total de transferência média de 13,4 pontos percentuais.
• Gargalo de Fundamentação de Variáveis: A maior queda de desempenho ocorre durante Nível 2→Nível 3 ($\Delta V = 7,4$), onde os modelos devem fundamentar variáveis e rótulos a partir da imagem. Isso indica que reconhecer a estrutura do diagrama é menos problemático do que ler e vincular quantidades numéricas específicas a entidades físicas.
• Inconsistência: Mesmo modelos de ponta (por exemplo, GPT-5.4, Claude-4.7-Opus) exibem baixa consistência de quatro vias (por exemplo, 32,6% para GPT-5.4), o que significa que um modelo que resolve um problema baseado em texto frequentemente falha quando o mesmo problema é apresentado visualmente.
• Linha de Base Humana: Estudantes do ensino médio (54,0% N1) mostram maior robustez, com o desempenho na verdade melhorando ligeiramente ao passar de texto para estrutura (N1→N2), enquanto os modelos degradam.

Diagnósticos em Tempo de Treinamento

• Ganhos de Treinamento Cego: Surpreendentemente, o RL Cego (treinamento com imagens mascaradas) melhora a precisão em conjuntos de validação não mascarados. Para o Qwen3-VL-4B, o RL cego aumentou a precisão do Nível 1 de 9,9% para 20,9% e a precisão do Nível 4 de 6,4% para 13,0%.
• Falta de Fechamento de Lacuna: Apesar dos ganhos de precisão, o RL Cego falha em fechar as lacunas de transferência de modalidade. A lacuna total ($\Delta T$) e a lacuna de fundamentação de variáveis ($\Delta V$) permanecem grandes ou até mesmo se ampliam após o treinamento.
• Mecanismo dos Ganhos: A análise de mecanismo revela que os ganhos cegos são impulsionados por pistas textuais residuais (por exemplo, modelos de problemas, opções de resposta, intervalos numéricos) e regularidades estatísticas no nível do conjunto de dados, em vez de evidências visuais válidas.
  • A exclusão de texto dos dados de treinamento elimina os ganhos cegos.
  • Os ganhos cegos persistem mesmo quando as recompensas de formato estão saturadas, descartando a simples conformidade de formato como a única causa.
• Validação Cruzada de Benchmark: Essas descobertas estendem-se a benchmarks externos de matemática e física (por exemplo, MathVerse, PhyX), sugerindo que o RL baseado apenas em resultados frequentemente amplifica atalhos não visuais em vez de fomentar uma verdadeira fundamentação visual.

Significado e Alegações

O artigo argumenta que as avaliações atuais do raciocínio multimodal são insuficientes se dependerem exclusivamente da precisão da resposta final. Os autores afirmam:

1. A Invariância de Representação Está Ausente: MLLMs de ponta ainda não são raciocinadores invariantes à representação; eles são altamente sensíveis à forma como a informação é codificada, sendo a fundamentação de variáveis um modo de falha primário.
2. Limitações do RLVR: O aprendizado por reforço com recompensas baseadas apenas em resultados pode melhorar o desempenho do benchmark sem realmente melhorar a capacidade do modelo de usar evidências visuais. Os "ganhos" observados no RL padrão podem derivar em grande parte do modelo aprender a explorar atalhos textuais e distribucionais em vez de aprender a fundamentar o raciocínio em imagens.
3. Necessidade de Diagnóstico: Pesquisas futuras devem avaliar o raciocínio multimodal através da robustez de transferência de modalidade e diagnósticos de fundamentação em tempo de treinamento (como controles de treinamento cego) para distinguir entre aprendizado visual genuíno e melhorias de desempenho baseadas em atalhos.

O trabalho destaca a necessidade de benchmarks e protocolos de treinamento que testem explicitamente se as melhorias dependem de evidências visuais críticas para a tarefa, em vez de apenas se o modelo pode chegar à resposta correta através de caminhos alternativos não visuais.