Resumo Técnico: Revelando Rastros Visuais de Alta Granularidade: Avaliando Cadeias de Raciocínio Intercaladas Multimodais em Tarefas Multimodais de STEM

Declaração do Problema

Modelos de Linguagem Grandes Multimodais (MLLMs) demonstraram capacidades promissoras de raciocínio, mas seu desempenho em domínios especializados como STEM (Ciência, Tecnologia, Engenharia e Matemática) continua difícil de avaliar rigorosamente. Os benchmarks atuais sofrem de três limitações primárias:

1. Redundância de Modalidade e Atalhos: Muitos conjuntos de dados existentes permitem que os modelos contornem evidências visuais ao depender exclusivamente de descrições textuais, levando a um "colapso de modalidade" onde o ancoramento visual é fraco.
2. Falta de Raciocínio Visual Estruturado: Figuras científicas, diagramas e gráficos são sub-representados nos dados de treinamento, e os modelos lutam para gerar visuais estruturados com símbolos precisos e restrições lógicas.
3. Avaliação Orientada ao Resultado: Os protocolos existentes focam quase exclusivamente na precisão da resposta final. Isso ignora a qualidade, a fidelidade e a coerência dos passos intermediários de raciocínio, tornando difícil distinguir entre raciocínio genuíno cruzado-modal e atalhos superficiais.

Metodologia

Os autores introduzem o STEPSTEM, um benchmark e framework de avaliação projetados para impor complementaridade estrita texto-visão e avaliar o raciocínio no nível do passo.

1. Curadoria de Dados (Benchmark STEPSTEM)

• Escopo: O conjunto de dados compreende 283 problemas de nível de pós-graduação em Engenharia, Física, Química, Matemática, Biologia e outros domínios.
• Imposição de Complementaridade: Os problemas são curados de modo que as soluções não possam ser derivadas apenas do texto ou apenas da visão. Isso inclui problemas "fortemente dependentes" (que exigem raciocínio geométrico/espacial) e problemas "simplificadores de raciocínio" (onde os visuais reduzem a ambiguidade semântica).
• Trajetórias de Múltiplas Soluções: Cada problema é anotado com uma ou mais trajetórias de solução de verdade fundamental. Essas trajetórias são sequências intercaladas de raciocínio textual e evidência visual (imagens/diagramas).
• Anotação Visual: Para passos de raciocínio visual, especialistas anotam evidências locais relevantes usando caixas delimitadoras (BBoxes) para permitir supervisão de alta granularidade para alinhamento de imagem.
• Diversidade de Tarefas: O benchmark inclui 14 tarefas de desenho onde a saída final é uma imagem, estendendo a avaliação de "imagem-texto para texto" para "imagem-texto para imagem".

2. Framework de Avaliação

Os autores propõem um protocolo de avaliação no nível do passo que vai além da precisão da resposta final:

• Pontuação de Alinhamento Local:
  • Passos Textuais: Utiliza similaridade semântica baseada em rollout de atenção (via Qwen3.5-9B) seguida de programação dinâmica monótona para alinhar passos previstos com passos de referência, permitindo passos triviais pulados, mas preservando a ordem temporal.
  • Passos Visuais: Compara características de referência ancoradas em BBox com características de janela deslizante de imagens previstas. Uma penalidade de diversidade é aplicada para impedir que uma única imagem genérica satisfaça múltiplos passos visuais distintos.
• Cobertura Lógica Global: Um juiz baseado em LLM avalia se a trajetória prevista completa cobre todas as proposições textuais críticas e evidências visuais exigidas pela solução de referência, recompensando a implicação semântica em vez de correspondência literal.
• Fusão de Métricas: As pontuações locais e globais são fundidas usando uma Raiz Quadrada Média Ponderada (RMS). Quando múltiplas soluções de referência existem, o framework reporta a pontuação fundida máxima para evitar penalizar caminhos de raciocínio alternativos válidos.
• Avaliação da Resposta Final: Respostas finais textuais e visuais são avaliadas separadamente quanto à correção.

Contribuições Principais

1. Benchmark STEPSTEM: Um conjunto de dados cuidadosamente curado de 283 problemas de STEM de nível de pós-graduação que impõem complementaridade estrita texto-visão para eliminar atalhos unimodais. Inclui trajetórias de múltiplas soluções com passos textuais e visuais intercalados.
2. Framework de Avaliação de Alta Granularidade: Um novo protocolo de avaliação no nível do passo que avalia passos intermediários de raciocínio multimodal (alinhamento local e cobertura global) em vez de apenas resultados finais. Utiliza programação dinâmica e penalidades de diversidade para lidar com raciocínio intercalado imagem-texto.
3. Análise Empírica Abrangente: Uma avaliação de MLLMs representativos (incluindo modelos de geração unificada, intercalada e apenas de compreensão) revelando lacunas significativas nas capacidades atuais. O estudo demonstra que as pontuações no nível do passo correlacionam-se fortemente com a precisão da resposta final, mas fornecem uma visão mais diagnóstica do comportamento do modelo.

Resultados Experimentais

Experimentos foram conduzidos em 269 problemas com resposta textual e 14 problemas com resposta de imagem em várias categorias de modelos:

• Dificuldade Geral: Os MLLMs atuais lutam significativamente com raciocínio multimodal de STEM de nível de pós-graduação. Os modelos apenas de compreensão de melhor desempenho (Gemini 3.1 Pro, Claude Opus 4.6) alcançaram apenas 38,29% de precisão em problemas com resposta textual. O melhor modelo unificado (Gemini 2.5 Flash Image) alcançou 50,80% em problemas com resposta de imagem.
• Limitações de Modalidade:
  • Modelos apenas de compreensão (ex: Claude Opus 4.6) alcançaram altas pontuações em métricas de processo relacionadas ao texto (Local-T, Global-T), mas pontuaram 0% em todas as métricas relacionadas a imagem (Img. Acc., Local-I, Global-I), confirmando que não podem gerar passos intermediários visuais.
  • Modelos unificados (ex: GPT-5.4 + GPT-Image) alcançaram as maiores pontuações de processo fundidas (71,52) e capacidades fortes de geração de imagem, mas ainda exibiram precisão final limitada (33,21% para respostas textuais), sugerindo que podem gerar estruturas visuais plausíveis, mas lutam para integrá-las efetivamente para resolver problemas complexos.
  • Modelos de geração intercalada (ex: Janus-Pro, OmniGen2) mostraram capacidade não trivial de produzir conteúdo visual intermediário, mas falharam em produzir respostas finais baseadas em imagem corretas (0% de precisão).
• Processo vs. Resultado: As pontuações no nível do passo estiveram fortemente associadas à correção da resposta final. Trajetórias que levaram a respostas corretas consistentemente receberam maiores pontuações de processo fundidas. No entanto, a avaliação no nível do passo revelou que alguns modelos podiam chegar a respostas corretas com trajetórias de raciocínio pobres, enquanto outros seguiam caminhos coerentes, mas falhavam no passo final.
• Utilidade de Múltiplas Referências: O uso de múltiplas soluções de verdade fundamental mostrou-se essencial. A avaliação de referência única poderia penalizar injustamente caminhos de raciocínio válidos, mas estruturalmente diferentes. A abordagem de múltiplas referências melhorou a estabilidade e a justiça da avaliação.

Significado e Alegações

O artigo alega que o STEPSTEM se posiciona como um benchmark para a avaliação de alta granularidade do raciocínio multimodal. Seu significado reside em:

• Expor Lacunas de Modalidade: Destaca que até mesmo os modelos mais avançados dependem fortemente de raciocínio textual e carecem de capacidades genuínas de raciocínio cruzado-modal em STEM.
• Mudar o Paradigma de Avaliação: Argumenta que a precisão da resposta final é insuficiente para tarefas multimodais complexas. O framework proposto no nível do passo fornece um sinal diagnóstico mais informativo, distinguindo entre modelos que ocasionalmente acertam por acaso e aqueles que seguem um processo de raciocínio plausível e fundamentado.
• Direção de Pesquisa Futura: Os autores postulam que o STEPSTEM apoiará pesquisas futuras em supervisão de processo multimodal, construção de dados orientada ao raciocínio e o desenvolvimento de sistemas de raciocínio cruzado-modal mais fiéis.

O artigo conclui que, embora os modelos atuais mostrem promessa, há "margem substancial" para melhoria no raciocínio cruzado-modal genuíno em STEM, e que avaliar o próprio processo de raciocínio é crítico para avançar o campo.