OmniMatBench: A Human-Calibrated Multimodal Reasoning Benchmark Across 19 Materials Science Subfields

Resumo Técnico do OmniMatBench

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) sejam cada vez mais esperados para auxiliar na pesquisa científica, sua confiabilidade no raciocínio específico de domínio permanece incerta. A ciência dos materiais apresenta um campo de testes particularmente desafiador devido à sua natureza interdisciplinar, dependência de dados multimodais (texto, imagens, gráficos, fórmulas) e forte foco em aplicações de engenharia. Os benchmarks existentes neste domínio concentram-se amplamente na previsão de propriedades, perguntas e respostas baseadas em conhecimento, reconhecimento visual ou precisão da resposta final. No entanto, esses protocolos frequentemente falham em avaliar sistematicamente todo o processo de raciocínio necessário para avançar do conhecimento sobre materiais até a aplicação, incluindo interpretação estrutura–propriedade, compreensão de processamento, lógica de fabricação e tomada de decisão. Existe uma lacuna significativa na avaliação de como os modelos lidam com a seleção de fórmulas, computação consciente de unidades e execução estruturada em diversos subcampos de materiais.

Metodologia
Para abordar essas limitações, os autores introduzem o OmniMatBench, um benchmark de raciocínio multimodal calibrado por humanos. A construção do conjunto de dados envolveu um pipeline multietapa com colaboração de especialistas em ciência dos materiais:

• Coleta de Dados: 3.171 questões curadas por especialistas foram extraídas e adaptadas de recursos de conhecimento de materiais clássicos e contemporâneos.
• Taxonomia: O benchmark abrange 19 subcampos distintos de ciência dos materiais, organizados em quatro domínios abrangentes: Ciência Fundamental de Materiais, Materiais Estruturais e de Engenharia, Processamento e Fabricação de Materiais e Materiais Funcionais e Aplicados. Essa estrutura reflete uma perspectiva Conhecimento–Estrutura–Processamento–Aplicação (KSPA), incluindo campos sub-representados, mas críticos, como gemologia, materiais em pó e tecnologia de soldagem.
• Tipos de Tarefa: O benchmark consiste em dois tipos principais de tarefa:
  1. Perguntas e Respostas Abertas: Anotadas com pontos-chave curados por especialistas cobrindo conceitos, elementos de raciocínio e critérios de pontuação.
  2. Cálculo (CAL): Problemas estruturados que exigem slots de resposta específicos, rastreamento de fórmulas, requisitos de unidades, restrições de precisão numérica e esquemas de saída.
• Protocolo de Avaliação: A avaliação vai além do simples casamento de respostas. As respostas de QA são pontuadas usando Precisão, Revocação e F1 com base na cobertura de pontos-chave. As respostas de CAL são avaliadas usando precisão exata de slot estrita, analisando as respostas em componentes estruturados (números, fórmulas, unidades).
• Avaliação de Modelos: Os autores avaliaram 13 MLLMs de ponta (8 de código fechado e 5 de código aberto), incluindo modelos como Claude Opus 4.7, GPT-5.5 e Gemini 3.1 Pro, sob configurações de zero-shot, assistida por fórmula, assistida por recuperação e execução de código.

Principais Contribuições

1. Conjunto de Dados OmniMatBench: Um benchmark abrangente contendo 3.171 problemas verificados por especialistas em 19 subcampos e 4 domínios, cobrindo tanto tópicos fundamentais quanto orientados à engenharia.
2. Design de Avaliação de Alta Granularidade: Um protocolo que combina pontuação de QA baseada em rubrica com avaliação CAL baseada em slots estritos. Este design permite a detecção de falhas na identificação de conceitos, seleção de fórmulas, fundamentação multimodal, computação consciente de unidades e formatação de respostas.
3. Análise Sistemática das Capacidades dos MLLMs: Uma avaliação em grande escala de 13 modelos que revela modos de falha específicos, incluindo heurísticas de raciocínio fixas, conhecimento desigual entre subcampos e limitações na aplicação de conhecimento à execução, mesmo com ferramentas externas.

Resultados
A avaliação revela uma lacuna substancial entre os MLLMs atuais e o raciocínio confiável em ciência dos materiais:

• Desempenho Geral: O modelo de melhor desempenho, Claude Opus 4.7, alcançou uma pontuação geral de apenas 0,372 (uma média ponderada de Macro-F1 de QA e precisão de slot de CAL). O GPT-5.5 obteve 0,324, e a maioria dos outros modelos obteve pontuação abaixo de 0,30.
• Variação por Subcampo: O desempenho varia significativamente entre os 19 subcampos. Os modelos performam relativamente melhor em tópicos fundamentais (por exemplo, materiais metálicos, química de materiais), mas lutam com cenários de engenharia especializados (por exemplo, engenharia metalúrgica, nanomateriais, moldagem de compósitos) que exigem conhecimento procedural e julgamento orientado à aplicação.
• QA vs. CAL: Embora os modelos frequentemente alcancem maior Revocação do que Precisão em perguntas e respostas abertas (gerando conteúdo amplo, mas por vezes não fundamentado), eles enfrentam um gargalo muito mais forte em tarefas de CAL. A melhor precisão de slot de CAL foi de apenas 30,10%, com a maioria dos modelos ficando abaixo de 25%, indicando uma lacuna significativa entre fluência científica e execução científica confiável.
• Assistência por Ferramentas: Fornecer assistência por fórmula (Contexto Oracle) melhorou o desempenho, mas não o saturou, sugerindo que o gargalo reside na aplicação do plano de solução correto, e não apenas no acesso às fórmulas. A execução de código não melhorou consistentemente o desempenho; em alguns casos, degradou os resultados porque os modelos falharam em traduzir o contexto de materiais para o procedimento computacional correto.

Significado
O artigo afirma que o OmniMatBench fornece insights cruciais sobre as capacidades e limitações dos MLLMs atuais na ciência dos materiais. Ao destacar a lacuna "do conhecimento à execução", o benchmark estabelece uma base para o desenvolvimento de assistentes de IA mais confiáveis para pesquisa em ciência dos materiais. Os autores enfatizam que os modelos atuais, embora capazes de gerar explicações plausíveis, ainda carecem da precisão necessária para cenários de engenharia especializados, mecanismos específicos de processo e computação científica estruturada. O benchmark serve como um campo de testes rigoroso para impulsionar melhorias futuras no raciocínio científico, indo além da simples recordação de conhecimento para a resolução de problemas complexa, multimodal e orientada à aplicação.