OmniMatBench: A Human-Calibrated Multimodal Reasoning Benchmark Across 19 Materials Science Subfields

Resumen Técnico de OmniMatBench

Planteamiento del Problema
Aunque se espera cada vez más que los Modelos de Lenguaje Multimodales (MLLM) asistan en la investigación científica, su fiabilidad en el razonamiento específico de dominio sigue siendo incierta. La ciencia de materiales presenta un campo de pruebas particularmente desafiante debido a su naturaleza interdisciplinaria, su dependencia de datos multimodales (texto, imágenes, gráficos, fórmulas) y su fuerte enfoque en aplicaciones de ingeniería. Las evaluaciones existentes en este dominio se centran en gran medida en la predicción de propiedades, preguntas y respuestas basadas en conocimientos, reconocimiento visual o precisión de la respuesta final. Sin embargo, estos protocolos a menudo no logran evaluar sistemáticamente todo el proceso de razonamiento necesario para pasar del conocimiento de los materiales a su aplicación, incluyendo la interpretación de estructura-propiedad, la comprensión de los procesos, la lógica de fabricación y la toma de decisiones. Existe una brecha significativa en la evaluación de cómo los modelos manejan la selección de fórmulas, el cálculo consciente de las unidades y la ejecución estructurada en diversos subcampos de los materiales.

Metodología
Para abordar estas limitaciones, los autores presentan OmniMatBench, una evaluación de razonamiento multimodal calibrada por humanos. La construcción del conjunto de datos involucró una tubería de múltiples etapas con la colaboración de especialistas en ciencia de materiales:

• Recopilación de Datos: Se extrajeron y adaptaron 3.171 preguntas curadas por expertos a partir de recursos de conocimiento de materiales clásicos y contemporáneos.
• Taxonomía: La evaluación abarca 19 subcampos distintos de la ciencia de materiales, organizados en cuatro dominios generales: Ciencia Fundamental de Materiales, Materiales Estructurales y de Ingeniería, Procesamiento y Fabricación de Materiales, y Materiales Funcionales y Aplicados. Esta estructura refleja una perspectiva de Conocimiento-Estructura-Procesamiento-Aplicación (KSPA), incluyendo campos subrepresentados pero críticos como la gemología, los materiales en polvo y la tecnología de soldadura.
• Tipos de Tareas: La evaluación consta de dos tipos de tareas principales:
  1. Preguntas y Respuestas Abiertas: Anotadas con puntos clave curados por expertos que cubren conceptos, elementos de razonamiento y criterios de puntuación.
  2. Cálculo (CAL): Problemas estructurados que requieren espacios de respuesta específicos, trazas de fórmulas, requisitos de unidades, restricciones de precisión numérica y esquemas de salida.
• Protocolo de Evaluación: La evaluación va más allá de la simple coincidencia de respuestas. Las respuestas de preguntas y respuestas se puntúan utilizando Precisión, Recall y F1 basados en la cobertura de puntos clave. Las respuestas de cálculo se evalúan utilizando una precisión estricta de espacio exacto, analizando las respuestas en componentes estructurados (números, fórmulas, unidades).
• Evaluación de Modelos: Los autores evaluaron 13 MLLM de vanguardia (8 de código cerrado y 5 de código abierto), incluidos modelos como Claude Opus 4.7, GPT-5.5 y Gemini 3.1 Pro, bajo configuraciones de cero disparos, asistidos por fórmulas, asistidos por recuperación y ejecución de código.

Contribuciones Clave

1. Conjunto de Datos OmniMatBench: Una evaluación integral que contiene 3.171 problemas verificados por expertos en 19 subcampos y 4 dominios, cubriendo tanto temas fundamentales como orientados a la ingeniería.
2. Diseño de Evaluación de Alta Granularidad: Un protocolo que combina la puntuación de preguntas y respuestas basada en rúbricas con una evaluación de cálculo estricta basada en espacios. Este diseño permite detectar fallos en la identificación de conceptos, la selección de fórmulas, la fundamentación multimodal, el cálculo consciente de las unidades y el formato de respuestas.
3. Análisis Sistemático de las Capacidades de los MLLM: Una evaluación a gran escala de 13 modelos que revela modos de fallo específicos, incluidos heurísticos de razonamiento fijos, conocimiento desigual entre subcampos y limitaciones en la aplicación de conocimientos a la ejecución, incluso con herramientas externas.

Resultados
La evaluación revela una brecha sustancial entre los MLLM actuales y el razonamiento fiable en ciencia de materiales:

• Rendimiento General: El modelo de mejor rendimiento, Claude Opus 4.7, logró una puntuación general de solo 0.372 (un promedio ponderado del Macro-F1 de preguntas y respuestas y la precisión de espacios de cálculo). GPT-5.5 obtuvo 0.324, y la mayoría de los demás modelos obtuvieron puntuaciones inferiores a 0.30.
• Variación por Subcampo: El rendimiento varía significativamente entre los 19 subcampos. Los modelos se desempeñan relativamente mejor en temas fundamentales (por ejemplo, materiales metálicos, química de materiales), pero tienen dificultades con escenarios de ingeniería especializados (por ejemplo, ingeniería metalúrgica, nanomateriales, moldeo de compuestos) que requieren conocimiento procedimental y juicio orientado a la aplicación.
• Preguntas y Respuestas vs. Cálculo: Aunque los modelos a menudo logran un Recall más alto que la Precisión en preguntas y respuestas abiertas (generando contenido amplio pero a veces sin respaldo), enfrentan un cuello de botella mucho más fuerte en las tareas de cálculo. La mejor precisión de espacios de cálculo fue solo del 30.10%, con la mayoría de los modelos por debajo del 25%, lo que indica una brecha significativa entre la fluidez científica y la ejecución científica fiable.
• Asistencia de Herramientas: Proporcionar asistencia de fórmulas (Contexto Oracle) mejoró el rendimiento, pero no lo saturó, lo que sugiere que el cuello de botella reside en aplicar el plan de solución correcto en lugar de simplemente acceder a las fórmulas. La ejecución de código no mejoró consistentemente el rendimiento; en algunos casos, degradó los resultados porque los modelos no lograron traducir el contexto de los materiales al procedimiento computacional correcto.

Significado
El artículo afirma que OmniMatBench proporciona información crucial sobre las capacidades y limitaciones de los MLLM actuales en la ciencia de materiales. Al destacar la brecha de "conocimiento a ejecución", la evaluación establece una base para desarrollar asistentes de IA más fiables para la investigación en ciencia de materiales. Los autores enfatizan que los modelos actuales, aunque capaces de generar explicaciones plausibles, carecen aún de la precisión requerida para escenarios de ingeniería especializados, mecanismos específicos de procesos y cálculo científico estructurado. La evaluación sirve como un campo de pruebas riguroso para impulsar mejoras futuras en el razonamiento científico, avanzando más allá del simple recuerdo de conocimientos hacia la resolución de problemas complejos, multimodales y orientados a la aplicación.