OmniMatBench: A Human-Calibrated Multimodal Reasoning Benchmark Across 19 Materials Science Subfields

Résumé technique d'OmniMatBench

Énoncé du problème
Bien que les grands modèles de langage multimodaux (MLLM) soient de plus en plus attendus pour assister la recherche scientifique, leur fiabilité dans le raisonnement spécifique à un domaine reste incertaine. La science des matériaux constitue un terrain d'essai particulièrement exigeant en raison de son caractère interdisciplinaire, de sa dépendance aux données multimodales (texte, images, graphiques, formules) et de son fort ancrage dans les applications d'ingénierie. Les benchmarks existants dans ce domaine se concentrent largement sur la prédiction de propriétés, les questions-réponses basées sur les connaissances, la reconnaissance visuelle ou la justesse de la réponse finale. Cependant, ces protocoles échouent souvent à évaluer systématiquement l'ensemble du processus de raisonnement nécessaire pour passer des connaissances sur les matériaux à leur application, incluant l'interprétation structure-propriété, la compréhension des procédés, la logique de fabrication et la prise de décision. Il existe un écart significatif dans l'évaluation de la manière dont les modèles gèrent la sélection de formules, le calcul conscient des unités et l'exécution structurée à travers divers sous-domaines des matériaux.

Méthodologie
Pour pallier ces limites, les auteurs présentent OmniMatBench, un benchmark de raisonnement multimodal calibré par des humains. La construction du jeu de données a impliqué un pipeline multi-étapes avec la collaboration de spécialistes en science des matériaux :

• Collecte de données : 3 171 questions élaborées par des experts ont été extraites et adaptées à partir de ressources de connaissances classiques et contemporaines en science des matériaux.
• Taxonomie : Le benchmark couvre 19 sous-domaines distincts de la science des matériaux, organisés en quatre domaines principaux : Sciences fondamentales des matériaux, Matériaux structurels et d'ingénierie, Traitement et fabrication des matériaux, et Matériaux fonctionnels et appliqués. Cette structure reflète une perspective Connaissance–Structure–Procédé–Application (KSPA), incluant des domaines sous-représentés mais critiques tels que la gemmologie, les matériaux en poudre et la technologie du soudage.
• Types de tâches : Le benchmark se compose de deux types de tâches principaux :
  1. Questions-réponses ouvertes : Annotées avec des points clés élaborés par des experts couvrant les concepts, les éléments de raisonnement et les critères de notation.
  2. Calcul (CAL) : Problèmes structurés exigeant des emplacements de réponse spécifiques, des traces de formules, des exigences d'unités, des contraintes de précision numérique et des schémas de sortie.
• Protocole d'évaluation : L'évaluation va au-delà de la simple correspondance de réponses. Les réponses aux questions-réponses sont notées en utilisant la Précision, le Rappel et le F1 basés sur la couverture des points clés. Les réponses de calcul sont évaluées à l'aide d'une exactitude stricte des emplacements, en analysant les réponses en composants structurés (nombres, formules, unités).
• Évaluation des modèles : Les auteurs ont évalué 13 MLLM de pointe (8 sources fermées et 5 sources ouvertes), incluant des modèles tels que Claude Opus 4.7, GPT-5.5 et Gemini 3.1 Pro, dans des configurations sans exemple (zero-shot), assistées par des formules, assistées par la recherche et d'exécution de code.

Contributions clés

1. Jeu de données OmniMatBench : Un benchmark complet contenant 3 171 problèmes vérifiés par des experts répartis sur 19 sous-domaines et 4 domaines, couvrant à la fois des sujets fondamentaux et orientés ingénierie.
2. Conception d'évaluation fine : Un protocole combinant une notation des questions-réponses basée sur une grille avec une évaluation stricte des emplacements pour le calcul. Cette conception permet de détecter les échecs dans l'identification des concepts, la sélection de formules, l'ancrage multimodal, le calcul conscient des unités et le formatage des réponses.
3. Analyse systématique des capacités des MLLM : Une évaluation à grande échelle de 13 modèles révélant des modes d'échec spécifiques, notamment des heuristiques de raisonnement fixes, des connaissances inégales à travers les sous-domaines et des limites dans l'application des connaissances à l'exécution, même avec des outils externes.

Résultats
L'évaluation révèle un écart substantiel entre les MLLM actuels et un raisonnement fiable en science des matériaux :

• Performance globale : Le modèle le plus performant, Claude Opus 4.7, a obtenu un score global de seulement 0,372 (une moyenne pondérée du Macro-F1 des questions-réponses et de l'exactitude des emplacements de calcul). GPT-5.5 a obtenu 0,324, et la plupart des autres modèles ont obtenu moins de 0,30.
• Variation par sous-domaine : La performance varie considérablement à travers les 19 sous-domaines. Les modèles se comportent relativement mieux sur les sujets fondamentaux (par exemple, matériaux métalliques, chimie des matériaux) mais peinent face à des scénarios d'ingénierie spécialisés (par exemple, ingénierie métallurgique, nanomatériaux, moulage de composites) qui nécessitent des connaissances procédurales et un jugement orienté vers l'application.
• Questions-réponses vs Calcul : Bien que les modèles obtiennent souvent un Rappel plus élevé que la Précision dans les questions-réponses ouvertes (générant un contenu large mais parfois non étayé), ils font face à un goulot d'étranglement beaucoup plus fort dans les tâches de calcul. La meilleure exactitude des emplacements de calcul était de seulement 30,10 %, la plupart des modèles étant en dessous de 25 %, indiquant un écart significatif entre la fluidité scientifique et l'exécution scientifique fiable.
• Assistance par les outils : La fourniture d'une assistance par formules (Contexte Oracle) a amélioré la performance mais ne l'a pas saturée, suggérant que le goulot d'étranglement réside dans l'application du plan de solution correct plutôt que simplement dans l'accès aux formules. L'exécution de code n'a pas amélioré la performance de manière constante ; dans certains cas, elle a dégradé les résultats car les modèles ont échoué à traduire le contexte des matériaux dans la procédure de calcul correcte.

Signification
L'article affirme qu'OmniMatBench fournit des informations cruciales sur les capacités et les limites des MLLM actuels en science des matériaux. En mettant en évidence l'écart « connaissance-exécution », le benchmark établit une fondation pour développer des assistants IA plus fiables pour la recherche en science des matériaux. Les auteurs soulignent que les modèles actuels, bien que capables de générer des explications plausibles, manquent toujours de la précision requise pour les scénarios d'ingénierie spécialisés, les mécanismes spécifiques aux procédés et le calcul scientifique structuré. Le benchmark sert de terrain d'essai rigoureux pour stimuler les améliorations futures du raisonnement scientifique, allant au-delà du simple rappel de connaissances vers la résolution de problèmes complexes, multimodaux et orientés application.