MaterialFigBENCH: benchmark dataset with figures for evaluating college-level materials science problem-solving abilities of multimodal large language models

Le papier présente MaterialFigBench, un nouveau jeu de données de référence composé de problèmes de science des matériaux au niveau universitaire nécessitant l'interprétation de figures, conçu pour évaluer et révéler les limites actuelles des grands modèles de langage multimodaux en matière de raisonnement visuel et d'interprétation quantitative précise.

L'essentiel

Imaginez que vous êtes un professeur de sciences des matériaux (la science des choses solides comme le métal, le verre ou les plastiques) et que vous avez un nouvel élève très intelligent : un Grand Modèle de Langage (LLM). C'est un robot qui a lu presque tout ce qui existe sur Internet. Il est brillant pour répondre à des questions textuelles, comme un champion de quiz.

Mais ce professeur a un doute : "Ce robot est-il vraiment intelligent, ou est-ce juste un perroquet qui répète ce qu'il a lu ?"

Pour le savoir, il a créé un examen spécial appelé MaterialFigBENCH. Voici comment ça marche, en utilisant des analogies simples.

1. Le Problème : Le Robot qui triche avec ses souvenirs

Jusqu'à présent, on testait ces robots avec des questions écrites. Mais en science des matériaux, la vérité est souvent dans les images : des courbes de résistance, des diagrammes de phases (des cartes qui disent quand un métal fond ou se solidifie) ou des microscopes.

Le problème, c'est que ces robots sont si bien entraînés qu'ils connaissent par cœur les réponses classiques.

• L'analogie : Imaginez que vous demandez à un élève : "Quelle est la température de fusion de l'eau ?". Il répond "100°C" sans même regarder le thermomètre que vous lui montrez. Il a mémorisé la réponse, il n'a pas lu l'image.
• Le test : Les chercheurs ont créé un examen où les réponses ne peuvent pas être devinées par la mémoire. Ils ont pris des manuels scolaires, mais ils ont modifié les images (comme changer les noms des métaux ou décaler légèrement les lignes sur un graphique). C'est comme si on donnait à l'élève une carte au trésor où "X" marque le trésor, mais en remplaçant "X" par un symbole bizarre qu'il ne connaît pas. S'il veut trouver le trésor, il doit lire la carte, pas se souvenir de l'endroit où il l'a déjà vu.

2. L'Examen : 137 défis visuels

Les chercheurs ont créé 137 problèmes basés sur des manuels universitaires.

• Le défi : L'élève (le robot) doit regarder l'image, lire les chiffres, faire des calculs et donner la réponse exacte.
• La difficulté : Parfois, lire un chiffre sur un graphique n'est pas précis à 100 % (comme lire une température sur un vieux thermomètre). Donc, les chercheurs ont défini des plages de réponses acceptables. Si le robot dit "entre 15 et 17", c'est bon. S'il dit "14", c'est raté.

3. Les Résultats : Le robot est fort, mais il a des lacunes

Les chercheurs ont testé plusieurs versions de robots (les modèles GPT de OpenAI, comme ChatGPT). Voici ce qu'ils ont découvert :

• Le "Tricheur" de génie : Pour les questions sur les diagrammes classiques (comme le fer-carbone, très connu), les robots donnaient souvent la bonne réponse... sans même regarder l'image ! Ils utilisaient leurs souvenirs. C'est comme si l'élève répondait "100°C" même si vous lui montrez un thermomètre cassé indiquant 50°C. Il a ignoré la réalité pour s'en tenir à ce qu'il sait par cœur.
• Les points faibles :
  • La géométrie : Les robots sont mauvais pour mesurer des distances sur un dessin ou lire des angles précis. C'est comme si on leur demandait de mesurer la taille d'un arbre avec une règle imaginaire, et ils se trompaient souvent.
  • Les chiffres précis : C'est un gros problème. Si le calcul donne 57,915 Newtons, certains robots arrondissent à 58 000 ou 5,8 x 10⁴. En science, les chiffres significatifs comptent ! C'est comme si un architecte disait "le pont fait environ 100 mètres" alors qu'il doit faire exactement 98,4 mètres pour tenir.
  • L'évolution : Les nouveaux robots (les versions plus récentes) sont un peu meilleurs, mais ils ne sont pas encore des experts en "lecture d'images". Ils sont encore souvent bloqués par des graphiques complexes.

4. La Conclusion : Pourquoi c'est important ?

Cet article nous dit une chose importante : Avoir la bonne réponse ne veut pas dire que le robot a compris l'image.

• L'analogie finale : Imaginez un détective. S'il résout un crime en se souvenant d'un film qu'il a vu, ce n'est pas un bon détective. Il doit regarder les preuves sur place.
• L'avenir : Pour que les robots soient vraiment utiles en science (pour inventer de nouveaux médicaments ou de nouveaux matériaux), ils doivent apprendre à regarder les images, à mesurer, à calculer et à ne pas se fier à leurs souvenirs.

MaterialFigBENCH est donc comme un "test de réalité" pour ces robots. Il nous montre qu'ils sont encore des débutants en lecture d'images scientifiques, et qu'il faut les entraîner spécifiquement pour qu'ils deviennent de vrais scientifiques visuels, et non de simples mémoriseurs de texte.

Résumé technique

1. Problématique

L'essor des modèles de langage larges (LLM) génératifs a conduit à une exploration croissante de leur application en science des matériaux. Cependant, la majorité des benchmarks existants se concentrent sur des données textuelles ou traitent les structures moléculaires et cristallines comme des données textuelles structurées (ex: SMILES, CIF) plutôt que comme des images visuelles.

Le domaine de la science des matériaux est intrinsèquement multimodal. De nombreuses tâches critiques, telles que l'interprétation de diagrammes de phase, de courbes contrainte-déformation, de graphes d'Arrhenius ou de schémas microstructuraux, nécessitent une compréhension visuelle précise pour être résolues. Les benchmarks actuels ne parviennent pas à évaluer correctement la capacité des modèles multimodaux (MLLM) à :

1. Lire et interpréter des figures scientifiques complexes.
2. Extraire des valeurs numériques précises à partir d'images.
3. Éviter les raccourcis cognitifs où le modèle répond correctement en se basant sur des connaissances mémorisées plutôt que sur l'image fournie.

Il existe donc un besoin urgent d'un benchmark spécifique, de niveau universitaire, conçu pour tester la véritable capacité de raisonnement visuel des LLM dans ce domaine.

2. Méthodologie

Les auteurs ont développé MaterialFigBench, un jeu de données de référence composé de 137 problèmes à réponse libre issus de manuels universitaires standard en science des matériaux.

A. Sélection et Modification des Données

• Source : Les problèmes proviennent de manuels de référence couvrant des sujets variés (structures cristallines, propriétés mécaniques, diffusion, diagrammes de phase, etc.).
• Critère de sélection : Seuls les problèmes pour lesquels la figure est indispensable à la résolution ont été retenus. Les problèmes solvables uniquement par le texte ont été exclus.
• Anonymisation et Modification : Pour empêcher les modèles de répondre par simple mémorisation de connaissances pré-entraînées :
  • Les noms de matériaux réels (ex: Cuivre-Argent) ont été remplacés par des symboles hypothétiques (ex: MA-MB).
  • Les figures ont été redessinées par un expert : les pentes, les intersections et les échelles ont été modifiées tout en conservant le sens physique. Les noms de fichiers ont également été changés.
  • Les textes des problèmes ont été réécrits pour correspondre aux nouvelles figures et inclure des clarifications (unités, consignes explicites).

B. Définition des Réponses et des Intervalles de Tolérance

• Réponses textuelles : Jugées exactes (ex: noms de phases).
• Réponses numériques :
  • Pour les valeurs calculées à partir de données textuelles explicites dans l'image : réponse exacte requise.
  • Pour les valeurs lues directement sur les graphiques (où l'incertitude de lecture humaine est inévitable) : des intervalles de réponse définis par des experts ont été établis. Par exemple, pour un diagramme de phase, une composition peut être acceptée dans une plage de 15-17 % en poids plutôt qu'une valeur unique.
• Critères de validation : Un modèle est considéré comme correct si sa réponse tombe dans l'intervalle défini. La gestion des chiffres significatifs est également un critère strict de validation.

C. Évaluation des Modèles

Le benchmark a été soumis à plusieurs états de l'art des modèles multimodaux (via l'API OpenAI et l'interface ChatGPT) :

• Modèles testés : GPT-4o, GPT-o1, GPT-5 (et variantes ChatGPT-5, o3-mini, etc.).
• Protocole : Pour chaque problème, les figures et le texte ont été fournis. Pour les modèles API, plusieurs tentatives (jusqu'à 10) ont été effectuées par problème pour évaluer la robustesse.

3. Résultats Clés

A. Performance Globale

• Les modèles montrent une amélioration progressive avec les versions (GPT-4o < GPT-o1 < GPT-5), mais les performances globales restent modestes (précision maximale autour de 55-58 % pour les meilleurs modèles).
• Les modèles API (GPT-5) ont parfois surperformé les versions ChatGPT correspondantes, mais des écarts significatifs subsistent.

B. Dépendance aux Connaissances Mémorisées (Le "Shortcut")

• Phénomène majeur : Les modèles réussissent souvent des problèmes sans même regarder les figures, en se basant sur des connaissances pré-entraînées.
  • Exemple : Pour les problèmes impliquant le diagramme de phase Fer-Carbone (Fe-C), même si le carbone est remplacé par un élément hypothétique "X", les modèles infèrent souvent qu'il s'agit de carbone et utilisent les limites de solubilité mémorisées (0,022 et 0,76) pour donner la bonne réponse.
  • Vérification : Lorsque les figures ont été retirées, les modèles ont souvent fourni des réponses correctes en "devinant" les valeurs standards, prouvant qu'ils ne faisaient pas de raisonnement visuel.

C. Difficultés Spécifiques

• Interprétation Géométrique : Les tâches nécessitant une lecture précise de distances, d'angles ou d'indices de directions cristallines (ex: indices de Miller) échouent massivement.
• Gestion des Chiffres Significatifs : C'est une faiblesse critique. Les modèles plus avancés (comme GPT-o1 et GPT-5) ont tendance à arrondir excessivement les résultats (2 chiffres significatifs) alors que les figures permettent une précision supérieure (3 chiffres), conduisant à des réponses jugées incorrectes malgré la justesse du calcul.
• Variabilité par Catégorie :
  • Succès relatifs : Les graphes d'Arrhenius (relation logarithmique) montrent une amélioration avec les nouvelles versions.
  • Échecs persistants : Les diagrammes de phase complexes (autres que Cu-Ag ou Fe-C mémorisés) et les courbes contrainte-déformation restent très difficiles.

D. Distribution des Erreurs

La distribution des taux de réussite par problème est en forme de U : soit le modèle résout parfaitement un problème (souvent par mémorisation), soit il échoue complètement. Il y a peu de cas de "presque juste", ce qui suggère que la réussite dépend de la nature du problème (mémorisable vs visuel) plutôt que d'une capacité de raisonnement visuelle généralisée.

4. Contributions Principales

1. Création de MaterialFigBench : Un jeu de données unique de 137 problèmes multimodaux de niveau universitaire, spécifiquement conçu pour la science des matériaux, avec des figures modifiées pour éviter la mémorisation.
2. Méthodologie de Validation Rigoureuse : Introduction d'intervalles de réponse définis par des experts pour gérer l'incertitude de lecture d'images et une évaluation stricte des chiffres significatifs.
3. Diagnostic des Limites des LLM : Démonstration que les modèles actuels, même les plus avancés, ne possèdent pas encore une compréhension visuelle robuste. Ils privilégient souvent le rappel de connaissances textuelles au détriment de l'analyse visuelle.
4. Analyse des Échecs Spécifiques : Identification de la gestion des chiffres significatifs et de l'interprétation géométrique fine comme des goulets d'étranglement majeurs pour les applications scientifiques.

5. Signification et Implications

• Pour le Développement des LLM : Les résultats indiquent que le simple passage à l'échelle (scaling) des modèles ne suffit pas à améliorer la compréhension visuelle scientifique. Des entraînements ciblés sur des abstractions visuelles scientifiques (limites de phases, pentes logarithmiques) et des mécanismes forçant l'ancrage des réponses dans l'image sont nécessaires.
• Pour la Conception de Benchmarks : Il est crucial de créer des benchmarks qui neutralisent les connaissances pré-entraînées (via des modifications de figures) pour évaluer le véritable raisonnement multimodal. Les benchmarks génériques (comme MMMU) ne suffisent pas pour des domaines scientifiques exigeant une précision quantitative.
• Pour la Science des Matériaux : MaterialFigBench fournit une base pour suivre les progrès futurs. Tant que les modèles ne pourront pas raisonner de manière fiable à partir de figures scientifiques sans "tricher" via la mémorisation, leur déploiement dans la recherche et l'éducation en science des matériaux restera limité et potentiellement risqué.

En conclusion, MaterialFigBench révèle que les LLM multimodaux actuels sont encore loin d'une compréhension visuelle robuste en science des matériaux, soulignant la nécessité d'une évolution fondamentale dans leur capacité à interpréter et à raisonner à partir de données visuelles quantitatives.