Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams
Cet article introduit Diagram-MMU, un benchmark multimodal comprenant 3,7k diagrammes scientifiques et 18,3k questions validées pour évaluer les MLLM sur l'analyse de diagramme en code, l'édition et la réponse à des questions, révélant que si les modèles excellent dans le raisonnement, ils peinent dans les tâches de génération de code à moins d'opérer dans des contextes agentiques.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un scientifique écrivant un article sur une nouvelle découverte. Vous avez un magnifique graphique illustrant vos données, un schéma de circuit de votre expérience ou la structure moléculaire d'un nouveau médicament. Autrefois, vous l'auriez dessiné à la main ou utilisé un programme informatique pour créer un fichier image (comme un PNG ou un JPG) et l'insérer dans votre document. Mais aujourd'hui, les scientifiques utilisent souvent un langage spécial appelé LaTeX pour rédiger leurs articles car le rendu est très professionnel et gère parfaitement les mathématiques. À l'intérieur de LaTeX, il existe un outil surpuissant appelé TikZ. Considérez TikZ comme un ensemble d'instructions très précises destinées à un artiste robotique. Au lieu de donner au robot une image finie, vous lui donnez une liste de commandes comme « dessine un cercle rouge ici », « connecte cette ligne à celle-là » et « écris le chiffre 5 ici ». Si le robot suit les instructions parfaitement, il dessine le diagramme exact dont vous avez besoin, et celui-ci s'intègre parfaitement dans votre article.
Maintenant, imaginez que vous possédez un cerveau informatique super intelligent appelé Modèle de Langage Multimodal (MLLM). Vous pourriez vous dire : « Si ce cerveau peut lire une image et comprendre ce qu'elle signifie, peut-il simplement regarder mon diagramme et écrire les instructions TikZ pour moi ? » C'est la grande question que cet article aborde. Les scientifiques veulent que ces cerveaux d'IA puissent regarder un diagramme, comprendre la science qui se cache derrière, puis écrire le code pour le recréer ou même le modifier (comme transformer un diagramme en barres en un graphique linéaire) par simple écoute d'une requête simple. Cela fait partie d'une nouvelle tendance appelée « vibe writing » (écriture par l'ambiance), où vous décrivez simplement ce que vous voulez, et l'IA fait tout le travail difficile. Mais l'IA possède-t-elle réellement ces compétences, ou fait-elle simplement semblant de comprendre ?
Les chercheurs derrière Diagram-MMU ont décidé de construire un test géant et rigoureux pour le découvrir. Ils ont créé un benchmark (un test standardisé) comprenant 3 744 diagrammes scientifiques uniques et 18 305 questions et tâches différentes. Ces diagrammes couvrent six mondes scientifiques différents : les graphiques (comme les courbes), la géométrie plane, les formes 3D, les graphes de réseaux, les molécules de chimie et les circuits électriques. Ils n'ont pas seulement demandé à l'IA de regarder l'image ; ils l'ont testée sur trois défis spécifiques :
- Le Parsing (Analyse syntaxique) : Regarder un diagramme et écrire le code pour le dessiner de zéro.
- L'Édition : Regarder un diagramme et le code, puis modifier le code pour correspondre à une nouvelle instruction (comme « rendre la résistance bleue » ou « transformer ce circuit en parallèle en un circuit en série »).
- Le Questionnement (Réponse aux questions) : Regarder le diagramme et répondre à une question sur la science qu'il contient (comme « quelle est la résistance totale ? »).
Ils ont également testé si l'IA pouvait agir comme un assistant utile qui sait quand chercher des informations. Ils ont donné à l'IA un outil de recherche spécial pour consulter la syntaxe TikZ (les règles du langage) si elle était bloquée, et ils ont testé si l'IA pouvait planifier ses étapes : « D'abord, je dois comprendre l'image, ensuite je vais chercher la règle, puis j'écrirai le code. »
Alors, qu'ont-ils trouvé ? Les résultats sont un mélange de « wow » et de « oh non ». Les modèles d'IA sont en réalité très doués pour réfléchir aux diagrammes. Lorsqu'on leur pose des questions telles que « Quelle barre est la plus haute ? » ou « Ces deux composants sont-ils connectés ? », les modèles ont raison la plupart du temps (jusqu'à 86 % de précision). Ils comprennent la science !
Cependant, lorsqu'il s'agissait d'écrire le code pour dessiner les diagrammes, les modèles ont eu beaucoup de mal. Même les meilleurs modèles n'ont réussi qu'environ 31 % à 57 % des éléments de base (comme les cercles, les lignes et le texte) au bon endroit. C'est comme si l'IA pouvait décrire une maison parfaite en détail, mais que lorsqu'elle essaie de la construire réellement avec des briques, elle met les fenêtres sur le toit et la porte dans le sol. L'article suggère que, bien que ces modèles soient excellents pour le raisonnement, ils sont encore assez mauvais pour la perception visuelle fine nécessaire pour traduire une image en un code précis.
L'étude a également examiné si donner à l'IA un « outil de recherche » (lui permettre de chercher des règles) aidait. Pour les tâches d'édition, cela a aidé un peu. Mais pour les tâches de réponse aux questions, cela a souvent empiré les choses car l'IA se perdait dans trop d'informations ou posait les mauvaises questions. Un modèle, Claude-4.6 Opus, s'est distingué comme étant le plus cohérent, s'améliorant dans les trois tâches lorsqu'il disposait de l'outil de recherche, mais la plupart des autres modèles ont trébuché.
En résumé, l'article révèle un décalage amusant : l'IA d'aujourd'hui peut être un scientifique brillant qui comprend parfaitement vos diagrammes, mais elle reste un artiste maladroit lorsqu'elle essaie de les dessiner en utilisant le langage TikZ. Les auteurs espèrent que ce test aidera les développateurs à construire de meilleurs outils afin que, dans le futur, les scientifiques puissent véritablement faire apparaître leurs diagrammes par simple « vibe » sans se soucier du code.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.