🧬 biology

MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation

Ce papier présente MolLangBench, un benchmark complet évaluant la capacité des modèles d'IA à reconnaître, éditer et générer des structures moléculaires à partir de prompts linguistiques, révélant ainsi des limitations significatives des systèmes actuels, même les plus avancés comme GPT-5.

Auteurs originaux : Feiyang Cai, Jiahui Bai, Tao Tang, Guijuan He, Joshua Luo, Tianyu Zhu, Srikanth Pilla, Gang Li, Ling Liu, Feng Luo

Publié 2026-03-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Feiyang Cai, Jiahui Bai, Tao Tang, Guijuan He, Joshua Luo, Tianyu Zhu, Srikanth Pilla, Gang Li, Ling Liu, Feng Luo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

🧪 Le Problème : L'IA qui perd ses lunettes de chimiste

Imaginez que vous êtes un chef cuisinier (le chimiste) et que vous avez un assistant très intelligent, capable de lire n'importe quel livre et de répondre à des questions complexes (l'Intelligence Artificielle).

Le problème, c'est que cet assistant est un peu comme un chef qui a oublié ses lunettes. Il peut vous parler de la cuisine, mais s'il doit voir un plat précis, modifier une recette ou inventer un nouveau gâteau à partir d'une description, il fait des erreurs incroyables.

Dans le monde de la chimie, les molécules sont comme des plats complexes. Pour les ordinateurs, une molécule est souvent représentée par une longue chaîne de lettres (comme un code secret appelé SMILES) ou par un dessin. L'objectif de cette recherche est de tester si les IA modernes peuvent vraiment comprendre ces "plats" chimiques à partir de simples phrases en langage naturel.

🔍 La Solution : MolLangBench, le "Grand Oral" de la Chimie

Les chercheurs ont créé un examen très strict, appelé MolLangBench. C'est comme un concours de cuisine où l'on teste l'assistant sur trois compétences essentielles :

La Reconnaissance (Le "Qu'est-ce que c'est ?")
- L'analogie : On montre un plat à l'IA et on lui demande : "Combien de carottes y a-t-il ?" ou "Où se trouve exactement le sel ?".
- Le test : L'IA doit regarder une molécule et répondre précisément à des questions sur sa structure (quels atomes sont liés à qui, où sont les groupes chimiques, etc.).
- Le résultat : Même les meilleures IA (comme GPT-5) se trompent souvent. Elles arrivent à dire "c'est un plat" (86% de réussite), mais elles échouent à compter les ingrédients exacts ou à pointer le sel précis. C'est comme si elles voyaient le plat de loin, mais ne pouvaient pas compter les grains de riz.
L'Édition (Le "Changez ceci")
- L'analogie : On dit à l'assistant : "Enlevez la tomate et remplacez-la par un champignon, mais ne touchez pas au reste du plat".
- Le test : L'IA doit modifier une molécule existante selon une instruction précise.
- Le résultat : Là encore, c'est difficile. L'IA réussit parfois à faire le changement, mais elle casse souvent le plat (la molécule devient chimiquement impossible) ou elle modifie le mauvais endroit.
La Génération (Le "Inventez un plat")
- L'analogie : On donne une description détaillée : "Je veux un gâteau avec trois étages, une couche de chocolat au milieu et une cerise sur le dessus".
- Le test : L'IA doit créer une toute nouvelle molécule à partir de zéro.
- Le résultat : C'est ici que ça coince le plus. L'IA réussit à peine dans 43% des cas. Souvent, elle invente des structures qui n'existent pas dans la réalité (comme un gâteau avec des roues de voiture au lieu de la crème). C'est comme si elle dessinait un plat qui semble joli sur le papier, mais qui s'effondre dès qu'on essaie de le cuisiner.

🎨 Et les Images ? (Le "Dessin")

Les chercheurs ont aussi testé si donner un dessin de la molécule (au lieu de la chaîne de lettres) aidait l'IA.

L'analogie : C'est comme si on donnait une photo du plat au lieu de la recette écrite.
Le résultat : Surprenant ! Même avec une photo, l'IA ne fait pas beaucoup mieux. Elle arrive à dessiner quelque chose qui ressemble à une molécule (c'est joli visuellement), mais chimiquement, c'est faux. C'est comme un dessin animé de nourriture : ça a l'air bon, mais on ne peut pas le manger.

💡 Pourquoi est-ce important ?

Imaginez que vous vouliez créer un nouveau médicament pour guérir une maladie. Si votre IA se trompe sur la structure d'une molécule, le médicament ne marchera pas, ou pire, il pourrait être dangereux.

Aujourd'hui, les IA sont de superbes bibliothécaires qui connaissent toutes les théories, mais elles sont encore de très mauvais artisans quand il s'agit de manipuler la matière chimique avec précision.

🚀 La Conclusion

L'article conclut que nous avons besoin de beaucoup plus d'entraînement pour que les IA deviennent de véritables assistants de chimie. Pour l'instant, elles sont comme des étudiants brillants qui ont lu tous les livres de chimie, mais qui n'ont jamais mis les mains dans la pâte.

MolLangBench est donc une règle à mesurer pour voir où nous en sommes et nous aider à construire des IA qui ne se contentent pas de "parler" chimie, mais qui savent vraiment la faire.

Titre

MOLLANGBENCH : UN BENCHMARK COMPLET POUR LA RECONNAISSANCE, L'ÉDITION ET LA GÉNÉRATION DE STRUCTURES MOLÉCULAIRES PAR PROMPTAGE LANGAGIER

1. Problématique

L'interface entre le langage naturel et les structures moléculaires est un goulot d'étranglement critique pour l'application de l'IA en chimie. Bien que les modèles de langage (LLM) possèdent des capacités de raisonnement avancées, leur intégration avec les représentations moléculaires (chaînes linéaires comme SMILES, graphes ou images) reste imparfaite.

Les travaux antérieurs souffrent de deux limitations majeures :

Manque de précision et d'ambiguïté : Les descriptions textuelles de molécules existantes mélangent souvent des détails structuraux incomplets avec des informations fonctionnelles ou pharmacologiques, rendant l'évaluation des modèles difficile car une description peut correspondre à plusieurs structures.
Évaluation superficielle : De nombreuses approches se contentent de reformuler des tâches de prédiction de propriétés en langage naturel, négligeant les étapes fondamentales de reconnaissance, de compréhension et de manipulation précise de la structure chimique.

Les auteurs soulignent que même pour des tâches intuitives pour un humain (comme identifier un groupe fonctionnel ou modifier une liaison), les modèles actuels échouent souvent, limitant leur utilité dans des flux de travail réels de découverte de médicaments.

2. Méthodologie et Construction du Dataset

Les auteurs proposent MolLangBench, un benchmark conçu pour évaluer trois tâches fondamentales de l'interface molécule-langage, avec une emphase stricte sur la déterminisme et l'absence d'ambiguïté.

A. Définition des Tâches

Reconnaissance de structure moléculaire : Étant donné une structure $M$ et une requête textuelle $T_q$ , le modèle doit extraire des informations structurales précises (topologie locale, connectivité atomique, groupes fonctionnels, stéréochimie) et identifier les indices des atomes concernés.
Édition de molécule par prompt : Étant donné une molécule $M$ et une instruction d'édition $T_{edit}$ , le modèle doit générer une nouvelle molécule modifiée $M_{edit}$ respectant strictement l'instruction.
Génération de molécule à partir de descriptions : Étant donné une description structurale détaillée $T_{desp}$ , le modèle doit générer une molécule valide $M$ correspondant exactement à la spécification.

B. Collecte et Annotation des Données

La rigueur de la construction des données est le cœur de la méthodologie :

Reconnaissance : Les données sont générées de manière automatisée à l'aide d'outils de chémoinformatique (RDKit) sur un échantillon de 178 millions de molécules de la base UniChem. Cela garantit des étiquettes de vérité terrain (ground truth) parfaitement exactes pour des tâches comme le comptage d'atomes voisins ou la détection de stéréochimie (R/S, E/Z).
Édition et Génération : Ces tâches nécessitent une annotation humaine experte. Un pipeline rigoureux impliquant plusieurs annotateurs et validateurs (chimistes) a été mis en place :
1. Rédaction : Les annotateurs créent des instructions ou descriptions univoques.
2. Revue par les pairs : Un second annotateur vérifie la clarté et l'unicité de la structure résultante.
3. Validation indépendante : Deux validateurs reconstruisent la molécule à partir de l'instruction/description. La structure reconstruite doit correspondre exactement à la référence (via SMILES ou InChI).
Statistiques : Le jeu de données principal (Core Set) contient 200 instances validées par tâche. Les molécules comportent en moyenne 24 atomes non-hydrogène. Un ensemble étendu de 200 instances supplémentaires est également fourni.

C. Modalités d'Évaluation

Le benchmark supporte trois types d'entrées :

Textuel : Chaînes SMILES.
Visuel : Images de structures moléculaires.
Graphique : Représentations en graphes (évaluées préliminairement).

3. Résultats Clés

Les auteurs ont évalué une large gamme de modèles, y compris les LLMs les plus avancés (GPT-5, o3, o4-mini, Gemini-2.5-Pro, DeepSeek-R1) et des modèles multimodaux (GPT Image 1).

A. Reconnaissance de Structure

Performance globale : Même le modèle le plus performant, GPT-5, n'atteint qu'une précision moyenne de 86,2 % sur les tâches de reconnaissance.
Défaillance de la localisation : Il existe un écart significatif entre la reconnaissance (savoir quoi est présent) et la localisation (savoir où se trouve l'atome). GPT-5 voit sa précision chuter de 6,1 % sur la localisation des atomes.
Cause identifiée : Les auteurs attribuent cet échec au mécanisme de tokenisation (Byte-Pair Encoding) des LLMs, qui regroupe plusieurs atomes en un seul token, rendant le décompte et l'indexation atomique précis extrêmement difficiles (problème analogue au décompte de caractères dans les mots).

B. Édition et Génération

Édition : GPT-5 obtient 85,5 % de précision, ce qui est décevant pour des modifications simples. Les modèles antérieurs sont bien en dessous.
Génération : C'est la tâche la plus difficile. GPT-5 n'atteint que 43,0 % de précision. La validité des chaînes SMILES générées est faible (69,0 % pour GPT-5), et les modèles spécialisés en chimie (ChemLLM, etc.) échouent presque totalement sur ce benchmark.
Modèles Visuels : Les modèles vision-langage (comme o4-mini ou GPT Image 1) montrent des performances médiocres. GPT Image 1 n'atteint que 13,5 % de précision sur l'édition et échoue complètement (0 %) sur la génération, malgré une apparence visuelle parfois plausible.

C. Analyse des Erreurs

Les erreurs dominantes incluent :

Syntaxe SMILES invalide.
Incohérences au niveau des atomes (mauvais comptage de la longueur des chaînes, fusion incorrecte de cycles).
Mauvaise assignation de la stéréochimie (R/S, E/Z).
Déplacement de substituants.

4. Contributions Principales

MolLangBench : Le premier benchmark complet et rigoureux évaluant spécifiquement les tâches de reconnaissance, d'édition et de génération de molécules via le langage naturel, avec des données déterministes et sans ambiguïté.
Pipeline d'Annotation Expert : Une méthodologie de validation en plusieurs étapes (annotateurs + validateurs indépendants) garantissant la qualité des données pour les tâches d'édition et de génération.
Analyse des Limites des LLMs : Une démonstration empirique que les modèles d'IA les plus avancés échouent encore sur des tâches chimiques fondamentales, en particulier sur la localisation atomique précise et la génération de novo.
Insights sur la Tokenisation : Identification du mécanisme de tokenisation comme une cause racine des erreurs de localisation atomique, suggérant la nécessité de nouvelles approches de tokenisation atomique.
Ressources Open Source : Publication du dataset et du code sur Hugging Face et GitHub pour faciliter la recherche future.

5. Signification et Impact

Ce travail met en lumière un fossé critique entre les capacités de raisonnement général des LLMs et leur application précise en chimie. Il démontre que sans une maîtrise parfaite de la structure moléculaire (reconnaissance et manipulation atomique), les modèles ne peuvent pas être fiables pour des tâches de découverte de médicaments ou de conception de matériaux.

MolLangBench établit un nouvel étalon-or pour évaluer les modèles multimodaux en chimie. Les résultats indiquent que les progrès futurs ne dépendront pas seulement de l'augmentation de la taille des modèles, mais de l'amélioration de l'alignement entre les représentations moléculaires (graphes, SMILES, images) et le langage, ainsi que de la résolution des problèmes de tokenisation au niveau atomique. Ce benchmark servira de catalyseur pour développer des systèmes d'IA plus robustes et fiables pour les applications chimiques.