🤖 machine learning

Rethinking Molecular Text Representations for LLMs: An Empirical Study

Cet article présente une évaluation comparative systématique de 16 LLM à travers neuf représentations moléculaires et huit tâches chimiques, révélant que la performance est fortement dépendante de la représentation sans qu'aucun format ne domine l'ensemble des tâches, plaidant ainsi contre une évaluation invariante à la représentation et préconisant un routage de représentation sensible à la tâche.

Auteurs originaux : Arun Raja, Garrett M. Morris, Kian Ming A. Chai

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arun Raja, Garrett M. Morris, Kian Ming A. Chai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre la chimie à un robot très intelligent et érudit (un grand modèle de langage ou LLM). Le robot est brillant pour lire des histoires et écrire des essais, mais la chimie est un peu comme un code secret. Pour parler d'une molécule (comme l'aspirine ou la caféine) à ce robot, vous devez traduire cette molécule en texte.

Le problème est qu'il existe de nombreux différents « dialectes » ou manières d'écrire ce code chimique. Certains ressemblent à de courtes chaînes de lettres cryptiques (SMILES), d'autres à des noms longs et formels (IUPAC), et d'autres encore à des plans détaillés écrits dans un format structuré (CML ou MolJSON).

Ce document est comme une immense « séance de dégustation » où les chercheurs ont essayé de nourrir le robot avec la même molécule écrite dans neuf dialectes différents et lui ont demandé d'accomplir huit tâches de chimie différentes. Ils voulaient découvrir : Quel dialecte le robot comprend-il le mieux ?

Voici ce qu'ils ont découvert, décomposé avec des analogies simples :

1. Le mythe du « Taille unique » est faux

Vous pourriez penser que si un robot est bon en chimie, il devrait être bon en chimie, peu importe la manière dont vous écrivez la molécule. Le document dit que c'est faux.

L'analogie : Imaginez que vous demandiez à un chef de couper des légumes. Si vous lui donnez un couteau en bois, un couteau en verre ou un couteau en acier, il coupera différemment. La compétence du chef ne dépend pas seulement du fait d'être un chef ; elle dépend de la manière dont il peut manipuler l'outil spécifique que vous lui avez tendu.
La découverte : La performance du robot changeait radicalement selon le « dialecte » que vous utilisiez. Il n'y avait pas une seule « meilleure » façon d'écrire une molécule qui fonctionne pour toutes les tâches.

2. Le « Plan » vs la « Recette »

Les chercheurs ont découvert que différents dialectes sont meilleurs pour différents travaux.

Les « Plans » (CML et MolJSON) : Ce sont comme des dessins architecturaux détaillés où chaque atome et chaque liaison est explicitement listé dans une liste structurée.
- Meilleur pour : Les tâches qui nécessitent de compter des parties ou de voir la forme exacte, comme « Combien d'atomes de carbone y a-t-il ici ? » ou « Est-ce que cette molécule est l'image miroir de celle-ci ? ».
- Pourquoi : Le robot peut facilement scanner la liste comme un tableur.
Les « Noms Formels » (IUPAC) : Ce sont des noms longs, lisibles par l'humain, comme « acide 2-acetyloxybenzoïque ».
- Meilleur pour : Les tâches qui impliquent de faire correspondre des descriptions, comme « Trouvez la molécule qui correspond à cette histoire ».
- Pourquoi : Puisque ces noms sont écrits en langage naturel, le robot (qui est entraîné sur du texte humain) comprend mieux le sens des mots que les codes cryptiques.
Les « Codes Courts » (SMILES) : C'est la façon la plus courante dont les chimistes écrivent les molécules aujourd'hui. C'est une chaîne compacte de caractères.
- La surprise : Même si le robot a probablement été entraîné principalement sur ces codes courts, ils étaient rarement le meilleur choix. En fait, pour de nombreuses tâches, le robot a eu du mal avec eux par rapport aux plans détaillés.

3. Le piège du « Spécialiste »

Les chercheurs ont également testé des robots qui ont été spécifiquement entraînés uniquement sur la chimie (modèles spécialisés en chimie).

L'analogie : Imaginez un chef qui n'a pratiqué que la découpe de carottes. Si vous lui donnez une carotte, il est excellent. Mais si vous lui tendez une pomme de terre ou une tomate, il pourrait se figer ou briser son couteau parce qu'il n'a jamais pratiqué sur celles-ci.
La découverte : Ces robots spécialisés en chimie étaient excellents avec les codes courts (SMILES) car c'est ce sur quoi ils ont été entraînés. Cependant, lorsque vous leur donniez les « plans » (CML/MolJSON), ils performaient très mal. Ils étaient devenus si spécialisés dans un dialecte qu'ils avaient oublié comment lire les autres. Les robots à usage général étaient en fait plus flexibles.

4. Le problème de l'« Hallucination »

Lorsque le robot essayait de créer une nouvelle molécule basée sur une description, il faisait souvent des erreurs.

La découverte : L'utilisation des « Noms Formels » (IUPAC) a donné le moins d'erreurs. Lorsque le robot essayait de générer des molécules en utilisant les codes courts ou les plans, il était plus susceptible de « halluciner » (inventer de fausses molécules ou de transgresser les règles de la chimie).
Le mécanisme : Les chercheurs ont regardé à l'intérieur du « cerveau » du robot (ses mécanismes d'attention) et ont découvert que lorsqu'il lisait les plans détaillés, le robot devait prêter attention à chaque partie de la molécule pour réussir. Lorsqu'il lisait les codes courts, il faisait souvent l'impasse sur des détails importants.

5. La conclusion principale

Le document conclut que nous ne pouvons pas simplement dire « Les LLM sont bons en chimie ». Nous devons demander : « Bons en chimie en utilisant quel format de texte ? »

Si vous voulez qu'un robot compte des atomes ou repère des différences structurelles, donnez-lui les plans détaillés (CML/MolJSON).
Si vous voulez qu'un robot trouve une molécule basée sur une description, donnez-lui le nom formel (IUPAC).
Si vous voulez qu'un robot génère une nouvelle molécule, le nom formel est actuellement le choix le plus sûr pour éviter les erreurs.

En bref : La manière dont vous posez la question compte tout autant que l'intelligence de la personne (ou du robot) qui répond. Pour obtenir les meilleurs résultats de l'IA en chimie, nous devons cesser d'utiliser un seul langage « par défaut » et commencer à choisir le bon langage pour le travail spécifique que nous voulons accomplir.

Résumé technique : Repenser les représentations textuelles moléculaires pour les LLM

Énoncé du problème

L'application des modèles de langage de grande taille (LLM) à la chimie est en pleine croissance, pourtant le domaine manque d'une compréhension systématique de la représentation textuelle moléculaire qui soutient le mieux les différentes tâches. Bien que le système SMILES (Simplified Molecular Input Line Entry System) soit devenu la norme de fait en raison de sa prévalence dans les corpus de pré-entraînement et la littérature, il n'est pas clair si cette représentation est optimale pour toutes les tâches de raisonnement chimique basées sur les LLM. Les travaux antérieurs se concentrent souvent sur l'entraînement de modèles à partir de zéro sur des chaînes moléculaires ou sur le réglage fin (fine-tuning) pour des tâches spécifiques, en utilisant principalement SMILES. Cependant, la chimie offre diverses formes lisibles par machine (par exemple, les noms IUPAC, InChI, SELFIES, le XML/JSON structuré) qui diffèrent par leur compacité, leur invertibilité et leur structure sémantique. La question centrale abordée est de savoir si la performance des LLM est invariante à la représentation ou si des tâches spécifiques nécessitent des représentations spécifiques pour atteindre une compétence optimale.

Méthodologie

Les auteurs introduisent MolRepBench, un benchmark systématique conçu pour évaluer la compétence moléculaire des LLM à travers neuf représentations distinctes et huit tâches chimiques.

Représentations évaluées :
L'étude couvre neuf formats, allant des chaînes compactes aux structures de graphes explicites :

Variantes SMILES : Canonique, isomérique et SMILES aléatoire.
Chaînes optimisées pour la génération : DeepSMILES et SELFIES.
Nomenclature et identifiants : Noms IUPAC et l'identifiant international de chimie (InChI).
Texte structuré : CML (Chemical Markup Language) et MolJSON (une représentation de graphe récente basée sur le JSON).

Modèles évalués :
Le benchmark teste 16 LLM appartenant à cinq familles :

Modèles généraux à poids ouverts : Qwen3 (4B/30B), Phi-4 (14B) et OLMo-3 (32B), incluant des variantes de raisonnement et de non-raisonnement.
Modèles spécialisés dans le domaine : ChemDFM (v2.0 et R) et Ether0, ainsi que leurs modèles de base respectifs (Qwen2.5-14B et Mistral-Small-24B).
Modèles fermés de pointe : GPT-5.4-mini et Claude-Haiku-4.5.

Tâches :
Huit tâches couvrent la compréhension, la discrimination et la génération :

Comptage d'atomes : Analyse des chaînes pour compter des éléments spécifiques.
Identification de groupes fonctionnels : Reconnaissance de sous-structures (ex: esters, amines).
Estimation de propriétés moléculaires : Prédiction de propriétés calculables (LogP, TPSA, donneurs/accepteurs de liaisons H) dérivées de RDKit.
Récupération de molécules : Mise en correspondance de descriptions en langage naturel avec des structures moléculaires.
Discrimination d'isomères : Distinction entre molécules présentant de subtiles différences structurelles ou stéréochimiques.
Reconnaissance de tautomères : Identification d'équivalences structurelles dynamiques.
Reconnaissance de l'état de protonation : Identification des variantes d'état de charge d'une même molécule.
Génération de légende vers molécule : Traduction de descriptions en langage naturel en chaînes moléculaires valides.

Métriques d'évaluation :
L'étude utilise la précision de correspondance exacte (exact-match accuracy), le F1 macro, la corrélation de Spearman et la similitude de Tanimoto pour les comparaisons structurelles. De manière cruciale, pour les tâches de génération, les auteurs utilisent un LLM comme juge (Gemini 3 Flash) pour évaluer qualitativement les modes d'erreur (ex: hallucinations, erreurs de syntaxe, erreurs de squelette/scaffold) et noter les générations sur la fidélité, le raisonnement chimique et la qualité globale.

Analyse mécaniste :
Pour expliquer les différences de performance, les auteurs mènent :

Audits de tokenisation : Mesure du nombre de tokens et de la longueur des tokens de raisonnement.
Sondage linéaire (Linear Probing) : Test des états cachés pour vérifier l'accessibilité linéaire de l'information chimique.
Analyse de l'attention : Examen des poids d'attention entre le dernier token et les tokens moléculaires, ainsi qu'au sein de l'auto-attention de la molécule.

Résultats clés

1. La performance dépend de la représentation
Aucune représentation unique n'est optimale pour toutes les tâches. La « meilleure » représentation varie considérablement selon le type de tâche :

Représentations structurées (CML, MolJSON) : Dominent les tâches nécessitant une compréhension explicite du graphe, telles que le comptage d'atomes, la discrimination d'isomères et la reconnaissance de tautomères. Le CML a obtenu le score agrégé le plus élevé (81 victoires sur 128 configurations), suivi de MolJSON (75 victoires).
Noms IUPAC : Excellent dans les tâches sémantiques, spécifiquement la récupération de molécules (victoire pour les 16 LLM) et la génération de légende vers molécule. Leur structure morphémique s'aligne bien avec les descriptions en langage naturel.
Variantes SMILES : Malgré leur dominance dans le pré-entraînement, les variantes SMILES sont rarement optimales. Elles performent bien dans la régression de propriétés (LogP, TPSA) mais sont souvent moins performantes dans la désambiguïsation structurelle et la génération par rapport aux formats structurés.
SELFIES : Ont systématiquement obtenu les moins bons résultats sur les 16 LLM, particulièrement dans le comptage d'atomes et la génération.

2. Spécialisation vs Généralisation
Les modèles spécialisés en chimie (ex: ChemDFM) présentent un compromis. Bien qu'ils surpassent nettement leurs modèles de base sur les tâches basées sur SMILES (ex: ChemDFM-R-14B a obtenu des scores de correspondance exacte élevés en génération avec SMILES), ils souffrent d'un oubli catastrophique ou d'une dégradation sévère lorsqu'ils sont confrontés à des représentations textuelles structurées (CML, MolJSON, InChI). Par exemple, ChemDFM-R-14B a produit presque aucune génération valide avec CML et InChI, alors que son modèle de base (Qwen2.5-14B) maintenait une performance robuste. Cela suggère qu'un réglage fin uniquement sur SMILES récompense une spécialisation qui ne se généralise pas à d'autres formats.

3. Qualité de génération et modes d'erreur

Validité $\neq$ Exactitude : Des taux de validité élevés (ex: 97,6 % pour ChemDFM-R-14B avec SMILES) ne garantissent pas l'exactitude structurelle (la similitude de Tanimoto n'était que de 0,68).
LLM-as-a-Judge : Les noms IUPAC ont produit la plus grande fraction de générations correctes (50 %) lorsqu'ils ont été jugés par Gemini 3 Flash. Le SMILES canonique présentait une haute fidélité de représentation mais une faible qualité globale due à des erreurs de squelette (scaffold) et de raisonnement.
Modèles de raisonnement : Les variantes dotées de capacités de raisonnement (ex: Phi-4-Reasoning, OLMo-Think) ont généralement réduit les taux d'hallucination par rapport à leurs homologues sans raisonnement, bien qu'elles n'aient pas amélioré uniformément les performances pour toutes les tâches.

4. Insights mécanistes

Tokenisation : Les représentations structurées (CML, MolJSON) sont nettement plus longues (nombre de tokens plus élevé) que les SMILES. Cependant, elles entraînent des longueurs de tokens de raisonnement plus courtes, suggérant que la structure explicite réduit la charge cognitive pour le modèle.
Attention : Les représentations structurées nécessitent que le modèle porte une attention plus forte sur l'ensemble de l'étendue moléculaire (attention « dernier-token vers molécule » plus élevée), tandis que les variantes SMILES compactes encouragent une interaction plus riche de token-à-token au sein de la chaîne.
Encodage interne : Le sondage linéaire a révélé que, bien que les variantes SMILES soient bien encodées (probablement grâce au pré-entraînement), MolJSON (une représentation post-entraînement) offrait souvent de meilleures performances de sondage linéaire, indiquant que le modèle peut exploiter efficacement la structure de graphe explicite même sans exposition préalable.

Signification et affirmations

L'article s'oppose à la notion d'évaluation invariante à la représentation en chimie. Les auteurs affirment que :

Le choix de la représentation est critique : Le format de texte moléculaire est un facteur clé de la compétence chimique des LLM ; utiliser une représentation unique (comme SMILES) fournit une vue biaisée et incomplète des capacités d'un modèle.
Le routage sensible à la tâche est nécessaire : Différentes tâches bénéficient de différentes représentations. Les auteurs proposent un routage de représentation sensible à la tâche, où le format d'entrée est sélectionné en fonction de la tâche chimique spécifique (ex: utiliser l'IUPAC pour la récupération, le CML/MolJSON pour l'analyse structurelle).
Les standards d'évaluation doivent évoluer : Les benchmarks devraient rapporter la performance à travers plusieurs représentations pour faire apparaître les compromis, en particulier la perte de généralisation dans les modèles spécialisés dans le domaine.
Jugement qualitatif : Les métriques rigides (taux de validité, correspondance exacte) sont insuffisantes pour les tâches de génération ; l'utilisation de l'approche « LLM-as-a-judge » est essentielle pour analyser les modes d'erreur comme les hallucinations et les erreurs de squelette.

L'étude conclut que les LLM actuels ne possèdent pas encore de capacités moléculaires robustes et invariantes à la représentation, et que le domaine doit dépasser l'évaluation centrée sur SMILES pour développer des systèmes d'IA en chimie plus robustes et généralisables.