💬 NLP

Speak-to-Structure: Evaluating LLMs in Open-domain Natural Language-Driven Molecule Generation

Ce papier présente Speak-to-Structure (S²-Bench), le premier benchmark conçu pour évaluer les modèles de langage de grande taille sur des tâches de génération de molécules pilotées par le langage naturel, ouvertes et d'un vers plusieurs, ainsi qu'OpenMolIns, un ensemble de données permettant aux modèles affinés de surpasser les principaux LLMs dans la conception moléculaire réaliste.

Auteurs originaux : Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

Publié 2026-05-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Passer de « Deviner la Réponse » à « Concevoir la Solution »

Imaginez que vous êtes un chef cuisinier. Pendant des années, les chercheurs ont testé des chefs IA en leur donnant une recette spécifique (comme « Faites un gâteau au chocolat ») et en leur demandant de recréer un gâteau précis qui existe déjà dans une base de données. Si l'IA fabrique un gâteau qui ressemble exactement à celui de la base de données, elle reçoit une étoile dorée.

Le Problème : La vraie cuisine (et la vraie science) ne consiste pas à copier. Si vous demandez à un chef : « Faites-moi un gâteau peu sucré mais qui a toujours bon goût », il n'y a pas une seule réponse correcte. Il existe des centaines de recettes différentes qui pourraient fonctionner. Les anciens tests étaient trop stricts ; ils ne récompensaient l'IA que pour avoir mémorisé la « bonne » réponse, et non pour avoir fait preuve de créativité.

La Solution : Ce papier présente S2-Bench (Speak-to-Structure). C'est un nouveau test conçu pour voir si l'IA peut agir comme un vrai chef créatif. Au lieu de demander une copie, il demande à l'IA d'inventer de nouvelles choses à partir d'une description, sachant qu'il existe de nombreuses réponses « correctes » possibles.

Les Trois Défis (Le « Menu »)

Le papier teste l'IA sur trois tâches spécifiques, qui sont comme différents niveaux d'un défi culinaire :

Édition de Molécules (Le Défi « Ajustement ») :
- L'Analogie : Imaginez que vous avez un modèle de voiture spécifique. Le test demande à l'IA d'« ajouter un turbocompresseur » ou de « retirer le toit ouvrant ».
- L'Objectif : L'IA doit prendre la voiture d'origine et n'effectuer que ce changement spécifique sans casser le moteur ni transformer la voiture en bateau. Cela teste si l'IA comprend les règles de l'assemblage des choses.
Optimisation de Molécules (Le Défi « Amélioration ») :
- L'Analogie : Vous avez une voiture et vous voulez qu'elle soit « plus rapide » ou « plus économe en carburant ».
- L'Objectif : L'IA doit modifier la voiture pour améliorer un trait spécifique (comme la vitesse) tout en la gardant reconnaissable. Il ne suffit pas de construire une nouvelle voiture rapide à partir de zéro ; elle doit être une amélioration de l'originale.
Génération de Molécules Personnalisées (Le Défi « Toile Blanche ») :
- L'Analogie : Vous dites à l'IA : « Construisez-moi un véhicule avec exactement 4 roues, une carrosserie rouge et un moteur V8 ».
- L'Objectif : L'IA doit inventer un véhicule entièrement nouveau à partir de rien qui respecte ces règles strictes. C'est le test le plus difficile car l'IA doit suivre les règles parfaitement sans aucun modèle de départ.

Le Nouveau Manuel d'Entraînement : OpenMolIns

Pour aider l'IA à mieux réussir ces tâches, les auteurs ont créé un nouveau manuel d'entraînement massif appelé OpenMolIns.

Ancienne Méthode : Les manuels d'entraînement précédents contenaient très peu d'exemples, et ils étaient principalement du type « Question : Quelle est cette molécule ? Réponse : [Nom exact de la molécule] ». Cela apprenait à l'IA à mémoriser.
Nouvelle Méthode : OpenMolIns est comme une immense bibliothèque de 1,2 million d'exemples où l'IA apprend la logique de la chimie. Il enseigne à l'IA : « Si vous voulez rendre quelque chose plus rapide, essayez d'ajouter cette partie », plutôt que simplement « Voici la réponse ».

Le Résultat : En utilisant ce nouveau manuel d'entraînement, un modèle d'IA relativement petit (Llama3.1-8B) a réussi à battre des modèles beaucoup plus grands et plus célèbres (comme GPT-4o et Claude-3.5) sur ces tâches créatives. Cela a prouvé qu'une bonne formation est plus importante que d'avoir simplement un cerveau énorme.

Comment Ils Notent l'IA (La Fiche de Notes)

Dans les anciens tests, si l'IA écrivait une molécule qui correspondait mot pour mot à l'objectif, elle obtenait 100 %. Mais dans ce nouveau test, ce n'est pas suffisant. Les auteurs ont créé un système de notation plus intelligent :

Avez-vous suivi les instructions ? (Taux de réussite)
Est-ce un changement raisonnable ? (Similarité)
- Le Piège : Si vous demandiez d'« ajouter une roue » à une voiture, et que l'IA construisait une toute autre voiture qui se trouvait avoir une roue, l'ancien test aurait dit « Bon travail ! ». Le nouveau test dit : « Non, vous n'avez pas réellement modifié la voiture d'origine ; vous avez simplement ignoré la demande et construit autre chose. »
Est-ce nouveau ? (Nouveauté)
- Pour le défi « Toile Blanche », l'IA gagne des points pour avoir inventé quelque chose qui n'existe pas déjà dans les bases de données mondiales.

Points Clés à Retenir

La mémoire ne suffit pas : Les modèles d'IA actuels sont bons pour rappeler des faits mais peinent à suivre des instructions complexes et créatives en chimie.
Le « Un-vers-Plusieurs » est réel : En science, une question a souvent plusieurs réponses valables. Les anciens tests ne le permettaient pas ; le nouveau le fait.
Les petits modèles peuvent gagner : Avec les bonnes données d'entraînement (OpenMolIns), une IA plus petite et moins chère peut surpasser des modèles massifs et coûteux dans la conception de molécules.
Le Contrôle « Humain » : Les auteurs ont fait examiner le travail de l'IA par des experts humains. Ils ont constaté que le nouveau système de notation (qui récompense les changements logiques plutôt que les suppositions aléatoires) correspondait beaucoup mieux aux opinions humaines que l'ancien système de « correspondance exacte ».

En bref, ce papier construit une meilleure salle de sport pour que l'IA s'entraîne à la chimie. Au lieu de simplement mémoriser des flashcards, l'IA apprend maintenant à concevoir et à construire réellement de nouvelles choses à partir d'une conversation.

Résumé Technique : Speak-to-Structure (S2-Bench)

Énoncé du Problème

Les modèles de langage actuels (LLM) montrent des promesses dans la découverte de molécules pilotée par le langage naturel, pourtant les benchmarks d'évaluation existants souffrent d'une limitation critique : ils reposent sur des mappings un-à-un entre des descriptions textuelles et des molécules cibles uniques, prédéfinies (par exemple, ChEBI-20, PubChem324K). Ce paradigme suppose une solution unique pour chaque invite, ce qui est en décalage avec la réalité de la découverte moléculaire où plusieurs molécules distinctes peuvent satisfaire les mêmes propriétés biologiques ou physiques. Par conséquent, les benchmarks actuels testent principalement la capacité d'un modèle à mémoriser et à rappeler des motifs spécifiques plutôt que sa capacité à la conception moléculaire créative et ouverte et au raisonnement structurel authentique. Il manque une évaluation standardisée des relations « un-à-plusieurs » dans la génération de molécules à partir de texte.

Méthodologie

1. Speak-to-Structure (S2-Bench)

Les auteurs proposent S2-Bench, le premier benchmark conçu pour évaluer les LLMs dans la génération de molécules pilotée par le langage naturel en domaine ouvert. Contrairement aux jeux de données précédents, S2-Bench adopte un paradigme un-à-plusieurs, où une seule instruction peut être satisfaite par plusieurs structures moléculaires valides. Le benchmark se compose de trois tâches principales, chacune ciblant une étape différente du processus de découverte de médicaments :

Édition de Molécules (MolEdit) : Teste la capacité à effectuer des modifications structurelles précises et localisées (ajout, suppression ou substitution de groupes fonctionnels) tout en préservant le squelette central. Cela imite l'optimisation de molécules leaders.
Optimisation de Molécules (MolOpt) : Évalue le raisonnement chimique orienté vers un objectif où le modèle doit modifier un composé leader pour optimiser des propriétés spécifiques (LogP, MR, QED) sans altérer inutilement la structure de base.
Génération de Molécules Personnalisées (MolCustom) : Met au défi le modèle de synthétiser une molécule nouvelle à partir de zéro, basée sur des contraintes en langage naturel concernant les nombres d'atomes, les types de liaisons ou les groupes fonctionnels, imitant la phase de conception initiale.

Métriques d'Évaluation :
Pour répondre à la nature « un-à-plusieurs », les auteurs vont au-delà de la correspondance exacte de chaînes de caractères. Ils emploient un système d'évaluation automatisé utilisant des kits d'outils de chémoinformatique (RDKit) pour calculer :

Validité : Si la chaîne SMILES générée est chimiquement valide.
Taux de Succès (SR) : Si la molécule répond aux contraintes spécifiques (par exemple, direction correcte de la propriété ou groupe fonctionnel).
Similarité (pour MolEdit/MolOpt) : Similarité de Tanimoto utilisant les empreintes digitales Morgan pour s'assurer que la sortie est une modification rationnelle de l'entrée, et non une molécule valide aléatoire.
Nouveauté (pour MolCustom) : Mesure dans quelle mesure la molécule générée est distincte d'une base de données de référence (Zinc-250K).
Taux de Succès Pondéré (WSR) : Une métrique composite combinant le Taux de Succès avec la Similarité (pour l'édition/l'optimisation) ou la Nouveauté (pour la personnalisation) afin de fournir un score de performance holistique.

2. Jeu de Données OpenMolIns

Pour faciliter l'entraînement à ces tâches ouvertes, les auteurs introduisent OpenMolIns, un jeu de données d'ajustement par instruction à grande échelle construit de manière programmatique à partir de la base de données PubChem.

Échelle : Contient jusqu'à 1,2 million de paires instruction-molécule.
Construction : Utilise des kits d'outils chimiques automatisés pour générer des invites diversifiées et des molécules valides correspondantes, assurant une relation un-à-plusieurs.
Structure : Reflète les trois tâches de S2-Bench et inclut cinq échelles de données (de légère à xlarge) pour étudier les lois d'échelle des données.
Intégrité : Conçu sans aucun chevauchement avec l'ensemble de test S2-Bench (Zinc-250K) pour prévenir les fuites de données.

3. Configuration Expérimentale

Les auteurs ont évalué 31 LLMs, catégorisés en :

Modèles propriétaires (par exemple, GPT-4o, Claude-3.5).
LLMs généraux open-source (par exemple, Llama3, Mistral, Qwen).
LLMs spécifiques au domaine (par exemple, ChemLLM, BioT5).
Modèles affinés sur OpenMolIns.

L'évaluation a été réalisée à l'aide de pipelines automatisés, avec un sous-ensemble de résultats validé par des experts humains pour corréler les métriques automatisées avec le jugement humain.

Résultats Clés

Écart de Performance dans les Contraintes Structurelles : Même les modèles propriétaires haut de gamme (par exemple, Claude-3.5, Gemini-1.5-Pro) ont atteint des taux de succès pondérés moyens modérés (~35 %), mais ont considérablement peiné avec les tâches MolCustom, échouant à dépasser un taux de succès pondéré de 25 % sur les sous-tâches individuelles. Cela indique une difficulté à satisfaire des contraintes structurelles fines (nombres exacts d'atomes/de liaisons) malgré des capacités de raisonnement général.
Supériorité de l'Ajustement par Instruction : Alors que les LLMs chimiques pré-entraînés (par exemple, BioT5-base) ont mal performé (4,21 % de WSR) par rapport aux LLMs généraux, l'ajustement par instruction sur OpenMolIns a produit des améliorations dramatiques.
- Llama3.1-8B-Instruct affiné sur la plus grande échelle OpenMolIns (xlarge) a atteint un 39,33 % de WSR, surpassant tous les autres modèles, y compris les plus grands modèles propriétaires.
- De manière remarquable, le petit modèle Galactica-125M, lorsqu'il est affiné sur OpenMolIns, a atteint un 25,73 % de WSR, surpassant des modèles deux ordres de grandeur plus grands (par exemple, Llama3-70B).
Limites des Benchmarks Un-à-Un : Les modèles affinés sur des jeux de données traditionnels un-à-un (ChEBI-20) ont moins bien performé que les LLMs généraux sur S2-Bench. Ces modèles ont tendance à générer des molécules chimiquement valides mais structurellement non liées pour satisfaire les contraintes, révélant une dépendance au rappel de motifs plutôt qu'au raisonnement structurel.
Lois d'Échelle des Données : La relation entre le volume de données et la performance dépend de la tâche.
- MolCustom (synthèse de novo) a montré des gains significatifs (286 %) lors du passage de données « large » à « xlarge ».
- MolEdit et MolOpt ont montré des rendements décroissants ou négatifs avec l'augmentation des données pour les petits modèles, suggérant que ces tâches sont davantage limitées par la capacité du modèle que par le volume de données.
Validation du WSR : L'évaluation par des experts humains a confirmé que le Taux de Succès Pondéré (WSR) corrèle significativement mieux avec le jugement expert ( $\rho$ de Spearman $\approx 0,90$ ) que le Taux de Succès brut (SR), validant la nécessité de pénaliser les sorties structurellement non liées.

Signification et Revendications

L'article revendique l'établissement d'un nouveau paradigme pour l'évaluation des LLMs dans la découverte de molécules en déplaçant le focus du rappel de motifs vers la conception moléculaire réaliste.

Combler le Fossé : S2-Bench adresse le décalage entre les métriques d'évaluation actuelles et la nature ouverte de la découverte de molécules dans le monde réel.
Démontrer le Potentiel : Les résultats démontrent qu'avec un ajustement par instruction approprié sur des données diversifiées à grande échelle, les petits LLMs peuvent atteindre des performances de pointe dans la génération de molécules en domaine ouvert, remettant en question l'idée que seuls les modèles massifs ou les architectures spécialisées sont viables.
Outil de Diagnostic : Le benchmark sert d'outil de diagnostic pour révéler les faiblesses systématiques des LLMs actuels concernant les contraintes structurelles discrètes et globalement couplées, guidant les recherches futures en apprentissage par renforcement et en ajustement par instruction.

Les auteurs soulignent que leur travail fournit une base robuste pour développer des LLMs plus capables, explicables et dignes de confiance pour la découverte de molécules pilotée par le langage naturel, faisant passer le domaine au-delà de la simple traduction texte-structure.