Back to Basics: Improving Molecular Understanding in LLMs via SMILES-Graph Translation

Résumé Technique : Retour aux Fondamentaux : Améliorer la Compréhension Moléculaire dans les LLM via la Traduction SMILES–Graphe

Énoncé du Problème
Malgré les performances impressionnantes des grands modèles de langage (LLM) dans les tâches de compréhension et de génération moléculaires, les approches actuelles souffrent d'un manque de fondement structurel fiable. L'article identifie une déconnexion critique : bien que les modèles réussissent dans les tâches de raisonnement de haut niveau, ils échouent aux tâches de base de reconnaissance de structure, telles que le comptage d'atomes lourds ou de liaisons à partir de chaînes SMILES canoniques. Cela contredit le principe chimique fondamental selon lequel « la structure détermine la fonction ». Les évaluations préliminaires révèlent que les LLM généralistes (ex. : GPT, Qwen) ainsi que les LLM moléculaires spécialisés (ex. : MolT5, ChemLLM) sont peu performants sur ces tâches fondamentales, suggérant qu'ils ne parviennent pas à capturer l'équivalence explicite entre le texte séquentiel SMILES et le graphe moléculaire 2D sous-jacent. Les auteurs soutiennent que les paradigmes actuels, qui passent souvent directement au raisonnement de haut niveau après un simple pré-entraînement textuel, manquent de l'interprétabilité logique et ne parviennent pas à établir la cognition structurelle nécessaire à un raisonnement fiable.

Méthodologie : Le Cadre MolBasic
Pour remédier à cela, les auteurs proposent MolBasic, un cadre de travail « axé sur la structure » conçu pour ancrer la compréhension moléculaire dans la compréhension fondamentale de la structure. La méthodologie se compose de trois composantes clés :

1. Benchmark de Compréhension Structurelle Multi-niveaux (MSC) :
   Les auteurs ont construit un benchmark comprenant huit tâches organisées en trois niveaux pour évaluer et entraîner la perception du graphe 2D :

   • Niveau Nœud : Comptage d'atomes lourds et comptage spécifique par élément.
   • Niveau Arête : Comptage total des liaisons et comptage de types de liaisons spécifiques.
   • Niveau Graphe : Conversion formule moléculaire, reconnaissance de sous-structures et conversion bidirectionnelle entre les SMILES canoniques et les listes d'adjacence de graphes textuels.
     La tâche centrale est la conversion bidirectionnelle SMILES–Graphe, qui force le modèle à apprendre l'équivalence entre les représentations séquentielles et topologiques.

2. Cadre d'Apprentissage en Escaliers (Staircase Learning) :
   L'entraînement suit un chemin progressif et linéaire ($v_{struct} \rightarrow v_{prop} \rightarrow v_{opt}$) qui reflète le processus cognitif des chimistes humains. Cette approche structurée en DAG (graphe orienté acyclique) garantit que les capacités de raisonnement de haut niveau sont construites sur une compréhension structurelle fiable :

   • Étape 1 (Compréhension de la Structure) : Établir la perception fondamentale du graphe.
   • Étape 2 (Prédiction de Propriétés Structurelles) : Dériver des propriétés (ex. : LogP, PM) à partir de caractéristiques structurelles.
   • Étape 3 (Optimisation Moléculaire Objective) : Modifier les molécules pour atteindre des propriétés souhaitées.
     Cette approche d'apprentissage curriculaire empêche l'interférence des tâches complexes sur l'apprentissage fondamental.

3. Supervision par Chaîne de Pensée (CoT) :
   Pour améliorer la précision et l'interprétabilité, le cadre emploie une stratégie d'entraînement en deux étapes pour chaque tâche en utilisant le réglage fin LoRA :

   • Étape 1 (Apprentissage de la Réponse) : Le modèle apprend à prédire la réponse correcte ($a$) pour établir des ancres de connaissances de domaine.
   • Étape 2 (Apprentissage du Raisonnement) : Le modèle apprend la réponse complète contenant une Chaîne de Pensée ($z$) distillée à partir de modèles de raisonnement puissants (spécifiquement GPT-5).
     L'objectif d'entraînement modélise conjointement le processus de raisonnement et le résultat final : $P_\theta(a, z | S, q) = P_\theta(z | S, q) \cdot P_\theta(a | S, z, q)$. La CoT inclut des résultats intermédiaires déterministes pour les tâches de régression (ex. : analyse explicite des atomes) et un pipeline « analyse–stratégie–vérification » pour les tâches d'optimisation.

Résultats Clés
Des expériences ont été menées sur le jeu de données PubChemSTM et divers benchmarks en aval, comparant MolBasic aux LLM généralistes, aux LLM moléculaires spécialisés et aux modèles d'apprentissage profond traditionnels.

• Compréhension de la Structure : MolBasic a obtenu des améliorations substantielles sur toutes les tâches MSC. Plus notablement, il a atteint une précision de 94,65 % sur la conversion SMILES-vers-Graphe et de 85,66 % sur Graph-vers-SMILES, alors que tous les modèles de référence (y compris les LLM spécialisés) affichaient des performances proches de zéro sur ces tâches de conversion bidirectionnelle.
• Prédiction de Propriétés : Sur la prédiction de propriétés structurelles (PM, LogP, TPSA, etc.), MolBasic a obtenu la meilleure performance parmi les méthodes basées sur les LLM, avec des corrélations de Pearson dépassant 0,97 pour la plupart des propriétés et des erreurs absolues moyennes (MAE) comparables ou meilleures que celles de modèles dédiés comme Chemprop.
• Optimisation Moléculaire : Dans la tâche d'augmentation du LogP, MolBasic a obtenu l'amélioration de LogP la plus élevée (2,27) parmi les modèles basés sur les LLM tout en maintenant une validité élevée (98,7 %) et une diversité élevée (0,86).
• Études d'Ablation :
  • Le retrait de l'étape de compréhension structurelle (« w/o Struct ») a entraîné une dégradation monotone des performances en aval, confirmant que la perception structurelle est un fondement nécessaire.
  • La randomisation de l'ordre d'entraînement (« Mixed SFT ») a produit des performances inférieures à l'approche en escaliers, indiquant que l'ordonnancement progressif est critique pour éviter l'interférence des tâches.
  • Le retrait de la supervision CoT (« w/o CoT ») a causé des baisses de performance constantes, soulignant la nécessité d'un guidage explicite par le raisonnement intermédiaire.

Signification et Revendications
L'article affirme que l'absence de compréhension structurelle de base est un goulot d'étranglement fondamental dans les LLM moléculaires actuels. En « revenant aux fondamentaux » et en priorisant l'alignement du texte séquentiel avec les structures de graphes topologiques, MolBasic permet aux modèles d'effectuer un raisonnement moléculaire fiable, interprétable et généralisable. Les auteurs affirment que leur paradigme axé sur la structure résout la contradiction entre le succès en aval et l'échec structurel, fournissant une base robuste pour les futures applications de « chimiste IA ». Le travail souligne que sans une perception précise des graphes moléculaires, les tâches de raisonnement de haut niveau sont intrinsèquement peu fiables.

Limites
Les auteurs reconnaissent que la conception actuelle en escaliers modélise le raisonnement comme une chaîne linéaire. À mesure que les tâches s'éloignent de l'étape initiale de compréhension de la structure, l'influence directe de la perception structurelle peut s'affaiblir, entraînant des améliorations moins marquées dans l'optimisation par rapport à la prédiction de propriétés. Ils suggèrent que les travaux futurs devraient explorer des cadres de raisonnement non linéaires plus flexibles permettant aux LLM d'utiliser explicitement la structure moléculaire comme fondement pour diverses tâches sans l'interférence observée lors de l'entraînement par tâches mixtes.