SciCore-Mol: Augmenting Large Language Models with Pluggable Molecular Cognition Modules

Résumé Technique : SciCore-Mol

Énoncé du Problème
Les modèles de langage à grande échelle (LLM) ont démontré des capacités de raisonnement remarquables mais font face à une inadéquation fondamentale lorsqu'ils sont appliqués à des domaines scientifiques comme la chimie. Les données scientifiques, telles que les structures moléculaires et les conditions de réaction, sont intrinsèquement topologiques, géométriques et continues. En revanche, les LLM sont conçus pour des séquences symboliques discrètes. Les approches actuelles tentent de combler cet écart en linéarisant les graphes moléculaires en chaînes de texte (par exemple, SMILES ou SELFIES). Cependant, cette linéarisation échoue à exposer explicitement les invariances topologiques et géométriques centrales au raisonnement chimique, entraînant une perte d'information, du bruit sémantique et des prédictions peu fiables sur des tâches sensibles à la structure. De plus, les systèmes existants augmentés d'outils traitent souvent les modules scientifiques comme des boîtes noires externes, nécessitant que les données intermédiaires soient compressées en texte avant d'être traitées par le LLM. Cette « interface au niveau du texte » crée des goulots d'étranglement dans le raisonnement et empêche le LLM d'accéder à des informations moléculaires denses et continues.

Méthodologie : Cadre SciCore-Mol
Les auteurs proposent SciCore-Mol, un cadre modulaire qui enrichit un socle de LLM avec trois modules cognitifs profondément intégrés et interchangeables. Contrairement aux approches précédentes qui reposent sur un retour d'information uniquement textuel, SciCore-Mol couple ces modules au LLM via des interfaces de représentation apprises au niveau de l'état caché.

1. Module de Perception Topologique : Construit sur un réseau de Perceptron à Vecteur Géométrique (GVP), ce module encode la géométrie moléculaire 3D (générée via RDKit) en représentations équivariantes SE(3). Il intègre des propriétés scalaires au niveau des atomes et des vecteurs de coordonnées 3D par passage de messages. L'embedding géométrique résultant est projeté dans l'espace caché du LLM et injecté sous forme de « Token Structurel Virtuel », permettant au LLM de prêter attention aux informations structurelles 3D parallèlement aux jetons de texte.
2. Module de Génération Moléculaire : Pour remédier à la faible validité de la génération auto-régressive de SMILES, ce module emploie un Transformateur de Diffusion Latente (DiT). Il opère dans un espace latent moléculaire continu, conditionné par les états cachés du LLM. Un autoencodeur SMILES pré-entraîné mappe les molécules vers des vecteurs latents, et le processus de diffusion débruite itérativement ces vecteurs pour générer des molécules structurellement cohérentes, qui sont ensuite décodées en SMILES.
3. Module de Détection de Réaction : Construit sur un Transformateur sensible aux nombres, ce module gère le raisonnement inter-moléculaire. Il traite les données de réaction de manière hiérarchique en utilisant des encodages composites multi-canaux qui combinent les embeddings géométriques dérivés du GVP, les quantités stœchiométriques (moles, masse) et les rôles fonctionnels (réactif, catalyseur, etc.). Cela permet une prédiction conjointe des produits de réaction, des rendements et des réactifs manquants.

Stratégie d'Entraînement
Le système utilise une stratégie d'entraînement progressive pour aligner des modules hétérogènes avec le socle de LLM :

• Étape 1 (Pré-entraînement des Composants) : Les modules sont pré-entraînés indépendamment. Le socle de LLM subit un pré-entraînement continu sur un corpus enrichi en chimie (~400M de jetons) avec une régularisation par divergence KL contre un modèle de base figé pour éviter l'oubli catastrophique.
• Étape 2 (Alignement Inter-Modal) : Le socle de LLM est figé tandis que l'encodeur GVP et les adaptateurs sont entraînés pour aligner les représentations géométriques avec des descriptions en langage naturel en utilisant un objectif de contraste.
• Étape 3 (Entraînement Joint Multi-Tâches) : Le système complet est optimisé conjointement sur un corpus de 300K instructions-réponses couvrant des tâches diverses (synthèse, prédiction de propriétés, génération, etc.).
• Étape 4 (Affinage Spécifique à la Tâche) : Un affinage optionnel permet une spécialisation dans des tâches spécifiques en aval en figeant ou défigeant sélectivement des modules.

Contributions Clés

• Innovation Architecturale : Un système unifié qui intègre directement la perception consciente de la topologie, la génération par diffusion latente et le raisonnement conscient de la réaction dans l'état caché du LLM, éliminant le goulot d'étranglement informationnel des interfaces d'outils purement textuelles.
• Modularité : La conception « interchangeable » permet d'activer, de désactiver ou de mettre à niveau les modules indépendamment (par exemple, remplacer l'encodeur GVP par une architecture 3D plus puissante) sans réentraîner l'ensemble du système.
• Performance : Les auteurs démontrent qu'un système SciCore-Mol de 8 milliards de paramètres atteint des performances compétitives, et dans certaines dimensions supérieures, par rapport à des modèles propriétaires beaucoup plus grands (par exemple, GPT-4o, GPT-5) et à d'autres modèles de chimie open-source.

Résultats Expérimentaux
Évalué sur cinq dimensions de capacité (Cœur de Connaissance, Traduction Mol-Texte, Génération de Molécules, Prédiction Quantitative et Raisonnement de Synthèse) en utilisant des benchmarks tels que SMolInstruct, MMLU-Chimie, ChemBench4K, ORD et MoleculeNet :

• Performance Équilibrée : SciCore-Mol présente le profil de capacité le plus équilibré parmi les modèles de taille similaire, surpassant les références dans la génération de molécules, la prédiction quantitative et le raisonnement de synthèse tout en maintenant une solide connaissance générale.
• Tâches Sensibles à la Structure : Les études d'ablation confirment que l'encodeur GVP améliore considérablement les performances sur des tâches nécessitant des informations 3D (par exemple, Tox21, classification du VIH, régression QM9), là où les modèles purement textuels peinent.
• Raisonnement de Réaction : La suppression du Module de Détection de Réaction entraîne une dégradation sévère de la validité de la prédiction des produits et des rendements, confirmant la nécessité d'une modélisation structurée pour le raisonnement au niveau des réactions.
• Généralisation : Le modèle montre une forte généralisation hors distribution sur le benchmark DrugR (publié après le pré-entraînement), suggérant qu'il apprend des priors structurels transférables plutôt que de reposer uniquement sur la mémorisation.

Signification et Revendications
L'article revendique que SciCore-Mol fournit un plan directeur systématique pour doter les LLM d'une expertise scientifique grâce à des modules découplés, interchangeables et flexiblement orchestrés. Les auteurs soutiennent que l'intégration profonde, au niveau des embeddings, de modules spécialisés est plus efficace que de se fier uniquement aux représentations moléculaires basées sur le texte ou à un raisonnement augmenté par des outils lâches. Ce cadre est présenté comme un modèle général pour les modèles de fondation scientifiques nécessitant une intégration de données hétérogènes, avec des implications directes pour la conception de médicaments, la synthèse chimique et la découverte scientifique plus large. L'ouvrage souligne que, bien que le système actuel soit conçu pour les petites molécules, l'architecture modulaire offre une voie pour prendre en charge des entités plus grandes comme les protéines et les polymères dans les itérations futures.