Suiren-1.0 Technical Report: A Family of Molecular Foundation Models

Ce rapport présente Suiren-1.0, une famille de modèles de fondation moléculaires open-source comprenant trois variantes spécialisées qui combinent un pré-entraînement sur des données de théorie de la fonctionnelle de la densité et une distillation de conformation pour prédire avec précision les propriétés quantiques et les interactions intermoléculaires à partir de représentations 2D ou 3D.

L'essentiel

🧪 Suiren-1.0 : Le "Chef Cuisinier" de la Chimie

Imaginez que vous voulez prédire comment se comportera une nouvelle molécule (un médicament, un plastique, un carburant) sans avoir à la fabriquer physiquement en laboratoire. C'est comme essayer de deviner le goût d'un plat complexe juste en regardant la liste des ingrédients, sans jamais l'avoir goûté.

C'est là qu'intervient Suiren-1.0. C'est une nouvelle famille d'intelligences artificielles (des "modèles de fondation") conçue par l'Académie chinoise de l'IA pour la science. Son but ? Devenir l'expert ultime pour comprendre les molécules organiques.

Pour y arriver, les chercheurs ont créé une équipe de trois spécialistes qui travaillent ensemble, un peu comme une brigade de cuisine de haute précision :

1. Le Chef de Cuisine : Suiren-Base (L'Expert 3D)

Imaginez un chef qui a passé des années à étudier des millions de recettes en 3D. Il ne se contente pas de voir les ingrédients (les atomes), il comprend exactement comment ils sont agencés dans l'espace, comment ils bougent et comment ils interagissent.

• Ce qu'il fait : Il a été entraîné sur 70 millions de simulations de chimie quantique (le niveau de détail le plus précis possible). Il connaît la "physique" de la molécule : ses énergies, ses forces, ses mouvements.
• Le problème : C'est un génie, mais il est lourd et lent. Il a besoin de voir la molécule en 3D pour travailler. Or, dans la vraie vie, on n'a souvent que la "liste d'ingrédients" (une formule chimique à plat, en 2D).

2. Le Spécialiste des Interactions : Suiren-Dimer (L'Expert des Couples)

Parfois, deux molécules doivent travailler ensemble (comme un médicament qui s'accroche à une protéine dans le corps).

• Ce qu'il fait : C'est une version du Chef qui a appris spécifiquement comment deux molécules se parlent et s'influencent mutuellement. C'est crucial pour la conception de médicaments.

3. Le Traducteur Rapide : Suiren-ConfAvg (Le Génie 2D)

C'est ici que la magie opère. Comment utiliser le génie 3D (Suiren-Base) quand on n'a que des données 2D simples ?

• L'astuce (Distillation) : Les chercheurs ont créé une technique appelée CCD (Compression de Conformation). Imaginez que le Chef (Suiren-Base) écrit un livre de cuisine géant et complexe. Le Traducteur (Suiren-ConfAvg) lit ce livre et en extrait l'essentiel pour créer un "guide de poche" ultra-rapide.
• Ce qu'il fait : Il prend une simple formule chimique (2D) et, grâce à ce qu'il a appris du Chef, il devine instantanément comment la molécule se comporte en 3D, sans avoir besoin de faire le calcul lourd. C'est comme si vous pouviez prédire le goût d'un plat complexe juste en lisant la liste des ingrédients, avec une précision incroyable.

---

🌉 Le Pont entre le Micro et le Macro

Le vrai défi scientifique que Suiren-1.0 résout, c'est le fossé entre deux mondes :

1. Le monde microscopique (3D) : Où les atomes dansent et bougent (comme une foule en mouvement). C'est là que la physique règne.
2. Le monde macroscopique (2D) : Ce que nous voyons et mesurons (la température, la solubilité, la toxicité).

Avant, les IA étaient soit des experts 3D (lents et complexes), soit des experts 2D (rapides mais "aveugles" à la forme 3D). Suiren-1.0 est le premier à faire le pont. Il comprend que les propriétés que nous mesurons (comme le point d'ébullition) sont la moyenne de tous les mouvements microscopiques de la molécule.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Les chercheurs ont mis Suiren-1.0 à l'épreuve sur plus de 50 tâches différentes (prédire la toxicité, la solubilité, la température d'ébullition, etc.) et dans 9 domaines scientifiques.

• Le résultat : Dans la grande majorité des cas, Suiren-1.0 bat tous les records précédents (State-of-the-Art).
• L'analogie : Si les autres IA étaient des étudiants qui apprenaient par cœur quelques formules, Suiren-1.0 est comme un professeur qui a compris la logique profonde de la chimie. Il fait des erreurs beaucoup moins souvent (parfois jusqu'à 20% de moins d'erreurs que les meilleurs concurrents).

🚀 Pourquoi est-ce important pour nous ?

Grâce à Suiren-ConfAvg (le modèle léger), les scientifiques et les entreprises peuvent :

• Découvrir de nouveaux médicaments beaucoup plus vite, en testant des millions de molécules virtuellement avant de passer au laboratoire.
• Créer de nouveaux matériaux (batteries, plastiques) plus efficaces.
• Économiser de l'argent et du temps en réduisant le nombre d'expériences physiques coûteuses nécessaires.

En résumé

Suiren-1.0, c'est comme avoir un super-ordinateur de chimie qui a lu tous les livres de physique quantique, a compris comment les atomes dansent ensemble, et a ensuite appris à résumer tout ce savoir complexe en un guide simple et rapide que n'importe qui peut utiliser pour prédire l'avenir des molécules.

Et le meilleur ? Tout est gratuit et ouvert (Open Source). Les chercheurs du monde entier peuvent maintenant utiliser ces outils pour accélérer la science.

Résumé technique

Résumé Technique : Suiren-1.0, une Famille de Modèles de Fondation Moléculaire

1. Problématique et Contexte

Le domaine de la modélisation moléculaire fait face à deux défis majeurs qui entravent le développement de modèles universels :

1. Complexité des "priors physiques" : Le comportement des molécules est régi par des lois fondamentales complexes (mécanique quantique, thermodynamique statistique). Apprendre ces mécanismes uniquement par des données étiquetées est difficile en raison de la rareté des données de haute fidélité.
2. Le fossé multi-échelle (Microscopique vs Macroscopique) :
   • Les tâches microscopiques (ex: prédiction de propriétés quantiques) nécessitent des conformations 3D explicites et des densités électroniques, souvent générées par la théorie de la fonctionnelle de la densité (DFT).
   • Les tâches macroscopiques (ex: solubilité, toxicité) reposent souvent sur des représentations 1D (SMILES) ou 2D (graphes moléculaires) qui manquent d'informations conformationnelles explicites.
   • Le problème : Les modèles 3D existants (comme UMA) manquent de généralisation sur des tâches chimiques larges, tandis que les modèles 2D (comme MoleBERT) sont "aveugles" aux conformations, limitant leur capacité à prédire des propriétés émergentes issues de la moyenne d'ensemble des conformères (gouvernée par la distribution de Boltzmann).

Objectif de Suiren-1.0 : Combler ce fossé en créant un cadre unifié capable de passer d'une représentation 3D précise (microscopique) à une représentation 2D efficace et généralisable (macroscopique).

2. Méthodologie et Architecture

La famille Suiren-1.0 comprend trois variantes spécialisées intégrées dans un cadre algorithmique en trois étapes :

A. Pré-entraînement : Suiren-Base et Suiren-Dimer

• Architecture : Un réseau de neurones graphiques (GNN) équivariant de haut degré sous SO(3). Il combine un modèle EquiformerV2 avec un bloc de mise à jour dense Mixture-of-Experts (MoE).
  • Chaque bloc MoE utilise deux types d'experts : S2Activation et Equivariant Spherical Transformer (EST).
  • Une stratégie de rotation de base est introduite pour les experts EST afin d'améliorer l'équivariance continue et de réduire les erreurs de discrétisation.
• Données : Pré-entraînement sur 70 millions d'échantillons de données DFT (niveau B3LYP/def2-SVP) couvrant les éléments H, C, N, O, F, P, S, Cl, Br, I.
• Stratégies d'apprentissage :
  • Utilisation de la méthode EMPP (Enhanced Masked Atom Prediction) pour augmenter le volume d'entraînement et apprendre les paysages d'énergie potentielle.
  • Suiren-Base (1,8 Md de paramètres) : Se concentre sur les interactions intramoléculaires.
  • Suiren-Dimer : Extension par pré-entraînement continu sur 13,5 millions d'échantillons d'interactions intermoléculaires (dimères) pour les applications comme la conception de médicaments.

B. Distillation : Conformation Compression Distillation (CCD)

Pour rendre le modèle utilisable sans accès aux coordonnées 3D (seulement SMILES ou graphes 2D), les auteurs proposent le CCD :

• Concept : Un cadre de distillation basé sur la diffusion qui aligne les représentations 2D (topologie moléculaire) et 3D (conformations + énergie).
• Processus :
  1. Un encodeur 2D (GAT) génère une représentation latente.
  2. Un modèle de diffusion conditionné par l'énergie et la représentation 2D apprend à reconstruire la représentation 3D et les coordonnées atomiques.
  3. Le modèle 3D (Suiren-Base) est figé (teacher) pendant ce processus.
• Résultat : Le modèle Suiren-ConfAvg. Il apprend une représentation latente macroscopique "moyenne" qui capture les propriétés d'ensemble sans nécessiter de génération explicite de conformères pour chaque inférence, tout en conservant la capacité de générer des conformères si nécessaire.

C. Adaptation : Fine-tuning (DGNN)

Pour les tâches en aval, une architecture Dual Graph Neural Network (DGNN) est utilisée :

• Elle combine le module pré-entraîné Suiren-ConfAvg (figé) et un GNN spécifique à la tâche (initialisé aléatoirement).
• Les représentations latentes de Suiren-ConfAvg sont injectées dans les couches du GNN spécifique pour guider l'apprentissage, évitant ainsi l'oubli catastrophique et assurant une robustesse élevée.

3. Contributions Clés

1. Cadre de modélisation Multi-échelle : Une approche unifiée qui relie les représentations 3D précises (DFT) aux représentations 2D généralisables via la distillation par diffusion (CCD).
2. Modèles de Fondation Ouverts :
   • Suiren-Base et Suiren-Dimer pour les tâches nécessitant une précision quantique 3D.
   • Suiren-ConfAvg pour les applications industrielles rapides basées sur SMILES/graphes.
3. Benchmark MoleHB : Introduction d'un benchmark complet (MoleHB) contenant plus de 40 tâches hétérogènes (sécurité, structure, thermodynamique, transport, etc.) avec des données validées par des expériences en laboratoire.
4. Stratégies d'entraînement avancées : Intégration de priors physiques (EMPP, rotation de base pour l'équivariance) et utilisation de l'apprentissage par curriculum.

4. Résultats Expérimentaux

Les évaluations ont été menées sur plus de 50 tâches dans 9 domaines scientifiques, en utilisant une configuration de fine-tuning unifiée (sans ajustement spécifique par tâche).

• Performance Globale (MoleHB) :
  • Suiren-ConfAvg atteint des résultats State-of-the-Art (SOTA) sur 41 propriétés sur 43 par rapport aux modèles de référence (MoleBERT, Uni-Mol v1/v2).
  • Améliorations significatives (>20%) sur plus de 20 tâches, notamment :
    • Propriétés énergétiques : Réduction de l'erreur (MAE) de 30% à 57% (ex: énergie libre de Gibbs, enthalpie de combustion).
    • Propriétés de transport : Amélioration de 37,5% pour la viscosité des liquides.
    • Propriétés critiques : Précision accrue sur la température et la densité critiques.
• Performance TDC (ADMET) :
  • Sur les tâches de découverte de médicaments (ADMET), Suiren-ConfAvg obtient les meilleurs résultats sur 9 des 18 métriques et se classe deuxième sur 4 autres, malgré une configuration d'entraînement fixe et simple.
  • Excellentes performances en classification (ex: HIA, BBB, Ames) et régression (ex: Caco2, Lipophilicity).
• Efficacité : Le modèle Suiren-ConfAvg permet une inférence rapide à partir de SMILES tout en conservant la précision des modèles 3D lourds.

5. Signification et Impact

• Paradigme de Recherche : Ce travail démontre qu'il est possible de combiner la précision physique des modèles 3D avec la praticité des modèles 2D, surmontant ainsi la barrière de la "cécité conformationnelle" des modèles 2D traditionnels.
• Accessibilité et Reproductibilité : Tous les modèles (poids et code), ainsi que le benchmark MoleHB, sont open-source. Cela facilite la recherche reproductible et l'adoption par l'industrie pharmaceutique et des matériaux.
• Applications Potentielles : La capacité à prédire avec précision des propriétés macroscopiques complexes à partir de simples graphes moléculaires ouvre la voie à un criblage virtuel plus rapide et plus fiable pour la découverte de médicaments, la science des matériaux et la chimie des batteries.

Limitations et Perspectives :
Les auteurs notent que la taille du modèle est limitée par les contraintes de calcul et que l'utilisation de la stratégie "Top-K" dans le MoE pourrait être envisagée à l'avenir pour accélérer l'inférence. De plus, l'exploration de paramètres spécifiques pour certaines tâches très spécialisées pourrait encore améliorer les performances.