SELFormerMM: multimodal molecular representation learning via SELFIES, structure, text, and knowledge graph integration

Le papier présente SELFormerMM, un cadre d'apprentissage multimodal qui intègre les notations SELFIES, les structures moléculaires, les descriptions textuelles et les graphes de connaissances pour générer des représentations moléculaires enrichies surpassant les approches unimodales dans la découverte de médicaments.

L'essentiel

🧪 Le Problème : Regarder une molécule avec un seul œil

Imaginez que vous essayez de décrire un éléphant à quelqu'un qui n'en a jamais vu.

• Si vous ne lui donnez que la forme (un gros tas gris), il ne saura pas comment il se comporte.
• Si vous ne lui donnez que le son (un bruit de trompe), il ne saura pas à quoi il ressemble.
• Si vous ne lui donnez que le nom ("Éléphant"), il ne saura ni sa taille ni son caractère.

Dans le monde de la découverte de médicaments, c'est exactement le problème. Les molécules (les ingrédients des médicaments) sont complexes. Jusqu'à présent, les ordinateurs les étudiaient souvent d'une seule façon : soit en regardant leur forme (comme un dessin), soit en lisant leur code (une suite de lettres), soit en consultant un livre (des descriptions textuelles).

Le problème ? Chaque méthode ne voit qu'une partie de la réalité. C'est comme essayer de comprendre un film en ne regardant que les décors, ou en n'écoutant que la musique.

🚀 La Solution : SELFormerMM, le "Super-Traducteur"

Les chercheurs de l'Université de Hacettepe (en Turquie) ont créé un nouvel outil appelé SELFormerMM. Imaginez-le comme un chef d'orchestre génial ou un super-détective qui rassemble toutes les informations possibles sur une molécule pour en avoir une image complète.

Ce modèle apprend à lire quatre langages différents en même temps :

1. Le Code (SELFIES) : C'est une façon très intelligente d'écrire la molécule avec des lettres. Contrairement aux anciennes méthodes (SMILES) qui pouvaient faire des erreurs de grammaire chimique, SELFIES est comme un langage parfait qui ne peut jamais être mal écrit. C'est la "grammaire" de la molécule.
2. La Forme (Graphes) : C'est la carte routière de la molécule. On voit comment les atomes sont connectés entre eux, comme des nœuds sur un filet. C'est la structure physique.
3. Le Texte (Descriptions) : C'est ce qu'on lit dans les livres de chimie ou les rapports médicaux. "Cette molécule est soluble dans l'eau", "Elle agit sur le cerveau", etc. C'est le contexte sémantique.
4. Le Réseau Social (Graphes de Connaissances) : C'est la partie la plus fascinante. Les molécules ne vivent pas seules. Elles interagissent avec des protéines, des gènes et des maladies. Le modèle regarde comment la molécule "se lie" à ses amis biologiques dans un immense réseau social mondial.

⚙️ Comment ça marche ? (L'Analogie du Puzzle)

Imaginez que vous avez un énorme puzzle de 3 millions de pièces (les molécules).

• L'entraînement (Apprentissage) : SELFormerMM regarde chaque pièce sous tous ses angles. Il prend le code, la forme, le texte et le réseau social, et il essaie de les faire "coller" ensemble.
• L'objectif : Il apprend à dire : "Ah ! Ce code bizarre, cette forme tordue, cette description et ce lien avec telle protéine... tout cela décrit la MÊME molécule !"
• Le résultat : À force de répéter cet exercice, le modèle crée une représentation unique (une sorte d'empreinte digitale numérique) qui contient tout ce qu'il faut savoir sur la molécule.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé ce modèle sur des tâches réelles, comme prédire si un médicament peut traverser la barrière du cerveau (pour soigner des maladies neurologiques) ou s'il est toxique.

• Le verdict : SELFormerMM bat souvent les anciens modèles qui ne regardaient qu'une seule chose.
• L'exemple concret : Prenons deux médicaments pour le cerveau.
  • L'un doit entrer dans le cerveau pour fonctionner (comme la dextroamphétamine). Le modèle a dit : "Oui, il passe !" (C'est vrai).
  • L'autre doit rester à l'extérieur pour ne pas faire de dégâts (comme le benserazide). Le modèle a dit : "Non, il ne passe pas !" (C'est aussi vrai).

En combinant toutes les informations, le modèle a mieux compris la "personnalité" de la molécule que s'il n'avait regardé que sa forme ou que son code.

💡 En résumé

SELFormerMM, c'est comme passer d'une photo en noir et blanc (une seule vue) à un film en 4D avec du son et des effets spéciaux (vue multimodale).

Au lieu de se fier à un seul indice pour découvrir un nouveau médicament, les scientifiques peuvent maintenant utiliser un outil qui écoute tout : le code, la forme, le texte et les relations biologiques. Cela permet de trouver des médicaments plus vite, plus sûrement et de mieux comprendre comment ils fonctionnent dans le corps humain.

C'est une étape de plus vers une médecine de précision où l'ordinateur aide l'humain à ne rien oublier dans la complexité du vivant.

Résumé technique

1. Problématique

L'apprentissage de représentations moléculaires est au cœur de la découverte de médicaments computationnelle. Cependant, la majorité des modèles existants reposent sur des entrées unimodales (séquences de caractères comme SMILES/SELFIES, graphes structuraux, ou réseaux de connaissances), capturant ainsi des aspects limités du comportement moléculaire.
Le défi majeur réside dans l'unification de ces modalités hétérogènes (séquences, structures 2D/3D, descriptions textuelles et réseaux d'interactions biologiques) au sein d'un cadre multimodal cohérent. Les approches actuelles alignent souvent les vues de manière parcellaire ou sur des sous-ensembles limités de modalités, ce qui empêche l'exploitation complète des signaux complémentaires pour générer des représentations riches et biologiquement fondées.

2. Méthodologie

Les auteurs proposent SELFormerMM, un cadre d'apprentissage multimodal qui intègre quatre types de données pour une même molécule dans un espace latent partagé :

1. Séquences SELFIES (représentation syntaxique robuste).
2. Graphes structuraux 2D (connectivité atomique).
3. Descriptions textuelles (annotations naturelles).
4. Interactions biologiques (issues d'un graphe de connaissances, KG).

L'architecture et le processus d'entraînement se déroulent en deux étapes principales :

A. Architecture du Modèle

Le modèle comporte quatre branches spécifiques à chaque modalité, alignées vers un espace de projection commun :

• Modalité Séquence : Utilisation de SELFormer (basé sur RoBERTa) entraîné sur des notations SELFIES.
• Modalité Texte : Utilisation de SciBERT pour encoder les descriptions textuelles.
• Modalité Structurelle : Utilisation de Uni-Mol pour générer des embeddings basés sur la structure 3D dérivée des SMILES.
• Modalité Graphe de Connaissances (KG) : Utilisation de l'architecture DMGI (Deep Mutual Graph Infomax) sur un sous-graphe de CROssBARv2-KG intégrant des interactions Molécule-Protéine-Gène-Maladie.
• Alignement : Chaque encodeur (sauf celui de la séquence) est initialisé avec des poids pré-entraînés et figé. Des réseaux de projection non linéaires (MLP) transforment les embeddings natifs dans l'espace caché commun (768 dimensions). En cas de donnée manquante, un vecteur nul est injecté.

B. Stratégie d'Entraînement

1. Pré-entraînement Multimodal (Auto-supervisé) :
   • Le modèle est entraîné sur un jeu de données massif (~3 millions de molécules) provenant de ChEMBL, M3-20M et CROssBARv2.
   • L'objectif est d'aligner les représentations d'une même molécule à travers ses différentes modalités.
   • Fonction de perte : SINCERELoss, une extension supervisée de la perte InfoNCE, qui maximise la similarité entre les vues positives (même molécule, modalités différentes) et minimise celle des vues négatives (molécules différentes).
2. Affinage Supervisé (Fine-tuning) :
   • Le modèle pré-entraîné est adapté à des tâches spécifiques (classification ou régression) via des têtes de prédiction.
   • Stratégie de gel partiel : Les premières couches de l'encodeur RoBERTa sont figées, tandis que les dernières couches, les têtes de projection et la tête de tâche sont affinées.

3. Contributions Clés

• Intégration Holistique : C'est l'un des premiers cadres à intégrer simultanément SELFIES, graphes 2D, texte et graphes de connaissances biologiques à grande échelle.
• Échelle et Robustesse : Entraîné sur ~3 millions de molécules, le modèle surmonte les limitations des approches précédentes souvent limitées à des jeux de données plus petits ou moins diversifiés.
• Gestion des Données Manquantes : Le modèle est conçu pour fonctionner même lorsque certaines modalités (texte ou KG) sont absentes pour certaines molécules, en utilisant des vecteurs nuls et en apprenant des représentations dédiées pour ces cas.
• Alignement Contrastif : L'utilisation de la perte SINCERE permet d'harmoniser efficacement des vues hétérogènes sans nécessiter de données étiquetées pour l'étape de pré-entraînement.

4. Résultats

L'évaluation a été réalisée sur les benchmarks standard MoleculeNet (tâches de classification et de régression).

• Performance Globale : SELFormerMM surpasse ou égale les modèles unimodaux et multimodaux de l'état de l'art sur plusieurs tâches.
  • Classification : Meilleure performance sur SIDER (prédiction d'effets secondaires, ROC-AUC = 0.749) et BBBP (perméabilité hémato-encéphalique, ROC-AUC = 0.918), surpassant les modèles basés uniquement sur la structure ou le texte.
  • Régression : Résultats compétitifs sur Lipophilicity (RMSE = 0.574) et FreeSolv (RMSE = 0.883). Sur PDBbind (affinité de liaison), l'intégration du KG et de la structure améliore les résultats par rapport au modèle unimodal (RMSE = 1.328 vs 1.437).
• Analyse d'Ablation :
  • L'ajout de modalités améliore généralement les performances, mais l'efficacité dépend de la couverture des données.
  • L'information graphique (2D) s'avère être le signal le plus robuste et constant.
  • Les modalités Texte et KG apportent un gain complémentaire significatif, mais leur impact est variable en raison de leur couverture partielle dans les jeux de données (ex: seulement 7% des molécules ont une description textuelle dans certains benchmarks).
• Études de Cas : Les prédictions pour la perméabilité BBB (ex: dextroamphétamine vs benserazide) sont cohérentes avec les connaissances pharmacologiques établies, validant la pertinence biologique des représentations apprises.

5. Signification et Impact

• Avancée Scientifique : SELFormerMM démontre que l'intégration de contextes biologiques (KG) et sémantiques (texte) avec des représentations chimiques rigoureuses (SELFIES) permet de capturer des signaux complémentaires cruciaux pour la découverte de médicaments.
• Généralisation : Le modèle prouve sa capacité à se généraliser à des tâches variées (toxicité, solubilité, affinité) sans nécessiter de caractéristiques manuelles (hand-crafted features) complexes.
• Ressource Open Source : Les auteurs ont rendu le code, les modèles pré-entraînés et les données disponibles publiquement, favorisant la reproductibilité et l'adoption par la communauté.
• Perspectives Futures : Le travail ouvre la voie à des stratégies plus robustes pour gérer les modalités manquantes (sans padding nul) et à l'extension du cadre vers la conception de novo de médicaments et la prédiction d'interactions médicament-cible.

En résumé, SELFormerMM établit un nouveau standard pour la représentation moléculaire multimodale, prouvant qu'une approche holistique combinant chimie, biologie et langage naturel est essentielle pour une modélisation prédictive fiable et interprétable.