Multi-Modal Protein Representation Learning with CLASP

Le papier présente CLASP, un cadre d'apprentissage tri-modal unifié qui intègre des modèles de langage pour protéines, des réseaux de neurones géométriques et des grands modèles de langage pour générer des représentations protéiques enrichies à partir de leurs séquences, structures 3D et descriptions textuelles, surpassant ainsi les méthodes actuelles dans des tâches de classification et de récupération sans apprentissage préalable.

L'essentiel

🧬 CLASP : Le Traducteur Universel des Protéines

Imaginez que les protéines (ces petites machines biologiques qui font fonctionner nos cellules) sont comme des livres de recettes de cuisine très complexes. Pour comprendre une recette, vous avez besoin de trois choses différentes :

1. La liste des ingrédients (la séquence d'acides aminés).
2. La forme du plat fini (la structure 3D).
3. La description du plat (ce qu'il fait, à quoi il sert, écrit dans un livre de cuisine).

Jusqu'à présent, les ordinateurs étaient un peu comme des cuisiniers qui ne pouvaient lire que la liste des ingrédients. Ils savaient que "farine + œufs" faisaient une pâte, mais ils avaient du mal à comprendre pourquoi cette pâte prenait une forme spécifique ou comment elle se comportait une fois cuite.

C'est là qu'intervient CLASP (Contrastive Language–Amino acid Sequence–Structure Pretraining). C'est un nouveau modèle d'intelligence artificielle conçu par des chercheurs de l'Université McGill et de Mila.

🧩 L'Analogie du "Cercle de Famille"

Pour comprendre comment CLASP fonctionne, imaginez un grand cercle de danse où trois groupes de personnes essaient de se tenir la main, mais ils parlent des langues différentes :

• Le groupe Structure parle le langage des formes géométriques (les atomes en 3D).
• Le groupe Séquence parle le langage des lettres (A, C, G, T, etc.).
• Le groupe Texte parle le langage humain (des descriptions comme "cette protéine aide à guérir les blessures").

Avant CLASP, ces groupes dansaient séparément. Ils ne se comprenaient pas bien.
CLASP est le chef d'orchestre qui apprend à ces trois groupes à danser ensemble sur la même musique. Il utilise une technique appelée apprentissage contrastif.

Comment ça marche ?
Imaginez que vous avez une photo d'un chat (la structure), le mot "chat" (la séquence) et une phrase "le chat miaule" (le texte).

• CLASP apprend à rapprocher ces trois éléments dans son cerveau numérique.
• Si on lui montre une photo de chat et le mot "chien", il dit : "Non ! Ce n'est pas la même chose !" et il les éloigne.
• En répétant cela des milliers de fois avec des protéines, il crée une carte mentale unique où tout ce qui concerne une même protéine se retrouve au même endroit, peu importe si vous lui parlez en "3D", en "lettres" ou en "français".

🚀 Ce que CLASP peut faire de magique

Grâce à cette carte mentale unifiée, CLASP devient un super-héros de la biologie :

1. Le Détective Zéro-Shot (Sans entraînement préalable) :
   Vous pouvez donner à CLASP une photo d'une protéine (sa forme 3D) et lui demander : "Quelle est la séquence de lettres de cette protéine ?" ou "Que fait-elle ?". Il trouve la réponse instantanément, même s'il n'a jamais vu cette protéine précise auparavant. C'est comme si vous lui montriez une voiture inconnue et qu'il devinait immédiatement le modèle et l'année de fabrication.

2. Le Traducteur de Livres de Cuisine :
   Si vous écrivez une description libre et un peu brouillonne ("Cette protéine aide à combattre les bactéries dans la peau"), CLASP peut retrouver la protéine exacte dans une bibliothèque de 35 000 candidats. Il comprend le sens, pas juste les mots-clés.

3. Le Tri-Classeur Naturel :
   Si vous lancez des milliers de protéines dans CLASP, elles se regroupent toutes seules par famille (comme les kinases ou les récepteurs), exactement comme si vous triiez des livres par genre (policier, romance, science-fiction) sans avoir besoin de lire les étiquettes. Cela prouve que le modèle a vraiment compris la "biologie" derrière les formes.

🔍 Pourquoi est-ce si important ?

Les chercheurs ont testé CLASP contre d'autres modèles intelligents. Résultat : CLASP gagne à tous les coups.

Pourquoi ? Parce que les autres modèles regardaient souvent une seule chose (soit la forme, soit le texte). CLASP, lui, regarde les trois en même temps.
C'est comme essayer de comprendre un film :

• Regarder seulement le scénario (texte) ? C'est bien.
• Regarder seulement les acteurs (séquence) ? C'est mieux.
• Mais voir le film entier avec l'action, les dialogues et les décors (structure + texte + séquence) ? C'est là que vous comprenez vraiment l'histoire.

🏁 En résumé

CLASP est un outil révolutionnaire qui apprend aux ordinateurs à voir les protéines de manière holistique. Il ne se contente pas de mémoriser des listes ; il comprend la relation profonde entre la forme d'une protéine, sa composition chimique et son rôle dans le corps humain.

C'est une étape majeure pour :

• Trouver de nouveaux médicaments plus vite.
• Comprendre des maladies complexes.
• Traduire le langage des scientifiques en langage informatique, et vice-versa.

En bref, CLASP est le pont qui relie le monde physique des molécules au monde des mots et des idées, ouvrant la voie à une nouvelle ère de découverte médicale.

Résumé technique

Résumé Technique : CLASP – Apprentissage de Représentations Protéiques Multi-Modales

1. Problématique et Contexte

Les modèles de langage protéique (pLM) actuels, tels que ESM ou ProtT5, apprennent des représentations riches à partir de vastes bases de données de séquences d'acides aminés. Cependant, ces modèles se concentrent principalement sur la séquence linéaire (1D), négligeant deux aspects cruciaux pour la fonction biologique :

1. La structure tridimensionnelle (3D) : Les protéines sont des objets géométriques dont la fonction dépend de leur repliement. La structure est souvent plus conservée que la séquence et révèle des homologies lointaines invisibles aux méthodes basées uniquement sur la séquence.
2. Les descriptions textuelles : Les propriétés biochimiques, les fonctions et les contextes cellulaires sont décrits dans la littérature scientifique et les bases de données (ex: UniProt) sous forme de texte naturel. Ces informations sémantiques de haut niveau ne sont pas directement inférrables de la séquence ou de la structure seule.

Les approches existantes sont souvent bimodales (séquence-texte ou séquence-structure) et échouent à intégrer simultanément ces trois modalités dans un cadre unifié. Il existe donc un besoin critique de développer des modèles capables d'aligner la séquence, la structure 3D et le texte descriptif pour créer des représentations protéiques plus complètes et interprétables.

2. Méthodologie : L'Architecture CLASP

CLASP est un cadre d'apprentissage tri-modal unifié qui combine l'apprentissage profond géométrique, les grands modèles de langage (LLM), les modèles de langage protéique (pLM) et l'apprentissage par contraste.

A. Composants du Modèle

Le modèle se compose de deux modules principaux :

1. Encodeur de Structure (Geometric Deep Learning) :

   • Les fichiers PDB sont convertis en graphes atomiques utilisant la bibliothèque Graphein. Les nœuds représentent les atomes (annotés avec des descripteurs biochimiques comme l'hydrophobicité, la charge, etc.) et les arêtes représentent les distances euclidiennes.
   • Un Réseau de Neurones à Graphes Invariant E(3) (EGNN) traite ces graphes. L'invariance E(3) est cruciale : elle garantit que la représentation apprise dépend uniquement de la forme intrinsèque de la protéine et non de son orientation ou de sa translation dans l'espace 3D.
   • Cela produit des embeddings de structure de 512 dimensions.

2. Module d'Alignement (Contrastive Learning) :

   • Séquence : Utilisation d'embeddings pré-calculés (1024 dims) issus de ProtT5 (pLM basé sur Transformer), qui sont figés (frozen).
   • Texte : Utilisation d'embeddings pré-calculés (1024 dims) issus de BioGPT (LLM spécialisé en biologie) pour les descriptions fonctionnelles d'UniProt. Ces embeddings sont également figés.
   • Projection : Chaque modalité (Structure, Séquence, Texte) passe par une couche de projection linéaire apprenable pour mapper les vecteurs dans un espace latent partagé de 512 dimensions.

B. Fonction de Perte et Entraînement

CLASP utilise une approche d'apprentissage par contraste inspirée de CLIP (Contrastive Language-Image Pre-training) et adaptée au 3D (CG3D).

• Objectif : Aligner les triplets (Structure, Séquence, Texte) correspondant à la même protéine dans l'espace latent, tout en éloignant les triplets non correspondants.
• Fonction de perte : Une somme de trois termes de perte d'entropie croisée symétrique (pour les paires Structure-Séquence, Structure-Texte, et Séquence-Texte) plus un terme de régularisation L2 sur l'encodeur de structure.
• Entraînement : Le modèle est entraîné de bout en bout (end-to-end), permettant au gradient de la perte de contraste de remonter jusqu'à l'encodeur EGNN, affinant ainsi la représentation structurelle.

3. Contributions Clés

1. Premier cadre tri-modal unifié : CLASP est la première méthode à intégrer simultanément la structure 3D, la séquence et le texte descriptif dans un seul espace d'embedding via un apprentissage par contraste.
2. Intégration de la géométrie 3D : L'utilisation d'un EGNN invariant E(3) permet de capturer les relations géométriques intrinsèques des protéines, dépassant les limites des approches purement séquentielles ou graphiques non-invariantes.
3. Alignement sans supervision de tâche (Zero-Shot) : Le modèle apprend à aligner les modalités sans nécessiter d'étiquettes spécifiques à une tâche de classification, permettant des tâches de récupération et de classification zero-shot.
4. Validation de la complémentarité : L'étude démontre que chaque modalité apporte une valeur ajoutée synergique, confirmée par des études d'ablation.

4. Résultats Expérimentaux

A. Alignement et Classification Zero-Shot

CLASP a été évalué sur des tâches d'alignement croisé (Séquence-Structure, Texte-Structure, Séquence-Texte) en comparant sa performance à des baselines de pointe (Progres, COLLAPSE, ProstT5, ProteinCLIP, ProtST).

• Séquence-Structure : CLASP atteint un AUROC de 0,976 et un MCC de 0,841, surpassant significativement les modèles bimodaux (ex: Progres-CLIP avec ~0,919 AUROC) et les modèles de traduction (ProstT5).
• Texte-Structure : CLASP obtient un AUROC de 0,858, démontrant sa capacité à relier des descriptions textuelles complexes à des structures 3D.
• Séquence-Texte : CLASP obtient les meilleurs scores (F1 moyen de 0,932), surpassant même des modèles bimodaux spécialisés comme ProteinCLIP, grâce à la régularisation implicite apportée par la modalité structurelle.

B. Récupération de Séquences

Dans une tâche de récupération à grande échelle (trouver la bonne séquence parmi 35 911 candidates à partir d'une description textuelle), CLASP a classé la séquence correcte dans le top 98,9 % (moyenne) même pour des descriptions "libres" (freehand) écrites par des experts, démontrant une grande robustesse face à la variabilité linguistique.

C. Clustering par Famille Protéique

Les embeddings de structure appris par CLASP montrent une capacité supérieure à regrouper les protéines par famille (Kinases, GPCR, etc.) par rapport aux modèles unimodaux.

• Les métriques de clustering (Silhouette, Calinski-Harabasz, divergence KL/JS) sont nettement meilleures pour CLASP.
• Cela indique que le modèle apprend des relations structure-fonction biologiquement significatives, séparant clairement les clusters intra-famille des clusters inter-famille.

D. Études d'Ablation

• Remplacement de l'EGNN par un GNN standard : Entraîne une chute drastique des performances (baisse de ~15 points sur le MCC), soulignant l'importance cruciale de l'invariance géométrique E(3).
• Objectif Bimodal vs Tri-modal : L'utilisation d'un objectif CLIP bimodal (sans la troisième modalité) donne systématiquement de moins bons résultats, prouvant que la supervision tri-modale est essentielle pour la qualité des représentations.
• Stratégie de Pooling : Le sum pooling s'est avéré supérieur aux stratégies de moyenne ou de maximum pour l'agrégation des graphes protéiques.

5. Signification et Perspectives

CLASP établit un nouveau standard pour l'apprentissage de représentations protéiques en unifiant les vues moléculaires (séquence/structure) et sémantiques (texte).

• Impact Scientifique : Le modèle démontre que l'intégration de la structure 3D dans un cadre d'apprentissage par contraste améliore non seulement les tâches d'alignement, mais aussi la qualité intrinsèque des embeddings pour la classification et le regroupement familial.
• Applications Potentielles :
  • Moteurs de recherche sémantique pour les protéines (retrouver une structure à partir d'une description textuelle).
  • Annotation automatique de protéines inconnues.
  • Conception de protéines guidée par le texte.
  • Découverte de médicaments (recherche de cibles basée sur des descriptions fonctionnelles).
• Limites : La couverture est limitée par la disponibilité des structures PDB de haute confiance (biais potentiel contre les protéines intrinsèquement désordonnées). De plus, les backbones de langage (ProtT5, BioGPT) sont figés, ce qui pourrait limiter la synergie profonde, bien que les couches de projection soient entraînables.

En conclusion, CLASP offre un cadre robuste et généraliste pour comprendre les protéines en intégrant leurs déterminants physiques et leurs contextes biologiques décrits en langage naturel, ouvrant la voie à des modèles plus interprétables et performants en biologie computationnelle.