Multi-Modal Protein Representation Learning with CLASP

Het artikel introduceert CLASP, een uniek driemodale raamwerk dat structurele, sequentiële en tekstuele gegevens combineert om krachtige eiwitrepresentaties te leren die superieure prestaties leveren bij nul-shot classificatie en zoekopdrachten.

De kern

CLASP: De Drieweg-Vertaler voor Proteïnen

Stel je voor dat een eiwit (een bouwsteen van het leven) als een geheimzinnig persoon is die drie verschillende identiteiten heeft. Deze persoon kan zich op drie manieren voorstellen:

1. De Lijst: Een lange rij letters (de aminozuur-volgorde). Dit is als een recept of een code.
2. Het Huis: De 3D-vorm die het eiwit aanneemt. Dit is als het plattegrond en de architectuur van een huis.
3. Het Biografie: Een tekstuele beschrijving van wat het eiwit doet (bijvoorbeeld: "dit eiwit helpt bij de spijsvertering"). Dit is als een verhaal of een biografie.

Tot nu toe hadden wetenschappers vaak maar één van deze drie identiteiten. Ze keken alleen naar de lijst, of alleen naar het huis, of alleen naar het verhaal. Het probleem? Als je alleen naar de lijst kijkt, zie je niet hoe het huis eruitziet. En als je alleen naar het verhaal kijkt, weet je niet hoe het molecuul er fysiek uitziet.

Wat is CLASP?
De onderzoekers van deze paper hebben CLASP bedacht. Je kunt CLASP zien als een super-vertaler of een drieweg-ontmoetingsruimte.

Het doel van CLASP is om deze drie verschillende identiteiten van een eiwit in één grote, gemeenschappelijke ruimte te brengen. In deze ruimte praten de "lijst", het "huis" en het "verhaal" met elkaar. Als je een eiwit in deze ruimte zet, worden al zijn drie kanten samengevoegd tot één krachtige, complete foto.

Hoe werkt het? (De Creatieve Analogie)

Stel je voor dat je een detective bent die een verdachte zoekt.

• De oude manier: Je had drie verschillende detectives. Eentje die alleen naar de vingerafdrukken (de lijst) keek, eentje die alleen naar de foto (het huis) keek, en eentje die alleen naar de getuigenverklaringen (het verhaal) keek. Soms kwamen ze niet overeen, of misten ze belangrijke details.
• De CLASP-methode: CLASP is een meester-detective die alle drie de bronnen tegelijkertijd gebruikt.
  • Het kijkt naar de lijst (met behulp van een slimme taalcomputer die al miljoenen recepten kent).
  • Het kijkt naar de 3D-vorm (met behulp van een speciale bril die ziet hoe atomen in de ruimte staan, zonder dat het maakt of je het eiwit draait of verschuift).
  • Het leest het verhaal (met behulp van een taalcomputer die gespecialiseerd is in medische teksten).

Deze meester-detective leert dat als de lijst, het huis en het verhaal bij elkaar horen, ze allemaal naar hetzelfde punt in de ruimte moeten wijzen. Als ze niet bij elkaar horen, duwt de detective ze uit elkaar.

Wat kan CLASP nu doen?

Omdat CLASP alles in één ruimte heeft samengevoegd, kan het verrassende dingen doen die andere methoden niet kunnen:

1. Het "Zie-ik-het?"-spel (Zero-shot matching):
   Stel je geeft CLASP alleen de tekst: "Dit eiwit helpt bij het openen van cellen."
   CLASP kan direct het juiste 3D-gebouw (de structuur) vinden, zelfs als het nooit eerder die specifieke tekst met die specifieke vorm heeft gezien. Het is alsof je een beschrijving van een auto geeft en de computer direct de juiste blauwdrukken en het chassis toont, zonder dat je de auto ooit hebt gezien.

2. Het Groeperen:
   Als je duizenden eiwitten in deze ruimte zet, groeperen ze zich vanzelf. Alle "kloofjes" (eiwitten die cellen verbinden) komen bij elkaar, alle "pompen" (eiwitten die stoffen vervoeren) komen bij elkaar. CLASP ziet de familiebanden die voor andere methoden onzichtbaar waren.

3. Het Zoeken:
   Je kunt een vrij geschreven zin typen (bijvoorbeeld: "Dit eiwit breekt de buitenste laag van bacteriën af"), en CLASP vindt de juiste eiwit-lijst uit een database van bijna 36.000 opties. Het doet dit met een nauwkeurigheid van bijna 99%, zelfs als de zin informeel is geschreven.

Waarom is dit belangrijk?

Vroeger moest je kiezen: of je keek naar de chemie, of naar de vorm, of naar de tekst. CLASP combineert ze allemaal. Het is alsof je eindelijk een boek hebt dat niet alleen de tekst bevat, maar ook de illustraties en de samenvatting, en die allemaal perfect op elkaar zijn afgestemd.

Dit helpt wetenschappers om:

• Nieuwe medicijnen sneller te vinden (door te zoeken op basis van wat een eiwit doet, in plaats van alleen hoe het eruitziet).
• Ziekten beter te begrijpen door te zien hoe de vorm en de functie van eiwitten samenhangen.
• De taal van de biologie te leren spreken, ongeacht of je het in cijfers, 3D-modellen of gewone zinnen uitdrukt.

Kortom: CLASP is de sleutel die de deuren opent tussen de verschillende talen van de biologie, zodat we eiwitten eindelijk volledig kunnen begrijpen.

Technische samenvatting

Titel: Multi-Modale Representatieleer voor Proteïnen met CLASP

Auteurs: Nicolas Bolouri, Joseph Szymborski, en Amin Emad (McGill University, Mila, etc.)

---

1. Het Probleem

Traditionele methoden voor het leren van representaties van proteïnen (proteïne-representatie learning) focussen vaak op slechts één of twee data-modi:

• Sequentie: Gebruikmakend van Protein Language Models (pLMs) zoals ESM of ProtT5, die trainen op aminozuurreeksen.
• Structuur: Gebruikmakend van geometrisch diep leren (bijv. Graph Neural Networks) om 3D-structuren (PDB-bestanden) te modelleren.
• Tekst: Biologische functies en eigenschappen worden vaak beschreven in ongestructureerde tekst (bijv. UniProt-annotaties, wetenschappelijke artikelen).

De huidige uitdaging is dat deze modaliteiten vaak geïsoleerd worden behandeld. Hoewel sequenties en structuren cruciaal zijn, bevat de natuurlijke taalbeschrijving van een proteïne semantische kennis (zoals ziekteassociaties, celrollen en moleculaire activiteiten) die niet direct uit de sequentie of structuur kan worden afgeleid. Bestaande modellen zijn vaak bimodaal (sequentie + tekst of sequentie + structuur) en missen een geïntegreerde aanpak die alle drie de bronnen tegelijkertijd benut om een volledig beeld van een proteïne te vormen.

2. Methodologie: CLASP

De auteurs introduceren CLASP (Contrastive Language–Amino acid Sequence–Structure Pretraining), een unificerend tri-modaal raamwerk. Het doel is om een gedeelde vectorruimte te leren waarin structuren, sequenties en tekstuele beschrijvingen van hetzelfde proteïne dicht bij elkaar liggen.

Architectuur:
CLASP bestaat uit twee hoofdblokken:

1. Structuur-Encoder (Geometrisch Diep Leren):

   • Input: PDB-bestanden worden omgezet in atoomgrafieken met behulp van de Graphein-library.
   • Karakteristieken: Knopen vertegenwoordigen atomen (met biochemische eigenschappen zoals hydrofobiciteit en lading) en randen vertegenwoordigen ruimtelijke relaties (Euklidische afstanden).
   • Model: Een E(3)-invariante Graph Neural Network (EGNN). Dit is cruciaal omdat de representaties onafhankelijk moeten zijn van rotatie en translatie in de 3D-ruimte; alleen de intrinsieke geometrie telt.
   • Output: Een 512-dimensionale structuur-embedding.

2. Alignement Module (Contrastief Leren):

   • Sequentie: Gebruikt voorgecomputeerde embeddings van ProtT5 (een pLM), gefixeerd (niet getraind).
   • Tekst: Gebruikt voorgecomputeerde embeddings van BioGPT (een biomedische LLM) voor functionele beschrijvingen, eveneens gefixeerd.
   • Projectie: Alle drie de modaliteiten (structuur, sequentie, tekst) worden via trainbare lineaire projectielagen gemapt naar een gedeelde 512-dimensionale ruimte.
   • Trainingsdoel: Een tri-modale contrastieve loss (geïnspireerd op CLIP en CG3D). Het model maximaliseert de gelijkenis (dot product) tussen de drie modaliteiten van hetzelfde proteïne en minimaliseert de gelijkenis tussen niet-matching paren. De loss-functie bevat drie symmetrische cross-entropy termen (voor elk paar modaliteiten) en een regularisatieterm.

3. Belangrijkste Bijdragen

• Eerste Tri-Modale Framework: CLASP is een van de eerste modellen dat expliciet structurele, sequentiële en tekstuele informatie combineert in één enkel trainingsdoel voor proteïnen.
• Geometrisch Bewustzijn: Door gebruik te maken van een E(3)-invariante GNN, behoudt het model de fysieke en geometrische eigenschappen van proteïnen, wat essentieel is voor functievoorspelling.
• Zero-Shot Capabiliteiten: Het model kan taken uitvoeren zonder specifieke fine-tuning voor die taak, zoals het matchen van een structuur aan een tekst of het zoeken van een sequentie op basis van een beschrijving.
• Synergie: Het paper demonstreert dat de combinatie van alle drie de modaliteiten superieur is aan bimodale of unimodale benaderingen.

4. Resultaten

Het model werd getest op diverse zero-shot classificatie- en retrieval-taken:

• Sequentie-Structuur Alignement: CLASP presteerde aanzienlijk beter dan state-of-the-art baselines (zoals Progres-CLIP, COLLAPSE-CLIP en ProstT5).
  • AUROC: 0.976 (CLASP) vs. ~0.919 (beste baseline).
  • MCC: 0.841 (CLASP) vs. ~0.689 (beste baseline).
• Beschrijving-Structuur Alignement: Ook hier behaalde CLASP de hoogste scores (AUROC: 0.858), wat aantoont dat het model de link tussen functionele tekst en 3D-structuur effectief leert.
• Sequentie Retrieval: Gegeven een tekstuele beschrijving (van UniProt, literatuur of vrij geschreven door experts), kon CLASP de juiste aminozuursequentie vinden uit een pool van 35.911 kandidaten.
  • De juiste sequentie werd gemiddeld in de 98,9e percentiel geplaatst, zelfs voor informele "freehand" beschrijvingen.
• Clustering per Proteïnefamilie: De embeddings van CLASP toonden een duidelijkere clustering van proteïnen per familie (bijv. kinases, GPCRs) dan andere modellen, gemeten aan de hand van de Silhouette-score en Calinski-Harabasz index. Dit suggereert dat het model biologisch betekenisvolle patronen leert.
• Ablatie Studies:
  • Het vervangen van de EGNN door een standaard GNN leidde tot een sterke prestatiedaling (>15 punten MCC), wat het belang van geometrische invariance benadrukt.
  • Het verwijderen van één modale (bijv. alleen bimodaal trainen) resulteerde in lagere prestaties, wat aantoont dat alle drie de modaliteiten synergetisch werken.

5. Betekenis en Toekomstperspectief

CLASP stelt een nieuwe standaard neer voor het begrijpen van proteïnen door mechanistische (structuur/sequentie) en functionele (tekst) informatie te verenigen.

• Interpreteerbaarheid: Het creëert een gemeenschappelijke ruimte waar biologische kennis uit verschillende bronnen direct vergelijkbaar is.
• Toepassingen: Het model heeft potentie voor het automatiseren van proteïne-annotatie, het ontwerpen van nieuwe medicijnen (drug discovery) door structuren te koppelen aan functionele doelen, en het bouwen van semantische zoekmachines voor biologische literatuur.
• Beperkingen: De huidige dataset is beperkt door de beschikbaarheid van experimenteel bepaalde PDB-structuren, wat een bias kan introduceren ten opzichte van intrinsiek ongeordende proteïnen of membraanproteïnen.

Kortom, CLASP bewijst dat het integreren van structurele, sequentiële en tekstuele signalen in één model leidt tot robuustere, biologisch betekenisvolle representaties die beter presteren dan bestaande gespecialiseerde modellen.