SELFormerMM: multimodal molecular representation learning via SELFIES, structure, text, and knowledge graph integration

Dit artikel introduceert SELFormerMM, een multimodaal leerframework dat SELFIES, moleculaire structuren, tekst en kennisgrafieken integreert om superieure representaties te genereren voor de voorspelling van moleculaire eigenschappen en de versnelling van drug discovery.

De kern

SELFormerMM: De Ultieme "Moleculaire Vertaler" voor Nieuwe Medicijnen

Stel je voor dat je een enorme bibliotheek hebt vol met recepten voor medicijnen. Maar hier is het probleem: sommige recepten staan geschreven als een lange lijst met ingrediënten (de chemische formule), andere als een gedetailleerde tekening van de structuur, weer andere als een verhaal over hoe het werkt in het lichaam, en sommige als een kaart met verbindingen tussen verschillende organen en ziektes.

Tot nu toe hebben wetenschappers meestal maar één van deze manieren gebruikt om te leren wat een medicijn doet. Het is alsof je alleen naar de ingrediëntenlijst kijkt en probeert te raden of de taart lekker smaakt, zonder de tekening of het verhaal te lezen. Dat werkt vaak goed, maar je mist veel belangrijke details.

Wat is SELFormerMM?
De onderzoekers van dit paper hebben een slimme nieuwe computerprogramma bedacht, genaamd SELFormerMM. Je kunt dit zien als een super-vertaler of een meesterkok die alle vier die verschillende taalvormen tegelijk leest en begrijpt.

Hier is hoe het werkt, in simpele termen:

1. De Vier Hoekstenen (De Modaliteiten):

   • De Tekst (SELFIES): Dit is een speciale manier om chemische formules te schrijven die nooit "fout" kan zijn (in tegenstelling tot de oude methode, SMILES, die soms als een slecht vertaald recept fouten bevat). Het is als een perfecte, foutloze ingrediëntenlijst.
   • De Tekening (Structuur): Een 2D-kaart die laat zien hoe de atomen aan elkaar hangen, net als een bouwtekening van een huis.
   • Het Verhaal (Tekst): Beschrijvingen in gewone taal over wat het molecuul doet, bijvoorbeeld "dit helpt tegen hoofdpijn" of "dit is giftig voor de lever".
   • Het Netwerk (Kennisgrafiek): Een gigantische sociale kaart van het lichaam. Het laat zien welke medicijnen met welke eiwitten, genen en ziektes praten. Het is als een telefoonboek van het hele menselijk lichaam.

2. De "Kookles" (Pre-training):
   Het model krijgt eerst een enorme hoeveelheid data te zien (ongeveer 3 miljoen moleculen). Het moet leren dat de tekst, de tekening, het verhaal en het netwerk allemaal over hetzelfde molecuul gaan.

   • De analogie: Stel je voor dat je een kind leert wat een "hond" is. Je wijst niet alleen naar een foto (structuur), maar vertelt ook: "Hij blaft" (tekst), "Hij heeft vier poten" (structuur) en "Hij hoort bij de familie van de wolf" (netwerk). Door al deze dingen tegelijk te koppelen, krijgt het kind een veel dieper begrip van wat een hond écht is. Zo leert SELFormerMM wat een molecuul écht is.

3. De "Proefkeuken" (Finetuning):
   Nadat het model alles heeft geleerd, testen ze het op specifieke taken. Ze vragen het bijvoorbeeld: "Zal dit medicijn door de bloed-hersenbarrière komen?" of "Is dit giftig?". Omdat het model zo'n rijk begrip heeft van het molecuul (het kent de tekst, de tekening én het netwerk), is het veel beter in het voorspellen dan modellen die maar één ding kennen.

Waarom is dit belangrijk?
Vroeger waren modellen als een persoon die alleen naar de ingrediëntenlijst keek. Ze waren goed, maar misten de context. SELFormerMM kijkt naar alles.

• Het helpt om sneller nieuwe medicijnen te vinden.
• Het kan beter voorspellen of een medicijn veilig is.
• Het kan zelfs verklaren waarom een medicijn werkt, omdat het de biologische context (het netwerk) begrijpt.

De Resultaten:
Toen ze het model testten, bleek dat het vaak beter presteerde dan de beste oude methoden. Vooral bij het voorspellen van bijwerkingen en of medicijnen de hersenen kunnen bereiken, was het een winnaar.

Kortom:
SELFormerMM is als het geven van een bril aan een wetenschapper die tot nu toe alleen met één oog heeft gekeken. Door alle informatiebronnen (tekst, tekening, netwerk) samen te voegen, zien ze de chemische wereld veel scherper en helderder. Dit maakt de weg vrij voor het sneller ontwikkelen van betere en veiligere medicijnen voor ons allemaal.

De onderzoekers hebben hun "recept" (de code en de modellen) gratis beschikbaar gesteld op GitHub, zodat iedereen er mee kan spelen en nieuwe medicijnen kan ontdekken.

Technische samenvatting

Probleemstelling

Moleculaire representatieleren is essentieel voor de computergestuurde geneesmiddelenontdekking. Bestaande modellen vertrouwen echter vaak op unimodale inputs (bijvoorbeeld alleen moleculaire sequenties zoals SMILES of alleen grafen). Deze benaderingen vangen slechts beperkte aspecten van moleculair gedrag in.

• SMILES-beperkingen: SMILES-strings kunnen niet-canoniek zijn, syntactisch geldige maar chemisch ongeldige structuren genereren en structuurbeperkingen slechts impliciet vastleggen.
• Multimodale uitdaging: Moleculen zijn van nature multimodaal: ze hebben syntactische coderingen, topologische structuren, semantische annotaties (tekst) en rijke biologische interactiecontexten (kennisgrafieken). Het verenigen van deze heterogene modaliteiten in één coherent raamwerk is complex, maar noodzakelijk voor informatievere en biologisch onderbouwde representaties.

Methodologie: SELFormerMM

De auteurs introduceren SELFormerMM, een unificerend multimodaal raamwerk dat vier modaliteiten integreert in een gedeelde latente ruimte:

1. SELFIES-sequentie: In plaats van SMILES wordt SELFIES (Self-Referencing Embedded Strings) gebruikt, een grammatica-gedwongen representatie die 100% chemische validiteit garandeert.
2. Structurele grafen: 2D-moleculaire grafen (atomen als knopen, bindingen als randen).
3. Tekstuele beschrijvingen: Natuurlijke taalbeschrijvingen van moleculen.
4. Kennisgrafiek (KG): Biologische interactiedata (verbindingen tussen verbindingen, eiwitten, genen en ziekten) afgeleid van de CROssBARv2-KG.

Architectuur en Training:
Het model bestaat uit vier modaliteitsspecifieke takken die worden uitgelijnd in een gedeelde ruimte:

• Sequentie-tak: Gebruikt een op Transformer gebaseerde encoder (SELFormer/RoBERTa) getraind op SELFIES.
• Tekst-tak: Gebruikt SciBERT voor het coderen van tekstuele beschrijvingen.
• Graf-tak: Gebruikt Uni-Mol voor het vastleggen van 3D-structurele informatie en atomaire connectiviteit.
• KG-tak: Gebruikt DMGI (Deep Mutual Graph Infomax) om interacties in de kennisgrafiek te coderen.

Trainingstraject:

1. Multimodale Pretraining: Het model wordt getraind op een dataset van ongeveer 3 miljoen moleculen. Een supervised contrastive learning doelstelling (SINCERELoss) wordt gebruikt om representaties van dezelfde molecule uit verschillende modaliteiten dichter bij elkaar te brengen, terwijl die van verschillende moleculen uit elkaar worden geduwd.
2. Finetuning: Voor downstream taken (zoals eigendomsvoorspelling) wordt een specifieke voorspellingstak toegevoegd. De backbone wordt gedeeltelijk bevroren (eerste lagen vast, laatste lagen en de kop worden gefinetuned) om stabiliteit en aanpassing te balanceren.

Belangrijkste Bijdragen

• Unificatie van Heterogene Data: Het is een van de eerste modellen dat succesvol SELFIES, structurele grafen, tekst en biologische kennisgrafieken in één raamwerk integreert.
• Schalbaarheid: Het model is getraind op een schaal van ~3 miljoen moleculen, wat aanzienlijk groter is dan veel bestaande multimodale datasets.
• Robuustheid: Door SELFIES te gebruiken, wordt het probleem van ongeldige moleculaire structuren tijdens generatie of training opgelost.
• Open Source: Het model, de datasets en de vooraf getrainde embeddings zijn beschikbaar gesteld via GitHub.

Resultaten

Het model is geëvalueerd op diverse benchmarks uit de MoleculeNet-suite, inclusief classificatie- en regressietaken.

• Classificatie-taken (bijv. BBBP, SIDER, HIV):

  • SELFormerMM presteert over het algemeen beter dan of gelijk aan state-of-the-art unimodale en multimodale modellen.
  • Het behaalde de beste score op SIDER (voorspelling van bijwerkingen) met een ROC-AUC van 0,749.
  • Op BBBP (bloed-hersenbarrière permeabiliteit) behaalde het een score van 0,918, wat zeer competitief is met de topmodellen.
  • De prestaties tonen aan dat multimodale uitlijning synergetische informatie benut die unimodale modellen missen.

• Regressie-taken (bijv. ESOL, FreeSolv, PDBbind):

  • Op Lipophilicity behaalde SELFormerMM de beste prestatie onder multimodale modellen (RMSE = 0,574).
  • Op PDBbind (eiwit-ligand binding) verbeterde het de prestaties ten opzichte van de unimodale SELFormer (RMSE 1,328 vs 1,437), waarschijnlijk door de toegevoegde biologische context.
  • Op sommige taken (zoals ESOL) presteerde de unimodale versie iets beter, wat suggereert dat het toevoegen van modaliteiten met lage dekking (zoals tekst) soms optimisatieroer kan introduceren als de dekking niet consistent is.

• Ablatiestudies:

  • De structurele grafen bleken de meest robuuste en consistente bijdrage te leveren.
  • Tekst en kennisgrafieken leverden waardevolle aanvullende signalen op, maar hun effect was afhankelijk van de dekking in de dataset.
  • Finetuning verbeterde de prestaties op de meeste datasets, wat aantoont dat de vooraf getrainde backbone een sterke startpositie biedt.

Betekenis en Toekomstperspectief

SELFormerMM demonstreert dat het integreren van chemische en biologische signalen leidt tot rijkere en interpreteerbaardere moleculaire representaties.

• Biologische relevantie: Gevalstudies (bijv. voorspelling van bloed-hersenbarrière permeabiliteit voor dextroamphetamine en benserazide) bevestigen dat het model biologisch zinvolle signalen leert die overeenkomen met farmacologische kennis.
• Toekomst: De auteurs wijzen op de noodzaak van betere strategieën voor het omgaan met ontbrekende modaliteiten (in plaats van nul-vulling) en het uitbreiden van het raamwerk naar taken zoals de novo moleculenontwerp en voorspelling van drug-doelinteracties.

Kortom, SELFormerMM biedt een veelbelovend raamwerk voor datagedreven geneesmiddelenontdekking door de kracht van multimodale data te benutten, waardoor de zoektocht naar biologisch relevante kandidaten-moleculen efficiënter wordt.