MolX: A Geometric Foundation Model for Protein-Ligand Modelling

MolX is een nieuw E(3)-equivariant Graph Transformer-fondamentmodel dat de interacties tussen eiwitten en liganden op basis van 3D-structuren en fysisch-chemische eigenschappen nauwkeurig modelleert, waardoor het state-of-the-art prestaties en interpreteerbare inzichten biedt voor de structurele geneesmiddelenontwikkeling.

De kern

MolX: De "Super-Vertaler" voor Medicijnontwikkeling

Stel je voor dat het vinden van een nieuw medicijn een gigantische zoektocht is. Je hebt een sleutel (een klein molecuul, een drug) en een slot (een eiwit in je lichaam dat ziekte veroorzaakt). Als de sleutel perfect in het slot past, werkt het medicijn. Als hij niet past, doet hij niets of veroorzaakt hij schade.

Vroeger probeerden computers dit te doen door alleen naar de tekst te kijken (de "naam" van de moleculen) of door losse stukjes van het slot te bekijken. Het probleem? Een sleutel en een slot werken pas samen als je ze in de drie-dimensionale ruimte ziet. Hoe ze draaien, hoe ze elkaar aanraken en welke vorm ze hebben, is cruciaal.

Hier komt MolX om de hoek kijken. Het is een nieuwe, slimme computerprogramma (een "foundation model") dat dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Grote Bibliotheek (De Training)

Stel je voor dat MolX een student is die een enorme bibliotheek binnenstapt. In deze bibliotheek staan 3 miljoen foto's van sleutelgaten (eiwitten) en 5 miljoen foto's van sleutels (moleculen).

• De oude manier: De student keek alleen naar de lijst met eigenschappen van de sleutel en de lijst van het slot, apart van elkaar.
• De MolX-methode: MolX kijkt naar de foto's en leert hoe de sleutel precies in het slot past. Het leert de 3D-vorm, de chemische "geur" en de fysieke ruimte die ze nodig hebben. Het leert niet alleen wat een sleutel is, maar hoe hij voelt als hij in een slot zit.

2. De Magische Bril (E(3)-Equivariantie)

Dit is misschien wel het coolste deel. Stel je voor dat je een puzzel hebt. Als je de puzzel draait, blijft het een puzzel. Als je hem spiegelt, blijft het een puzzel.
MolX draagt een speciale magische bril. Deze bril zorgt ervoor dat het model niet in de war raakt als het eiwit of het molecuul in de computer wordt gedraaid of verplaatst. Het begrijpt dat de relatie tussen de deeltjes belangrijk is, niet waar ze op het scherm staan. Dit maakt het veel slimmer dan eerdere modellen die vaak de vorm vergeten als je ze een beetje draait.

3. Het "Ruisen" en "Repareren" (Zelflerend)

Hoe leer je iemand iets als je geen antwoordenboekje hebt? Je maakt fouten en laat ze het zelf oplossen.
MolX krijgt tijdens zijn training een "verkeerde" versie van de moleculen:

• De vorm wordt een beetje verstoord (alsof je de sleutel een beetje buigt).
• De naam van een atoom wordt weggeveegd (alsof je een stukje van de sleutel afkrast).
  MolX moet dan proberen de originele vorm en naam te herstellen. Door dit duizenden keren te doen, leert het de fundamentele wetten van hoe moleculen eruitzien en hoe ze zich gedragen, zonder dat iemand het hem expliciet heeft verteld.

4. De "X-Ray" voor Beslissingen (Interpretatie)

Vaak zijn AI-modellen "zwarte dozen": ze geven een antwoord, maar je weet niet waarom. MolX is anders. Het heeft een ingebouwde X-ray machine (een zogenaamde "sparse autoencoder").

• Als MolX zegt: "Deze drug werkt goed!", kan het laten zien waarom.
• Het kan wijzen op een specifiek stukje van het eiwit en zeggen: "Hier raakte de drug aan."
• Het kan ook op het molecuul wijzen en zeggen: "Dit specifieke groepje atomen is de reden dat het werkt."
  Dit helpt wetenschappers niet alleen te voorspellen, maar ook te begrijpen wat ze moeten bouwen.

5. De Resultaten: Een Winnaar in Alles

In tests heeft MolX laten zien dat het beter is dan alle andere modellen die er nu zijn. Of het nu gaat om:

• PROTACs: Een nieuw type medicijn dat ziekteverwekkende eiwitten volledig vernietigt (alsof je de sleutel niet alleen in het slot steekt, maar het slot ook laat instorten).
• Antibody-Drug Conjugates: Medicijnen die als een raket worden afgevuurd op kankercellen.
• Gewone binding: Het voorspellen van hoe sterk een drug aan een eiwit plakt.

MolX scoort overal hoger, is sneller en maakt minder fouten.

Conclusie

Kortom: MolX is als een super-intelligente architect die niet alleen de blauwdrukken van sleutels en sloten kent, maar ook voelt hoe ze in de ruimte passen. Door te leren van een enorme hoeveelheid data en door te oefenen met het repareren van "verkeerde" vormen, kan het wetenschappers helpen om sneller, slimmer en veiliger nieuwe medicijnen te ontwerpen. Het is een grote stap voorwaarts in de strijd tegen ziektes.

Technische samenvatting

Probleemstelling

Het nauwkeurig modelleren van de interacties tussen kleine moleculen (liganden) en eiwitbindingszakken is cruciaal voor op structuur gebaseerde drugontwikkeling. Bestaande computationele benaderingen hebben echter significante beperkingen:

• Gekoppelde representaties: Veel methoden coderen eiwitten en liganden apart, waardoor ze de ruimtelijke relaties en geometrische beperkingen op het interface-niveau missen die ontstaan door de gezamenlijke organisatie van eiwit-ligand-complexen.
• Gebrek aan 3D-geometrie: Sequentie-gebaseerde methoden (zoals SMILES of aminozuursequenties) negeren expliciete driedimensionale structurele informatie, wat essentieel is voor het begrijpen van vormcomplementariteit en fysisch-chemische interacties.
• Beperkte ruimtelijke modellering: Bestaande 3D-modellen behandelen eiwitten en liganden vaak onafhankelijk of focussen slechts op lokale atomaire geometrie, waardoor ze hogere-orde interactiepatronen missen.
• Interpretabiliteit: Bestaande foundation-modellen zijn vaak "black boxes" zonder mechanisme om te verklaren waarom een bepaalde voorspelling wordt gedaan op basis van specifieke structurele motieven.

Methodologie: Het MolX Framework

MolX is een voorgetrainde foundation model die gezamenlijk geometrische en chemische representaties leert van eiwitzakken en liganden uit grote hoeveelheden 3D-structurele data.

1. Architectuur en Representatie:

• 3D-Graphs: Zowel eiwitzakken als liganden worden weergegeven als driedimensionale grafen, waarbij knopen atomen zijn en randen chemische bindingen.
• E(3)-Equivariant Graph Transformers: Het model gebruikt een stack van E(3)-equivariante Graph Transformer-lagen. Dit zorgt ervoor dat de representaties invariant zijn voor rotatie, translatie en reflectie, wat fundamenteel is voor moleculaire fysica.
• Ruimtelijke Encoding: In tegenstelling tot standaard Transformers die sequentiële posities gebruiken, integreert MolX een ruimtelijke positie-bias in de attentiemechanisme. Deze bias modereert de attentieweichten op basis van de Euclidische afstand tussen atoomparen, waardoor het model echte 3D-geometrie kan vangen in plaats van alleen topologische connectiviteit.
• Dual Encoders: Het model gebruikt twee gekoppelde encoders (een voor de zak, een voor het molecuul) die via wederzijdse attentie (mutual attention) informatie uitwisselen.

2. Hybrid Pretraining Strategie:
MolX wordt voorgetraind met een combinatie van toezicht (supervised) en zelftoezicht (self-supervised) doelen:

• Zelftoezicht (Unsupervised):
  • Coördinaat reconstructie: Atomaire 3D-coördinaten worden verstoord met ruis, en het model moet de originele posities herstellen.
  • Atoomtype voorspelling: Atoomtypes worden gemaskeerd en het model moet ze voorspellen.
• Toezicht (Supervised):
  • Voorspelling van fysisch-chemische eigenschappen zoals de HOMO-LUMO energie-gap en LogP (lipofiliciteit).

3. Interpretatie Module:
Om de "black box" aard van diepe leermodellen te doorbreken, integreert MolX een Sparse Autoencoder (SAE).

• Deze module decomposeert de dichte latenterepresentaties van het model in een schaarse set van interpreteerbare activeringsfeatures.
• Deze features worden gekoppeld aan specifieke eiwitregio's (bijv. bindingsgebieden, domeinen) en moleculaire substructuren, waardoor mechanistische inzichten in de voorspellingen mogelijk worden.

Belangrijkste Bijdragen

1. Eerste gezamenlijke foundation model: MolX is een van de eerste modellen dat eiwitzakken en liganden gezamenlijk encodeert als 3D-grafen binnen een E(3)-equivariante architectuur, waardoor het interface-geometrie expliciet modelleert.
2. Schalbaarheid en Data: Het model is getraind op een dataset van meer dan 3 miljoen eiwitzakken en 5 miljoen moleculen, wat een ongeëvenaarde schaal biedt voor deze specifieke taak.
3. Interpreteerbaarheid: De integratie van een sparse autoencoder maakt het mogelijk om voorspellingen terug te voeren naar specifieke biologische componenten (zoals E3-ligases en target-domeinen bij PROTACs) en chemische substructuren, wat zeldzaam is voor foundation modellen.
4. Ruimtelijke Bias: De invoering van een ruimtelijke positie-bias in de Transformer-attention mechanismen verbetert de modellering van langeafstandsinteracties en flexibele liganden aanzienlijk.

Resultaten

MolX werd getest op acht downstream benchmarks en presteerde consequent state-of-the-art (SOTA) op zowel classificatie- als regressietaken:

• Classificatie (Binding en Degradatie):

  • PROTAC: Op de complexe PROTAC-benchmark (ternaire complexen) behaalde MolX een AUC van 0.9211, een aanzienlijke verbetering ten opzichte van de beste concurrent MolE (0.700).
  • ADC & Molecular Glue: MolX behaalde respectievelijk AUC's van 0.9807 (Antibody-Drug Conjugates) en 0.9962 (Molecular Glue), wat aantoont dat het model effectief is in het voorspellen van degradatie-gerelateerde therapeutica.
  • Generalisatie: De prestaties waren robuust over verschillende subgroepen (bijv. specifieke E3-ligase en target-paren), wat aangeeft dat het model niet overfit op specifieke voorbeelden.

• Regressie (Affiniteit en Eigenschappen):

  • Binding Affiniteit (PDBbind): MolX behaalde de laagste fouten (RMSE/MAE) voor het voorspellen van Kd, Ki en IC50 waarden, en overtrof modellen zoals MolE, HoloProt en TorchMD-Net.
  • Fysisch-chemische Eigenschappen (MISATO): Op taken zoals het voorspellen van elektronenaffiniteit, elektronegativiteit en ionisatiepotentiaal, behaalde MolX de beste resultaten, met name op het gebied van nauwkeurigheid en rangcorrelatie.

• Ablatie Studies:

  • Het verwijderen van de 3D-coördinaat-ruis (noising) tijdens pretraining leidde tot de grootste prestatiedaling, wat aantoont dat het leren van geometrische consistentie cruciaal is.
  • Het verwijderen van de ruimtelijke bias resulteerde in een significante daling, wat bevestigt dat de expliciete modellering van 3D-afstanden essentieel is voor de prestaties.

Betekenis en Impact

MolX vertegenwoordigt een belangrijke stap voorwaarts in computationele biologie en drugontdekking:

• Unificatie: Het biedt een unify framework dat de kloof overbrugt tussen pure sequentie-modellen en fragmentarische 3D-modellen.
• Vertrouwen en Inzicht: Door de interpretatie via de sparse autoencoder kunnen onderzoekers niet alleen voorspellingen doen, maar ook begrijpen welke structurele motieven (bijv. specifieke bindingszakken of functionele groepen) verantwoordelijk zijn voor een hoge binding of activiteit. Dit is cruciaal voor het rationele ontwerp van nieuwe medicijnen.
• Toekomstperspectief: Hoewel het model afhankelijk is van hoge kwaliteit 3D-structuren (wat een beperking is bij dynamische systemen zonder kristalstructuren), legt MolX de basis voor de volgende generatie AI-gedreven drugontdekking die zowel nauwkeurig als mechanistisch inzichtelijk is.

Kortom, MolX bewijst dat het gezamenlijk modelleren van geometrie en chemie in een grote foundation model leidt tot superieure prestaties en dieper inzicht in complexe eiwit-ligand interacties.