Multi-view biomedical foundation models for molecule-target and property prediction

Deze paper introduceert MMELON, een multi-view foundation model dat grafische, beeld- en tekstrepresentaties integreert om robuuste voorspellingen te doen voor moleculaire eigenschappen en interacties, wat succesvol is toegepast op het identificeren van Alzheimer-gerelateerde GPCR-binders.

De kern

Titel: De Super-Detector voor Geneesmiddelen: Hoe AI drie verschillende talen spreekt om ziektes te bestrijden

Stel je voor dat je een enorme bibliotheek hebt met miljarden boeken, elk een mogelijk medicijn voorstelt. Je wilt er één vinden dat een specifieke ziekte, zoals Alzheimer, kan genezen. Het probleem? Deze boeken zijn geschreven in drie heel verschillende talen, en geen enkele lezer spreekt ze allemaal perfect.

• Taal 1 (Tekst): De chemische naam van het molecuul, geschreven als een reeks letters (zoals een code).
• Taal 2 (Tekening): Een platte tekening van het molecuul, waarbij je de atomen en bindingen ziet als een landkaart.
• Taal 3 (Foto): Een foto van het molecuul, zoals je het zou zien op een scherm, met vormen en patronen.

Tot nu toe hadden wetenschappers maar één "lezer" (een AI-model) die maar één van deze talen kon lezen. Soms was die lezer heel goed in het vinden van een medicijn voor de ene ziekte, maar faalde hij totaal bij een andere.

De Oplossing: MMELON, de Meertalige Super-Detector

De onderzoekers van IBM en het Cleveland Clinic hebben een nieuwe AI bedacht die ze MMELON noemen. Je kunt dit zien als een super-intelligente detective die drie verschillende experts in zijn team heeft:

1. Een Tekst-expert die de chemische codes leest.
2. Een Tekening-expert die de structuur en vorm begrijpt.
3. Een Foto-expert die patronen en vormen herkent.

In plaats van dat deze experts apart werken, praten ze met elkaar. Ze kijken naar hetzelfde molecuul, maar vanuit hun eigen perspectief. Vervolgens komen ze bij elkaar in een "vergaderzaal" (de late fusion) om te beslissen: "Wat is dit molecuul echt waard?"

Hoe werkt het in de praktijk?

1. De Oefening (Pre-training)
Voordat ze echt gaan werken, hebben de experts miljarden voorbeelden geoefend. Ze hebben 200 miljoen verschillende moleculen bestudeerd. De Tekst-expert heeft gelezen, de Tekening-expert heeft getekend en de Foto-expert heeft gekeken. Ze zijn nu allemaal experts in hun eigen vakgebied.

2. De Vergadering (Late Fusion)
Wanneer ze een nieuw molecuul tegenkomen, sturen ze elk hun mening naar de vergaderzaal. De AI kijkt naar de situatie:

• "Voor deze specifieke ziekte is de foto het belangrijkst," denkt de AI.
• "Voor die andere ziekte is de tekening cruciaal," denkt hij weer.
• De AI leert automatisch welke expert in welke situatie het meest moet worden gehoord. Dit maakt het systeem heel flexibel en sterk.

3. De Test: Alzheimer en de Darm
Om te bewijzen dat hun nieuwe detector werkt, hebben ze het ingezet voor een heel moeilijk probleem: Alzheimer.
Ze wisten dat er een verband is tussen bepaalde receptoren in het lichaam (GPCRs) en Alzheimer. Maar welke medicijnen werken hierop?

Ze lieten hun AI 106 verschillende receptoren "scannen" tegen een lijst van duizenden bestaande medicijnen en stoffen die in onze darmen voorkomen (zoals wat we eten).

• Het resultaat: De AI vond sterke kandidaten. Bijvoorbeeld, een stof die door een bepaalde darmbacterie wordt gemaakt (acetyl-glutamine) en een bekend antioxidant (glutathione).
• De controle: De AI zei niet alleen wat werkt, maar ook waarom. Door naar de "foto's" en "tekeningen" te kijken, zag de AI precies welke delen van het molecuul vasthaken aan het recept. Het was alsof de AI een vergrootglas hield en zei: "Kijk, dit stukje past precies in het slot!"

Waarom is dit zo belangrijk?

Vroeger was het zoeken naar een nieuw medicijn als het zoeken naar een naald in een hooiberg, waarbij je soms de verkeerde naald pakte omdat je maar één manier van kijken had.

Met MMELON hebben we nu iemand die de hooiberg bekijkt vanuit drie verschillende hoeken tegelijk.

• Als de tekst-look niet duidelijk is, kijkt hij naar de foto.
• Als de foto verwarrend is, kijkt hij naar de tekening.

Dit zorgt ervoor dat ze zelden een fout maken en dat ze zelfs de beste "enkel-talige" experts verslaan. Het is een stap in de richting van snellere, goedkopere en betere medicijnen voor ziektes die ons allemaal raken.

Kortom: Ze hebben een AI gebouwd die niet blind is voor één manier van kijken, maar een allesziende blik heeft door drie verschillende werelden te combineren. En dat is een enorme sprong vooruit voor de geneeskunde.

Technische samenvatting

Probleemstelling

De ontwikkeling van fundamentele modellen (foundation models) voor de biomedische wetenschappen vereist hoogwaardige moleculaire representaties. Bestaande benaderingen focussen doorgaans op één enkele weergave (view) van een molecuul, zoals een tekstuele sequentie (SMILES), een grafische structuur of een 2D-afbeelding. Elke weergave heeft echter zijn eigen sterke en zwakke punten afhankelijk van de specifieke taak.

• Tekst (SMILES): Goed voor het vastleggen van menselijke kennis en sequentiepatronen, maar mist de intrinsieke geometrie en symmetrie van moleculen.
• Grafen: Natuurlijk geschikt voor het vastleggen van chemische bindingen en symmetrie, maar traditionele Graph Neural Networks (GNN's) schalen slecht naar zeer grote datasets.
• Afbeeldingen: Kunnen ruimtelijke arrangementen en functionele groepen visueel vastleggen, maar vereisen specifieke architecturen (zoals CNN's).

Het uitdaging is om deze verschillende perspectieven te combineren in één robuust model dat kan worden geschaald naar enorme datasets (honderden miljoenen moleculen) en generaliseert over een breed scala aan downstream-taken, zonder dat de prestaties van de beste enkele weergave worden ondermijnd.

Methodologie: MMELON

De auteurs introduceren MMELON (Multi-view Molecular Embedding with Late Fusion), een architectuur die drie verschillende weergaven integreert binnen een fundamenteel model-omgeving.

1. Enkele Weergave Architecturen (Single-View Encoders):
Drie afzonderlijke modellen worden vooraf getraind (pre-trained) op een dataset van tot 200 miljoen moleculen (gecurateerd uit PubChem en ZINC22):

• Image: Gebaseerd op ImageMol, een CNN-architectuur (ResNet-18) getraind op 2D-moleculaire afbeeldingen. Pre-training taken omvatten reconstructie, rationaliteitsclassificatie en puzzeloplossing.
• Text: Gebaseerd op MolFormer, een transformer-architectuur die SMILES-sequenties verwerkt. Pre-training gebruikt Masked Language Modeling (MLM).
• Graph: Gebaseerd op TokenGT, waarbij atomen en bindingen als tokens worden behandeld. Een innovatief aspect is de introductie van een nieuwe pre-training taak: Betti-getal voorspelling. Dit modelleert topologische eigenschappen (zoals het aantal verbonden componenten en cycli) om globale structurele context vast te leggen, naast lokale atoom- en bindingseigenschappen.

2. Late Fusion Strategie:
In plaats van vroege fusie (het combineren van inputs), kiest MMELON voor late fusion. De drie vooraf getrainde encoders genereren eerst hun eigen embeddings. Deze worden vervolgens samengevoegd door een aggregator-module op basis van attention-mechanismen.

• De aggregator leert gewichten ($\alpha_m$) voor elke weergave (Image, Graph, Text) per taak.
• De uiteindelijke embedding is een gewogen som: $z^{mv}_i \propto \sum \alpha_m z^m_i$.
• Deze gewichten zijn leerbaar parameters, wat zorgt voor transparantie over welke weergave het belangrijkst is voor een specifieke voorspelling.
• De aggregator ondergaat een secundaire pre-training (op 10 miljoen moleculen) via een reconstructietask om robuustheid te garanderen tijdens fine-tuning.

3. Fine-tuning:
Het geïntegreerde model wordt vervolgens gefine-tuned op diverse downstream-taken, waaronder solubiliteit, ADME-eigenschappen (Absorptie, Distributie, Metabolisme, Uitscheiding), toxiciteit en bindingsaffiniteit voor G-Proteïne Gekoppelde Receptoren (GPCR's).

Belangrijkste Bijdragen

1. MMELON Architectuur: Een schaalbaar framework dat tekst, grafen en afbeeldingen combineert via late fusion, met een uitbreidbaar ontwerp voor toekomstige modaliteiten (zoals 3D-conformaties).
2. Nieuwe Pre-training Taak: De introductie van Betti-getal voorspelling voor grafen, wat topologische invariants vastlegt die traditionele GNN-taken missen.
3. Schaling: Pre-training op een dataset van 200 miljoen moleculen, wat aanzienlijk groter is dan veel eerdere chemische foundation models.
4. Interpreteerbaarheid: Het model leert dynamische gewichten per taak, waardoor onderzoekers kunnen zien welke representatie (beeld, graf of tekst) het meest bijdraagt aan een specifieke voorspelling.
5. Toepassing op Ziekte: Een case study die de toepassing toont op het identificeren van nieuwe therapeutische targets voor de ziekte van Alzheimer.

Resultaten

Het model werd gevalideerd op meer dan 120 downstream-taken:

• Benchmark Prestaties: Op de MoleculeNet-benchmarks, CYP-isoform-inhibitie en ComputationalADME-taken presteert het multi-view model robuust. Het bereikt prestaties die vergelijkbaar zijn met de best presterende enkele weergave (meestal het Graph-model) en presteert nooit slecht op een geteste dataset.
• Complementariteit: Hoewel het Graph-model vaak de dominante bijdrage levert, blijkt uit de analyse dat Image en Graph complementaire informatie bevatten. De Text-weergave heeft een lagere correlatie met de andere twee, maar levert in specifieke gevallen (zoals CYP-inhibitie) een waardevolle bijdrage.
• Case Study: Alzheimer en GPCR's:
  • Het model werd gefine-tuned op 106 GPCR's en vervolgens gebruikt om binders te vinden voor 33 GPCR's die gerelateerd zijn aan de ziekte van Alzheimer.
  • Ontdekkingen: Het model identificeerde sterke binders uit een set van darmmetabolieten en FDA-goedgekeurde medicijnen.
    • Acetyl-glutamine: Voorspeld als bindend aan FPR1 (een GPCR gerelateerd aan Alzheimer). 3D-docking bevestigde binding aan een allosterische site.
    • Glutathione (GSH): Een antioxidant die sterk bindt aan FPR1.
    • Fructose 1,6-bisfosfaat en Isosorbid dinitraat: Geïdentificeerd als binders aan ADA2A.
  • De voorspellingen werden gevalideerd via structurele modellering (docking) en identificatie van bindingsmotieven, waarbij de attention-maps van het model overeenkwamen met de chemische interacties (bijv. waterstofbruggen).

Betekenis en Impact

Dit werk markeert een belangrijke stap in de computergestuurde geneesmiddelenontwikkeling:

• Robuustheid: Het demonstreert dat multi-view modellen de variabiliteit van enkele weergaven kunnen opvangen, wat essentieel is voor het ontdekken van nieuwe medicijnen waar geen enkele representatie perfect is.
• Efficiëntie: Door gebruik te maken van late fusion kunnen bestaande, krachtige foundation models (zoals ImageMol en MolFormer) worden hergebruikt en geïntegreerd zonder dat ze volledig opnieuw getraind hoeven te worden.
• Biomedische Toepassing: De succesvolle identificatie van potentiële therapeutische kandidaten voor de ziekte van Alzheimer, inclusief darmmetabolieten, onderstreept het potentieel van deze modellen om nieuwe inzichten te genereren in complexe ziektepathologieën.
• Open Science: De modellen en code zijn openbaar beschikbaar gemaakt via GitHub en Hugging Face, wat de gemeenschap in staat stelt om deze architectuur verder te ontwikkelen en toe te passen op andere biologische entiteiten (zoals eiwitten).

Samenvattend biedt MMELON een flexibel, schaalbaar en interpreteerbaar framework dat de kracht van verschillende moleculaire representaties bundelt om de nauwkeurigheid en betrouwbaarheid van voorspellingen in de geneesmiddelenontwikkeling te verbeteren.