Assessing the Generalizability of Machine Learning and Physics Methods for DNA-Encoded Libraries

Deze studie concludeert dat, ondanks de sterke prestaties van machine learning-modellen binnen de trainingsdata, er geen universele aanpak bestaat voor het voorspellen van nieuwe DNA-gecodeerde bibliotheekverbindingen buiten de trainingsverdeling, en dat rigoureuze, systeemspecifieke pilottests essentieel zijn voor betrouwbare virtual screening.

De kern

Het Grote Moleculaire Raadsel: Waarom AI soms faalt in het vinden van nieuwe medicijnen

Stel je voor dat je een enorme bibliotheek hebt met miljarden boeken. Elk boek bevat een recept voor een medicijn dat misschien wel een ziekte kan genezen. Dit is wat wetenschappers een DNA-gelimiteerde bibliotheek (DEL) noemen. Ze kunnen al deze boeken tegelijkertijd testen om te zien welke "recepten" werken.

Het probleem? De bibliotheek is zo groot dat het lezen van elk boek één voor één onmogelijk is. Dus, wetenschappers proberen een kunstmatige intelligentie (AI) te trainen om te voorspellen welke boeken goed zijn, zodat ze alleen die hoeven te lezen.

Deze studie, uitgevoerd door een team van de Universiteit van Michigan, kijkt naar een grote wedstrijd (de BELKA-competitie) waarin AI-modellen werden getest. Het resultaat? De AI was erg goed in het voorspellen van boeken die al in de bibliotheek stonden, maar faalde volledig bij het voorspellen van nieuwe, onbekende boeken.

Hier is wat ze ontdekten, vertaald in alledaagse termen:

1. De "Kopieerfout" van de AI (Overgeneralisatie)

Stel je voor dat je een AI traint om te herkennen welke appels lekker zijn. Je geeft haar alleen foto's van rode, ronde appels. Als je haar nu een groene, langwerpige appel toont, denkt de AI: "Dat is geen appel, want het is niet rood en rond."

In de studie zagen ze precies dit gebeuren. De AI leerde de specifieke patronen van de bekende moleculen (de rode appels) uitmuntend. Maar zodra ze een nieuw type molecuul zagen (een groene appel), raakten ze in paniek en maakten ze foute voorspellingen. Zelfs de slimste AI's van de wereld konden dit niet oplossen. Ze waren te afhankelijk van wat ze al hadden gezien.

2. De "Nooit Meer Ziekenhuis" Regel (Data Balans)

In deze bibliotheek zijn er miljoenen slechte recepten (moleculen die niet werken) en slechts een handvol goede recepten (de winnaars). Het is alsof je in een zaal staat met 10.000 mensen, waarvan er maar 50 een prijs hebben gewonnen.

De onderzoekers ontdekten iets verrassends: je hoeft niet alle 10.000 mensen te bekijken om de winnaars te vinden. Als je 90% van de verliezers verwijdert en alleen kijkt naar de overgebleven groep, werkt de AI nog steeds net zo goed!

• De les: Je hebt geen enorme, rommelige dataset nodig. Een kleinere, scherpere dataset is vaak beter en sneller om mee te werken.

3. De Twee Manieren om te Voorspellen: Gokken vs. Bouwen

De onderzoekers vergeleken twee methoden om nieuwe medicijnen te vinden:

• Methode A: De AI-voorspeller (Ligand-based ML).
  Dit is als een gokker die kijkt naar het verleden. "Vorige keer werkte dit patroon, dus dit nieuwe patroon werkt ook wel." Dit werkt goed als het nieuwe patroon lijkt op het oude. Maar als het totaal anders is, gokt de AI blindelings.

• Methode B: De 3D-Bouwer (Fysica & Docking).
  Dit is als een architect die een model bouwt. In plaats van te gokken, kijken ze hoe het medicijn eruitziet en of het fysiek past in het "slot" van het virus of de ziekte.

  • Het resultaat: Soms is de architect beter dan de gokker, en soms is de gokker beter. Het hangt af van het specifieke doel (het eiwit) en het medicijn.
  • Vergelijking: Voor het ene doel (BRD4) was de "architect" (een nieuwe AI die 3D-structuren bouwt, genaamd Boltz-2) de winnaar. Voor een ander doel (sEH) was een andere bouwer (GALigandDock) het beste. Er is geen "beste methode voor alles".

4. De Gouden Sleutel: Pilot-testen

De belangrijkste conclusie van het papier is: Vertrouw niet blind op één methode.

Voordat je een grote campagne start om nieuwe medicijnen te vinden, moet je eerst een kleine proef doen. Je moet testen: "Werkt mijn AI goed voor dit specifieke doel?" en "Werkt mijn 3D-bouwer beter?".
Het is alsof je niet zomaar een auto koopt omdat hij in een reclame goed zag, maar je eerst een proefrit maakt om te zien of hij past op jouw weg.

5. De Nieuwe Tool: DEL-iver

Om anderen te helpen deze proefritten te maken, hebben de onderzoekers een gratis softwarepakket gemaakt dat DEL-iver heet (een woordspeling op "leveren" en "DEL").

• Dit is een gereedschapskist voor chemici en data-experts.
• Het helpt bij het analyseren van de bibliotheek, het trainen van de AI, en het testen van de 3D-bouwers.
• Het maakt het makkelijker om te ontdekken welke methode werkt voor welk probleem.

Samenvatting in één zin:

Deze studie laat zien dat AI geweldig is om bekende patronen te herkennen, maar faalt bij het voorspellen van het onbekende; daarom moeten we altijd eerst een kleine proef doen en soms de "bouwer" (fysica) gebruiken in plaats van alleen de "gokker" (AI) om nieuwe medicijnen te vinden.

Technische samenvatting

Probleemstelling

DNA-gecodeerde bibliotheken (DELs) maken het mogelijk om miljarden moleculen gelijktijdig te screenen, wat een krachtige tool is voor de geneesmiddelenontdekking. Een veelgehoorde strategie is het trainen van machine learning (ML) modellen op deze grote datasets om voorspellingen te doen voor niet-DEL-verbindingen (d.w.z. "off-DNA" aankoopbare analogen). Echter, een recente NeurIPS-competitie (BELKA) toonde aan dat zelfs de beste ML-modellen faalden bij het generaliseren naar chemische ruimtes buiten de trainingsdistributie (Out-of-Distribution of OOD). De kernvraag is of het integreren van structurele modellering (fysica-gebaseerde methoden) deze generalisatiekloof kan overbruggen en onder welke omstandigheden ML versus fysica-gebaseerde methoden het beste presteren.

Methodologie

De auteurs hebben een systematische evaluatie uitgevoerd met behulp van het BELKA-dataset (~133 miljoen moleculen gescreend tegen drie eiwitten: sEH, BRD4 en HSA). De onderzoeksmethoden omvatten:

1. Data-indeling en Evaluatie:

   • De testset werd onderverdeeld in drie categorieën: In-Distribution (ID, dezelfde bouwstenen en scaffold), Near-Distribution (ND, nieuwe bouwstenen, zelfde scaffold) en Out-of-Distribution (OOD, nieuwe bouwstenen en nieuwe scaffold).
   • Prestaties werden gemeten met metrics zoals Mean Average Precision (mAP), Area Under the Receiver Operating Characteristic Curve (AUROC) en Enrichment Factors (EF).

2. Machine Learning (ML) Benaderingen:

   • Vergelijking van diverse moleculaire encoding (ECFP4, MACCS, APDP, grafen) en architecturen (Random Forests, GCN, MLP).
   • De auteurs gebruikten een gestandaardiseerde Multi-Layer Perceptron (MLP) met een specifieke architectuur die permutatie-invariantie toepaste op de bouwstenen (BB2 en BB3) om rotatievrijheid te modelleren.
   • Experimenten met dataset-samenstelling: downsampling van niet-bindende moleculen (non-hits) en het variëren van train-test splits (random vs. stratified).

3. Fysica-gebaseerde Methoden:

   • Vergelijking van state-of-the-art docking-software (Schrödinger Glide, Rosetta GALigandDock) en co-folding foundation modellen (Boltz-2) tegen de ligand-gebaseerde ML-modellen.
   • Specifieke aanpassingen: Het vervangen van de DNA-tag door een PEG3-linker om sterische hindering te voorkomen en het gebruik van DiffDock-L om de bindingsplek bij sEH te voorspellen.

4. Hybride Aanpak:

   • Integratie van fysica-gebaseerde features (Protein-Ligand Interaction Profiler of PLIP fingerprints) in de ML-modellen om te testen of structurele informatie de voorspellende kracht verhoogt.

5. Software Tool:

   • Ontwikkeling van een open-source Python-pakket genaamd DEL-iver voor analyse, modellering en hit-identificatie.

Belangrijkste Resultaten

• Generalisatieprobleem: ML-modellen presteerden uitstekend op ID-gegevens (mAP tot 0,90 voor sEH), maar faalden bijna volledig bij OOD-gegevens (mAP vaak < 0,02, AUROC rond 0,5, wat neerkomt op willekeurige voorspelling). Dit bevestigt dat ML-modellen over het algemeen niet goed generaliseren naar volledig nieuwe chemische ruimtes.
• Invloed van Dataset-Samenstelling:
  • Het datasetvolume is niet de enige determinant; de kwaliteit en samenstelling zijn cruciaal. Het verwijderen van 90% van de niet-bindende moleculen had geen significant negatief effect op de prestaties, wat suggereert dat informatieve datasets veel kleiner kunnen zijn dan de oorspronkelijke 100M+ datapunten.
  • Random train-test splits verbeterden de prestaties voor BRD4 aanzienlijk, maar verslechterden ze voor sEH en HSA, wat wijst op target-specifieke gevoeligheid voor distributiebreedte.
• Superioriteit van Structurele Methoden voor OOD:
  • Voor OOD-gegevens presteerden structurele methoden vaak beter dan puur ligand-gebaseerde ML.
  • BRD4: Boltz-2 (co-folding) presteerde het beste (AUROC 0,947).
  • sEH: Rosetta GALigandDock presteerde het beste (AUROC 0,915).
  • Er is geen universele "beste" methode; de optimaliteit hangt sterk af van het specifieke eiwitdoel en de chemische ruimte van de liganden.
• Hybride Modellen: Het toevoegen van PLIP-fingerprints (afgeleid van docking) aan ML-modellen leverde slechts marginale of inconsistente verbeteringen op. De methode die de beste hits discrimineerde (bijv. Boltz-2), leverde niet per se de beste features voor ML-training op.
• Structuurvoorspelling: Hoewel structurele methoden beter presteerden bij hit-discriminatie, waren de voorspelde bindingposities (RMSD) vaak variabel, wat de betrouwbaarheid van puur structurele screening beperkt zonder experimentele validatie.

Bijdragen

1. Systematische Evaluatie: Een grondige benchmarking van ML, docking en co-folding methoden op een van de grootste publieke DEL-datasets, met een focus op generalisatie naar OOD-ruimtes.
2. Best Practices: De conclusie dat er geen "one-size-fits-all" oplossing is. Rigoureuze pilot-tests zijn essentieel om de grenzen van een methode voor een specifiek doel te definiëren voordat grootschalige voorspellingen worden gedaan.
3. Open Source Tooling: Introductie van DEL-iver, een gebruiksvriendelijk pakket dat de workflow van DEL-data-analyse, hit-selectie en ML-modellering stroomlijnt en reproduceerbaarheid bevordert.
4. Data en Code: Publicatie van gedockte en co-gefoldde structuren en de volledige code voor herhaalbaarheid.

Betekenis

Dit werk relativeert de hype rondom het gebruik van ML op DEL-data voor het ontdekken van volledig nieuwe geneesmiddelen. Het toont aan dat ML alleen sterk is binnen de bekende chemische ruimte van de bibliotheek, maar faalt bij extrapolatie naar nieuwe scaffolds. Fysica-gebaseerde methoden bieden een waardevol alternatief voor OOD-voorspellingen, maar hun succes is target-afhankelijk. De studie benadrukt de noodzaak van een hybride aanpak en voorzorgsmaatregelen (pilot testing) in de computergestuurde geneesmiddelenontdekking. Het open-source pakket DEL-iver biedt de gemeenschap een gestandaardiseerd kader om deze complexe uitdagingen aan te pakken.