Large scale prospective evaluation of co-folding across 557 Mac1-ligand complexes and three virtual screens

Deze studie toont aan dat hoewel moderne co-folding-methoden zoals AlphaFold3, Boltz-2 en Chai-1 de structuren van Mac1-ligand-complexen redelijk nauwkeurig kunnen voorspellen en hun scores een beperkte maar significante correlatie vertonen met experimentele affiniteit, het integreren van deze deep-learning-benaderingen met traditionele docking-scores de meest veelbelovende strategie blijft voor het prioriteren van hits in de structurele geneesmiddelenontwikkeling.

De kern

Stel je voor dat je een enorme sleutelkast hebt vol met duizenden verschillende sleutels (moleculen) en een heel specifieke slot (een eiwit in een virus of ziekte). Je doel is om de sleutel te vinden die perfect past, zodat je het slot kunt openen en de ziekte kunt genezen.

Vroeger deden wetenschappers dit met een heel simpele methode: ze gooiden de sleutels in het slot en keken welke er het beste leek te passen op basis van hun vorm. Dit heet "docking". Het was snel, maar vaak niet heel nauwkeurig; veel sleutels leken te passen, maar bleken bij nader inzien toch niet te werken.

De laatste tijd is er echter een nieuwe, superkrachtige technologie opgedoken: Deep Learning (kunstmatige intelligentie). Denk hierbij aan AlphaFold3, Chai-1 en Boltz-2. Deze programma's zijn als een super-slimme, digitale architect die niet alleen naar de vorm van de sleutel kijkt, maar ook de hele kamer (het eiwit) in zijn hoofd kan visualiseren en precies kan voorspellen hoe de sleutel erin moet liggen.

Deze nieuwe studie van onderzoekers van de Universiteit van Californië (UCSF) heeft deze slimme architecten op de proef gesteld. Ze hebben gekeken of deze AI echt zo slim is als ze zeggen, of dat ze misschien gewoon "leren" uit boeken die ze al hebben gelezen (geheugen).

Hier is wat ze hebben ontdekt, vertaald in alledaagse taal:

1. De "Sleuteltest": Het voorspellen van de juiste positie

De onderzoekers namen 557 nieuwe sleutels (moleculen) die ze recent hadden ontworpen tegen het SARS-CoV-2-virus. Niemand wist nog hoe deze precies in het slot zaten, want de foto's (röntgenfoto's) waren net gemaakt.

• Het resultaat: De AI-programma's (vooral AlphaFold3 en Chai-1) waren verrassend goed. Ze konden de positie van de sleutel in het slot voorspellen met een nauwkeurigheid die vaak beter was dan de oude, simpele methode.
• De nuance: Het was alsof de AI de sleutel in de juiste sleutelgat-legging zette, zelfs als de AI het slot zelf niet helemaal perfect had getekend. Soms dachten ze dat het slot een beetje draaide of opende, maar dat deden ze niet altijd. Toch wisten ze de sleutel wel op de juiste plek te leggen.
• Geen "plagiaat": Een grote zorg was: "Hebben ze dit gewoon uit hun geheugen opgehaald?" De onderzoekers keken of de nieuwe sleutels leken op oude sleutels uit hun trainingsboeken. Het bleek dat de AI ook heel goed was met hele nieuwe, vreemde sleutels die ze nog nooit hadden gezien. Ze hadden echt iets geleerd, niet alleen onthouden.

2. De "Krachtmeting": Hoe goed werkt de sleutel?

Niet alleen de positie is belangrijk, maar ook hoe sterk de sleutel het slot opent (de kracht of affiniteit).

• Het resultaat: Een van de AI-programma's, Boltz-2, was een echte ster in het voorspellen van de kracht. Het kon vrij nauwkeurig zeggen: "Deze sleutel werkt 10 keer beter dan die andere." De oude methode (Docking) kon dit veel minder goed.
• De beperking: De andere AI-programma's (AlphaFold3) waren goed in het voorspellen van de vorm, maar minder goed in het voorspellen van de kracht.

3. De "Grote Uitdaging": Het vinden van een naald in een hooiberg

Dit is het meest interessante deel. In de echte wereld zoeken artsen en wetenschappers niet naar 500 bekende sleutels. Ze moeten zoeken door miljarden mogelijke sleutels om er een paar te vinden die werken. De meeste van die miljarden zijn nep (ze passen er niet echt in, maar lijken erop).

De onderzoekers testten of de AI kon helpen om de echte winnaars te vinden uit een lijst met duizenden "verdachten" die door de oude, snelle methode al waren geselecteerd.

• Het verrassende resultaat: De AI faalde hier! De oude, simpele methode (Docking) deed het hier beter dan de super-slimme AI.
• Waarom? De AI was zo goed getraind op "perfecte" sleutels dat het moeite had om te zien dat een sleutel die er een beetje goed uitzag, toch een nep was. De oude methode was minder slim, maar juist daardoor beter in het filteren van de grote rommel. De AI probeerde te hard om een patroon te zien waar geen was.

De Grote Les: Twee verschillende gereedschappen

De conclusie van dit onderzoek is niet dat de AI slecht is, maar dat we de gereedschappen moeten combineren:

1. Gebruik de oude, snelle methode (Docking) om door de enorme berg van miljarden moleculen te zoeken en de beste kandidaten eruit te pikken. Het is als een metalenzoeker die snel over het strand loopt.
2. Gebruik de slimme AI (Co-folding) om die winnaars vervolgens in detail te bekijken. Zodra je een paar goede kandidaten hebt, helpt de AI je om de exacte vorm te begrijpen en de kracht te voorspellen, zodat je de medicijnen kunt verbeteren.

Kortom: De slimme AI is een meester in het begrijpen van de details van een goed werkend systeem, maar de oude, simpele methode is nog steeds de beste om door een enorme rommelpost te zoeken. Samen zijn ze onverslaanbaar in het vinden van nieuwe medicijnen.

Technische samenvatting

Probleemstelling

De accurate voorspelling van de structuur van proteïne-ligandcomplexen en het rangschikken van deze complexen op basis van affiniteit zijn centrale uitdagingen in de drugontwikkeling. Hoewel diepe leermethodes (deep learning) zoals AlphaFold2 de voorspelling van proteïne-structuren hebben gereduceerd, is de evaluatie van nieuwere "co-folding" methoden (die proteïnen en kleine moleculen simultaan voorspellen, zoals AlphaFold3, Chai-1 en Boltz-2) beperkt geweest door:

1. Het gebrek aan onafhankelijke testsets (veel methoden worden getraind op data die ook in de testsets voorkomt).
2. Onvoldoende grote datasets voor robuuste statistische evaluatie.
3. De onduidelijkheid of deze methoden echte fysische interacties leren of dat ze slechts structuren "memoriseren" uit de trainingsdata.

Er is een dringende behoefte aan prospectieve evaluaties om te bepalen of co-folding methoden bruikbaar zijn voor het identificeren van nieuwe liganden en het optimaliseren van leidverbindingen (lead optimization).

Methodologie

De auteurs voerden twee grote prospectieve evaluaties uit met drie toonaangevende co-folding methoden: AlphaFold3 (AF3), Chai-1 en Boltz-2. Als referentie werd traditionele docking gebruikt met DOCK3.7.

1. Evaluatie op de SARS-CoV-2 Mac1-dataset (Structuurvoorspelling):

• Dataset: 557 unieke, eerder niet-gepubliceerde kristalstructuren van liganden gebonden aan het SARS-CoV-2 Macrodomain (Mac1). Deze data is verzameld tijdens een actieve drugontwikkelingscampagne en dateert van na de trainingscutoff-dates van de AI-modellen (waardoor ze onafhankelijk zijn).
• Diversiteit: De liganden zijn chemisch divers (gebaseerd op ECFP4 Tanimoto-coëfficiënten en Maximum Common Substructure - MCS), maar vertegenwoordigen een typisch industrieel scenario met een beperkt aantal farmacoforen.
• Metingen: De voorspelde poses werden vergeleken met de experimentele kristalstructuren via Root Mean Square Deviation (RMSD). Ook werd gekeken naar de voorspelling van proteïne-conformatieveranderingen (zoals een "twisted" backbone of een "open" loop).
• Correlatie: Er werd gekeken naar de correlatie tussen de interne betrouwbaarheidsscores van de modellen (bijv. pLDDT, ipTM) en de experimentele potentie (IC50).

2. Evaluatie op Virtuele Screens (Hit-identificatie):

• Dataset: Drie grote prospectieve docking-screens met duizenden experimenteel geteste moleculen tegen drie verschillende doelen:
  • AmpC β-lactamase (1.293 geteste moleculen).
  • Dopamine D4-receptor (541 geteste moleculen).
  • σ₂-receptor (506 geteste moleculen).
• Opdracht: De methoden werden getest op hun vermogen om echte binders ("true ligands") te onderscheiden van hoge-scores "false positives" (moleculen die goed scoren in docking maar niet binden).
• Scores: De prestaties werden gemeten aan de hand van AUC (Area Under the Curve), hit-rate curves en correlaties met experimentele affiniteiten.

Belangrijkste Bijdragen

• Grootste Prospectieve Evaluatie: Dit is een van de grootste en meest onafhankelijke prospectieve evaluaties van co-folding methoden tot nu toe, met 557 nieuwe kristalstructuren en duizenden prospectieve screeningsresultaten.
• Onafhankelijkheid van Memorization: De auteurs tonen aan dat succesvolle voorspellingen niet sterk correleren met de structurele gelijkenis aan de trainingsdata, wat suggereert dat de modellen generaliseren in plaats van alleen te memoriseren.
• Complementariteit: Het onderzoek benadrukt dat co-folding en traditionele docking complementaire sterktes hebben, afhankelijk van de fase van de drugontdekking.

Resultaten

1. Voorspelling van Ligand-Poses (Mac1-dataset):

• Accuraatheid: AF3 en Chai-1 voorspelden ongeveer 70% van de ligandposities correct (RMSD < 2 Å), terwijl Boltz-2 ongeveer 52% correct voorspelde. Traditionele docking (DOCK3.7) scoorde lager met 41%.
• Conformatieveranderingen: Ondanks de hoge nauwkeurigheid in het plaatsen van liganden, faalden de co-folding methoden grotendeels in het voorspellen van grote proteïne-conformatieveranderingen (zoals de "open" loop of "twisted" backbone) die experimenteel werden waargenomen.
• Betrouwbaarheidsscores: De interne confidence scores van AF3 (L-pLDDT) en Chai-1 (ipTM) correleerden zwak maar significant met de experimentele potentie. De affiniteitsvoorspelling van Boltz-2 (pIC50) toonde de sterkste correlatie met de gemeten potentie en had na kalibratie een lagere Mean Absolute Error (MAE) dan een baseline-predictor.
• Onafhankelijkheid: De prestaties waren niet afhankelijk van de chemische gelijkenis met de trainingsdata; zelfs voor zeer nieuwe scaffolds werden accurate poses voorspeld.

2. Her-ranking van Docking Hit-lijsten (Virtuele Screens):

• Discriminatievermogen: In tegenstelling tot de Mac1-dataset, presteerden co-folding methoden slecht bij het onderscheiden van echte binders van false positives in grote, diverse hit-lijsten.
  • DOCK3.7 bleef de beste methode om binders te onderscheiden van niet-binders (hoge AUC).
  • AF3 (L-pLDDT) had een zeer zwak discriminatievermogen (AUC rond de 50-56%, soms slechter dan willekeurig).
  • Boltz-2 deed het beter dan AF3 maar slechter dan DOCK3.7.
• Conclusie: Co-folding is niet effectiever dan traditionele docking voor het filteren van grote bibliotheken, waarschijnlijk omdat de hit-lijsten extreem divers zijn en de methoden moeite hebben met het categoriseren van volledig nieuwe chemotypes die niet lijken op de trainingsdata.

Significantie en Conclusie

De studie levert een genuanceerd beeld van de huidige staat van co-folding technologie:

1. Sterke Voorspelling van Geometrie: Co-folding methoden (vooral AF3 en Chai-1) zijn superieur aan traditionele docking voor het voorspellen van de exacte 3D-structuur van een ligand in een bindingstas, zelfs voor moleculen die niet lijken op die in de trainingsdata. Dit is cruciaal voor het optimiseren van leidverbindingen (lead optimization) en het begrijpen van interacties.
2. Beperkt in Screening: Deze methoden zijn echter niet superieur (en soms inferieur) aan traditionele docking voor het screenen van grote bibliotheken om nieuwe hits te vinden. Docking blijft de beste keuze voor het filteren van miljoenen moleculen vanwege de snelheid en het vermogen om diverse chemotypes te categoriseren.
3. Synergie: De auteurs concluderen dat de toekomst van structurele drugontdekking ligt in een hybride aanpak:
   • Gebruik Docking voor het initiële screenen van enorme bibliotheken om een lijst van kandidaten te genereren.
   • Gebruik Co-folding om de top-kandidaten uit deze lijst nauwkeurig te modelleren, hun bindingstabiliteit te voorspellen en te helpen bij het chemisch optimaliseren van de leidverbindingen.

De resultaten suggereren dat co-folding geen vervanging is voor fysica-based docking, maar een krachtige aanvulling die de precisie van het ontwerp verbetert zodra een reeks verbindingen is geïdentificeerd.