Technische Samenvatting: Benchmarking van Single-Pose Docking, Consensus Rescoring en Supervised ML op de LIT-PCBA Library

Probleemstelling

Virtuele screening (VS) is een cruciaal onderdeel van de moderne geneesmiddelenontwikkeling, met als doel om computergestuurd verbindingen te prioriteren voor experimentele testen. De voorspellende kracht van VS-methoden wordt echter vaak ondermijnd door het gebruik van bevooroordeelde benchmarkdatasets (bijv. DUD-E) die analogie-bias en decoy-artefacten bevatten, wat leidt tot opgeblazen prestatiemetrics. Bovendien blijft de praktische bruikbaarheid van recente kunstmatige-intelligentie (AI)-methoden, zoals DiffDock, die sterke resultaten rapporteren op standaardbenchmarks, onzeker op experimenteel samengestelde, onbevooroordeelde bibliotheken. Er is behoefte aan een rigoureuze evaluatie of state-of-the-art AI-gedreven docking- en rescoring-methoden traditionele op fysica gebaseerde benaderingen overtreffen op realistische datasets met lage hit-rates, en of consensusstrategieën of supervised machine learning (ML) de vroege verrijking verder kunnen verbeteren.

Methodologie

De studie evalueerde docking- en scoring-workflows op de LIT-PCBA (Literature-derived PubChem Bioassay) library, bestaande uit 578.295 ligand-doelpaar over 15 diverse proteïne-doelen (10.008 actieven en 568.287 inactieven). De evaluatie concentreerde zich op twee primaire paden voor pose-generatie:

1. AutoDock-pad: Gebruik van AutoDock-GPU (een GPU-versnelde implementatie van AutoDock 4.2). Elke ligand onderging 10 onafhankelijke runs, waarbij de pose met de beste affiniteit werd behouden.
2. DiffDock-pad: Gebruik van DiffDock, een diffusie-generatief model voor blind docking. Er werden 20 poses per ligand gesampled, waarbij de pose met het hoogste vertrouwen werd behouden.

Scoring en Rescoring:
Poses uit beide paden werden hergescoord met:

• GNINA: Een 3D-convolutioneel neurale netwerk (CNN) scoring-functie.
• NMDN (Normalized Mixture Density Network): Een op deep learning gebaseerde rescoring-functie die pKd-waarden voorspelt.
• Native Scores: Bindingsenergie van AutoDock en interne vertrouwensscores van DiffDock.

Consensus- en Filterstrategieën:
De studie implementeerde rang-gebaseerde consensus-scoring om meerdere methoden te combineren:

• Ongegewogen Consensus: Eenvoudige gemiddelde van rangen.
• Gecalibreerde Consensus (CC): Gewogen gemiddelde waarbij ML-gebaseerde scorers (GNINA, NMDN) dubbel gewicht kregen (2×) ten opzichte van de baseline-dockingscore (1×).
• Filtering: Drie filterstrategieën (Medium, Strong, Weak) werden toegepast op basis van score-cutoffs (bijv. NMDN-score ≥ -800, GNINA CNNaffinity ≥ 0,1) voordat er werd gerangschikt.
• Globale Consensus: Gecombineerde rangschikkingen uit zowel het AutoDock- als het DiffDock-pad.

Supervised Machine Learning:
Verschillende ML-modellen (Wide Neural Networks, Deep MLP's, Random Forests, XGBoost, LightGBM) werden getraind om liganden opnieuw te rangschikken. Kenmerken omvatten ruwe dockingscores, afgeleide niet-lineaire transformaties en interactietermen. Modellen werden getraind op een 75/25-split van data per doel om datalekken te voorkomen.

Metrics:
Prestaties werden beoordeeld met Verrijkingfactor bij 1% en 10% (EF1%, EF10%), ROC-AUC, BEDROC (α=20) en klassieke classificatiemetrics (Precisie, Recall, Gebalanceerde Nauwkeurigheid).

Belangrijkste Resultaten

1. Prestaties van Single-Methoden

• AutoDock-GNINA bleek de meest betrouwbare single-methode, met een mediaan EF1% van 2,14 en een gebalanceerde nauwkeurigheid van 50,5%. Het presteerde significant beter dan DiffDock-gebaseerde methoden en baselines.
• DiffDock-beperkingen: DiffDock alleen (mediaan EF1% = 1,17) en DiffDock hergescoord met GNINA (mediaan EF1% = 0,84) of NMDN (mediaan EF1% = 0,67) presteerden slecht. Opmerkelijk is dat DiffDock-varianten volledig faalden (EF1% = 0) op het OPRK1-doel, terwijl AutoDock-GNINA op hetzelfde doel een EF1% van 12,5 behaalde.
• NMDN-inconsistentie: NMDN-rescoring was inconsistent. Hoewel het de prestaties op specifieke doelen verbeterde (bijv. FEN1 wanneer gekoppeld aan AutoDock-poses), degradeerde het vaak de prestaties wanneer toegepast op DiffDock-poses of andere doelen.

2. Consensus en Filtering

• Robuustheid: Gecalibreerde consensus-rangschikking (CC-Medium) verbeterde de robuustheid, met een mediaan EF1% van 1,8 in beide paden. Het slaagde erin twee doelen (FEN1 en IDH1) te redden die AutoDock-GNINA alleen miste.
• Globale Consensus: Het samenvoegen van beide paden via Globale Consensus behaalde een mediaan EF1% van 1,9, het hoogste onder consensusvarianten, maar overtrof nog steeds niet de prestaties van AutoDock-GNINA alleen.
• Filtering-trade-offs: Sterke filtering (UC-Strong) leverde een hoge gemiddelde EF1% op bij specifieke outliers (bijv. PPARG), maar resulteerde in een mediaan EF1% van 0 en een bijna nul actieve retentie, wat wijst op hoge volatiliteit. Zwakke filtering (CC-Weak) behield een hoge actieve terugwinning (~100%) met concurrerende verrijking.

3. Supervised Machine Learning

• Significante Winsten: Supervised ML-herrangschikking leverde de grootste verbeteringen op. Het beste model, een Wide Neural Network (WNN), behaalde een EF1% van 4,49, wat een ~110% verbetering vertegenwoordigt ten opzichte van de beste klassieke scorer (AutoDock-GNINA bij 2,14).
• Metric-verbeteringen: De WNN verbeterde de gebalanceerde nauwkeurigheid van 50,5% (AutoDock-GNINA) naar 55,4%, de precisie van 1,85% naar 8,2% en de recall van 2,02% naar 15,0%.
• Vergelijking: ML-modellen presteerden beter dan alle rang-gebaseerde consensusstrategieën (mediaan EF1% ~1,8–1,9), wat suggereert dat ze niet-lineaire patronen over scoring-functies kunnen vangen die eenvoudige gemiddelden niet kunnen.

4. Computerefficiëntie

• Doorvoer: AutoDock was aanzienlijk kosteneffectiever en sneller dan DiffDock. AutoDock verwerkt ongeveer 2 liganden per seconde op een RTX 3090, terwijl DiffDock 1–2 seconden per ligand vereist op een krachtigere A100 GPU. De studie schat dat DiffDock 4 tot 8 keer de rekenkracht vereist om in deze context inferieure precisie te leveren.

Betekenis en Claims

Het artikel concludeert dat docking-gebaseerde virtuele screening weliswaar nuttige verrijking biedt, maar dat de absolute voorspellende kracht op realistische datasets zoals LIT-PCBA beperkt blijft. Belangrijke claims zijn:

1. Geen Universele Oplosser: Geen enkele docking-techniek werkt betrouwbaar over alle doelen heen. De prestaties zijn sterk doel-afhankelijk, waarbij methoden zoals DiffDock volledig falen op specifieke doelen (bijv. OPRK1) waar klassieke methoden (AutoDock-GNINA) slagen.
2. Superioriteit van Klassiek + ML Rescoring: De combinatie van een traditionele op fysica gebaseerde sampler (AutoDock) met een moderne ML-rescoring-functie (GNINA) biedt de beste balans tussen nauwkeurigheid, kosten en betrouwbaarheid onder single-methoden.
3. Waarde van Supervised Learning: Supervised ML-modellen kunnen de verrijking aanzienlijk verhogen (verdubbeling van EF1%) indien voldoende experimentele data beschikbaar is voor training, en presteren beter dan zowel single-scorers als eenvoudige consensusstrategieën.
4. Voorzichtigheid ten opzichte van Nieuwigheid: De studie pleit voor het inzetten van rigoureus geteste, goed begrepen docking-technieken boven het vertrouwen op onvoorspelbare nieuwe AI-methoden die inconsistente resultaten kunnen opleveren, vooral wanneer trainingsdata-bias (bijv. "naaste buren" in DiffDock's trainingsset) de generaliseerbaarheid kan compromitteren.
5. Inherent Beperkingen: Zelfs de best presterende methoden (AutoDock-GNINA, ML-herrangschikkers) behalen slechts bescheiden discriminatie (Gebalanceerde Nauwkeurigheid ~50–55%), wat suggereert dat op structuur gebaseerde docking alleen het hit-vindingsprobleem niet volledig kan oplossen en mogelijk wordt beperkt door factoren buiten sampling en scoring.

De auteurs benadrukken dat effectieve workflows methoden moeten prioriteren die zijn gevalideerd tegen specifieke doelen of nauw verwante systemen, in plaats van uit te gaan van universele superioriteit van nieuwe AI-gedreven benaderingen.