Trustworthy Protein-Ligand Binding Affinity Prediction via Reliability-Aware Multi-Engine Fusion

Technische Samenvatting: Betrouwbare voorspelling van de bindingsaffiniteit tussen eiwit en ligand via betrouwbaarheidsbewuste multi-engine fusie

Probleemstelling
Nauwkeurige voorspelling van de bindingsaffiniteit tussen eiwit en ligand is een hoeksteen van computationele geneesmiddelenontdekking, maar moderne docking-engines produceren vaak tegenstrijdige voorspellingen zonder aan te geven welke resultaten men moet vertrouwen. Hoewel consensus-scoring en ensemble-methoden de gemiddelde nauwkeurigheid verbeteren, behandelen zij alle voorspellingen doorgaans identiek, waarbij ze het gebrek aan interpreteerbare betrouwbaarheidsmaten of onzekerheidsdecompositie vertonen. Cruciaal is dat bestaande benaderingen de chemische context van specifieke eiwit–ligand-paren negeren, waardoor ze er niet in slagen onderscheid te maken tussen aleatorische onzekerheid (inherente dataruis) en epistemische onzekerheid (modelonwetendheid). Bovendien kunnen methoden voor onzekerheidskwantificering (UQ) van een enkel model de extra epistemische onzekerheid niet vatten die voortvloeit uit de onenigheid tussen diverse engines, die steunen op verschillende aannames, scoringfuncties en trainingsdata.

Methodologie: RELIABLE-BA
De auteurs stellen RELIABLE-BA (RELIABiLity-aware Evidential fusion for Binding Affinity) voor, een evidentieel framework ontworpen om meerdere docking-engines te fuseren terwijl rekening wordt gehouden met de contextafhankelijke betrouwbaarheid. Het framework werkt in drie primaire stappen:

1. Evidentieel Expert-modellering: Elke docking-engine wordt gemodelleerd als een evidente expert. In plaats van een enkele puntinschatting te produceren, voorspelt elke engine $i$ de parameters van een Normal–Inverse-Gamma (NIG) distributie, $(\gamma_i, \nu_i, \alpha_i, \beta_i)$, die zowel de voorspelde gemiddelde waarde als de onzekerheid vastlegt. Dit maakt een gesloten vorm van decompositie van onzekerheid mogelijk in aleatorische (dataruis) en epistemische (modelonzekerheid) componenten.
2. Betrouwbaarheidsbewuste Schaling: Een betrouwbaarheidsnetwerk, geconditioneerd op gedeelde moleculaire embeddings (afgeleid van ESM-2 voor eiwitten en ChemBERTa voor liganden), leert een betrouwbaarheidsscore $r_i(x) \in (0, 1)$ voor elke engine op basis van de specifieke eiwit–ligand-context. Deze scores moduleren de epistemische onzekerheid van elke expert via een schalingstransformatie. Specifiek schaalt de betrouwbaarheidsscore de evidentieparameters ($\nu$ en $\alpha$) om de epistemische onzekerheid voor minder betrouwbare experts in een gegeven context te vergroten, terwijl de voorspellende gemiddelde waarde ($\gamma$) van de expert behouden blijft.
3. MoNIG Aggregatie: De betrouwbaarheid-geschaalde experts worden gefuseerd met behulp van een Mixture of Normal–Inverse-Gamma (MoNIG) aggregatie. Dit maakt gebruik van een gesloten sommatieoperator die de NIG-distributies combineert, waarbij zowel de onzekerheid binnen de expert als de onenigheid tussen de engines wordt geaccumuleerd. De fusierule zorgt ervoor dat tegenstrijdige voorspellingen van verschillende engines resulteren in een hogere epistemische onzekerheid in de uiteindelijke output.

Het model wordt end-to-end getraind met een gezamenlijk doel dat de negatieve log-marginale waarschijnlijkheid (NLL) minimaliseert op zowel het individuele expertniveau als op het gefuseerde MoNIG-niveau, met regularisatie om excessieve accumulatie van evidentie tijdens grote voorspellingsfouten te voorkomen.

Belangrijkste Bijdragen

1. Eerste Multi-Engine Evidentieel Framework: RELIABLE-BA wordt gepresenteerd als het eerste multi-engine bindingsaffiniteitsframework dat evidentiële onzekerheidskwantificering combineert met contextafhankelijke betrouwbaarheidsmodellering.
2. Reliability-Scaling Mechanisme: De auteurs introduceren een nieuw mechanisme dat de epistemische onzekerheid schaalt op basis van geleerde betrouwbaarheidsscores zonder de voorspellende gemiddelden van individuele experts te wijzigen, wat coherente fusie via MoNIG mogelijk maakt.
3. Selectief Voorspellingsvermogen: Het framework maakt risico-bewuste besluitvorming mogelijk door voorspellingen te filteren op basis van vertrouwen, waarbij het vermogen wordt aangetoond om de voorspellingsfout aanzienlijk te verminderen wanneer alleen hoog-betrouwbare paren worden behouden.

Experimentele Resultaten
De auteurs evalueerden RELIABLE-BA op de PDBbind 2020 benchmark (met gebruik van een tijd-split protocol) en de onafhankelijke BDB2020+ testset. Aanvullende validatie werd uitgevoerd op de SARS-CoV-2 $M^{pro}$ dataset en de 5HT2A receptor (een GPCR).

• Puntvoorspelling: RELIABLE-BA bereikte een concurrerende nauwkeurigheid in puntvoorspelling, met de laagste Mean Absolute Error (MAE) van 0,8247 en de hoogste $R^2$ van 0,7017 op de PDBbind testset, waarmee het zowel individuele engines als traditionele aggregatie-baselines (bijv. consensus-scoring, deep ensembles) overtreft. Op de onafhankelijke BDB2020+ set behaalde het een MAE van 0,722.
• Onzekerheidskalibratie: Het model vertoonde een aanzienlijk verbeterde onzekerheidskalibratie vergeleken met baselines. Op PDBbind verminderde het de Expected Calibration Error (ECE) met 71,2% vergeleken met standaard evidente regressie.
• Selectieve Voorspelling: Door voorspellingen met een laag vertrouwen weg te gooien, verminderde RELIABLE-BA de MAE met tot wel 25,7% wanneer alleen de top 10% meest betrouwbare voorspellingen werden behouden.
• Ablatie-studies: Experimenten bevestigden dat contextafhankelijke betrouwbaarheidsmodellering cruciaal is; het verwijderen ervan of het gebruik van uniforme gewichten verslechterde zowel de nauwkeurigheid als de kwaliteit van de onzekerheid. Bovendien verbeterde het verhogen van het aantal heterogene engines (van 2 naar 4) consistent zowel de nauwkeurigheid als de kalibratie.
• Casestudies: De methode behield een sterke prestatie op de SARS-CoV-2 $M^{pro}$ dataset en de 5HT2A receptor, wat de toepasbaarheid op klinisch relevante targets en robuustheid onder distributieverschuiving aantoont.

Betekenis en Claims
Het artikel beweert dat RELIABLE-BA een fundamenteel pad biedt naar betrouwbare AI-gestuurde geneesmiddelenontdekking. Door gekalibreerde onzekerheidsschattingen te bieden die zowel de beperkingen van individuele engines als de onenigheid tussen engines weerspiegelen, stelt het framework praktijkgebruikers in staat om voorspellingen met een hoog vertrouwen te prioriteren voor experimentele validatie, waardoor kostbare fout-positieven worden verminderd. De auteurs positioneren RELIABLE-BA als een praktische benadering voor onzekerheidsbewuste virtuele screening, met name voor uitdagende therapeutische targets zoals GPCR's, waar conformationele flexibiliteit en beperkte representatie in trainingsdata significante modelleringsproblemen vormen. Het werk benadrukt dat het framework modulair is, waardoor de integratie van diverse, niet-redundante docking-engines mogelijk is om de robuustheid in grootschalige screeningpipelines te vergroten.