🧬 biology

A z-averaged ensemble of three orthogonal models improves protein–ligand virtual screening on leakage-controlled benchmarks

Dit artikel toont aan dat een z-gemiddeld ensemble van drie representationeel orthogonale deep-learningmodellen de prestaties van proteïne-ligand virtuele screening op lekgecontroleerde benchmarks significant verbetert door echte out-of-distribution generalisatie te bereiken, waardoor de beperkingen van single-model benaderingen op nieuwe targets worden overwonnen.

Oorspronkelijke auteurs: Yuguang Mu, Yang Liu, weifeng li

Gepubliceerd 2026-07-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuguang Mu, Yang Liu, weifeng li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Het Grote Probleem: De "Spiekbrief"-valstrik

Stel je voor dat je een moeilijk examen maakt om te voorspellen welke medicijnen zullen werken op een specifiek virus. Jarenlang hebben computermodellen beweerd genieën te zijn, met scores van 90% of hoger op oefentoetsen.

Echter, onderzoekers ontdekten dat deze modellen aan het spieken waren. De oefentoetsen (benchmarks) gebruikten "homologie-lekken" (homology leakage). Dit is alsof je een student een oefentoets geeft waarbij de vragen bijna identiek zijn aan de vragen die hij in zijn tekstboek heeft bestudeerd. De modellen waren niet echt aan het leren hoe ze nieuwe medicijnen moeten vinden; ze waren simpelweg patronen aan het onthouden van eiwitten die ze al eerder tijdens de training hadden gezien.

Toen wetenschappers "lekgecontroleerde" tests maakten — waarbij het virus volledig nieuw is en geen verwanten heeft in de trainingsdata van het model — stortten de scores van de modellen in. Ze zakten van 90% naar ongeveer 70-75%. Het bleek dat het maken van één enkel, superintelligent model niet langer werkte.

De Oplossing: Het "Driehoofdig Monster"

In plaats van te proberen één perfect, superintelligent model te bouwen, probeerden de auteurs een andere aanpak: Teamwerk.

Ze namen drie bestaande modellen die op een zeer verschillende manier zijn gebouwd en combineerden deze. Denk aan het inhuren van drie verschillende detectives om een mysterie op te lossen:

Detective A (BIND-z): Kijkt alleen naar de genetische code (de sequentie) van het eiwit.
Detective B (SaProt-v2): Kijkt naar de genetische code, maar let ook op de 3D-vorm van de "vouw" van het eiwit.
Detective C (DrugCLIP): Kijkt helemaal niet naar de code; in plaats daarvan kijkt het naar de 3D-fysieke structuur van de holte (pocket) van het eiwit en vergelijkt dit met de vorm van het medicijn.

Hoe ze ze combineerden: Het "Z-score" gemiddelde

Je kunt hun scores niet zomaar bij elkaar optellen, omdat ze verschillende "talen" spreken. Detective A geeft misschien een score van 100, terwijl Detective C een score van 0,5 geeft.

De auteurs gebruikten een slimme truc genaamd z-score averaging.

De Analogie: Stel je drie juryleden voor in een talentenjacht. Jurylid 1 is streng en geeft scores tussen de 1 en 5. Jurylid 2 is mild en geeft scores tussen de 80 en 100. Jurylid 3 is vreemd en geeft scores tussen de -10 en +10.
Als je alleen hun getallen bij elkaar optelt, zal de mening van Jurylid 2 de overhand krijgen.
In plaats daarvan vroegen de auteurs: "Hoeveel beter is deze deelnemer dan het gemiddelde voor deze specifieke jurylid?"
Ze zetten elke score om in een "relatieve rangorde" (een z-score) en namen vervolgens het gemiddelde. Dit gaf elke detective een gelijkwaardige stem, ongeacht hun scorestijl.

De Resultaten: Waarom Drie Beter Is Dan Eén

Toen ze dit "drie-detectives-team" testten op de moeilijke, nieuwe virussen (de lekgecontroleerde benchmarks), ontdekten ze iets verrassends:

Ze waren het niet vaak eens: De drie modellen gaven vaak verschillende antwoorden op hetzelfde medicijn. Hun meningen waren "orthogonaal" (onafhankelijk). Wanneer één model in de war was, waren de anderen vaak wel correct.
Het team won: Door hun onafhankelijke meningen te middelen, verbeterden ze de nauwkeurigheid met een kleine maar statistisch significante hoeveelheid (van 0,817 naar 0,834).
De "lek"-kloof werd kleiner: Het team was minder afhankelijk van het eerder hebben gezien van soortgelijke virussen. Het toevoegen van de derde detective (DrugCLIP) maakte de hele groep robuuster tegen "spieken" door middel van memorisatie.

De Belangrijkste Conclusie

Het paper betoogt dat diversiteit belangrijker is dan brute kracht.

De Oude Manier: Probeer één gigantisch, superbekwaam model te bouwen. (Dit is gestagneerd).
De Nieuwe Manier: Neem drie verschillende, matig bekwame modellen die het probleem vanuit totaal andere hoeken bekijken, en laat hen stemmen.

Omdat de modellen verschillende soorten fouten maken, heft het middelen van de resultaten de fouten op. Het paper concludeert dat voor het vinden van nieuwe medicijnen op echt nieuwe doelwitten, inter-model orthogonaliteit (het hebben van verschillende perspectieven) het geheime ingrediënt is, en niet simpelweg het groter of slimmer maken van de modellen.

Wat ze NIET claimen

Ze claimen niet dat dit ziekten geneest of al in een ziekenhuis wordt gebruikt.
Ze claimen niet dat dit werkt op elke mogelijke benchmark (het had het zelfs moeilijk met één specifieke dataset genaamd LIT-PCBA).
Ze claimen niet dat het toevoegen van een vierde model zeker zou helpen; ze suggereren dat het toevoegen van een vierde model dat op dezelfde manier denkt als de eerste twee, nutteloos zou zijn. Je hebt een nieuw perspectief nodig om meer voordeel te behalen.

Technische Samenvatting: Een z-gemiddelde Ensemble van Drie Orthogonale Modellen voor Eiwit–Ligand Virtuele Screening

Probleemstelling
Deep-learningmodellen voor eiwit–ligand virtuele screening (VS) hebben een hoge prestatie gerapporteerd (AUROC > 0,90) op standaard benchmarks zoals DUD-E. De auteurs stellen echter dat deze metrieken opgeblazen zijn door twee primaire faalmodi:

Training-Test Sequentie-homologie Lekkage: De meeste benchmark-eiwitten hebben bijna identieke homologen in de trainingssets van modellen die getraind zijn op BindingDB of PDBBind. Pre-trained protein-language model embeddings maken generalisatie triviaal in deze gevallen, waardoor modellen kunnen vertrouwen op homologie in plaats van werkelijke bindingsfysica.
Decoy Bias: Benchmarks zoals DUD-E bevatten structurele asymmetrieën waarbij actieve stoffen en decoys verschillen in fysisch-chemische descriptoren (bijv. rotatierijke bindingen, polair oppervlak), waardoor classifiers kunnen differentiëren zonder te conditioneren op het eiwit.

Wanneer geëvalueerd op "lekkage-gecontroleerde" targets (waarbij training-test homologie strikt is gefilterd, bijv. <30% identiteit), stagneert de prestatie van enkelvoudige modellen in de range van 0,70–0,75 AUROC. Recente architecturale verbeteringen (fine-tuning, pocket-bewuste lagen, contrastieve losses) zijn er niet in geslaagd om deze kloof op echt nieuwe targets significant te dichten.

Methodologie
De auteurs stellen een post-hoc, model-agnostische ensemblestrategie voor in plaats van het bouwen van één enkel, complexer model. De aanpak omvat het combineren van drie onafhankelijk getrainde, representationeel orthogonale scoringmodellen:

BIND-z: Een model dat enkel op sequentie gebaseerd is, gebruikmakend van een bevroren ESM-2 encoder met cross-attention en Huber affinity heads, getraind op een homologie-gefilterde BindingDB-subset.
SaProt-v2: Een structuur-bewuste sequentie-encoder (bevroren SaProt-650M met AA+3Di tokens) getraind met een contrastieve InfoNCE loss en een attention-pool head.
DrugCLIP: Een gepubliceerd CLIP-stijl retrieval model dat 3D pocket-atoomkenmerken (Uni-Mol) afstemt op 2D ligand-kenmerken.

Fusiestrategie:
De modellen produceren scores op verschillende schalen. Om deze te combineren, gebruiken de auteurs een per-target z-score normalisatie gevolgd door een rekenkundig gemiddelde. Voor elk target $t$ wordt de ruwe score $s_{m,t,i}$ van model $m$ genormaliseerd:
$z_{m,t,i} = \frac{s_{m,t,i} - \mu_{m,t}}{\sigma_{m,t}}$
waarbij $\mu$ en $\sigma$ het gemiddelde en de standaarddeviatie zijn van de scores van het model over alle liganden voor dat specifieke target. De ensemble scores zijn dan:

ens2: Gemiddelde van BIND-z en SaProt-v2.
ens3: Gemiddelde van BIND-z, SaProt-v2 en DrugCLIP.

Belangrijkste Bijdragen

Identificatie van Orthogonaliteit: De auteurs demonstreren dat de drie modellen zwak gecorreleerd zijn op per-ligand niveau. De Pearson-correlatie tussen de twee sequentie-gebaseerde modellen (BIND-z en Saot-v2) is $r \approx 0,22$ , terwijl DrugCLIP een bijna nul-correlatie vertoont ( $r \approx 0,05\text{--}0,08$ ) met elk van de sequentiemodellen. Dit suggereert dat DrugCLIP werkelijk onafhankelijke informatie levert.
Statistisch Significante Winst: Het drie-modellen ensemble (ens3) bereikt een gemiddelde AUROC van 0,834 over 204 samengevoegde DUD-E en DUD-AD evaluaties, vergeleken met 0,817 voor het beste twee-modellen ensemble (ens2). Dit vertegenwoordigt een +0,017 AUROC winst (gepaarde $t=3,50$ , $p=5,8 \times 10^{-4}$ ). De winst is directioneel consistent over zes benchmarks, inclusclusief strikte leakage-clean subsets.
Verminderde Homologie Afhankelijkheid: Het ensemble vermindert de afhankelijkheid van training-test homologie. De "lekkage-kloof" (prestatiedaling wanneer men overgaat van homologie-rijke naar leakage-clean targets) is +0,085 voor ens3, vergeleken met +0,091 voor ens2. Dit geeft aan dat het ensemble beter generaliseert naar out-of-distribution targets.

Resultaten

Zero-Shot Prestaties: Op de primaire samengevoegde benchmark ( $n=204$ ) presteert ens3 beter dan ens2 met hoge statistische significantie. Op strikte leakage-clean subsets (bijv. DUD-E-strict, $n=7$ ), bereikt ens3 een 0,779 AUROC, een significante verbetering ten opzichte van enkelvoudige modellen, hoewel de statistische significantie beperkt is door de steekproefomvang.
Faalmodi: Het ensemble lost de LIT-PCBA benchmark niet op (absolute AUROC ~0,608), die ontworpen is om resistent te zijn tegen huidige sequentie/pocket-only modellen.
In-Distribution Implementatie: Wanneer geëvalueerd in een "in-distribution" regime (waarbij de trainingsdata homologen van test-targets bevat), levert het ensemble (dat een all-data SaProt tower en BIND-full combineert) nog steeds een +0,012 tot +0,015 AUROC winst op ten opzichte van de sterkste enkelvoudige component, wat bevestigt dat de voordelen van orthogonaliteit ook gelden voor deployment zonder strikte zero-shot beperkingen.
Limieten van Enkelvoudige Modellen: De auteurs hebben systematisch de verbeteringen van enkelvoudige modellen getest (encoder fine-tuning, pocket-redesign, alternatieve losses, pose-bewuste lagen) en vastgesteld dat deze verwaarloosbare of zelfs negatieve winsten opleverden op leakage-clean targets, wat suggereert dat de bottleneck de trainingsdistributie is, en niet de modelcapaciteit.

Betekenis en Claims
Het artikel betoogt dat inter-model orthogonaliteit, in plaats van de capaciteit van een enkel model, de praktische hefboom is voor het verbeteren van virtuele screening op nieuwe eiwittargets.

Mechanisme: De winst komt voort uit variantiereductie op statistisch bijna onafhankelijke foutstructuren. Het toevoegen van een vierde model met een vergelijkbare architectuur (bijv. een andere ESM-gebaseerde scorer) zou waarschijnlijk leiden tot afnemende meeropbrengsten vanwege een hoge foutcorrelatie.
Praktische Implicatie: Een eenvoudige, post-hoc fusie van bestaande, diverse modellen is effectiever dan het trainen van één enkel, groter of complexer model.
Benchmarking: De auteurs pleiten voor het routinematig rapporteren van "leakage-clean" subsets naast standaard benchmarks om onderscheid te maken tussen memorisatie en werkelijke generalisatie.
Scope: Het ensemble wordt gepresenteerd als een robuuste oplossing voor targets die geen nauwe trainingshomologen hebben, terwijl een apart "deployment ensemble" (gebruikmakend van ongefilterde trainingsdata) wordt aanbevolen voor scenario's waar homologen beschikbaar zijn en de inferentiekosten een secundaire zorg zijn.

De auteurs concluderen dat de weg vooruit voor betrouwbare virtuele screening ligt in het combineren van diverse, orthogonale signalen in plaats van het streven naar incrementele architecturale capaciteitsverhogingen binnen één enkele modelfamilie.