Assessment of scoring functions for computational models of protein-protein interfaces

Technische Samenvatting: Beoordeling van Scoringfuncties voor Computationele Modellen van Proteïne-Proteïne Interfaces

Probleemstelling
Het primaire doel van computationele studies naar proteïne-proteïne interfaces (PPI's) is het voorspellen van de bindingsplaats tussen twee monomeren die een heterodimeer vormen. Hoewel rigid-body re-docking (het reconstrueren van het gebonden complex uit bekende gebonden conformaties) vaak wordt beschouwd als een "opgelost" probleem met hoge hit rates, blijft de nauwkeurigheid van scoringfuncties bij het onderscheiden van nabij-natieve modellen van kwalitatief slechte decoys inconsistent. Eerdere beoordelingen vertrouwden zwaar op rangorde-gebaseerde metrieken (bijv. "hit rate") of classificatiemetrieken (bijv. Area Under the ROC Curve, AUC). Deze methoden zijn echter zeer gevoelig voor de sampling-distributie van computationele modellen. In standaard datasets worden nabij-natieve modellen overweldigend overtroffen door modellen van lage kwaliteit, wat leidt tot opgeblazen classificatiescores (hoge AUC) die niet de werkelijke monotone correlatie tussen de scoringfunctie en structurele nauwkeurigheid (DockQ) reflecteren. Bovendien falen bestaande studies vaak in het evalueren van de prestaties van de scoring op basis van per-target niveau of het rekening houden met de conformationele flexibiliteit van monomeren.

Methodologie
De auteurs ontwikkelden een rigoureus framework om zeven state-of-the-art PPI scoringfuncties (VoroMQA, ITScorePP, PyDock, Rosetta, ZRank2, Deeprank-GNN-ESM en GNN-DOVE) en een nieuw Support Vector Regression (SVR) model gebaseerd op fysieke kenmerken te beoordelen.

1. Dataset Constructie:

   • Primaire Dataset: 84 hoog-resolutie heterodimeer x-ray kristalstructuren uit de Protein Data Bank (PDB), gefilterd op resolutie ($\le$ 3,5 Å), afwezigheid van niet-proteïne polymeren en sequentie-gelijkenis ($<$ 20%).
   • Validatie Dataset: 62 niet-redundante targets uit de ZDOCK Benchmark 5.5.
   • Flexible Docking Subset: 15 heterodimeren met beschikbare unbound monomer-structuren om conformationele veranderingen te bestuderen.

2. Uniforme Sampling Strategie:

   • In plaats van te vertrouwen op standaard random sampling (wat een bias oplevert naar modellen van lage kwaliteit), genereerden de auteurs 540.000 rigid-body re-docked modellen per target met behulp van ZDOCK 3.0.2.
   • Deze modellen werden gesubsampleerd om een dataset te creëren waarin modellen uniform verdeeld zijn over het volledige bereik van de DockQ-metriek (een continue maat voor structurele gelijkenis met de natieve structuur, $0 \le$ DockQ $\le$ 1).
   • Voor elke target werden ongeveer 1.000 modellen geselecteerd, gebalanceerd om een gelijk aantal "positieve" (DockQ $\ge$ 0,23) en "negatieve" modellen te bevatten.

3. Evaluatie Metrieken:

   • Spearman Correlatie ($\rho$): Berekend tussen de output van de scoringfunctie en de DockQ-score voor elke target. Dit meet de monotone relatie tussen de voorspelde score en structurele nauwkeurigheid.
   • Hit Rate & AUC: Berekend om hun gevoeligheid voor sampling-biases aan te tonen.
   • Fysische Feature Analyse: De auteurs kwantificeerden interface separabiliteit ($S$) met behulp van een polynomiale SVM en het aantal interface-contacten ($N_c$) gebaseerd op zware atoom-afstanden.

4. Flexible Docking Extensie:

   • Om flexibele-body docking aan te pakken, genereerden de auteurs tussenliggende monomer-conformaties door lineaire interpolatie tussen unbound en bound vormen. Ze voerden rigid-body docking uit op deze gedeformeerde conformaties om te beoordelen hoe de prestaties van de scoring verslechteren naarmate de Root-Mean-Square Deviation (RMSD) van de gebonden staat toeneemt.

Belangrijkste Bijdragen en Resultaten

1. Herbeoordeling van Scoring Metrieken:

   • De studie toont aan dat hit rates en AUC-waarden onbetrouwbaar zijn wanneer de modelkwaliteit niet uniform gesampled wordt. Bijvoorbeeld, een dataset kan een AUC van 0,959 opleveren terwijl de Spearman correlatie ($\rho$) slechts $\approx$ 0,256 is.
   • Wanneer modellen uniform gesampled worden over DockQ, ontstaat er een lineaire relatie: $AUC \approx -0,5\rho + 0,5$. Dit maakt een consistente, target-specifieke evaluatie van scoringfuncties mogelijk met behulp van $\rho$.

2. Prestaties van Huidige Scoringfuncties:

   • Onder uniforme sampling presteren huidige scoringfuncties slecht voor een aanzienlijk deel van de targets. Ongeveer 50% van de targets vertoont $|\rho| < 0,70$.
   • Slechts ongeveer 25% van de targets wordt geclassificeerd als "easy" ($|\rho| > 0,8$), terwijl 23 targets "hard" zijn ($|\rho| < 0,6$).
   • Onder de geteste functies vertoonde ZRank2 de hoogste gemiddelde correlatie ($|\langle\rho\rangle| \approx 0,78$), terwijl VoroMQA het best presteerde op enkel "easy" targets ($|\langle\rho\rangle| \approx 0,56$). Machine learning-gebaseerde GNN-methoden (Deeprank-GNN-ESM, GNN-DOVE) lieten gemengde resultaten zien, waarbij GNN-DOVE er niet in slaagde consequent hoog-DockQ modellen te scoren.

3. Fysische Determinanten van Scoring Moeilijkheid:

   • De auteurs identificeerden twee belangrijke fysische kenmerken die correleren met de moeilijkheid van de scoring:
     • Interface Separabiliteit ($S$): Een maat voor geometrische complementariteit. Lagere $S$ (meer verstrengelde interfaces) correleert met hogere $|\rho|$ (makkelijkere scoring).
     • Aantal Interface Contacten ($N_c$): Hogere $N_c$ correleert met hogere $|\rho|$.
   • Targets met sterk verstrengelde monomeren en veel interface-contacten zijn gemakkelijker te scoren. Daarentegen zijn targets met vlakke, schepbare interfaces en minder contacten moeilijk te scoren.
   • Het "DockQ landschap" (de distributie van structurele gelijkenis in de configuratieruimte) is meer isotroop voor "easy" targets, terwijl moeilijke targets anisotrope landschappen vertonen waar de scoringfunctie niet overlapt met de natieve basin.

4. Ontwikkeling van een Vereenvoudigd Scoring Model:

   • Met behulp van enkel de twee fysische kenmerken ($S$ en $N_c$) construeerden de auteurs een eenvoudig SVR-model. Dit model evenaarde of overtrof de prestaties van de meest accurate bestaande scoringfuncties (zoals ZRank2), wat suggereert dat complexe energie-functies niet noodzakelijk zijn als de belangrijkste fysische descriptoren correct gewogen worden.

5. Impact van Flexibiliteit:

   • In de flexibele docking experimenten nam de Spearman correlatie tussen PPI-scores en DockQ sterk af naarmate de monomeren werden gedeformeerd van hun gebonden conformaties (toenemende iRMSD). Dit benadrukt dat huidige scoringfuncties aanzienlijk moeite hebben wanneer de input-monomeren niet in hun natieve gebonden conformaties zijn.

Betekenis en Claims
Het artikel claimt dat het gebied van PPI scoring misleid is door metrieken (hit rate, AUC) die gevoelig zijn voor sampling-biases. Door uniforme sampling over DockQ te implementeren, laten de auteurs zien dat huidige scoringfuncties veel minder accuraat zijn dan voorheen gedacht, met name voor targets met specifieke interface-geometrieën (laag contactaantal, hoge separabiliteit).

De betekenis van dit werk ligt in:

• Het vaststellen van een betrouwbaardere, correlatie-gebaseerde metriek ($\rho$) voor het evalueren van scoringfuncties op een per-target basis.
• Het identificeren dat de moeilijkheid van scoring fysiek geworteld is in de interface-geometrie (separabiliteit en contactdichtheid) in plaats van alleen in de complexiteit van de scoringfunctie zelf.
• Het demonstreren dat een eenvoudig model gebaseerd op twee fysische kenmerken de prestaties van complexe, state-of-the-art functies kan evenaren, wat wijst op een pad naar meer interpreteerbare en effectieve scoringfuncties.
• Het benadrukken van de kritieke uitdaging van flexibele docking, waarbij de scoring-nauwkeurigheid snel afneemt naarmate de monomer-conformaties afwijken van de gebonden staat, wat aangeeft dat er behoefte is aan methoden die ofwel meer discriminerende fysische kenmerken integreren, of beter omgaan met conformationele ensembles.

De auteurs concluderen dat het verbeteren van PPI docking-voorspellingen vereist dat de focus verschuift naar de correlatie tussen scores en structurele gelijkenis (DockQ) en de integratie van specifieke, discriminerende fysische kenmerken in scoringfuncties, in plaats van uitsluitend te vertrouwen op de huidige benchmarking-praktijken.