Assessment of scoring functions for computational models of protein-protein interfaces

Sintesi Tecnica: Valutazione delle Funzioni di Scoring per Modelli Computazionali di Interfacce Proteina-Proteina

Definizione del Problema
L'obiettivo primario degli studi computazionali sulle interfacce proteina-proteina (PPI) è prevedere il sito di legame tra due monomeri che formano un eterodimero. Sebbene il re-docking a corpo rigido (ricostruzione del complesso legato a partire dalle conformazioni legate note) sia spesso considerato un problema "risolto" con elevati tassi di successo (hit rates), l'accuratezza delle funzioni di scoring nel distinguere i modelli quasi-nativi da quelli di bassa qualità rimane inconsistente. Le valutazioni precedenti si sono affidate pesantemente a metriche basate sul ranking (es. "hit rate") o a metriche di classificazione (es. Area Sotto la Curva ROC, AUC). Tuttavia, questi metodi sono altamente sensibili alla distribuzione di campionamento dei modelli computazionali. Nei dataset standard, i modelli quasi-nativi sono ampiamente superati in numero dai modelli di bassa qualità, portando a punteggi di classificazione gonfiati (AUC elevata) che non riflettono l'effettiva correlazione monotona tra la funzione di scoring e l'accuratezza strutturale (DockQ). Inoltre, gli studi esistenti spesso non valutano le prestazioni di scoring su base target o non tengono conto della flessibilità conformazionale dei monomeri.

Metodologia
Gli autori hanno sviluppato un framework rigoroso per valutare sette funzioni di scoring PPI allo stato dell'arte (VoroMQA, ITScorePP, PyDock, Rosetta, ZRank2, Deeprank-GNN-ESM e GNN-DOVE) e un nuovo modello di Support Vector Regression (SVR) basato su caratteristiche fisiche.

1. Costruzione del Dataset:

   • Dataset Primario: 84 strutture cristallografiche X-ray di eterodimeri ad alta risoluzione dal Protein Data Bank (PB), filtrate per risoluzione ($\le$ 3,5 Å), assenza di polimeri non proteici e somiglianza di sequenza ($<$ 20%).
   • Dataset di Validazione: 62 target non ridondanti dallo ZDOCK Benchmark 5.5.
   • Sottogruppo di Docking Flessibile: 15 eterodimeri con strutture di monomeri non legati disponibili per studiare i cambiamenti conformazionali.

2. Strategia di Campionamento Uniforme:

   • Inve invece di fare affidamento sul normale campionamento casuale (che produce un bias verso i modelli di bassa qualità), gli autori hanno generato 540.000 modelli di re-docking a corpo rigido per target utilizzando ZDOCK 3.0.2.
   • Questi modelli sono stati sottocampionati per creare un dataset in cui i modelli sono distribuiti uniformemente attraverso l'intero intervallo della metrica DockQ (una misura continua di somiglianza strutturale rispetto alla struttura nativa, $0 \le$ DockQ $\le$ 1).
   • Per ogni target, sono stati selezionati circa 1.000 modelli, bilanciati per includere un numero uguale di modelli "positivi" (DockQ $\ge$ 0,23) e "negativi".

3. Metriche di Valutazione:

   • Correlazione di Spearman ($\rho$): Calcolata tra l'output della funzione di scoring e il punteggio DockQ per ogni target. Questa misura la relazione monotona tra il punteggio predetto e l'accuratezza strutturale.
   • Hit Rate & AUC: Calcolate per dimostrare la loro sensibilità ai bias di campionamento.
   • Analisi delle Caratteristiche Fisiche: Gli autori hanno quantificato la separabilità dell'interfaccia ($S$) utilizzando una SVM polinomiale e il numero di contatti di interfaccia ($N_c$) basato sulle distanze degli atomi pesanti.

4. Estensione al Docking Flessibile:

   • Per affrontare il docking a corpo flessibile, gli autori hanno generato conformazioni intermedie dei monomeri tramite interpolazione lineare tra le forme non legate e legate. Hanno eseguito il docking a corpo rigido su queste conformazioni deformate per valutare come le prestazioni di scoring degradino all'aumentare della deviazione (RMSD) dallo stato legato.

Contributi Chiave e Risultati

1. Rivalutazione delle Metriche di Scoring:

   • Lo studio dimostra che gli hit rate e i valori AUC sono inaffidabili quando il campionamento di DockQ non è uniforme. Ad esempio, un dataset può generare un'AUC di 0,959 mentre la correlazione di Spearman ($\rho$) è solo $\approx$ 0,256.
   • Quando i modelli sono campionati uniformemente su DockQ, emerge una relazione lineare: $AUC \approx -0,5\rho + 0,5$. Ciò consente una valutazione coerente e specifica per target delle funzioni di scoring utilizzando $\rho$.

2. Prestazioni delle Attuali Funzioni di Scoring:

   • Sotto campionamento uniforme, le attuali funzioni di scoring performano scarsamente per una parte significativa dei target. Circa il 50% dei target presenta $|\rho| < 0,70$.
   • Solo circa il 25% dei target è classificato come "facile" ($|\rho| > 0,8$), mentre 23 target sono "difficili" ($|\rho| < 0,6$).
   • Tra le funzioni testate, ZRank2 ha mostrato la più alta correlazione media ($|\langle\rho\rangle| \approx 0,78$), mentre VoroMQA è stato il migliore solo sui target facili ($|\langle\rho\rangle| \approx 0,56$). I metodi basati su machine learning e GNN (Deeprank-GNN-ESM, GNN-DOVE) hanno mostrato risultati misti, con GNN-DOVE che non riesce a score costantemente modelli ad alto DockQ.

3. Determinanti Fisici della Difficoltà di Scoring:

   • Gli autori hanno identificato due caratteristiche fisiche chiave che correlano con la difficoltà di scoring:
     • Separabilità dell'Interfaccia ($S$): Una misura della complementarità geometrica. Un valore di $S$ più basso (interfacce più intrecciate) correla con un $|\rho|$ più alto (scoring più facile).
     • Numero di Contatti di Interfaccia ($N_c$): Un $N_c$ più elevato correla con un $|\rho|$ più alto.
   • I target con monomeri altamente intrecciati e molti contatti di interfaccia sono più facili da scoreare. Al contrario, i target con interfacce piatte, separabili e con meno contatti sono difficili.
   • Il "paesaggio DockQ" (la distribuzione della somiglianza strutturale nello spazio configurazionale) è più isotropo per i target facili, mentre i target difficili presentano paesaggi anisotropi dove la funzione di scoring non riesce a sovrapporsi al bacino nativo.

4. Sviluppo di un Modello di Scoring Semplificato:

   • Utilizzando solo le due caratteristiche fisiche ($S$ e $N_c$), gli autori hanno costruito un semplice modello SVR. Questo modello eguaglia o supera le prestazioni delle più accurate funzioni di scoring esistenti (come ZRank2), suggerendo che funzioni di energia complesse potrebbero non essere necessarie se i descrittori fisici chiave sono pesati correttamente.

5. Impatto della Flessibilità:

   • Negli esperimenti di docking flessibile, la correlazione di Spearman tra i punteggi PPI e DockQ è diminuita fortemente man mano che i monomeri venivano deformati dalle loro conformazioni legate (aumentando l'iRMSD). Ciò evidenzia come le attuali funzioni di scoring fatichino significativamente quando i monomeri in input non si trovano nelle loro conformazioni native legate.

Significato e Rivendicazioni
L'articolo sostiene che il campo dello scoring PPI è stato tratto in inganno da metriche (hit rate, AUC) sensibili ai bias di campionamento. Implementando un campionamento uniforme su DockQ, gli autori rivelano che le attuali funzioni di scoring sono molto meno accurate di quanto precedentemente ritenuto, in particolare per target con geometrie di interfaccia specifiche (basso numero di contatti, alta separabilità).

La significatività di questo lavoro risiede nel:

• Stabilire una metrica più affidabile basata sulla correlazione ($\rho$) per la valutazione delle funzioni di scoring su base target.
• Identificare che la difficoltà di scoring è radicata fisicamente nella geometria dell'interfaccia (separabilità e densità di contatto) piuttosto che nella complessità della funzione di scoring stessa.
• Dimostrare che un modello semplice basato su due caratteristiche fisiche può competere con le funzioni allo stato dell'arte più complesse, suggerendo una via verso funzioni di scoring più interpretabili ed efficaci.
• Evidenziare la sfida critica del docking flessibile, dove l'accuratezza dello scoring degrada rapidamente man mano che le conformazioni dei monomeri deviano dallo stato legato, indicando la necessità di metodi che incorporino caratteristiche fisiche più discriminanti o che gestiscano meglio gli ensemble conformazionali.

Gli autori concludono che migliorare le predizioni del docking PPI richiede di concentrarsi sulla correlazione tra i punteggi e la somiglianza strutturale (DockQ) e di integrare caratteristiche fisiche specifiche e discriminanti nelle funzioni di scoring, piuttosto che fare affidamento esclusivamente sulle attuali pratiche di benchmarking.