A Large-Scale Dataset and Benchmark: Do Protein-Ligand Models Learn Binding Sites or Just Binding Likelihood?

Riepilogo Tecnico: InteractBind – Un Dataset e un Benchmark su Larga Scala per la Localizzazione dei Siti di Legame Proteina–Ligando

Enunciato del Problema
La modellazione proteina–ligando è centrale nella scoperta di farmaci computazionale, tuttavia i benchmark esistenti valutano principalmente i modelli sulla previsione binaria del legame (l'interazione avviene?) o sulla regressione dell'affinità di legame (quanto è forte l'interazione?). Questi compiti misurano se un modello prevede l'occorrenza o la forza del legame, ma forniscono prove limitate riguardo alla capacità dei modelli di localizzare siti di legame specifici o di identificare le interazioni non covalenti sottostanti che guidano il riconoscimento molecolare. I dataset basati su sequenze offrono raramente annotazioni di interazione a livello di residuo su larga scala, rendendo difficile determinare se le mappe di interazione apprese catturino genuinamente pattern di contatto fisico-chimici o si limitino a correlare con etichette di legame binarie. Di conseguenza, manca una valutazione sistematica della capacità fine-granulare dei modelli di localizzare i residui di legame e di distinguere tra diversi tipi di interazioni non covalenti.

Metodologia
Per colmare questa lacuna, gli autori introducono InteractBind, un dataset e un benchmark su larga scala per proteine–ligando derivati da complessi risolti sperimentalmente nel Protein Data Bank (PDB).

• Costruzione del Dataset: Il dataset comprende circa 100.000 coppie proteina–ligando che coprono ~11.000 proteine uniche e ~9.000 ligandi unici. Per ogni coppia, gli autori generano:

  • Rappresentazioni di Sequenza: Sequenze FASTA canoniche e sequenze consapevoli della struttura (SA) per le proteine; SMILES e SELFIES per i ligandi.
  • Annotazioni di Interazione: Utilizzando strumenti come PLIP e GetContacts, gli autori rilevano sei principali tipi di interazioni non covalenti: legami idrogeno, ponti salini, stacking $\pi$–$\pi$, interazioni cation–$\pi$, contatti idrofobici e forze di van der Waals.
  • Mappe di Interazione: Queste interazioni sono proiettate su mappe a livello di sequenza, creando matrici $m \times n$ (atomi del ligando $\times$ residui proteici) con punteggi di interazione ponderati. Una mappa aggregata definisce il sito di legame della proteina (residui che partecipano ad almeno un'interazione).
  • Etichette: Etichette di legame binarie (derivate da punteggi di affinità basati sul docking: $\le -7$ kcal/mol come positivo, $> -5$ kcal/mol come negativo) e valori di affinità.

• Progettazione del Benchmark:

  • Compito Principale: Localizzazione del sito di legame. La metrica di valutazione primaria è Binding Residue Hit Rate at Top-K (BRHR@K), che misura se i residui proteici previsti nei primi $K$ si sovrappongono ai residui di legame reali.
  • Split: Per garantire una valutazione realistica della generalizzazione, il dataset include:
    • In-Distribution (ID): Uno split consapevole dell'affinità utilizzando la validazione incrociata a 5 fold.
    • Out-of-Distribution (OOD): Quattro split controllati per similarità proteica (massima similarità train-test del 25%, 28%, 31%, 33%) per valutare le prestazioni su target proteici meno familiari.
  • Baseline: Sono stati valutati otto modelli rappresentativi basati su sequenza e consapevoli delle interazioni (ad es. MolTrans, TransformerCPI, DrugBAN, FusionDTI).

Contributi Chiave

1. Dataset InteractBind: Una nuova risorsa su larga scala che fornisce non solo etichette binarie e punteggi di affinità, ma anche annotazioni del sito di legame a livello di residuo e sei distinte mappe di interazione non covalente.
2. Paradigma di Valutazione Fine-Granulare: La formulazione della localizzazione del sito di legame come compito principale, supportata da metriche BRHR e analisi specifiche per tipo di interazione, andando oltre i risultati a livello di coppia.
3. Benchmarking Sistematico: La valutazione di otto modelli all'avanguardia rivela che, sebbene le architetture consapevoli delle interazioni mostrino segnali misurabili di localizzazione del sito di legame, vi è ampio spazio per miglioramenti, in particolare nell'identificare pattern di contatto fisico-chimico specifici.

Risultati

• Prestazioni Binarie vs. di Localizzazione: Esiste una discrepanza significativa tra la previsione binaria del legame e la localizzazione del sito di legame. Il modello con le prestazioni migliori, FusionDTI, ha raggiunto un AUROC del 98,3% per la previsione binaria ma solo un 21,6% BRHR@1 per la localizzazione del sito di legame. Ciò indica che una forte previsione binaria non garantisce un'identificazione affidabile dei residui specifici coinvolti nel legame.
• Variabilità per Tipo di Interazione: Le prestazioni variano notevolmente tra i diversi tipi di interazioni non covalenti. I modelli localizzano più efficacemente contatti comuni e spazialmente ampi (van der Waals, idrofobici, legami idrogeno) (ad es. FusionDTI ha raggiunto 33% BRHR@5 per van der Waals) rispetto a disposizioni geometriche specifiche come lo stacking $\pi$–$\pi$ (18,2%) e le interazioni cation–$\pi$ (~16,1%).
• Generalizzazione: Sotto gli split OOD controllati per similarità proteica, le prestazioni sia per la previsione binaria che per la localizzazione del sito di legame diminuiscono man mano che la similarità tra proteine di training e test scende, evidenziando la difficoltà di localizzare siti di legame per target proteici nuovi. La similarità dei ligandi ha avuto un effetto comparativamente minore sulle prestazioni.

Significato e Affermazioni
Il paper afferma che InteractBind stabilisce un nuovo paradigma di benchmark che incoraggia lo sviluppo di modelli proteina–ligando più interpretabili e fondati sulla fisica. Gli autori sostengono che i modelli attuali spesso si affidano a correlazioni specifiche del dataset per prevedere l'occorrenza del legame senza imparare realmente i determinanti meccanici del riconoscimento molecolare. Fornendo una supervisione esplicita a livello di residuo e annotazioni specifiche per tipo di interazione, InteractBind permette una valutazione sistematica di whether i modelli localizzano i siti di legame e identificano le interazioni non covalenti che li stabilizzano. I risultati suggeriscono che, sebbene i modelli attuali consapevoli delle interazioni catturino alcuni segnali del sito di legame, non sono ancora affidabili per la localizzazione fine-granulare, in particolare per tipi di interazione specifici o target proteici nuovi. Gli autori collocano questo lavoro come un passo verso il passaggio da metriche basate solo sull'esito a valutazioni fine-granulari, il che è cruciale per migliorare l'affidabilità delle pipeline di scoperta di farmaci computazionali ed evitare conclusioni biologiche fuorvianti.

Limitazioni
Gli autori notano esplicitamente che il benchmark attuale si concentra sulla valutazione a livello di sequenza e non include ancora un benchmark a livello di struttura. Riconoscono che estendere la valutazione alle strutture 3D è una sfida a causa dell'ambiguità della posa e della flessibilità conformazionale, che possono introdurre rumore e ridurre l'interpretabilità rispetto alla valutazione basata su sequenza a livello di residuo.