Evaluating FoldX5.1 for MAVISp Stability Data Collection

Questo studio dimostra che l'aggiornamento da FoldX5 a FoldX5.1 nel framework MAVISp garantisce un'alta concordanza nei risultati di stabilità proteica, supportandone l'adozione futura con una transizione graduale e l'aggiunta della versione del software come metadato.

L'essenziale

Immagina che MAVISp sia un'enorme biblioteca digitale dedicata alla salute delle proteine. In questa biblioteca, ogni libro racconta la storia di una proteina e, soprattutto, di come le piccole modifiche (mutazioni) nel suo codice genetico possano farla "mal funzionare" o "rompersi".

Per capire se una proteina è stabile o fragile, i bibliotecari (gli scienziati) usano un potente motore di calcolo chiamato FoldX. È come un orologiaio virtuale che controlla se un piccolo ingranaggio cambiato in un orologio lo farà continuare a funzionare o se lo bloccherà.

Fino a poco tempo fa, questo orologiaio usava la versione 5 del suo manuale di istruzioni. Ora, però, è uscito il manuale 5.1, che è stato aggiornato con nuove regole per essere più preciso, specialmente quando si tratta di certi tipi di legami chimici (come quelli tra molecole aromatiche).

Il problema:
Se cambiamo il manuale di istruzioni (da 5 a 5.1) nella biblioteca, cosa succede ai libri che abbiamo già scritto con il vecchio manuale? Dobbiamo riscrivere tutti i 500.000 libri esistenti? Questo ci costerebbe anni di lavoro e bloccherebbe la biblioteca. Oppure possiamo iniziare a usare il nuovo manuale per i nuovi libri, lasciando quelli vecchi com'è?

La soluzione degli scienziati:
Gli autori di questo studio hanno fatto un esperimento su larga scala. Hanno preso 119 proteine (come 119 diversi orologi) e hanno fatto calcolare la loro stabilità sia con il vecchio manuale (FoldX5) che con il nuovo (FoldX5.1), per un totale di quasi 540.000 varianti testate.

Ecco cosa hanno scoperto, spiegato con delle metafore:

1. L'accordo è quasi perfetto:
   Per la stragrande maggioranza delle proteine, i due manuali danno risultati quasi identici. È come se due chef diversi, usando ricette leggermente aggiornate, preparassero lo stesso identico piatto. La correlazione tra i due è altissima (0.93 su 1). Quindi, il nuovo manuale non "rompe" la biblioteca.

2. I casi strani (gli "orologi difettosi"):
   C'è stato un piccolo gruppo di tre proteine (NUPR1, TSC1 e TMEM127) dove i risultati dei due manuali non coincidevano bene.

   • Perché? Analizzando meglio, hanno scoperto che per due di queste proteine, il "disegno" della proteina usato per il calcolo era un po' sfocato o incerto (come se avessi una mappa geografica con le strade disegnate male). Quando la mappa è confusa, anche il nuovo manuale fa fatica a dare una risposta precisa.
   • Per la terza proteina (TMEM127), che è una proteina di membrana (come un cancello che attraversa un muro), i calcoli sono difficili per natura, indipendentemente dal manuale usato.

3. Nessun "bias" nascosto:
   Non c'era un errore sistematico. Il nuovo manuale non diceva "tutte le proteine sono fragili" o "tutte sono robuste". Le differenze erano solo su casi specifici, spesso legati a cambiamenti chimici particolari (come l'aggiunta di amminoacidi aromatici o proline) che il nuovo manuale gestisce meglio.

La decisione finale:
La biblioteca MAVISp deciderà di adottare il nuovo manuale FoldX5.1 per il futuro, ma con un approccio intelligente:

• Non riscriveremo tutto subito: I libri vecchi rimarranno con le annotazioni del manuale 5. Non li cancelleremo.
• Transizione graduale: I nuovi libri o quelli che verranno aggiornati annualmente useranno il manuale 5.1.
• Etichette chiare: Ogni libro avrà una piccola etichetta che dice: "Calcolato con la versione 5" oppure "Calcolato con la versione 5.1". Così, chi legge sa esattamente quale "orologiaio" ha lavorato su quel libro.

In sintesi:
Il nuovo manuale è migliore e più preciso, ma non è così diverso dal vecchio da dover distruggere tutto il lavoro passato. Possiamo passare al nuovo sistema in modo graduale, tenendo traccia di quale versione è stata usata, garantendo che la nostra "biblioteca della stabilità proteica" rimanga affidabile e aggiornata senza fermarsi per anni.

Sommario tecnico

Titolo: Valutazione di FoldX5.1 per la raccolta di dati di stabilità MAVISp

1. Il Problema

MAVISp (Multi-layered Assessment of VarIants by Structure for proteins) è un framework basato sulla struttura per l'interpretazione meccanistica delle varianti missenso, con la stabilità proteica come uno dei suoi livelli analitici fondamentali. Un problema critico nella curatela di database biologici su larga scala è bilanciare il miglioramento metodologico (aggiornamento degli strumenti software) con la continuità del database.
Quando una versione di un software chiave come FoldX viene aggiornata (da FoldX5 a FoldX5.1), sorge la questione pratica: è necessario ricalcolare tutti i milioni di voci esistenti per garantire la coerenza, o è possibile adottare la nuova versione senza compromettere la compatibilità con i dati storici? Lo studio mira a valutare l'impatto di questa sostituzione sui risultati del flusso di lavoro di stabilità di MAVISp.

2. Metodologia

Gli autori hanno condotto un'analisi comparativa rigorosa seguendo il protocollo "simple mode" di MAVISp, progettato per la raccolta di dati ad alto rendimento.

• Dataset: Sono stati analizzati 119 proteine rappresentative (scelte per coprire un campione eterogeneo di ripiegamenti proteici) presenti nel database MAVISp.
• Volume dei dati: Il confronto ha coinvolto 539.809 varianti condivise tra le due versioni del software.
• Protocollo: Le previsioni di stabilità sono state generate utilizzando sia FoldX5 (dati esistenti) che FoldX5.1 (nuovi calcoli). Il flusso di lavoro ha incluso riparazione della struttura e minimizzazione tramite RepairModel, seguiti da mutagenesi in silico tramite BuildModel di FoldX.
• Metriche di valutazione:
  • Accordo quantitativo: Coefficiente di correlazione di Pearson e errore assoluto medio (MAE) sui valori di $\Delta\Delta G$.
  • Accordo qualitativo: Classificazione delle varianti in tre categorie (Stabilizzanti, Neutrali, Destabilizzanti) utilizzando una soglia di $\pm 3.0$ kcal/mol, valutata tramite il coefficiente di Cohen ($\kappa$) e l'accuratezza.
  • Analisi degli outlier: Per le proteine con scarsa concordanza, è stata analizzata la qualità strutturale dei siti mutati utilizzando i punteggi di confidenza pLDDT di AlphaFold2, confrontando le strutture di input e le deviazioni quadratiche medie (RMSD).

3. Contributi Chiave

• Valutazione empirica su larga scala: Prima analisi sistematica che confronta FoldX5 e FoldX5.1 su un dataset di oltre mezzo milione di varianti in un contesto di database strutturato.
• Identificazione delle cause di discrepanza: Distinzione tra errori dovuti a cambiamenti nel campo di forza (force-field) e errori dovuti all'incertezza strutturale del modello di input (specialmente in regioni a bassa confidenza AlphaFold2).
• Strategia di migrazione proposta: Definizione di un piano di transizione graduale che evita la necessità di un ricalcolo immediato dell'intero database storico.
• Miglioramento della metadati: Introduzione di una nuova annotazione nel database MAVISp per tracciare esplicitamente la versione di FoldX utilizzata per ogni voce.

4. Risultati

• Alto accordo globale: Si è osservata una forte concordanza tra le due versioni.
  • Correlazione di Pearson complessiva: 0,956.
  • Correlazione di Pearson media per proteina: 0,933 ($\pm 0,077$).
  • Coefficiente di Cohen medio: 0,814 ($\pm 0,092$).
  • Errore assoluto medio (MAE): 0,52 kcal/mol.
• Casi di discordanza (Outlier): Solo tre proteine su 119 hanno mostrato un accordo scarso: NUPR1, TSC1 e TMEM127.
  • NUPR1 e TSC1: Le discrepanze si concentrano in siti con bassa confidenza strutturale (pLDDT medio < 70, sceso a ~61 e ~51 rispettivamente nei siti di disaccordo). In NUPR1, i due modelli strutturali utilizzati per le diverse versioni presentavano conformazioni diverse (RMSD 3,78 Å) in una regione corta e poco definita.
  • TMEM127: Proteina transmembrana. Le discrepanze potrebbero derivare dalla difficoltà intrinseca dei predittori basati sulla struttura generale nell'applicarsi a proteine di membrana, piuttosto che da un bias sistematico del software.
• Natura delle discrepanze:
  • Non è stata rilevata una bias sistematico tra le versioni (gli spostamenti medi dei valori di $\Delta\Delta G$ sono minimi, tra -0,8 e -0,04 kcal/mol).
  • Le varianti con le maggiori discrepanze coinvolgono spesso sostituzioni verso residui aromatici (dove FoldX5.1 ha aggiornato i termini di stacking $\pi$) o prolina.
  • FoldX5.1 tende a predire effetti meno destabilizzanti per alcune sostituzioni aromatiche rispetto alla versione precedente, riflettendo i miglioramenti nel campo di forza.

5. Significato e Conclusioni

Lo studio conclude che FoldX5.1 può essere adottato con successo per la futura raccolta dati di MAVISp senza compromettere l'integrità del database esistente.

• Strategia di transizione: Viene raccomandato un approccio "a fasi". Le voci esistenti manterranno le annotazioni FoldX5 fino al loro aggiornamento annuale programmato, mentre le nuove o le voci aggiornate utilizzeranno FoldX5.1.
• Trasparenza: È fondamentale che la versione del software sia documentata come metadato per ogni voce, permettendo agli utenti di interpretare correttamente i dati misti.
• Impatto: Questa strategia evita ritardi significativi nell'aggiornamento metodologico e riduce il carico computazionale di un ricalcolo totale, mantenendo al contempo l'affidabilità scientifica. Le discrepanze osservate sono limitate a casi specifici legati all'incertezza strutturale o a miglioramenti mirati del campo di forza, e non indicano un cambiamento globale nel comportamento predittivo che invaliderebbe i dati storici.