Published benchmark AUROC does not predict generalisation: an independent evaluation of protein solubility predictors on native and heterologous E. coli proteins

Sintesi Tecnica: L'AUROC dei Benchmark Pubblicati Non Predice la Generalizzazione

Definizione del Problema
I predittori basati su sequenze per la solubilità delle proteine ricombinanti sono ampiamente utilizzati per il triage dei target di espressione in Escherichia coli. Sebbene i modelli di deep learning riportino frequentemente elevati AUROC di benchmark "headline", rimane poco chiaro se tali metriche riportate possano predire come un modello si posizionerà rispetto a una distribuzione di dati indipendente. Inoltre, la varianza tra due modelli allo stato dell'arte (SOTA) valutati sulla stessa identica proteina è raramente testata direttamente. Il presente articolo affronta se l'AUROC di benchmark pubblicata di un modello serva da guida affidabile per le sue prestazioni su nuove distribuzioni e quanto vari la performance tra i modelli top-tier appartenenti alla stessa classe.

Metodologia
Lo studio ha condotto una valutazione indipendente dei predittori di solubilità proteica attraverso due distinte distribuzioni di E. coli:

1. Distribuzione Nativa (eSOL): 3.131 ORF native di E. coli K-12 misurate in un sistema di traduzione ricostituito privo di chaperoni.
2. Distribuzione Eterologa (SoluProt): 3.100 costrutti eterologhi bilanciati, che rappresentano uno scenario di triage dell'espressione ricombinante più difficile e realistico.

Predittori Valutati:

• Modelli Deep: RP3Net (basato su ESM-2 650M), NetSolP (basato su ESM1b) e PLM_Sol (basato su ProtT5).
• Baseline: Due punteggi di composizione "dataset-naive": lo Solubility-Weighted Index (SWI) pubblicato e un'euristica lineare deterministica interna (utilizzata solo come baseline corroborante).
• Modello Calibrato: ProteinSol (calibrato su eSOL nativo, valutato solo su dati eterologhi).

Controllo della Leakage (Perdita di Dati):
Una componente critica della metodologia è stato il rigoroso controllo della perdita di dati train/test per ogni modello tramite MMseqs2.

• Screening dei quasi-duplicati: Le sequenze con ≥90% di identità su ≥80% di copertura della query sono state rimosse dai set di test se apparivano nei dati di addestramento pubblici di un modello.
• Screening dell'omologia: Uno screening secondario ha raggruppato le sequenze a ≤30% di identità per escludere residui artefatti di omologia.
• Correzioni Specifiche: Notevolmente, il 35,7% del set di test di SoluProt si sovrapponeva ai dati di addestramento di PLM_Sol (UESolDS), e il 4,06% di eSOL si sovrapponeva ai dati di addestramento di NetSolP. Queste sovrapposizioni sono state rimosse per garantire una valutazione equa.

Risultati Chiave
È emerso che le prestazioni dei predittori di solubilità dipendono fortemente sia dal modello specifico che dalla distribuzione target, piuttosto che dalla classe di modello (ad esempio, "deep learning").

1. Sulle Proteine Native (eSOL):

   • Due modelli deep SOTA occupavano gli estremi opposti. NetSolP era il miglior predittore (AUROC 0,792), mentre RP3Net era il peggiore (AUROC 0,709).
   • Il divario tra questi due modelli deep (0,083) era maggiore del divario tra qualsiasi modello e una semplice baseline.
   • RP3Net, nonostante un AUROC di benchmark riportato di 0,83 sul proprio set prospettico, è stato significativamente superato dal semplice punteggio SWI (0,745, p=0,006) ed è risultato pari all'euristica naive.
   • NetSolP ha superato significativamente entrambe le baseline.
   • Questo ordine (NetSolP > SWI > RP3Net) è persistito anche dopo la deduplicazione a livello di omologia.

2. Sulle Proteine Eterologhe (SoluProt):

   • La tendenza si è invertita. I due modelli deep leader (NetSolP e RP3Net) si sono raggruppati nella parte alta e sono statisticamente indistinguibili (NetSolP 0,633 vs RP3Net 0,619, p=0,23).
   • Entrambi i modelli deep hanno numericamente superato le semplici baseline, sebbene tutti i predittori rientrassero in una stretta banda a bassa discriminazione (0,58–0,63).
   • PLM_Sol ha dimostrato un grave mismatch di distribuzione: nonostante la riproduzione del proprio AUROC di benchmark di ~0,83, è crollato a 0,564 sul set SoluProt privo di leak, performando al di sotto di ogni baseline ed essendo indistinguibile da un naive composition score. Questo crollo è stato confermato come un genuino effetto di distribuzione, non un artefatto della sovrapposizione dei dati di addestramento, poiché la performance era identica su proteine con e senza sovrapposizione.
   • ProteinSol, calibrato su eSOL nativo, è crollato vicino al caso (0,542) sul set eterologo.

Contributi Principali

• Dimostrazione della Dipendenza dalla Distribuzione: Lo studio fornisce prove empiriche che l'AUROC di benchmark "headline" di un modello non predice il suo ranking su una distribuzione indipendente. Un modello può essere SOTA su una distribuzione e performare peggio di una semplice euristica su un'altra.
• Varianza tra Modelli SOTA: Gli autori mostrano che il divario di performance tra due modelli deep ugualmente "state-of-the-art" può eccedere il divario tra un modello deep e una semplice baseline interpretabile.
• Ruolo delle Baseline: Il paper stabilisce che le baseline di composizione "dataset-naive" fungono da utile "pavimento di sanità" (sanity floor). Un modello SOTA che scende al di sotto di una semplice baseline su un target distribution segnala un gap di generalizzazione che i numeri "headline" nascondono.
• Rigore nel Controllo della Leakage: Lo studio evidenzia la prevalenza di sovrapposizioni nascoste tra train e test (ad esempio, 35,7% per PLM_Sol) e dimostra che, anche dopo la rimozione di tali elementi, i mismatch di distribuzione possono causare significativi cali di performance.

Significatività e Rivendicazioni
Il paper inquadra i propri risultati non come una critica a modelli specifici (che possono essere ben adatti ai loro domini di design previsti), ma come un monito riguardo alla selezione dei predittori di solubilità basata esclusivamente sui numeri di benchmark riportati.

• Contesto di Valutazione: I predittori di solubilità dovrebbero essere valutati sulla specifica distribuzione di interesse (ad esempio, nativa vs eterologa) piuttosto che essere affidati a un singolo numero "headline".
• Mismatch del Dominio di Design: Il basso ranking di RP3Net sulle proteine native è interpretato come un riflesso di un mismatch di distribuzione (valutazione di un modello focalizzato sulla ricombinante su dati nativi) piuttosto che una deficienza del modello. Al contrario, il fallimento di ProteinSol sui dati eterologhi riflette l'effetto opposto.
• Raccomandazione Pratica: Gli autori raccomandano che le future valutazioni dei predittori di solubilità includano esplicitamente baseline di composizione "dataset-naive" per fornire un riferimento per la performance di generalizzazione.

Lo studio conclude che la "scelta del modello, non la classe del modello, domina" la performance sulle proteine native e che il termine abbreviato "predittore di solubilità" nel campo copre target distinti (solubilità termodinamica intrinseca vs esiti di espressione ricombinante), il che guida la distribuzione osservata.