Riepilogo Tecnico: ProtSent (Protein Sentence Transformers)

Enunciato del Problema

I Modelli Linguistici per le Proteine (pLM), come ESM-2, generano rappresentazioni per residuo che catturano efficacemente informazioni evolutive e strutturali. Tuttavia, i loro embedding di sequenza mediati standard non sono esplicitamente addestrati per riflettere la similarità funzionale, evolutiva o strutturale tra intere proteine. Di conseguenza, la geometria dello spazio degli embedding non garantisce che proteine biologicamente correlate siano spazialmente vicine. Questa limitazione ostacola l'uso di semplici ricerche per vicino più prossimo per compiti a valle, che tipicamente richiedono l'addestramento di classificatori specifici per il compito (sonde) sopra gli embedding congelati. Gli autori traggono un'analogia con l'Elaborazione del Linguaggio Naturale (NLP), dove i modelli in stile BERT affrontavano limitazioni simili fino all'introduzione di Sentence-BERT, che ha utilizzato l'apprendimento contrastivo per ristrutturare lo spazio degli embedding in modo che frasi semanticamente simili diventino vicini.

Metodologia

Gli autori propongono ProtSent (Protein Sentence Transformers), un framework di fine-tuning contrastivo progettato per adattare i backbones pLM in modelli di embedding generici.

Architettura e Addestramento

• Backbone: Il framework utilizza ESM-2 (entrambe le varianti da 35M e 150M parametri) incapsulato nel framework SentenceTransformers. Tutti i livelli Transformer sono addestrati end-to-end.
• Generazione degli Embedding: Gli embedding a livello di sequenza sono ottenuti mediante media pooling sui token dei residui non di riempimento.
• Funzione di Perdita: L'obiettivo principale è MultipleNegativesRankingLoss (MNRL), che ottimizza la similarità coseno tra coppie positive trattando gli altri positivi nel batch come negativi. Per i dati di Deep Mutational Scanning (DMS), che forniscono punteggi di fitness continui anziché coppie discrete, gli autori impiegano CoSENTLoss, un obiettivo basato sul ranking che preserva l'ordinamento dei punteggi continui.
• Fonti di Dati: ProtSent è addestrato su cinque dataset eterogenei di coppie proteiche, campionati in modo round-robin per garantire una rappresentazione equa di diversi segnali biologici:
  1. Famiglie Pfam: 32,9 milioni di domini che rappresentano l'omologia evolutiva e funzionale.
  2. Hard Negatives Pfam: 1,8 milioni di ancoraggi con "hard negatives" derivati strutturalmente (mutanti con alta similarità di sequenza ma effetti deleteri) per forzare una discriminazione fine.
  3. Coppie Strutturali AlphaFold DB (AFDB): 133,9 milioni di sequenze raggruppate per cluster strutturali Foldseek, fornendo supervisione strutturale su larga scala.
  4. STRING-DB: 36,5 milioni di coppie di interazione proteina-proteina (confidenza media) che catturano associazioni funzionali.
  5. Deep Mutational Scanning (DMS): 2,2 milioni di coppie da ProteinGym e dati clinici, utilizzate come segnale di regressione ausiliario tramite CoSENTLoss.
• Protocollo di Valutazione: Gli autori valutano le prestazioni utilizzando un protocollo di embedding congelato. Il modello fine-tuned codifica le sequenze e una semplice sonda k-nearest-neighbor (KNN) (k=3, distanza euclidea) viene addestrata sugli embedding risultanti. Questo approccio misura la qualità intrinseca della geometria dello spazio degli embedding piuttosto che la capacità di un classificatore appreso.

Contributi Chiave

1. Introduzione del Framework: L'introduzione di ProtSent, un framework di fine-tuning contrastivo che combina cinque dataset distinti di coppie proteiche con campionamento round-robin per creare embedding generici.
2. Miglioramenti delle Prestazioni: Dimostrazione che il fine-tuning contrastivo produce miglioramenti sostanziali su compiti dipendenti dalla qualità del vicinato degli embedding, specificamente il rilevamento di omologia remota e il recupero strutturale, senza supervisione specifica per il compito.
3. Scalabilità: Validazione che i miglioramenti sono coerenti su due scale di modello (35M e 150M parametri) e coprono compiti biologici diversi (funzione, struttura, ingegneria e mutazione).
4. Analisi di Ablazione: Isolamento sistematico del contributo di ciascuna fonte di dati di addestramento e strategia di campionamento, rivelando che le famiglie Pfam forniscono il segnale dominante mentre gli hard negatives possono introdurre gradienti eccessivamente aggressivi per alcuni compiti.
5. Rilascio delle Risorse: Rilascio pubblico dei modelli, del codice, dei dati di addestramento e delle ricette di addestramento.

Risultati

Gli autori hanno valutato ProtSent su 23 compiti a valle (classificazione binaria, classificazione multiclasse e regressione) e su un benchmark di recupero strutturale (SCOPe-40).

• Prestazioni della Sonda KNN:
  • ESM-2 150M: Miglioramento su 15 compiti su 23. Guadagni notevoli includono +105% sul rilevamento di omologia remota, +17% sulla previsione dell'effetto delle varianti (GB1) e +19,9% Recall@1 sul recupero strutturale SCOPe-40.
  • ESM-2 35M: Miglioramento su 16 compiti su 23. Guadagni notevoli includono +40,5% sull'omologia remota e +15,5% Recall@1 su SCOPe-40.
  • Specifiche per Compito: I compiti di classificazione binaria (ad es. previsione PPI, solubilità) hanno mostrato miglioramenti ampi. I compiti di regressione hanno mostrato risultati misti; mentre la fluorescenza e la fitness della beta-lattamasi sono migliorate, alcuni compiti di stabilità sono peggiorati, suggerendo che l'obiettivo contrastivo non preserva sempre le relazioni ordinali all'interno del vicinato mutazionale di una singola proteina.
• Recupero Strutturale (SCOPe-40): ProtSent ha ottenuto miglioramenti costanti a due cifre in Recall@K su tutte le soglie, indicando che lo spazio degli embedding si riorganizza con successo per avvicinare proteine strutturalmente simili.
• Apprendimento Few-Shot: In regimi a bassa quantità di dati (N=50 fino a N=1000), ProtSent ha mostrato miglioramenti relativi significativi rispetto alla baseline, in particolare su compiti che richiedono raggruppamento strutturale o funzionale (ad es. +244,5% sull'omologia remota a N=100).
• Insight dell'Ablazione:
  • La rimozione delle famiglie Pfam ha causato il calo di prestazioni più ampio, confermando l'omologia evolutiva come segnale primario.
  • La rimozione degli Hard Negatives ha sorprendentemente migliorato il delta medio sui compiti, suggerendo che i negativi nel batch da soli possono essere sufficienti e che gli hard negatives possono perturbare lo spazio degli embedding per certi compiti.
  • La rimozione delle coppie AlphaFold DB ha ridotto significativamente le prestazioni sui compiti di classificazione strutturale ed enzimatica, evidenziando il valore della supervisione strutturale.
  • Il campionamento round-robin si è dimostrato robusto, con un campionamento proporzionale che ha prodotto risultati comparabili.

Significato e Affermazioni

Il paper afferma che ProtSent ristruttura con successo lo spazio degli embedding proteici per catturare meglio la funzione e la struttura delle proteine attraverso il fine-tuning contrastivo, senza richiedere supervisione specifica per il compito. Gli autori posizionano ProtSent come un "modello fondazionale per uso universale", sostenendo che se l'addestramento contrastivo ristruttura con successo la struttura del vicinato, una semplice sonda di identità del vicino dovrebbe essere il rilevatore più sensibile di miglioramento.

Il lavoro si distingue dai precedenti sforzi (ad es. ProtTucker, PLMSearch) per la sua scala (addestramento su oltre 70 milioni di coppie proteiche da cinque fonti) e per la sua ampiezza (valutazione su 23 compiti diversi anziché su un singolo asse di similarità). Gli autori riconoscono le limitazioni, notando che i dati di addestramento sono limitati ai tipi di relazioni catturati dalle cinque fonti e che non confrontano direttamente i risultati con sistemi di recupero specializzati su benchmark corrispondenti. Concludono che il fine-tuning contrastivo è una strategia ampiamente applicabile per adattare pLM pre-addestrati per recupero, clustering e trasferimento few-shot.