Towards A Generative Protein Evolution Machine with DPLM-Evo

1. Enunciato del Problema

I Modelli Linguistici per le Proteine a Diffusione Discreta (DPLM) esistenti hanno dimostrato potenziale nella comprensione e generazione di sequenze proteiche. Tuttavia, soffrono di un disallineamento fondamentale con la realtà biologica:

• Mascheramento vs. Evoluzione: I DPLM attuali si basano sulla diffusione mascherata, dove il processo in avanti sostituisce i token con un token di mascheramento, e la generazione comporta il recupero iterativo di queste maschere. Ciò contraddice l'intuizione biologica secondo cui le proteine evolvono attraverso modifiche accumulate (sostituzioni, inserimenti e cancellazioni) piuttosto che emergendo da un vuoto di maschere.
• Limitazione della Lunghezza Fissa: La diffusione mascherata opera su sequenze a lunghezza fissa. Manca di meccanismi nativi per Inserimenti e Cancellazioni (Indel), che sono critici per rimodellare regioni flessibili (loop), sintonizzare le lunghezze dei linker e creare motivi funzionali.
• Addestramento Inefficiente: I modelli di diffusione standard utilizzano spesso rumore uniforme per la corruzione, ignorando i vincoli biofisici e le dipendenze evolutive, portando a un apprendimento inefficiente dei pattern di mutazione.

Di conseguenza, i modelli esistenti faticano con la generazione a lunghezza variabile, la modifica realistica di proteine esistenti e la previsione accurata degli effetti delle mutazioni (specialmente per gli indel) senza fare affidamento su Allineamenti di Sequenze Multiple (MSA).

2. Metodologia: DPLM-Evo

Gli autori propongono DPLM-Evo, un framework di diffusione discreta evolutiva che modella esplicitamente le operazioni di sostituzione, inserimento e cancellazione.

A. Disaccoppiamento dello Spazio di Allineamento Latente

Per gestire sequenze a lunghezza variabile all'interno di un framework computazionale a dimensionalità fissa, DPLM-Evo disaccoppia due spazi:

1. Spazio Osservato ($X$): La sequenza proteica a lunghezza variabile $x$.
2. Spazio di Allineamento Latente ($Z$): Uno spazio a lunghezza campionata (es. $2 \times L$) contenente i residui originali più token di gap ($\phi$) intercalati.

• Meccanismo: Il processo di diffusione in avanti è definito sullo spazio latente $Z$. Gli indel sono rappresentati come transizioni tra residui e token di gap ($\text{Residuo} \leftrightarrow \phi$).
• Collasso: Una funzione deterministica $\Gamma^{-1}$ rimuove i token di gap per mappare la sequenza latente di nuovo alla sequenza osservata. Ciò permette al modello di eseguire operazioni che cambiano la lunghezza (inserimenti/cancellazioni) sulla tela latente espansa, operando in modo efficiente sulla sequenza osservata collassata.

B. Kernel di Rumore Evolutivo

Il processo di rumorizzazione in avanti è progettato per imitare l'evoluzione biologica piuttosto che la corruzione casuale:

• Kernel di Rumore Evolutivo Contestualizzato: Invece di una sostituzione casuale uniforme, il modello utilizza un kernel dipendente dai dati. Per una posizione target, campiona un contesto parzialmente mascherato ausiliario, interroga il modello per una previsione e utilizza questa distribuzione per corrompere il token. Ciò genera mutazioni biologicamente plausibili che rispettano il contesto della sequenza locale e i vincoli evolutivi.
• Strategia di Warmup: Poiché il modello è inaffidabile nelle fasi iniziali dell'addestramento, inizialmente viene utilizzato un semplice kernel indipendente dai dati (mascheramento). Una volta addestrato, il modello passa al kernel contestualizzato.
• Matrice di Transizione ($Q_{noise}$): Parametrizza esplicitamente i rapporti di sostituzioni, inserimenti e cancellazioni, permettendo il controllo sulla traiettoria evolutiva.

C. Architettura e Addestramento

• Previsione a Tre Teste: Durante la denoising, il modello prevede tre quantità per ogni token nella sequenza osservata:
  1. Testa di Sostituzione: Prevede la distribuzione degli amminoacidi.
  2. Testa di Cancellazione: Un classificatore binario che prevede se il token deve essere rimosso (transizione a $\phi$).
  3. Testa di Inserimento: Un classificatore binario che prevede se un nuovo residuo deve essere inserito a destra.
• Funzione di Perdita: L'obiettivo di addestramento è scomposto in tre componenti (Sostituzione, Cancellazione, Inserimento) con pesi specifici per affrontare lo squilibrio delle classi (le sostituzioni sono frequenti; gli indel sono rari). Cancellazione e inserimento sono trattati come compiti Binary Cross-Entropy (BCE) per prevenire il collasso modale.

D. Campionamento (Generazione)

Il processo inverso comporta un ciclo iterativo di denoising:

1. Cancellazione: I token con alta probabilità di cancellazione vengono rimossi.
2. Inserimento: I token di mascheramento vengono inseriti nelle posizioni con alta probabilità di inserimento.
3. Sostituzione: Tutti i token rumorosi vengono aggiornati in base alla testa di sostituzione.
4. Rumorizzazione: I token selezionati a bassa confidenza vengono nuovamente rumorizzati utilizzando il kernel contestualizzato per mantenere la diversità ed evitare ottimi locali.

3. Contributi Chiave

1. Diffusione Discreta Evolutiva: Il primo framework a modellare esplicitamente sostituzione, inserimento e cancellazione all'interno di un processo di diffusione discreta unificato, andando oltre il paradigma "recupero-dalla-maschera".
2. Modellazione Adattiva alla Lunghezza: Disaccoppiando lo spazio di allineamento latente dallo spazio osservato, il modello abilita la generazione e modifica a lunghezza variabile con un sovraccarico computazionale trascurabile.
3. Rumorizzazione Informata Biologicamente: Introduzione di un kernel di rumore evolutivo contestualizzato che genera mutazioni evolutivamente plausibili, migliorando significativamente l'efficienza dell'addestramento e la capacità del modello di catturare le dipendenze evolutive.
4. Comprensione e Generazione Unificate: Il framework colma il divario tra modellazione generativa e biologia evolutiva, abilitando sia la generazione di sequenze di alta qualità che la previsione precisa degli effetti delle mutazioni.

4. Risultati Sperimentali

A. Previsione dell'Effetto delle Varianti (Comprensione)

• Benchmark di Sostituzione ProteinGym: DPLM-Evo ottiene prestazioni State-of-the-Art (SOTA) tra i modelli a singola sequenza, superando ESM-2, ESM-1v e il DPLM originale. Supera persino ESM-IF1 (che utilizza la struttura) nell'impostazione a singola sequenza.
• Benchmark Indel ProteinGym: DPLM-Evo raggiunge una correlazione di Spearman di 0.495, superando significativamente altri baseline a singola sequenza (es. ProGen2 M a 0.464) e avvicinandosi ai metodi basati su MSA. Ciò convalida l'efficacia della modellazione esplicita degli indel.
• Ablazione: Sostituire il kernel contestualizzato con rumore uniforme fa crollare le prestazioni (Spearman 0.42 $\to$ 0.295), dimostrando l'importanza del rumore fondato biologicamente.

B. Generazione Incondizionata

• Piegabilità: Le sequenze generate ottengono alti punteggi pLDDT (83.6), comparabili a DPLM (84.0) e DiMA (83.3).
• Diversità: DPLM-Evo mostra un'entropia di sequenza più alta e rapporti di ripetizione più bassi rispetto ai modelli di diffusione mascherata, alleviando efficacemente il collasso modale.
• Controllo della Lunghezza: Il modello genera sequenze con lunghezze concentrate vicino al seme iniziale, dimostrando un uso conservativo e controllato degli indel.

C. Generazione Condizionata e Ottimizzazione

• Scaffolding di Motivi: In impostazioni zero-shot e fine-tuned, DPLM-Evo ottiene tassi di successo più elevati nello scaffolding di motivi funzionali rispetto a EvoDiff e DPLM-Mask, sfruttando l'aggiustamento dinamico della lunghezza.
• Evoluzione Diretta (GFP): Ottimizzando la Proteina Fluorescente Verde (GFP), DPLM-Evo con supporto per gli indel ha raggiunto un punteggio pTM di 0.857 in 7 iterazioni (65% più veloce rispetto alla sola sostituzione), superando ESM-2 (0.737). Ha preservato con successo la struttura del cromoforo migliorando al contempo la stabilità globale.
• Espansione della Famiglia In-silico: Il modello può generare sequenze diverse da un singolo seme che mantengono la similarità strutturale (basso RMSD) pur raggiungendo una bassa identità di sequenza (<50%), simulando efficacemente l'espansione naturale della famiglia.

5. Significato

DPLM-Evo rappresenta un cambiamento di paradigma nella modellazione generativa delle proteine, allineando il framework matematico dei modelli di diffusione con la realtà biologica dell'evoluzione proteica.

• Impatto Pratico: Abilita il design proteico a lunghezza variabile, permettendo agli ingegneri di inserire/cancellare loop e linker in modo naturale, cosa che era precedentemente difficile con modelli a lunghezza fissa.
• Insight Scientifico: Il successo del kernel contestualizzato dimostra che l'evoluzione proteica è altamente dipendente dal contesto e che i modelli devono apprendere queste dipendenze per essere efficaci.
• Efficienza: Raggiunge prestazioni SOTA nella previsione delle mutazioni senza richiedere MSA computazionalmente costose, rendendolo uno strumento potente per l'ingegneria proteica rapida e la scoperta di farmaci.

In sintesi, DPLM-Evo trasforma la diffusione discreta da uno strumento statico di recupero sequenziale in un simulatore evolutivo dinamico, capace sia di comprendere i vincoli evolutivi sia di generare proteine nuove e funzionali attraverso traiettorie di modifica esplicite.