Riassunto Tecnico: Emyx – Generazione di Proteine All-Atom Veloce ed Efficiente

Problematica

Il design computazionale di enzimi richiede la generazione di scaffold proteici che posizionino con precisione i residui catalitici e i ligandi. Questo compito esige sia accuratezza geometrica che diversità strutturale. Gli attuali modelli generativi all-atom, come RFdiffusion3 e Proteína-Complexa, ereditano architetture complesse dalla predizione della struttura proteica (ad esempio, rappresentazioni di coppia dense, pesanti stack di embedding). Queste architetture comportano elevati costi di addestramento, diversità di campionamento limitata e spesso richiedono costose fasi di folding inverso per generare sequenze di alta qualità. Inoltre, le metriche di valutazione esistenti (ad esempio, l'RMSD di auto-coerenza degli atomi pesanti) possono sopravvalutare il successo non verificando il recupero del fold globale, portando a design che soddisfano i vincoli del motivo locale ma non riescono a formare proteine stabili e ripiegabili.

Metodologia

Architettura del Modello

Emyx è un modello di conditional flow matching con 140 milioni di parametri progettato per la generazione di proteine all-atom. A differenza dei predecessori che si affidano a dense rappresentazioni di coppia e strati di embedding specifici per il dominio, Emyx concentra la sua capacità all'interno di blocchi transformer standard.

• Rappresentazione: Il modello utilizza una rappresentazione unificata a due livelli. A livello atomico, i residui e i ligandi sono mappati in una matrice "Rep14" di dimensione fissa (14 slot atomici), dove le posizioni non utilizzate sono riempite con "atomi fantasma" che ereditano le coordinate dello scheletro (backbone). A livello di token, i residui e gli HETATM costituiscono singoli token.
• Connettività: Invece delle dense rappresentazioni di coppia, Emyx utilizza un grafo di connettività sparsa con un budget di archi fisso. Gli archi sono costruiti sulla base dei vicini di sequenza, legami chimici, k-NN del ligando e connettività del motivo.
• Design del Transformer: L'architettura impiega una pipeline "patchify–process–unpatchify":
  1. Encoder Atomico: Blocchi transformer leggeri codificano il dettaglio atomico locale all'interno della rappresentazione Rep14.
  2. Downcast: Il pooling tramite gated cross-attention riduce le rappresentazioni atomiche in embedding a livello di token.
  3. Tronco dei Token (Token Trunk): Un profondo tronco transformer (18 strati) elabora il contesto strutturale a lungo raggio utilizzando l'attenzione sparsa con bias di coppia appresi.
  4. Upcast: Un secondo cross-attention diffonde il contesto del token nuovamente agli atomi.
  5. Decoder Atomico: I blocchi transformer finali raffinano il dettaglio atomico locale prima della testa di velocità in uscita.
• Modifiche: I blocoli standard DiT (Diffusion Transformer) sono modificati con proiezioni di bottleneck per il condizionamento, sigmoid gating per limitare gli aggiornamenti residui e stochastic depth (drop-path) per la regolarizzazione.

Addestramento e Obiettivo

Emyx è addestrato utilizzando il conditional flow matching sulle coordinate cartesiane.

• Obiettivo: Il modello apprende un campo di velocità tempo-dipendente $v_\theta(x_t, t, c, G)$ per trasportare i campioni da una distribuzione di rumore a una distribuzione di dati. La perdita di addestramento combina una regressione $\ell_2$ sulle velocità per gli atomi non appartenenti al motivo con una perdita ausiliaria di test della differenza di distanza locale differenziabile (lDDT) per imporre la qualità strutturale.
• Condizionamento: Il modello si condiziona su vincoli geometrici sparsi (geometria del motivo, posizioni del ligando) e caratteristiche globali (composizione della struttura secondaria, raggio di girazione). Queste caratteristiche vengono mascherate stocasticamente durante l'addestramento per consentire sia la generazione condizionale che quella incondizionale.
• Efficienza: L'addestramento utilizza un interpolante lineare tra rumore e dati, il che produce gradienti a varianza inferiore e una convergenza più rapida rispetto ai programmi di diffusione a conservazione della varianza. Il modello è stato addestrato su dati sperimentali PDB in circa 3,55 giorni su 8 GPU NVIDIA H200 (681,6 ore GPU).

Campionamento e Riperparametrizzazione

Un contributo metodologico chiave è la derivazione di una riparametrizzazione esatta dell'interpolante di flow matching nel framework del rumore EDM (Elucidating the Design Space of Diffusion-based Generative Models).

• Questa mappatura consente al modello di flow matching di utilizzare lo schema del rumore Karras e i meccanismi di stochastic churn senza necessità di riaddestramento o cambiamenti architettonici.
• La riparametrizzazione unisce l'efficienza di addestramento del flow matching con i metodi di campionamento allo stato dell'arte progettati per i modelli di diffusione, migliorando significativamente i tassi di successo rispetto all'integrazione standard SDE Euler–Maruyama.

Contributi Chiave

1. Generatore All-Atom Efficiente: Emyx raggiunge prestazioni allo stato dell'arte con un numero di parametri significativamente inferiore (140M) e un costo di addestramento minore (4× meno di RFdiffusion3), rinunciando alle costose architetture ereditate dalla predizione.
2. Protocollo di Valutazione Rigoroso: Gli autori propongono un protocollo "strict sc-RMSD" che richiede sia il recupero del fold globale (backbone RMSD < 2.0 Å) sia l'accuratezza della geometria catalitica locale (motif tip-atom RMSD < 1.5 Å). Dimostrano che le metriche precedenti (heavy-atom sc-RMSD) sopravvalutano i tassi di successo di circa 2× perché non penalizzano i design che recuperano il sito attivo ma non il fold globale.
3. Riperparametrizzazione EDM: Il paper introduce un metodo agnostico rispetto al modello per convertire i modelli di velocità di flow matching nel framework EDM, consentendo strategie di campionamento superiori (schema Karras, stochastic churn) senza riaddestramento.
4. Analisi Spettrale: Gli autori forniscono un'analisi spettrale che rivela un fondamentale "gap tra generatore e predittore". I predittori inizializzati con segnali ricchi di MSA/template mostrano un rango effettivo più elevato e un minor overtraining, mentre i generatori inizializzati da coordinate rumorose operano in un regime a rango inferiore. Emyx dimostra la frazione di overtraining più bassa tra i generatori, grazie ai suoi colli di bottiglia architettonici e alla stochastic depth.

Risultati

Valutato rispetto al benchmark AME (Atom-level Motif Enzyme - 41 siti attivi catalitici):

• Tasso di Successo: Sotto il protocollo strict sc-RMSD, Emyx raggiunge un tasso di successo del 13,4% (39/41 target risolti), superando Proteína-Complexa (8,8%) e RFdiffusion3 (6,7%).
• Novità Strutturale: Emyx produce gli scaffold più nuovi dal punto di vista strutturale, con un TM-score mediano di 0,475 rispetto al hit PDB più vicino (più basso è, maggiore è la novità), rispetto a 0,499 per Proteína-Complexa e 0,512 per RFdiffusion3.
• Diversità: Emyx genera il maggior numero di cluster strutturali unici (441) tra i design di successo.
• Validità Geometrica: Emyx supera i controlli di validità geometrica (lunghezze/angoli di legame) nell'82,2% dei design, superando significativamente RFdiffusion3 (0,8%) e Proteína-Complexa (49,9%). Gli autori notano che i bassi punteggi di geometria di RFdiffusion3 sono probabilmente dovuti ad artefatti di post-processing in cui le coordinate del motivo in input sovrascrivono quelle generate, creando legami non fisici.
• Efficienza: Emyx si addestra in ~682 ore GPU (4× più veloce di RFdiffusion3) ed è >2× più veloce nell'inferenza su una singola GPU A10G su tutte le lunghezze di catena.

Significato e Rivendicazioni

Il paper sostiene che la semplicità architettonica è vantaggiosa per i generatori di proteine. A differenza dei predittori, che richiedono segnali co-evolutivi ricchi (MSA, template) per inizializzare rappresentazioni di coppia complesse, i generatori si condizionano su vincoli geometrici sparsi. Pertamente, le architetture pesanti ereditate dalla predizione della struttura sono superflue e dannose per l'efficienza e la diversità.

Emyx dimostra che concentrare la capacità in blocchi transformer standard, combinata con un addestramento efficiente tramite flow matching e un campionamento in stile EDM, può raggiungere prestazioni superiori nei compiti di design enzimatico con risorse computazionali significativamente inferiori. Il lavoro evidenzia inoltre l'importanza di protocolli di valutazione rigorosi (strict sc-RMSD) per distinguere tra design localmente accurati ma globalmente instabili e scaffold enzimatici realmente vitali. Infine, la proposta di riparametrizzazione EDM offre un percorso per consentire ad altri modelli di flow matching di adottare tecniche di campionamento avanzate senza una revisione architettonica.