Riepilogo Tecnico: Yeti – Un Tokenizzatore Compatto di Strutture Proteiche per Ricostruzione e Generazione Multi-Modale

1. Enunciato del Problema

L'integrazione di sequenze proteiche, strutture 3D e annotazioni funzionali in una rappresentazione multi-modale unificata è fondamentale per l'avanzamento della biologia computazionale. Tuttavia, gli approcci attuali affrontano tre sfide principali:

1. Eterogeneità dei Dati: I dati biologici abbracciano modalità diverse (vincoli biofisici, testo, imaging, dati volumetrici) con proprietà statistiche distinte.
2. Incompletezza e Rumore: I dataset del mondo reale spesso soffrono di modalità mancanti, misurazioni rumorose e copertura disomogenea nello spazio struttura-funzione.
3. Scalabilità e Accoppiamento: La maggior parte dei modelli opera a una singola scala o modalità, mancando di meccanismi per trasferire informazioni attraverso i livelli (da atomico a cellulare) o per gestire processi accoppiati.

Nello specifico, mentre i recenti modelli generativi trattano le proteine come oggetti 3D utilizzando spazi di coordinate continue (ad es. diffusione SE(3)), esiste un'alternativa convincente: codificare le strutture atomiche 3D come token discreti. Ciò consente un'addestramento scalabile e agnostico rispetto alla modalità, simile ai modelli linguistici. Tuttavia, i tokenizzatori di strutture proteiche esistenti (ad es. ESM3, DPLM-2, Kanzi) spesso danno priorità alla precisione di ricostruzione rispetto alle capacità generative. Esiste un disallineamento in cui un'alta fedeltà di ricostruzione non garantisce una diversità token di alta qualità o il supporto per la co-generazione incondizionata di sequenza e struttura. Inoltre, molti modelli all'avanguardia si basano su enormi conteggi di parametri o paradigmi di addestramento in due fasi in cui gli encoder sono congelati, limitando potenzialmente l'ottimizzazione end-to-end.

2. Metodologia

2.1 Architettura: Yeti

Yeti (Yielding Encoded Tokens for Intermodality) è un tokenizzatore compatto di strutture proteiche in una singola fase, progettato per mappare le coordinate atomiche 3D continue in token discreti.

• Input: Strutture proteiche rappresentate come coordinate $C_\alpha$ centrate sulla media ($x \in \mathbb{R}^{L \times 3}$).
• Encoder: Un encoder basato su Transformer che utilizza l'attenzione multi-testa con codifica posizionale rotatoria (RoPE) mappa gli input in embedding latenti continui $Z \in \mathbb{R}^{L \times D}$.
• Quantizzazione: Gli embedding sono proiettati in uno spazio di quantizzazione e elaborati da un Quantizzatore Senza Ricerca (LFQ). Lo spazio LFQ è un prodotto cartesiano di sottocodici binari ($C_i = \{-1, +1\}$). La quantizzazione viene eseguita tramite un'operazione di segno, mappando i vettori su indici discreti senza la necessità di una tabella di ricerca, producendo una dimensione del vocabolario $K = 2^D$.
• Decoder: Un'architettura StripedHyena (un modello ibrido di elaborazione dei segnali) funge da decoder. A differenza dei decoder tradizionali che si basano su componenti invarianti SE(3) come l'Attention a Punti Invarianti (IPA), il decoder StripedHyena apprende un campo di velocità condizionale per ricostruire le strutture da coordinate rumorose.

2.2 Obiettivo di Addestramento: Flow Matching

Yeti è addestrato end-to-end utilizzando un obiettivo di Flow Matching, che interpola tra una distribuzione di rumore gaussiano ($p_0$) e la distribuzione target della struttura proteica ($p_{data}$).

• Funzione di Perdita: Il modello minimizza la differenza tra il campo di velocità condizionale previsto $v_\theta(x_t, t, c)$ e il campo vettoriale target ($x_1 - x_0$), dove $x_1$ è la struttura pulita e $x_0$ è il rumore gaussiano.
• Regolarizzazione dell'Entropia: Per prevenire il collasso del codice e garantire un alto utilizzo, viene aggiunta una penalità di entropia alla funzione di perdita: $L = L_{FM} + \lambda L_{entropy}$.
• Inferenza: Durante l'inferenza viene impiegata la Guida Senza Classificatore (CFG). Azzerando casualmente gli embedding dei token durante l'addestramento, il modello apprende sia i campi di velocità condizionali che incondizionati, permettendo una decodifica guidata per rifinire l'accuratezza strutturale.

2.3 Co-Generazione Multi-Modale

Per validare l'utilità generativa dei token Yeti, gli autori hanno addestrato un Modello di Diffusione Mascherata (MDM) da zero. Questo modello genera congiuntamente sequenze di amminoacidi e token di struttura Yeti senza alcuna inizializzazione pre-addestrata (a differenza di DPLM-2 che parte da un modello di sequenza, o ESM3 che utilizza pipeline a cascata).

3. Contributi Chiave

1. Tokenizzatore Compatto End-to-End: Introduzione di Yeti, un tokenizzatore in una singola fase addestrato end-to-end con flow matching, evitando il paradigma a due fasi "congelare l'encoder" comune nei lavori precedenti.
2. Alto Utilizzo del Codicebook: Yeti ottiene un utilizzo del codicebook e una diversità dei token superiori rispetto a modelli più grandi (ESM3, DPLM-2) e ad altri metodi di quantizzazione (FSQ, VQ-VAE), nonostante abbia significativamente meno parametri.
3. Efficienza dei Parametri: Yeti raggiunge un'accuratezza di ricostruzione competitiva con soli 62,5 milioni di parametri, circa 10 volte meno di ESM3 (648 milioni) e 2 volte meno di DPLM-2 (118 milioni).
4. Dimostrazione di Co-Generazione: Dimostrazione che un modello multi-modale compatto addestrato da zero su token Yeti può eseguire la co-generazione incondizionata di sequenze e strutture proteiche, ottenendo risultati paragonabili a modelli 10 volte più grandi.
5. Analisi della Dinamica di Piegamento: Identificazione di un'emergenza gerarchica della struttura secondaria durante la traiettoria di decodifica flow-matching, caratterizzata da una precoce compattazione globale seguita da un fenomeno di "impegno tardivo" in cui la topologia globale si consolida negli ultimi passaggi.

4. Risultati

4.1 Analisi del Codicebook

• Utilizzo: Su un codicebook da 8.192 voci, Yeti ottiene alta perplessità ed entropia, superando significativamente ESM3 e Kanzi. Sul dataset CATH, Yeti utilizza circa il 66% della sua capacità (Perplessità = 5414), con una diversità intra-struttura ($\bar{U}$) del 98,8%, saturando quasi la metrica e indicando assegnazioni token altamente distinte per i residui.
• Confronto: Yeti supera DPLM-2 nell'utilizzo del codicebook nonostante entrambi utilizzino LFQ, attribuito al paradigma di addestramento end-to-end rispetto all'approccio con encoder congelato di DPLM-2.

4.2 Accuratezza di Ricostruzione

• Metriche: Yeti ottiene un TM-score di 0,96 su CAMEO, 0,97 su CASP14 e 0,95 su CASP15 e CATH.
• Efficienza: Mentre ESM3 mostra un RMSD leggermente inferiore (dovuto alla sua enorme scala), i TM-score di Yeti sono paragonabili o superiori, indicando che recupera efficacemente la topologia globale corretta. Il decoder basato su flow di Yeti produce campioni con varianza nelle posizioni atomiche locali (penalizzando l'RMSD) ma topologia globale coerente, una caratteristica benefica per la generazione multi-conformazionale.

4.3 Co-Generazione Incondizionata

• Prestazioni: Un modello da 224 milioni di parametri addestrato da zero su 2,6 milioni di proteine (utilizzando token Yeti) ha raggiunto un TM-score di auto-consistenza (scTM) di 0,70 e un pLDDT di 76,12.
• Confronto: Questa prestazione è paragonabile a DPLM-2 (scTM 0,87) e significativamente migliore di ESM3-Open (scTM 0,46), nonostante DPLM-2 si basi su un modello di sequenza pre-addestrato da 650 milioni di parametri e ESM3 utilizzi una pipeline a cascata.
• Designabilità: ProteinMPNN ha recuperato il 30,6% delle sequenze generate originali dalle strutture generate, confermando la coerenza geometrica e la designabilità delle coppie co-generate.

4.4 Dinamiche della Traiettoria Flow

L'analisi della traiettoria di decodifica ha rivelato un'emergenza non monotona delle caratteristiche:

• Fase Iniziale ($t < 0,6$): Rapida compattazione globale (diminuzione del Raggio di Girazione).
• Fase Tardiva ($t > 0,9$): Rapida coalescenza degli elementi di struttura secondaria ($\alpha$-eliche e $\beta$-foglietti) e consolidamento della topologia globale.
  Ciò suggerisce che il tokenizzatore disaccoppia efficacemente la densità a grana grossa dai dettagli strutturali ad alta frequenza.

5. Significato e Affermazioni

Il documento afferma che Yeti funge da fondamento compatto ed espressivo per l'addestramento di modelli proteici multi-modali. Il suo significato principale risiede nel dimostrare che:

1. La Tokenizzazione Discreta è Vital per la Generazione: Una co-generazione incondizionata di alta qualità di sequenza e struttura è possibile senza pre-addestramento massiccio o pipeline a cascata, purché il tokenizzatore sia espressivo e l'obiettivo di addestramento (flow matching) sia allineato con gli obiettivi generativi.
2. Efficienza rispetto alla Scala: Un modello più piccolo e attentamente progettato (62,5 milioni di parametri) può superare o eguagliare modelli molto più grandi (600 milioni+) nella diversità dei token e nella ricostruzione, sfidando l'idea che la scala sia l'unica via per le prestazioni nella modellazione proteica.
3. Rappresentazione Unificata: La capacità di addestrare un modello da zero su dati congiunti di sequenza-struttura convalida il potenziale di una rappresentazione molecolare universale che cattura l'accoppiamento intrinseco tra sequenze di amminoacidi e strutture 3D.

Gli autori posizionano Yeti non come soluzione definitiva per tutti i compiti di design proteico, ma come una prova di concetto che stabilisce la fattibilità della loro strategia di tokenizzazione. Riconoscono le limitazioni, come la dipendenza da strutture a conformazione singola e la necessità di ulteriore scalatura per eguagliare le prestazioni di modelli specializzati e fortemente ottimizzati come La-Proteina. Tuttavia, affermano che Yeti fornisce una spina dorsale scalabile, efficiente ed efficace per futuri modelli proteici multi-modali capaci di co-generare sequenze e strutture altamente plausibili.