Sintesi Tecnica: Un Atlante Geometrico dell'Organizzazione delle Modalità di ESM3

Problema

I modelli linguistici proteici (PLM) hanno fatto avanzare la previsione della struttura e della funzione delle proteine apprendendo rappresentazioni general-purpose da grandi dataset. I modelli multimodali come ESM3 ingeriscono simultaneamente molteplici canali di input — inclusi sequenza amminoacidica, struttura 3D, struttura secondaria (SS8), accessibilità al solvente (SASA) e annotazioni funzionali discrete — sommando i loro embedding in un singolo stream residuo. Mentre il lavoro precedente di interpretabilità ha esaminato i capi di attenzione e le caratteristiche apprese nei modelli basati solo sulla sequenza, si sa poco sull'organizzazione meccanicistica di queste distinte modalità di input all'interno di un'architettura multimodale. Nello specifico, rimane da chiarire se queste modalità occupino sottospazi separati, a quale profondità si fondano e se tale fusione sia un artefatto architettonico o una proprietà appresa.

Metodologia

Gli autori impiegano un approccio descrittivo "geometria-centrico" per creare un atlante dell'organizzazione delle modalità attraverso la profondità di ESM3 (nello specifico il modello esm3-sm-open-v1: 1,4 miliardi di parametri, 48 strati transformer, embedding a 1536 dimensioni).

Disegno Sperimentale:

• Isolamento e Aggregazione: Per ogni proteina del dataset, il modello viene eseguito in isolamento per ciascuna delle cinque condizioni a singola modalità (sequenza, struttura, SS8, SASA, funzione) e una condizione con "tutte le modalità".
• Raccolta Dati: Lo stream residuo viene letto ad ogni strato (1–48). Le rappresentazioni vengono analizzate sia come vettori a livello proteico tramite mean-pooling, sia, per un sottoinsieme, come attivazioni a livello di singolo residuo.
• Dataset: L'analisi copre un set umano di 892 proteine per i risultati primari e un set diversificato di 5.555 proteine provenienti da 12 organismi (coprendo Eukaryota, Bacteria e Archaea) per testarne l'universalità. Un set di controllo di 177 proteine con strutture sperimentali (Raggi X/Cryo-EM) valida i risultati rispetto alle coordinate predette da AlphaFold.
• Metriche:
  • Silhouette Score: Misura la separazione tra le condizioni di modalità a ogni strato.
  • Centered Kernel Alignment (CKA): Traccia l'allineamento tra coppie di condizioni per determinare il tempo di fusione.
  • Indice di Integrazione: La media dei CKA a coppie di tutte le modalità fisiche.
  • Effective Rank: Misura la dimensionalità della varianza all'interno della nuvola di rappresentazione.
  • Linear Probes: Sonde logistiche addestrate per decodificare l'identità della modalità dallo stream.
• Controlli: Lo studio include un modello con inizializzazione casuale (pesi addestrati azzerati nel trunk e negli embedding, preservando l'encoder della struttura) per distinguere la fusione appresa dall'artefatto di sommatoria architettonica.

Risultati Chiave

1. Fusione Netta e Ordinata delle Modalità Fisiche

Le quattro modalità fisiche (sequenza, struttura, SS8, SASA) iniziano in sottospazi distinti all'input. Rimangono massimamente separate durante la prima metà della rete, raggiungendo la massima separazione (Silhouette score ~0,42) intorno allo strato 24. Una transizione netta avviene tra gli strati 25 e 35, dove queste modalità collassano in un sottospazio condiviso a bassa dimensionalità.

• Ordine di Fusione: La fusione è ordinata. Le modalità derivate dalla struttura (struttura, SS8, SASA) sono mutuamente allineate dall'input (Strato 0). La sequenza, che trasporta informazioni non derivabili dalla struttura, si unisce alla fusione per ultima, integrandosi significativamente dopo lo strato 28.

2. Ortogonalità Persistente delle Annotazioni Funzionali

A differenza delle modalità fisiche, la modalità di annotazione funzionale non si fonde mai con il sottospazio fisico.

• Ortogonalità: Il CKA a coppie tra il canale della funzione e qualsiasi modalità fisica rimane vicino a 0,01–0,07 attraverso tutti i 48 strati.
• Indipendenza dalla Granularità: Questa separazione si mantiene anche utilizzando annotazioni funzionali per residuo (derivate da InterPro) anziché annotazioni a intera proteina, indicando che la separazione è guidata dal contenuto piuttosto che dalla granularità della tokenizzazione.
• Ritenzione dell'Informazione: Nonostante l'ortogonalità, l'informazione funzionale non viene persa; sonde lineari possono decodificare classi enzimatiche e classi di fold dal sottospazio fisico fuso con alta precisione, suggerendo che la rete estrae il contenuto funzionale nel sottospazio fisico mantenendo il canale funzionale esplicito su un asse separato e sottile.

3. La Fusione è una Proprietà Appresa

Un modello con inizializzazione casuale con la stessa architettura non mostra fusione dipendente dalla profondità. La separazione delle condizioni rimane alta e costante, e l'indice di integrazione non cambia con la profondità. Ciò conferma che la fusione osservata è il risultato dell'addestramento, non semplicemente la conseguenza matematica della sommatoria degli embedding.

4. Riorganizzazione della Varianza Senza Isotropia

La fusione non risulta in un collasso verso un singolo punto o in una diffusione nell'isotropia.

• Effective Rank: Il rango effettivo della nuvola di rappresentazione collassa a ~3 al picco di separazione (strato 24), si espande a ~85 dimensioni nella zona di fusione (strati 25–35) e poi si contrae.
• Spostamento della Varianza: La fusione sposta la varianza tra le condizioni verso la varianza all'interno delle condizioni. L'identità della modalità rimane decodificabile (accuratezza ~1,0 nello spazio completo) anche dopo la fusione, indicando una riorganizzazione controllata piuttosto che una perdita di informazione.

5. Universalità e Dipendenze Strutturali

• Universalità: Il pattern di fusione è universale tra diversi organismi. Ogni superregno (Eukaryota, Bacteria, Archaea) e ogni singolo organismo nello studio raggiunge la massima fusione (minima separazione) esattamente allo strato 35.
• Dipendenza Strutturale: La profondità di fusione è indipendente dalla lunghezza della proteina, ma è ritardata dal disordine strutturale. Le proteine con frazioni di coil più elevate fondono più tardi, mentre le proteine elicoidali ben ripiegate fondono prima. L'effetto non è correlato ai punteggi di confidenza di AlphaFold (pLDDT).

Significato e Rivendicazioni

Il paper sostiene di fornire il primo atlante geometrico completo di come l'informazione multimodale sia organizzata in un modello linguistico proteico. Il significato primario risiede nel rivelare che ESM3 organizza i suoi input in due regimi distinti:

1. Un regime fisico unificato in cui sequenza e caratteristiche strutturali si fondono in un sottospazio condiviso a bassa dimensionalità a metà profondità, suggerendo che la rete costruisce caratteristiche specifiche per modalità prima di impegnarsi in una rappresentazione fisica unificata una volta risolta la struttura secondaria.
2. Un regime funzionale separato dove le etichette funzionali discrete sono mantenute su un asse ortogonale durante tutto il processo, indipendentemente dal fatto che tale informazione sia ridondante con le modalità fisiche.

Gli autori concludono che questa organizzazione bloccata sulla profondità è intrinseca al modello addestrato piuttosto che un artefatto di specifici proteomi o coordinate di predizione. I risultati suggeriscono che il "ragionamento" della rete comporti un ordine temporale specifico di integrazione, dove la coerenza strutturale viene stabilita prima che l'informazione della sequenza venga pienamente integrata, mentre le etichette funzionali rimangono distinte. Questo lavoro stabilisce una linea di base per l'interpretabilità meccanicistica nei modelli biologici multimodali, dimostrando che la fusione è un fenomeno appreso, universale e ordinato.