Retrieval and competition: how a protein foundation model starts a protein

Sintesi Tecnica: Recupero e Competizione nei Modelli Fondamentali per le Proteine

Enunciato del Problema
I modelli linguistici delle proteine (PLM) sono sempre più utilizzati per guidare decisioni sperimentali e cliniche. Tuttavia, rimane un'ambiguità critica: una previsione sicura riflette il riconoscimento di evidenze biologicamente significative all'interno dell'input, o semplicemente il recupero di un default statistico memorizzato applicato indipendentemente da evidenze specifiche? Sebbene entrambi i meccanismi producano previsioni identiche, solo il primo giustifica la fiducia nella generalizzazione. I metodi esistenti di interpretabilità meccanicistica hanno identificato caratteristiche interne e decomposto rappresentazioni, ma hanno trattato in gran parte il meccanismo di attenzione – l'instradamento delle informazioni tra le posizioni – come una scatola nera. In particolare, il ruolo della codifica posizionale nel dirigere il flusso delle informazioni ha ricevuto scarsa attenzione. Questo articolo colma tale lacuna tracciando il percorso computazionale di una regola biologica semplice e quasi universale: le proteine iniziano tipicamente con la metionina (Met).

Metodologia
Gli autori hanno analizzato ESM2-8M, un modello linguistico delle proteine a 6 livelli con 8 milioni di parametri. Hanno impiegato una serie di tecniche di interpretabilità meccanicistica per smontare la previsione della metionina alla prima posizione (posizione 0) quando il residuo iniziale è mascherato:

• Studi di Ablazione: Ablazione sistematica a zero delle teste di attenzione e dei moduli MLP in posizioni specifiche di token (solo mascheramento vs. tutte le posizioni) per identificare i componenti necessari.
• Patching delle Attivazioni: Iniezione di rappresentazioni intermedie (query, chiavi, valori, output di attenzione) da esecuzioni "pulite" (maschera alla posizione 0) in esecuzioni "corrotte" (maschera a posizioni interne) per isolare le dipendenze causali.
• Scoperta di Circuiti: Una ricerca greedy per identificare i set minimi di componenti richiesti per la previsione della metionina.
• Decomposizione Normo-Direction: Una nuova decomposizione dei punteggi di attenzione all'interno delle bande di frequenza delle Embedding Posizionali Rotazionali (RoPE). Gli autori hanno separato il punteggio di attenzione ($Q \cdot K$) in un termine di magnitudine (norma della query) e un termine di allineamento (coseno dell'angolo tra query e chiave) per determinare come le informazioni posizionali vengono codificate.
• Manipolazione RoPE: Scambio delle rotazioni RoPE tra posizioni e applicazione di shift uniformi degli indici per testare la causalità geometrica.
• Esperimenti di Competizione: Esperimenti di allungamento e distruzione del contesto utilizzando sequenze di poli-alanina per osservare come segnali concorrenti influenzino il logit della metionina.

Risultati Chiave

1. Competizione di Circuiti, non Riconoscimento Locale:
   Il modello prevede la metionina alla posizione 0 non rilevando localmente l'identità della posizione-0, ma attraverso una competizione tra circuiti. Il circuito della metionina contribuisce con un segnale approssimativamente costante alla prima posizione. Alle posizioni interne, circuiti dipendenti dal contesto producono segnali concorrenti che spesso superano il prior della metionina. Quando il contesto viene distrutto (ad esempio, mascherando i residui interni), il segnale della metionina riemerge come dominante. Ciò indica che il modello non "attiva" una regola per la posizione 0; piuttosto, mantiene un prior costante che viene sovrascritto da segnali contestuali più forti altrove.

2. L'Architettura del Circuito della Metionina:
   La previsione è mediata da un circuito distribuito e multistrato piuttosto che da una semplice regola locale:

   • Lettura (Livello 6): La testa L6H8 agisce come lettura finale. Attribuisce attenzione quasi esclusivamente al token Inizio-Sequenza (BOS) e scrive un segnale specifico per la metionina nell'output. Il suo vettore output-valore (OV) è altamente allineato con il gradiente del logit della metionina.
   • Composizione della Query (Livelli a monte): L6H8 non agisce in modo indipendente. Si basa su una query costruita a monte (principalmente nei Livelli 1, 4 e 5) da teste di attenzione che attribuiscono attenzione al token BOS. Queste teste a monte utilizzano segnali posizionali mediati da RoPE per assemblare una query che, quando ruotata dal RoPE di L6H8, si allinea con la chiave BOS.
   • Costruzione della Rappresentazione (MLP): Gli MLP dei livelli iniziali (L1, L2, L4) sono essenziali per costruire le rappresentazioni chiave/valore al BOS e la query alla posizione mascherata. Senza di essi, il circuito fallisce.

3. Il Ruolo Attivo del Token BOS:
   Contrariamente alla visione del BOS come delimitatore passivo, gli autori scoprono che funge da nodo computazionale attivo. Memorizza una rappresentazione di riferimento stabile e invariante rispetto alla posizione (chiave e valore) che il circuito recupera. La specificità della previsione (perché avviene alla posizione 0 e non altrove) è determinata interamente dalla query formata al token mascherato, non da cambiamenti nella rappresentazione BOS.

4. Meccanismo di Selettività Posizionale (RoPE):
   Gli autori introducono una decomposizione normo-direction dei punteggi di attenzione attraverso le bande di frequenza RoPE. Scoprono che la selettività posizionale deriva da cambiamenti accoppiati nella norma della query e nell'allineamento angolare:

   • Banda Dominante ($f_0$): Opera su entrambi gli assi. Alle posizioni interne, la norma della query per questa banda collassa di circa sette volte, e l'allineamento coseno con la chiave BOS scende da ~0,8 a vicino allo zero.
   • Bande Secondarie ($f_1, f_2, f_6$): Agiscono principalmente come selettori di allineamento, dove i valori coseno invertono segno o collassano, mentre le norme rimangono relativamente stabili.
   • RoPE come Cancello: In un circuito minimale isolato (senza circuiti contestuali concorrenti), la rimozione di RoPE causa al modello la previsione della metionina in tutte le posizioni. Quindi, RoPE non abilita solo la previsione alla posizione 0; attiva attivamente il cancello del circuito per sopprimere il prior alle posizioni interne.

Significato e Affermazioni
L'articolo afferma che distinguere tra riconoscimento biologico e recupero statistico richiede una risoluzione a livello di singoli circuiti, bande di frequenza e composizione delle query.

• Verifica Meccanicistica: Anche per la regola biologica più semplice (le proteine iniziano con Met), la previsione del modello è mediata da un circuito computazionale distribuito piuttosto che da un riconoscimento diretto. Ciò suggerisce che per compiti più complessi, la relazione tra la sicurezza del modello e le evidenze biologiche sottostanti sarà sempre più oscurata.
• Interpretabilità della Sicurezza: Un'alta sicurezza non garantisce l'uso di evidenze biologiche corrette; può semplicemente indicare che un circuito (il prior statistico) sta dominando gli altri.
• Motivi Computazionali Generali: I risultati evidenziano il ruolo attivo dei token BOS come cornici di riferimento e l'uso della composizione delle query per l'instradamento posizionale, motivi che potrebbero essere generali alle architetture transformer oltre i modelli proteici.
• Limitazioni: Gli autori notano che, sebbene l'architettura del circuito sia stata identificata in ESM2-8M, rimane una questione aperta se questi motivi specifici persistano in modelli più grandi o attraverso diverse famiglie di PLM. Identificano inoltre che la composizione della query a monte coinvolge sia teste guidate puramente da RoPE sia almeno una testa dipendente dal contesto (L4H3), il cui contenuto specifico deve ancora essere identificato.

Lo studio conclude che la verifica meccanicistica è necessaria e impegnativa per le previsioni dove gli interessi biologici sono elevati, poiché la "conoscenza" del modello della biologia potrebbe essere un sottoprodotto di regolarità statistiche recuperate tramite circuiti complessi e distribuiti.