SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations

Riepilogo Tecnico: SAE-RNA

Problema e Motivazione
Sebbene i Modelli Linguistici su Larga Scala (LLM) come RiNALMo abbiano fatto progredire la modellazione dell'RNA catturando proprietà diverse nei loro embedding, l'organizzazione interna di queste rappresentazioni rimane in gran parte opaca. I metodi di interpretabilità esistenti, come SHAP e Integrated Gradients, attribuiscono principalmente le uscite del modello ai nucleotidi di input, ma non riescono a rivelare i concetti semantici codificati negli stati nascosti del modello. Gli autori ipotizzano che comprendere queste rappresentazioni nascoste sia cruciale per allineare il comportamento del modello alla biologia nota e potenzialmente scoprire nuovi pattern. Ispirati dal successo degli Autoencoder Sparsi (SAE) nella modellazione del linguaggio naturale e delle proteine (ad esempio, Neuronpedia di Anthropic, InterPLM), questo lavoro indaga se gli SAE possano decomporre le rappresentazioni dei modelli linguistici dell'RNA in caratteristiche interpretabili e sparse corrispondenti a strutture e famiglie biologiche.

Metodologia: SAE-RNA
Il framework proposto, SAE-RNA, opera in tre fasi principali:

1. Estrazione degli Embedding: Gli autori utilizzano RiNALMo, un modello linguistico dell'RNA da 650 milioni di parametri addestrato sul dataset RNACentral. Gli stati nascosti vengono estratti da specifici livelli del transformer (1, 9, 18, 24, 30, 33) per le sequenze provenienti da RNACentral, producendo matrici di embedding a livello di token ($L \times 1280$).
2. Addestramento dell'Autoencoder Sparsso: Per ogni livello selezionato, viene addestrato uno SAE sovracompleto per mappare gli embedding densi ($x \in \mathbb{R}^{1280}$) in uno spazio di caratteristiche sparse ($f \in \mathbb{R}^{10240}$). L'architettura consiste in un encoder lineare con attivazione ReLU e un decoder lineare con pesi non vincolati. L'obiettivo di addestramento minimizza l'errore di ricostruzione ($\|x - \hat{x}\|_2^2$) imponendo al contempo la sparsità tramite una penalità L1 ($\lambda \|f\|_1$), con $\lambda$ impostato a $3 \times 10^{-3}$.
3. Localizzazione e Annotazione delle Caratteristiche:
   • Localizzazione: Le attivazioni vengono aggregate per generare profili a livello di sequenza, consentendo la localizzazione dei concetti a livello di nucleotide (ad esempio, steli contro loop) e a livello di famiglia.
   • Allineamento Biologico: Le caratteristiche vengono valutate rispetto a due dataset:
     • bpRNA-90: Utilizzato per mappare le attivazioni su elementi precisi di struttura secondaria (Steli, Capocchie, Loop interni, ecc.) e motivi.
     • RNAcentral: Utilizzato per verificare se le caratteristiche si attivano preferenzialmente all'interno di specifiche famiglie di RNA non codificante (ncRNA) (ad esempio, tRNA, riboswitch, snoRNA).
   • Annotazione: Viene adottata una pipeline in due passaggi. In primo luogo, un LLM (GPT-5) viene sollecitato con statistiche di attivazione, esempi di segmenti (inclusi sequenza e contesto strutturale) e un elenco di riferimento di motivi canonici per generare etichette descrittive. In secondo luogo, queste etichette vengono controllate manualmente incrociandole con le mappature strutturali per le caratteristiche principali relative ai motivi.

Risultati Chiave

• Allineamento Strutturale: L'analisi rivela che specifiche caratteristiche sparse si attivano in modo coerente in contesti strutturali riconoscibili. Ad esempio, alcune caratteristiche si attivano prevalentemente nelle regioni "Stelo" con sequenze ricche di poli-G o GC, mentre altre si attivano sui loop "Capocchia" con sequenze di poli-A o poli-U. Ciò suggerisce che gli embedding di RiNALMo organizzano le informazioni in un modo che gli SAE possono svincolare in concetti consapevoli della struttura.
• Evoluzione per Livelli: Si osserva una distinta progressione nella sparsità e nella selettività delle caratteristiche attraverso i livelli. Il Livello 1 presenta attivazioni diffuse e a bassa sparsità. Al contrario, i livelli più profondi (dal Livello 18 in poi) mostrano un marcato aumento della sparsità e della selettività di tipo, dove l'attivazione si concentra su un piccolo sottoinsieme di canali specifici per determinate famiglie di RNA.
• Stabilità delle Caratteristiche: Lo studio identifica caratteristiche che si attivano su almeno 10 sequenze distinte, filtrando eventi rari o spurii. Tuttavia, gli autori notano che, sebbene i pattern siano coerenti, non costituiscono una scoperta definitiva di nuovi concetti biologici.

Significato e Affermazioni
Gli autori inquadrano SAE-RNA non come un metodo per la scoperta definitiva di concetti biologici, ma come una sonda a livello di rappresentazione. Il suo significato principale risiede nel:

• Fornire un framework a livello di caratteristiche per caratterizzare come i modelli linguistici dell'RNA organizzano internamente le informazioni biologiche.
• Dimostrare che le decomposizioni in caratteristiche sparse possono allinearsi con annotazioni biologiche a livello umano note (strutture secondarie e famiglie ncRNA).
• Offrire una potenziale via per guidare il comportamento del modello senza costosi riaddestramenti, identificando componenti sparse specifiche associate all'identità dell'RNA o al contesto strutturale.

Limiti e Modestia
Il documento mantiene esplicitamente una posizione conservativa riguardo ai propri risultati:

• Vincoli di Validazione: L'interpretazione delle caratteristiche si basa pesantemente sulle annotazioni esistenti (bpRNA-90, RNAcentral). Senza validazione ortogonale o test di perturbazione, è difficile distinguere tra motivi biologici significativi, caratteristiche di sequenza correlate o rumore di rappresentazione.
• Sensibilità Metodologica: I risultati sono sensibili alle scelte degli iperparametri (penalità di sparsità, soglie di attivazione, selezione dei livelli) e ai metodi di aggregazione specifici utilizzati.
• Scala dei Dati: L'addestramento è stato limitato a circa 10.000 sequenze a causa dei vincoli computazionali, il che potrebbe limitare la copertura di famiglie e motivi rari di RNA rispetto a un'estensione a milioni di sequenze.
• Rumore nelle Sequenze Lunghe: Distinguere i veri segnali di motivi localizzati dai picchi di attivazione in sequenze di RNA lunghe e a lunghezza variabile rimane una sfida irrisolta.

Di conseguenza, gli autori concludono che, sebbene l'analisi basata su SAE mostri promesse per l'interpretazione degli LM dell'RNA, le caratteristiche non sono ancora abbastanza affidabili da servire come marcatori biologici o strumenti di scoperta autonomi fino a quando non saranno risolti i problemi relativi alla stabilità delle caratteristiche, alla normalizzazione della lunghezza e alla validazione rigorosa.