SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations

Resumo Técnico: SAE-RNA

Problema e Motivação
Embora os Modelos de Linguagem de Grande Escala (LLMs) como o RiNALMo tenham avançado na modelagem de RNA ao capturar propriedades diversas em seus embeddings, a organização interna dessas representações permanece em grande parte opaca. Métodos existentes de interpretabilidade, como SHAP e Integrated Gradients, atribuem principalmente as saídas do modelo aos nucleotídeos de entrada, mas falham em revelar os conceitos semânticos codificados nos estados ocultos do modelo. Os autores postulam que compreender essas representações ocultas é crucial para alinhar o comportamento do modelo com a biologia conhecida e, potencialmente, descobrir padrões novos. Inspirados pelo sucesso dos Autoencoders Esparsos (SAEs) na modelagem de linguagem natural e de proteínas (por exemplo, Neuronpedia da Anthropic, InterPLM), este trabalho investiga se os SAEs podem decompor as representações de modelos de linguagem de RNA em características interpretáveis e esparsas correspondentes a estruturas e famílias biológicas.

Metodologia: SAE-RNA
O framework proposto, SAE-RNA, opera em três etapas principais:

1. Extração de Embeddings: Os autores utilizam o RiNALMo, um modelo de linguagem de RNA com 650 milhões de parâmetros treinado no conjunto de dados RNACentral. Estados ocultos são extraídos de camadas específicas do transformer (1, 9, 18, 24, 30, 33) para sequências do RNACentral, resultando em matrizes de embeddings em nível de token ($L \times 1280$).
2. Treinamento do Autoencoder Esparso: Para cada camada selecionada, um SAE sobrecompleto é treinado para mapear embeddings densos ($x \in \mathbb{R}^{1280}$) para um espaço de características esparsas ($f \in \mathbb{R}^{10240}$). A arquitetura consiste em um codificador linear com ativação ReLU e um decodificador linear com pesos não vinculados. O objetivo de treinamento minimiza o erro de reconstrução ($\|x - \hat{x}\|_2^2$) enquanto impõe esparsidade via uma penalidade L1 ($\lambda \|f\|_1$), com $\lambda$ definido como $3 \times 10^{-3}$.
3. Localização e Anotação de Características:
   • Localização: As ativações são agregadas para gerar perfis em nível de sequência, permitindo a localização de conceitos em nível de nucleotídeo (por exemplo, hastes vs. alças) e em nível de família.
   • Alinhamento Biológico: As características são avaliadas contra dois conjuntos de dados:
     • bpRNA-90: Usado para mapear ativações para elementos precisos de estrutura secundária (Hastes, Alças, Loops internos, etc.) e motivos.
     • RNAcentral: Usado para testar se as características ativam preferencialmente dentro de famílias específicas de RNA não codificante (ncRNA) (por exemplo, tRNA, riboswitches, snoRNAs).
   • Anotação: Um pipeline de duas etapas é empregado. Primeiro, um LLM (GPT-5) é solicitado com estatísticas de ativação, trechos de exemplo (incluindo sequência e contexto estrutural) e uma lista de referência de motivos canônicos para gerar rótulos descritivos. Segundo, esses rótulos são verificados manualmente contra mapeamentos estruturais para características relacionadas a motivos primários.

Principais Resultados

• Alinhamento Estrutural: A análise revela que características esparsas específicas ativam consistentemente em contextos estruturais reconhecíveis. Por exemplo, certas características disparam predominantemente em regiões de "Haste" com sequências ricas em poli-G ou GC, enquanto outras ativam em alças de "Alça" com sequências de poli-A ou poli-U. Isso sugere que os embeddings do RiNALMo organizam informações de uma maneira que os SAEs podem desvendar em conceitos conscientes de estrutura.
• Evolução por Camada: Observa-se uma progressão distinta na esparsidade e seletividade das características através das camadas. A Camada 1 exibe ativações difusas e de baixa esparsidade. Em contraste, camadas mais profundas (a partir da Camada 18) mostram um aumento marcado na esparsidade e seletividade de tipo, onde a ativação se concentra em um pequeno subconjunto de canais específicos de certas famílias de RNA.
• Estabilidade das Características: O estudo identifica características que disparam em pelo menos 10 sequências distintas, filtrando eventos raros ou espúrios. No entanto, os autores observam que, embora os padrões sejam consistentes, eles não constituem uma descoberta definitiva de novos conceitos biológicos.

Significado e Alegações
Os autores enquadram o SAE-RNA não como um método para descoberta definitiva de conceitos biológicos, mas como uma sonda em nível de representação. Seu significado principal reside em:

• Fornecer um framework em nível de características para caracterizar como os modelos de linguagem de RNA organizam internamente informações biológicas.
• Demonstrar que decomposições de características esparsas podem alinhar-se com anotações biológicas humanas conhecidas (estruturas secundárias e famílias de ncRNA).
• Oferecer um caminho potencial para orientar o comportamento do modelo sem retreinamento custoso, identificando componentes esparsos específicos associados à identidade do RNA ou contexto estrutural.

Limitações e Modéstia
O artigo mantém explicitamente uma postura conservadora em relação às suas descobertas:

• Restrições de Validação: A interpretação das características depende fortemente de anotações existentes (bpRNA-90, RNAcentral). Sem validação ortogonal ou testes de perturbação, é difícil distinguir entre motivos biológicos significativos, características de sequência correlacionadas ou ruído de representação.
• Sensibilidade Metodológica: Os resultados são sensíveis a escolhas de hiperparâmetros (penalidade de esparsidade, limiares de ativação, seleção de camadas) e aos métodos de agregação específicos utilizados.
• Escala de Dados: O treinamento foi limitado a ~10.000 sequências devido a restrições computacionais, o que pode restringir a cobertura de famílias e motivos de RNA raros em comparação com a escalabilidade para milhões de sequências.
• Ruído em Sequências Longas: Distinguir sinais verdadeiros de motivos localizados de picos de ativação em sequências de RNA longas e de comprimento variável permanece um desafio não resolvido.

Consequentemente, os autores concluem que, embora a análise baseada em SAEs mostre promessa para interpretar LMs de RNA, as características ainda não são confiáveis o suficiente para servir como marcadores biológicos independentes ou ferramentas de descoberta até que questões relacionadas à estabilidade das características, normalização de comprimento e validação rigorosa sejam resolvidas.