SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations

Resumen Técnico: SAE-RNA

Problema y Motivación
Aunque los Modelos de Lenguaje Grandes (LLM) como RiNALMo han avanzado en la modelación del ARN al capturar diversas propiedades en sus representaciones, la organización interna de estas representaciones sigue siendo en gran medida opaca. Los métodos existentes de interpretabilidad, como SHAP e Integrated Gradients, atribuyen principalmente las salidas del modelo a los nucleótidos de entrada, pero no logran revelar los conceptos semánticos codificados dentro de los estados ocultos del modelo. Los autores postulan que comprender estas representaciones ocultas es crucial para alinear el comportamiento del modelo con la biología conocida y, potencialmente, descubrir patrones novedosos. Inspirados por el éxito de los Autoencoders Escasos (SAE) en el lenguaje natural y la modelación de proteínas (por ejemplo, Neuronpedia de Anthropic, InterPLM), este trabajo investiga si los SAE pueden descomponer las representaciones de modelos de lenguaje de ARN en características interpretables y escasas que correspondan a estructuras y familias biológicas.

Metodología: SAE-RNA
El marco propuesto, SAE-RNA, opera en tres etapas principales:

1. Extracción de Representaciones: Los autores utilizan RiNALMo, un modelo de lenguaje de ARN de 650 millones de parámetros entrenado en el conjunto de datos RNACentral. Se extraen estados ocultos de capas específicas del transformador (1, 9, 18, 24, 30, 33) para secuencias de RNACentral, resultando en matrices de representaciones a nivel de token ($L \times 1280$).
2. Entrenamiento del Autoencoder Escaso: Para cada capa seleccionada, se entrena un SAE sobredimensionado para mapear representaciones densas ($x \in \mathbb{R}^{1280}$) a un espacio de características escasas ($f \in \mathbb{R}^{10240}$). La arquitectura consiste en un codificador lineal con activación ReLU y un decodificador lineal con pesos desacoplados. El objetivo de entrenamiento minimiza el error de reconstrucción ($\|x - \hat{x}\|_2^2$) mientras impone escasez mediante una penalización L1 ($\lambda \|f\|_1$), con $\lambda$ establecido en $3 \times 10^{-3}$.
3. Localización y Anotación de Características:
   • Localización: Las activaciones se agregan para generar perfiles a nivel de secuencia, permitiendo la localización de conceptos a nivel de nucleótido (por ejemplo, tallos frente a bucles) y a nivel de familia.
   • Alineación Biológica: Las características se evalúan frente a dos conjuntos de datos:
     • bpRNA-90: Se utiliza para mapear las activaciones a elementos precisos de estructura secundaria (Tallos, Horquillas, Bucles internos, etc.) y motivos.
     • RNAcentral: Se utiliza para probar si las características se activan preferentemente dentro de familias específicas de ARN no codificante (ARNnc) (por ejemplo, ARNt, riboswitches, snoARN).
   • Anotación: Se emplea una tubería de dos pasos. Primero, se solicita a un LLM (GPT-5) que, con estadísticas de activación, ejemplos de fragmentos (incluyendo secuencia y contexto estructural) y una lista de referencia de motivos canónicos, genere etiquetas descriptivas. Segundo, estas etiquetas se verifican manualmente cruzándolas con los mapeos estructurales para las características relacionadas principalmente con motivos.

Resultados Clave

• Alineación Estructural: El análisis revela que características escasas específicas se activan consistentemente en contextos estructurales reconocibles. Por ejemplo, ciertas características se activan predominantemente en regiones de "Tallo" con secuencias ricas en poli-G o GC, mientras que otras se activan en bucles de "Horquilla" con secuencias poli-A o poli-U. Esto sugiere que las representaciones de RiNALMo organizan la información de una manera que los SAE pueden desentrañar en conceptos conscientes de la estructura.
• Evolución por Capas: Se observa una progresión distinta en la escasez y selectividad de las características a través de las capas. La Capa 1 exhibe activaciones difusas y de baja escasez. En contraste, las capas más profundas (desde la Capa 18 en adelante) muestran un aumento marcado en la escasez y la selectividad de tipo, donde la activación se concentra en un pequeño subconjunto de canales específicos de ciertas familias de ARN.
• Estabilidad de las Características: El estudio identifica características que se activan en al menos 10 secuencias distintas, filtrando eventos raros o espurios. Sin embargo, los autores señalan que, aunque los patrones son consistentes, no constituyen un descubrimiento definitivo de nuevos conceptos biológicos.

Significado y Afirmaciones
Los autores enmarcan SAE-RNA no como un método para el descubrimiento definitivo de conceptos biológicos, sino como una sonda a nivel de representación. Su significado principal radica en:

• Proporcionar un marco a nivel de características para caracterizar cómo los modelos de lenguaje de ARN organizan internamente la información biológica.
• Demostrar que las descomposiciones de características escasas pueden alinearse con anotaciones biológicas conocidas a nivel humano (estructuras secundarias y familias de ARNnc).
• Ofrecer una vía potencial para dirigir el comportamiento del modelo sin un reentrenamiento costoso, identificando componentes escasos específicos asociados con la identidad del ARN o el contexto estructural.

Limitaciones y Modestia
El artículo mantiene explícitamente una postura conservadora respecto a sus hallazgos:

• Restricciones de Validación: La interpretación de las características depende en gran medida de las anotaciones existentes (bpRNA-90, RNAcentral). Sin validación ortogonal o pruebas de perturbación, es difícil distinguir entre motivos biológicos significativos, características de secuencia correlacionadas o ruido de representación.
• Sensibilidad Metodológica: Los resultados son sensibles a las elecciones de hiperparámetros (penalización de escasez, umbrales de activación, selección de capas) y a los métodos de agregación específicos utilizados.
• Escala de Datos: El entrenamiento se limitó a aproximadamente 10.000 secuencias debido a restricciones computacionales, lo que puede limitar la cobertura de familias y motivos de ARN raros en comparación con la escalabilidad a millones de secuencias.
• Ruido en Secuencias Largas: Distinguir señales de motivos localizados verdaderos de picos de activación en secuencias de ARN largas y de longitud variable sigue siendo un desafío no resuelto.

En consecuencia, los autores concluyen que, si bien el análisis basado en SAE muestra promesa para interpretar los LLM de ARN, las características aún no son lo suficientemente confiables para servir como marcadores biológicos o herramientas de descubrimiento independientes hasta que se resuelvan problemas relacionados con la estabilidad de las características, la normalización de la longitud y la validación rigurosa.