SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations

Résumé Technique : SAE-RNA

Problème et Motivation
Bien que les modèles de langage à grande échelle (LLM) comme RiNALMo aient fait progresser la modélisation de l'ARN en capturant des propriétés diverses dans leurs représentations, l'organisation interne de ces représentations reste largement opaque. Les méthodes d'interprétabilité existantes, telles que SHAP et les gradients intégrés, attribuent principalement les sorties du modèle aux nucléotides d'entrée, mais échouent à révéler les concepts sémantiques encodés au sein des états cachés du modèle. Les auteurs postulent que la compréhension de ces représentations cachées est cruciale pour aligner le comportement du modèle sur la biologie connue et potentiellement découvrir de nouveaux motifs. Inspirés par le succès des autoencodeurs parcimonieux (SAE) dans le langage naturel et la modélisation des protéines (par exemple, Neuronpedia d'Anthropic, InterPLM), ce travail examine si les SAE peuvent décomposer les représentations des modèles de langage d'ARN en caractéristiques interprétables et parcimonieuses correspondant à des structures et des familles biologiques.

Méthodologie : SAE-RNA
Le cadre proposé, SAE-RNA, fonctionne en trois étapes principales :

1. Extraction des représentations : Les auteurs utilisent RiNALMo, un modèle de langage d'ARN de 650 millions de paramètres entraîné sur l'ensemble de données RNACentral. Les états cachés sont extraits de couches spécifiques du transformateur (1, 9, 18, 24, 30, 33) pour des séquences issues de RNACentral, aboutissant à des matrices d'encodage au niveau des tokens ($L \times 1280$).
2. Entraînement de l'autoencodeur parcimonieux : Pour chaque couche sélectionnée, un SAE surcomplet est entraîné pour mapper des représentations denses ($x \in \mathbb{R}^{1280}$) vers un espace de caractéristiques parcimonieux ($f \in \mathbb{R}^{10240}$). L'architecture se compose d'un encodeur linéaire avec activation ReLU et d'un décodeur linéaire avec des poids non liés. L'objectif d'entraînement minimise l'erreur de reconstruction ($\|x - \hat{x}\|_2^2$) tout en imposant la parcimonie via une pénalité L1 ($\lambda \|f\|_1$), avec $\lambda$ fixé à $3 \times 10^{-3}$.
3. Localisation et annotation des caractéristiques :
   • Localisation : Les activations sont agrégées pour générer des profils au niveau de la séquence, permettant la localisation des concepts au niveau des nucléotides (par exemple, tiges versus boucles) et au niveau des familles.
   • Alignement biologique : Les caractéristiques sont évaluées par rapport à deux ensembles de données :
     • bpRNA-90 : Utilisé pour mapper les activations à des éléments précis de la structure secondaire (Tiges, Boucles en épingle à cheveux, Boucles internes, etc.) et à des motifs.
     • RNAcentral : Utilisé pour tester si les caractéristiques s'activent préférentiellement au sein de familles spécifiques d'ARN non codants (ARNnc) (par exemple, ARNt, riboswitches, snoARN).
   • Annotation : Un pipeline en deux étapes est employé. Premièrement, un LLM (GPT-5) est sollicité avec des statistiques d'activation, des segments d'exemple (incluant la séquence et le contexte structurel), et une liste de référence de motifs canoniques pour générer des étiquettes descriptives. Deuxièmement, ces étiquettes sont vérifiées manuellement par recoupement avec les mappages structurels pour les caractéristiques liées aux motifs principaux.

Résultats Clés

• Alignement structurel : L'analyse révèle que des caractéristiques parcimonieuses spécifiques s'activent de manière cohérente dans des contextes structurels reconnaissables. Par exemple, certaines caractéristiques s'activent principalement sur des régions de « Tige » avec des séquences riches en poly-G ou en GC, tandis que d'autres s'activent sur des boucles de « Boucle en épingle à cheveux » avec des séquences de poly-A ou de poly-U. Cela suggère que les représentations de RiNALMo organisent l'information d'une manière que les SAE peuvent démêler en concepts conscients de la structure.
• Évolution par couche : Une progression distincte de la parcimonie et de la sélectivité des caractéristiques est observée à travers les couches. La couche 1 présente des activations diffuses et de faible parcimonie. En revanche, les couches plus profondes (à partir de la couche 18) montrent une augmentation marquée de la parcimonie et de la sélectivité de type, où l'activation se concentre sur un petit sous-ensemble de canaux spécifiques à certaines familles d'ARN.
• Stabilité des caractéristiques : L'étude identifie des caractéristiques qui s'activent sur au moins 10 séquences distinctes, filtrant ainsi les événements rares ou erronés. Cependant, les auteurs notent que, bien que les motifs soient cohérents, ils ne constituent pas une découverte définitive de nouveaux concepts biologiques.

Signification et Affirmations
Les auteurs présentent SAE-RNA non pas comme une méthode pour la découverte définitive de concepts biologiques, mais comme une sonde au niveau de la représentation. Sa signification principale réside dans :

• La fourniture d'un cadre au niveau des caractéristiques pour caractériser la manière dont les modèles de langage d'ARN organisent internement l'information biologique.
• La démonstration que les décompositions de caractéristiques parcimonieuses peuvent s'aligner sur des annotations biologiques connues au niveau humain (structures secondaires et familles d'ARNnc).
• L'offre d'une voie potentielle pour orienter le comportement du modèle sans réentraînement coûteux en identifiant des composants parcimonieux spécifiques associés à l'identité de l'ARN ou au contexte structurel.

Limites et Modestie
L'article maintient explicitement une position conservatrice concernant ses résultats :

• Contraintes de validation : L'interprétation des caractéristiques repose fortement sur les annotations existantes (bpRNA-90, RNAcentral). Sans validation orthogonale ou tests de perturbation, il est difficile de distinguer entre des motifs biologiques significatifs, des caractéristiques de séquence corrélées ou du bruit de représentation.
• Sensibilité méthodologique : Les résultats sont sensibles aux choix d'hyperparamètres (pénalité de parcimonie, seuils d'activation, sélection de couches) et aux méthodes d'agrégation spécifiques utilisées.
• Échelle des données : L'entraînement a été limité à environ 10 000 séquences en raison de contraintes computationnelles, ce qui peut restreindre la couverture des familles et motifs d'ARN rares par rapport à une mise à l'échelle vers des millions de séquences.
• Bruit dans les longues séquences : La distinction entre de vrais signaux de motifs localisés et des pics d'activation dans de longues séquences d'ARN de longueur variable reste un défi non résolu.

Par conséquent, les auteurs concluent que, bien que l'analyse basée sur les SAE montre des promesses pour l'interprétation des LLM d'ARN, les caractéristiques ne sont pas encore assez fiables pour servir de marqueurs biologiques autonomes ou d'outils de découverte tant que les problèmes relatifs à la stabilité des caractéristiques, à la normalisation de la longueur et à la validation rigoureuse ne seront pas résolus.