🤖 machine learning

Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders

Cet article démontre que si les caractéristiques individuelles des auto-encodeurs clairsemés manquent souvent de reproductibilité selon les graines d'entraînement, elles forment collectivement des sous-espaces de faible dimension stables et reproductibles où les caractéristiques stables pilotent l'utilité fonctionnelle et les caractéristiques instables ne reflètent que l'ambiguïté de la base plutôt que du bruit.

Auteurs originaux : Gleb Gerasimov, Timofei Rusalev, Nikita Balagansky, Daniil Laptev, Vadim Kurochkin, Daniil Gavrilov

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gleb Gerasimov, Timofei Rusalev, Nikita Balagansky, Daniil Laptev, Vadim Kurochkin, Daniil Gavrilov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment une machine géante et complexe (comme une IA moderne) réfléchit. Pour ce faire, les chercheurs utilisent un outil appelé Auto-encodeur Creux (Sparse Autoencoder ou SAE). Considérez le SAE comme un traducteur qui tente de décomposer les pensées internes de l'IA en une liste de « caractéristiques » ou de « concepts » simples et lisibles par l'humain (comme « cette phrase parle d'un chat » ou « ce mot est écrit en majuscules »).

Cependant, il y a un problème : si vous utilisez ce traducteur deux fois avec des conditions de départ légèrement différentes (comme lancer des dés pour choisir le point de départ), vous obtenez souvent une liste de caractéristiques différente à chaque fois. Certaines caractéristiques apparaissent dans les deux listes, mais beaucoup d'autres semblent s'évanouir ou changer complètement. Cela rend la traduction difficile à accorder.

Cette recherche étudie pourquoi cela se produit et ce que cela signifie. Voici la décomposition en termes simples :

1. La découverte des « Deux types de caractéristiques »

Les chercheurs ont découvert que les caractéristiques que l'IA apprend se divisent en deux camps distincts, comme deux types d'élèves différents dans une salle de classe :

Les « Étudiants Stables » (Les Fiables) :
- Ce qu'ils font : Ces caractéristiques apparaissent dans presque toutes les versions du traducteur. Ce sont les piliers. Elles portent l'information la plus importante pour comprendre les pensées de l'IA et prédire ce qui vient ensuite.
- De quoi ils parlent : Elles expliquent de grandes idées, des règles de grammaire et des phrases significatives (ex : « ceci est une question », « ceci est un nom », « ceci décrit un sentiment »).
- Analogie : Imaginez un présentateur de journal télévisé. Peu importe l'angle de la caméra utilisé, le présentateur est toujours là, livrant l'information principale.
Les « Étudiants Instables » (Les Caméléons) :
- Ce qu'ils font : Ils sont changeants. Si vous relancez le traducteur, ils disparaissent souvent ou sont remplacés par autre chose. Ils ne portent pas grand-chose d'important en eux-mêmes.
- De quoi ils parlent : Ils se concentrent sur des détails minuscules et superficiels. Ils se déclenchent sur des signes de ponctuation spécifiques, des majuscules étranges ou de courtes combinaisons de lettres (ex : « des mots commençant par 'T' suivi d'une majuscule »).
- Analogie : Imaginez un élève qui ne lève la main que lorsque le professeur porte un chapeau rouge. Si le professeur porte un chapeer bleu, l'élève reste silencieux. Il ne réagit pas à la leçon ; il réagit à un détail aléatoire.

2. La théorie du « Group Hug » (Sous-espaces)

Vous pourriez penser que les « Étudiants Instables » ne sont que du bruit aléatoire ou des erreurs. L'article soutient qu'ils ne sont pas juste du bruit.

La découverte : Même si les caractéristiques instables individuelles changent sans cesse, elles ont tendance à se regrouper ensemble dans un « groupe » ou sous-espace spécifique plus petit.
L'analogie : Imaginez une piste de danse. Les caractères « Stables » sont les danseurs principaux qui exécutent la chorégraphie. Les caractères « Instables » sont un groupe de personnes qui changent de partenaire et de mouvements à chaque fois que la musique redémarre. Cependant, ils dansent toujours dans le même coin de la pièce.
Ce que cela signifie : L'IA sait qu'il existe un « coin » spécifique d'informations à apprendre (comme un certain type de motif de ponctuation), mais elle n'arrive pas à se mettre d'accord sur quelle caractéristique spécifique doit représenter ce concept. C'est un désaccord sur la base, pas sur l'existence du concept.

3. La « Preuve Synthétique »

Pour prouver cela, les chercheurs ont construit un faux modèle d'IA simplifié (un « modèle jouet ») dont ils connaissaient exactement le fonctionnement.

Ils ont créé une situation où la « vérité » était un groupe de faible dimension (un petit coin de la piste de danse).
Résultat : L'IA a réussi à apprendre le groupe (le coin), mais elle a continué à échanger les danseurs individuels (les caractéristiques) à chaque fois qu'elle redémarrait. Cela a confirmé que l'instabilité est un résultat naturel de la façon dont l'IA tente d'organiser l'information partagée, et non un simple bug.

4. La Solution : Le Pool « Le Meilleur des Deux Mondes »

L'article propose une manière ingénieuse de corriger l'instabilité sans perdre la qualité de la traduction.

La méthode : Au lieu d'entraîner un seul traducteur en espérant avoir de la chance, ils ont entraîné de nombreux traducteurs avec des points de départ différents. Ensuite, ils ont pris les caractéristiques « Stables » de tous ces traducteurs et les ont combinées en un seul Dictionnaire Maître.
Le résultat : Ce nouveau Dictionnaire Maître était beaucoup plus stable (il ne changeait pas autant entre les sessions) et était tout aussi efficace pour expliquer les pensées de l'IA que les originaux instables.
L'idée à retenir : Vous n'avez pas à choisir entre un dictionnaire stable et un bon dictionnaire. En regroupant les caractéristiques les plus fiables de nombreuses tentatives, vous obtenez les deux.

Résumé

Les caractéristiques instables ne sont pas simplement cassées ; ce sont des motifs réels mais fragiles que l'IA peine à fixer sur une étiquette unique.
Les caractéristiques stables sont les concepts fondamentaux et significatifs.
L'instabilité provient du fait que l'IA possède de nombreuses façons de décrire le même petit groupe de motifs, ce qui conduit à une « ambiguïté de base » (un désaccord sur l'étiquette, pas sur le concept).
La solution : Combiner les meilleures caractéristiques les plus fiables de plusieurs sessions d'entraînement pour construire un traducteur plus fort et plus cohérent.

Résumé technique : Caractéristiques instables, sous-espaces reproductibles

Énoncé du problème

Les auto-encodeurs creux (Sparse Autoencoders ou SAE) sont un outil principal de l'interprétabilité mécaniste, visant à décomposer les activations des réseaux de neurones en caractéristiques creuses et interprétables par l'humain. Cependant, une limitation critique est la dépendance à la graine aléatoire (seed dependence) : les SAE entraînés sur des données et des hyperparamètres identiques, mais avec des graines différentes, apprennent souvent des ensembles de caractéristiques sensiblement différents. Cela soulève une question fondamentale : lorsqu'une caractéristique spécifique ne réapparaît pas lors d'un nouvel entraînement, la direction sous-jacente est-elle absente du nouveau dictionnaire, ou l'SAE a-t-il simplement appris une base différente pour la même région de l'espace d'activation ? Distinguer ces deux possibilités est vital car les méthodes d'interprétation automatique peuvent attribuer des explications plausibles à des caractéristiques même dans des contextes non canoniques ou aléatoires, ce qui signifie qu'une caractéristique "d'apparence interprétable" peut ne pas être une unité d'analyse reproductible.

Méthodologie

Les auteurs étudient ce problème à travers la stabilité des caractéristiques, définie comme la probabilité qu'une caractéristique réapparaisse dans un SAE entraîné indépendamment selon une règle de correspondance par similitude cosinus.

Estimation de la stabilité : Les auteurs entraînent $N+1$ SAE sur des données identiques avec des graines différentes. Une exécution sert d'ancre. Pour chaque caractéristique de l'ancre, ils comptent combien d'autres exécutions contiennent une caractéristique avec une similitude cosinus $\ge \theta$ (par défaut $\theta=0,7$ ). Cela produit une probabilité de réapparition empirique $\hat{p}_i$ pour chaque caractéristique.
Classification : Les caractéristiques sont catégorisées comme stables ( $\hat{p} \ge 1-\epsilon$ ) ou instables ( $\hat{p} \le \epsilon$ ), avec $\epsilon=0,05$ .
Analyse comparative : Les caractéristiques stables et instables sont comparées à travers plusieurs dimensions :
- Impact fonctionnel : Mesuré via la qualité de reconstruction (Variance Expliquée) et la perte du prochain jeton (next-token loss) en utilisant le patch d'activation.
- Statistiques d'activation : Fréquence et magnitude d'activation.
- Structure des jetons : Entropie des jetons (diversité des jetons déclenchant la caractéristique).
- Interprétation automatique : Analyse des explications générées par SAEBench.
Analyse géométrique : Les auteurs analysent la géométrie de l'espace du décodeur, calculant le rang effectif des sous-espaces engendrés par les caractéristiques stables versus instables et testant la reproductibilité inter-graines de ces sous-espaces en utilisant la décomposition en valeurs singulières (SVD) et des classifieurs de régression logistique.
Validation synthétique : Un modèle synthétique de faible rang contrôlé est construit où des caractéristiques de vérité terrain existent dans un sous-espace de faible rang partagé. Des SAE sont entraînés sur ces données pour vérifier si l'ambiguïté de la base dépendante de la graine au sein d'un sous-espace partagé peut reproduire les modèles d'instabilité observés.
Regroupement de caractéristiques (Feature Pooling) : Pour tester si la stabilité peut être améliorée sans sacrifier la qualité de reconstruction, les auteurs construisent de nouveaux SAE en regroupant les caractéristiques uniques provenant de plusieurs exécutions indépendantes, en sélectionnant celles ayant les probabilités de réapparition les plus élevées.

Résultats clés

1. Asymétrie fonctionnelle

Il existe une asymétrie fonctionnelle prononcée entre les caractéristiques stables et instables :

Caractéristiques stables : Portent la majorité du signal pertinent pour la reconstruction et la prédiction. Elles présentent des fréquences d'activation plus élevées, des queues de distribution à haute magnitude plus lourdes, et une entropie de jeton plus élevée (couvrant des motifs lexicaux et conceptuels plus larges).
Caractéristiques instables : Ont un impact marginal faible. Le masquage d'un grand nombre de caractéristiques instables provoque une dégradation de la qualité de reconstruction et de la perte du prochain jeton très légère, tandis que le masquage de beaucoup moins de caractéristiques stables provoque une dégradation substantielle. Elles sont dominées par des déclencheurs de formes de surface à faible fréquence (ex: ponctuation, sous-chaînes spécifiques, motifs de capitalisation) et ont une entropie de jeton plus faible.

2. Structure géométrique : Sous-espaces reproductibles

Bien que les caractéristiques individuelles instables soient non reproductibles entre les graines, elles ne sont pas du bruit pur.

Concentration de faible rang : Les caractéristiques instables se concentrent dans des sous-espaces de dimension inférieure par rapport aux caractéristiques stables (réduction du rang effectif de ~20–27 %).
Reproductibilité des sous-espaces : Bien que les vecteurs de base spécifiques (caractéristiques individuelles) changent entre les graines, les sous-espaces qu'ils engendrent sont hautement reproductibles. Un classifieur entraîné à distinguer les caractéristiques instables d'une graine se transfère efficacement aux autres graines, et les principaux sous-espaces singuliers d'une graine approximent précisément ceux des autres.
Confirmation synthétique : Le modèle synthétique de faible rang confirme ce mécanisme : les caractéristiques de vérité terrain de faible rang sont récupérées au niveau du sous-espace mais échouent à s'aligner comme latents individuels entre les graines en raison de l'ambiguïté de la base au sein de la région partagée.

3. Construction de SAE stables

En regroupant les caractéristiques uniques de plusieurs exécutions indépendantes et en sélectionnant celles ayant les probabilités de réapparition les plus élevées, les auteurs construisent des SAE "robustes aux graines".

Ces SAE construits récupèrent une Variance Expliquée (EV) proche de la ligne de base après un bref ajustement.
Crucialement, cette approche démontre que la stabilité et la qualité de reconstruction ne sont pas nécessairement en compromis dans ce cadre de construction ; une haute stabilité coïncide avec une EV élevée.
Ces SAE regroupés restent compétitifs par rapport aux mesures d'interprétabilité de SAEBench des modèles TopK SAE standards.

4. Robustesse et bases de référence

Échelle d'entraînement : Augmenter le nombre de jetons d'entraînement réduit l'instabilité initialement mais approche un plateau non nul (~8 % de caractéristiques instables), indiquant que l'instabilité n'est pas simplement le résultat d'un sous-entraînement.
Modèles aléatoires : Lorsque des SAE sont entraînés sur des activations d'un transformeur initialisé aléatoirement (une base de référence "dead-salmon"), la fraction stable s'effondre et l'instabilité domine. Cela confirme que les caractéristiques stables dans les modèles entraînés reflètent une structure réelle, et non de simples artefacts de l'objectif du SAE.
Variantes de SAE : Différents mécanismes de parcimonie (TopK, BatchTopK, JumpReLU, Vanilla) montrent des degrés variables de stabilité, mais la distribution bimodale des caractéristiques stables/instables persiste à travers la plupart des variantes.

Signification et affirmations

L'article soutient que les caractéristiques instables dans les SAE ne sont pas simplement des latents défaillants ou bruités. Au contraire, elles reflètent une structure de faible dimension reproductible au sein de l'espace d'activation que les SAE standards résolvent différemment selon les graines en raison de l'ambiguïté de la base.

Implications pour l'interprétabilité : L'existence de caractéristiques instables suggère qu'un dictionnaire SAE unique peut occulter une structure importante inter-graines. Cependant, cette structure est récupérable.
Contribution méthodologique : Les auteurs proposent que le regroupement des caractéristiques à haute probabilité à travers les exécutions est une stratégie viable pour construire des SAE plus stables sans sacrifier la qualité de reconstruction ou la performance d'interprétabilité en aval.
Aperçu théorique : Ce travail clarifie que la dépendance à la graine reflète souvent des choix de base différents au sein d'une région partagée de l'espace d'activation plutôt que l'absence de structure partagée. Cette distinction est cruciale pour comprendre les limites de l'interprétabilité au niveau des caractéristiques et le potentiel de récupération de caractéristiques individuelles identifiables au sein de sous-espaces reproductibles.

Les auteurs restent modestes, notant que leur analyse de faible rang fournit des preuves pour un mécanisme spécifique de dépendance à la graine mais ne prouve pas que chaque caractéristique instable dans les vrais LLM est produite uniquement par ce mécanisme. De plus, l'absence de compromis stabilité-EV est spécifique à la méthode de construction par regroupement de caractéristiques, et n'est pas nécessairement une propriété d'un objectif d'entraînement de SAE unique.