Résumé technique : La taille n'a pas d'importance : Autoencodeurs creux à score cosinus

1. Énoncé du problème

Les autoencodeurs creux (Sparse Autoencoders ou SAE) sont des outils standards pour l'interprétabilité mécaniste, conçus pour décomposer les activations de modèles en un dictionnaire de caractéristiques interprétables par l'humain. Les SAE standards détectent les caractéristiques via un score de produit scalaire, $\langle w_i, x \rangle$, qui dépend à la fois de l'alignement directionnel de l'entrée $x$ et de la magnitude de l'entrée $\|x\|$.

Cette géométrie de score est fondamentalement en décalage avec les architectures de transformeurs modernes qui utilisent la normalisation pré-sous-couche (spécifiquement RMSNorm). Dans ces modèles, la sous-couche lit l'activation normalisée $x/\|x\|$, écartant ainsi l'information de magnitude avant le calcul. Cependant, l'encodeur du SAE, accroché au flux résiduel, observe toujours la magnitude complète. Par conséquent, le score de produit scalaire confond l'alignement du contenu avec la norme du jeton (token).

Sous la sélection BatchTopK (le mécanisme de parcimonie standard), ce décalage crée une pression de sélection pathologique : les jetons à haute norme gonflent les pré-activations pour toutes les caractéristiques simultanément, indépendamment de leur alignement directionnel. Ces jetons accaparent de manière disproportionnée les emplacements du dictionnaire, poussant le SAE à apprendre des « détecteurs de norme » (des caractéristiques qui s'activent en fonction de la magnitude du jeton) plutôt que des « détecteurs de contenu ». Cela aboutit à des dictionnaires dominés par des caractéristiques qui encodent une quantité que le modèle lui-même ignore, compromettant la fiabilité du sondage parcimonieux, de la direction de caractéristiques (feature steering) et de l'analyse de circuits.

2. Méthodologie

Les auteurs proposent de remplacer le score d'encodeur standard par un score cosinus à exposant appris. Le nouveau score de pré-activation $s_i(x)$ est défini comme suit :

$$s_i(x) = e^b \|x_c\|^a \cdot \cos(x_c, w_i) + b_{enc,i}$$

Où :

• $x_c = x - b_{dec}$ est l'entrée centrée sur le biais du décodeur.
• $w_i$ sont les lignes de l'encodeur normalisées en unité.
• $a$ est un exposant apprenable contrôlant la dépendance à la magnitude de l'entrée.
• $b$ est un paramètre d'échelle apprenable.
• Le terme $e^b \|x_c\|^a$ interpole entre la similitude cosinus pure ($a=0$) et le produit scalaire ($a=1$).

L'article étudie deux régimes de paramètres :

1. $a$ Global : Un exposant scalaire unique partagé par toutes les caractéristiques.
2. $a_i$ par caractéristique : Une extension où chaque caractéristique apprend son propre exposant ($a_i = a_{base} + \delta_i$), permettant une hétérogénéité dans la dépendance à la norme.

Choix de conception clés :

• Normalisation en unité : Les lignes de l'encodeur sont normalisées en unité à chaque passage direct (forward pass) pour garantir que le score est une véritable similitude cosinus lorsque $a=0$.
• Initialisation : $a$ est initialisé à 0 (cosinus pur) et $b$ à $\log \sqrt{d_{model}}$.
• Stabilité : Pour éviter les cascades de type « gagnant rafle tout » où les caractéristiques ayant des gradients initiaux légèrement plus élevés augmentent leurs exposants pour dominer les jetons à haute norme, la variante par caractéristique utilise une paramétrisation base+delta ($a_i = a_{base} + \delta_i$). Cela ancre l'échelle globale tout en permettant des décalages individuels.

3. Contributions clés

Architecture

L'article introduit les SAE à score cosinus, un remplacement direct (drop-in replacement) pour l'encodeur standard qui supprime l'hypothèse par défaut selon laquelle la magnitude est un signal utile pour la détection de caractéristiques. En permettant à l'optimiseur d'apprendre l'exposant de dépendance à la norme $a$, l'architecture peut récupérer le produit scalaire si la magnitude est réellement utile, mais privilégie par défaut le scoring de direction uniquement.

Résultats empiriques

Les expériences sur Qwen3-8B (Couche 18, 500M de tokens) et Gemma-2-2B démontrent que les SAE à score cosinus atteignent :

• Reconstruction appariée : La fraction de variance expliquée (FVE) et la préservation du comportement du modèle (scores KL/CE) sont statistiquement indiscernables des SAE standards.
• Gains d'interprétabilité significatifs : À FVE égale, la variante cosinus par caractéristique améliore la précision du sondage parcimonieux top-1 de +14,9 % sur huit jeux de données SAEBench.
• Découverte de caractéristiques : L'amélioration ne provient pas d'un meilleur encodage des caractéristiques partagées, mais de la découverte de nouvelles caractéristiques interprétables. Les SAE standards échouent à apprendre ces caractéristiques car leurs emplacements de dictionnaire sont occupés par des détecteurs de norme.
• Géométrie apprise : L'entraînement conduit systématiquement l'exposant appris $a$ vers zéro. Dans le régime global, $a \approx 0,26$ ; dans le régime par caractéristique, la moyenne $a_i \approx 0,08$. Aucune caractéristique n'approche jamais la limite du produit scalaire ($a=1$), confirmant que la direction, et non la magnitude, est le signal utile.

Identification du mécanisme

L'article isole la cause de l'échec du SAE standard : la sélection TopK lors de l'inflation de la norme lors du passage direct (forward pass).

• Le repondérage des gradients échoue : Les tentatives pour égaliser les magnitudes de gradient entre les quartiles de norme dans le SAE standard (via un repondérage de la perte) ne comblent que 1,9 à 6,8 % de l'écart de performance. Cela confirme que le problème est la géométrie de sélection (quelles caractéristiques gagnent la compétition TopK), et non le flux de gradient lors de la rétropropagation (backward-pass).
• Caractéristiques conditionnées par la norme : Les SAE standards allouent la majorité de leur capacité à des caractéristiques qui s'activent massivement sur les jetons à haute norme (86 % des activations dans le quartile supérieur). Ces caractéristiques encodent la magnitude, pas le contenu.
• Pathologie de reconstruction : Sur les jetons à haute norme, les SAE standards reconstruisent avec une norme de sortie 9,5 fois plus grande que l'entrée, tandis que les SAE cosinus maintiennent un ratio de 1 $\times$, s'alignant sur la lecture réelle du modèle.

4. Signification et affirmations

L'article soutient que le scoring cosinus devrait être le standard pour l'apprentissage de dictionnaire sur des représentations normalisées. Le mode de défaillance identifié — où les SAE par produit scalaire comptent systématiquement sous les caractéristiques de contenu au profit des détecteurs de norme — affecte probablement tout SAE entraîné sur des sites post-RMSNorm.

• Impact pratique : La modification proposée est une modification architecturale minimale (ajout d'un ou deux paramètres scalaires) qui produit des dictionnaires plus interprétables sans coût de reconstruction.
• Portée et limites :
  • L'avantage est plus prononcé sous RMSNorm. Sur les modèles utilisant LayerNorm (ex: Pythia, Falcon), le bénéfice diminue ou disparaît dans les couches profondes, suggérant que la soustraction de la moyenne de LayerNorm préserve une structure corrélée à la magnitude que le scoring par produit scalaire peut exploiter.
  • Le sentiment est la seule tâche où le SAE standard surpasse la variante cosinus, ce qui est cohérent avec l'hypothèse selon laquelle la magnitude porte un signal pertinent pour la tâche dans l'analyse de sentiment.
  • Les résultats sont robustes à travers les couches et les modèles mais ne sont pas universels ; l'ampleur du gain varie avec la dimension et la profondeur du modèle.

Les auteurs concluent que le principe « la taille n'a pas d'importance » prévaut : pour les représentations normalisées, la magnitude de l'activation est un bruit pour la détection de caractéristiques, et la géométrie du score de l'encodeur doit refléter cela pour récupérer des concepts significatifs et reconnaissables par l'humain.