Résumé Technique : Sur la relation entre les valeurs aberrantes d'activation et la mort des caractéristiques dans les autoencodeurs creux

1. Énoncé du problème

Les autoencodeurs creux (Sparse Autoencoders ou SAE) sont conçus pour décomposer les activations des réseaux de neurones en caractéristiques interprétables et creuses afin d'inverser le phénomène de superposition (où les réseaux encodent plus de concepts que de dimensions en chevauchant les directions). Cependant, un mode de défaillance critique connu sous le nom de mort des caractéristiques (feature death) se produit lorsque des caractéristiques du dictionnaire apprises ne s'activent sur aucune entrée. Cela gaspille la capacité du dictionnaire et force les caractéristiques survivantes à compenser, ce qui peut réintroduire la superposition.

Le papier identifie une incohérence significative dans les performances des SAE : des configurations de SAE identiques produisent presque zéro caractéristique morte sur des modèles comme GPT-2, mais plus de 70 % de caractéristiques mortes sur des modèles comme AlphaFold3. Les techniques de réveil existantes (ex: AuxK, gradients fantômes, rééchantillonnage) traitent la mort des caractéristiques comme un problème de dynamique d'entraînement, tentant d'injecter des signaux de gradient dans les caractéristiques bloquées. Cependant, ces méthodes ne parviennent pas à résoudre les taux de mortalité dans les cas les plus sévères, suggérant que la cause profonde ne réside pas dans la dynamique d'entraînement, mais dans l'état d'initialisation des activations.

2. Méthodologie et cadre théorique

2.1 Valeurs aberrantes d'activation au niveau de la dimension

Les auteurs proposent que les valeurs aberrantes d'activation au niveau de la dimension sont la cause principale de la mort des caractéristiques. Contra-ablement aux valeurs aberrantes par jeton (pics dans des entrées spécifiques), il s'agit de dimensions où l'amplitude de l'activation moyenne ($\mu$) est grande par rapport à l'écart-type par jeton ($\sigma$). Cela crée un décalage quasi constant à travers toutes les entrées.

Les auteurs formalisent la sévérité de l'anomalie par le ratio :
$$\gamma = \frac{\|\mu\|}{\|\sigma\|}$$
où $\mu$ est le vecteur d'activation moyenne et $\sigma$ est le vecteur d'écart-type par jeton.

2.2 Mécanisme géométrique de la mort

À l'initialisation (avec des biais nuls), la pré-activation pour la caractéristique $i$ est $z_i = w_i \cdot x$. En décomposant l'entrée $x$ en sa moyenne et sa variation ($x = \mu + (x - \mu)$), la pré-activation devient :
$$z_i = \underbrace{w_i \cdot \mu}_{\text{décalage constant}} + \underbrace{w_i \cdot (x - \mu)}_{\text{signal dépendant de l'entrée}}$$

Lorsque $\gamma$ est élevé, le décalage constant domine le signal. Cela conduit à deux modes de défaillance distincts à l'initialisation :

1. Mort par ReLU (Dead-by-ReLU) : Les caractéristiques dont les poids sont anti-alignés avec $\mu$ ($w_i \cdot \mu \ll 0$) reçoivent des pré-activations perpétuellement négatives. Comme la fonction ReLU produit zéro pour les valeurs négatives, ces caractéristiques ne s'activent jamais et ne reçoivent aucun gradient.
2. Mort par TopK (Dead-by-TopK) : Dans les SAE TopK, les caractéristiques présentant des décalages positifs modérés peuvent passer la ReLU mais perdent la compétition face aux caractéristiques ayant des décalages positifs importants. Seules les $k$ caractéristiques les plus alignées avec $\mu$ gagnent la sélection TopK, laissant les autres mortes.

2.3 Dérivation analytique

Le papier dérive des expressions à forme fermée pour la probabilité de mort des caractéristiques basée uniquement sur $\gamma$ :

• Mort par ReLU : $P(\text{mort}) = \Phi\left(\frac{-C}{\gamma}\right)$, où $\Phi$ est la fonction de répartition de la loi normale standard et $C$ dépend du nombre d'échantillons d'évaluation.
• Mort par TopK : $P(\text{mort}) \approx \Phi\left(\frac{t_k - C}{\gamma}\right)$, où $t_k$ est le quantile correspondant au seuil TopK.

Ces formules prédisent qu'à mesure que $\gamma$ augmente, le taux de mortalité augmente de manière monotone, approchant 50 % pour ReLU et $1 - k/n$ pour TopK aux sévérités extrêmes.

2.4 Protocole expérimental

Les auteurs valident ces affirmations à travers 454 combinaisons modèle-couche couvrant des modèles de langage, de vision, de protéines et génomiques. Ils :

• Calculent $\gamma$ sur des activations réelles (en utilisant la LayerNorm par jeton).
• Entraînent des SAE avec et sans pertes auxiliaires (AuxK).
• Réalisent des expériences synthétiques où $\gamma$ est contrôlé pour isoler la causalité.
• Testent le centrage de la moyenne (soustraire $\mu$ des entrées ou initialiser le biais à $\mu$) comme stratégie d'atténuation.

3. Principales contributions

1. Diagnostic de la sévérité de l'anomalie ($\gamma$) : Les auteurs dérivent $\gamma$ à partir de premiers principes, montrant qu'il détermine analytiquement la fraction de caractéristiques mortes à l'initialisation. Ce diagnostic présente une forte corrélation avec les taux de mortalité observés à travers divers modèles (coefficient de Spearman $\rho = 0,89$ pour TopK, $\rho = 0,82$ pour ReLU) sans aucun ajustement.
2. Cause géométrique de la mort : Le papier établit que la mort des caractéristiques dans les modèles à haut $\gamma$ est un problème de géométrie d'initialisation, et non un problème de dynamique d'entraînement. La moyenne d'activation crée des décalages de pré-activation indépendants de l'entrée qui prédéterminent le sort des caractéristiques avant même le début de l'entraînement.
3. Analyse de la dynamique de réveil : Les auteurs caractérisent deux voies de réveil distinctes :
   • Rapide : Les caractéristiques mortes par TopK revivent à mesure que les caractéristiques concurrentes rétrécissent pendant l'entraînement.
   • Lente : Les caractéristiques mortes par ReLU ne revivent que lorsque le biais du SAE apprend lentement à absorber le décalage de la moyenne $\mu$. Ce processus est extrêmement lent à haut $\gamma$, expliquant pourquoi l'entraînement seul échoue souvent à récupérer les caractéristiques.
4. Validation via le centrage de la moyenne : Le papier démontre qu'initialiser le biais du SAE à la moyenne de l'activation (ce qui revient à centrer la moyenne) élimine la mort induite par les anomalies à l'initialisation. Cela confirme le mécanisme géométrique et fournit une justification fondée sur des principes pour savoir quand ce prétraitement est nécessaire.

4. Résultats

• Corrélation : $\gamma$ prédit avec précision les taux de mortalité initiaux à travers 454 combinaisons modèle-couche. Des expériences synthétiques confirment une corrélation de rang parfaite ($\rho=1,0$) entre l'augmentation de $\gamma$ et l'augmentation des taux de mortalité.
• Limites de l'entraînement : Dans les scénarios à haut $\gamma$ (ex: $\gamma \ge 30$), l'entraînement standard ne parvient pas à récupérer les caractéristiques même après 2 millions d'étapes. Le processus d'apprentissage du biais est le goulot d'étranglement ; les caractéristiques avec des pré-activations perpétuellement négatives restent mortes car le biais ne peut pas apprendre l'écart important assez rapidement.
• Limites d'AuxK : AuxK accélère la récupération des caractéristiques mortes par TopK en fournissant des signaux de gradient, mais il n'accélère pas l'apprentissage du biais requis pour la récupération par ReLU. Par conséquent, AuxK aide à $\gamma$ modéré mais échoue à résoudre la mortalité à haut $\gamma$.
• Efficacité du centrage de la moyenne :
  • Sur des données synthétiques ($\gamma=40$), le centrage de la moyenne réduit les caractéristiques mortes à presque zéro et diminue l'erreur de reconstruction d'un ordre de grandeur.
  • Sur des modèles réels (ex: ESM3, AlphaFold3), le centrage de la moyenne réduit la mortalité initiale de >80 % à presque zéro.
  • Qualité des caractéristiques : Les SAE centrées sur la moyenne produisent des caractéristiques plus monosémantiques. Sur ESM3, un SAE centré sur la moyenne avec 2 048 caractéristiques récupère plus de concepts biologiques (100) qu'un SAE de référence avec 8 192 caractéristiques (73).
• Mortalité résiduelle : Le centrage de la moyenne n'élimine pas toute la mortalité. Dans les couches extrêmement de faible rang (ex: Evo1), où la variance est concentrée dans très peu de directions, des caractéristiques meurent encore en raison de la compétition TopK. Les auteurs suggèrent le blanchiment par PCA ou l'initialisation par sous-espace actif comme remèdes pour ces cas spécifiques.

5. Signification et affirmations

Le papier prétend fournir une base fondée sur des principes pour comprendre et atténuer la mort des caractéristiques dans les SAE, déplaçant le paradigme de "corriger la dynamique d'entraînement" vers "corriger la géométrie d'initialisation".

• Orientation pratique : Les auteurs proposent un flux de travail de diagnostic simple : calculer $\gamma$ pour une couche. Si $\gamma$ est élevé, le centrage de la moyenne (initialiser le biais à la moyenne de l'activation) est nécessaire pour prévenir la mort des caractéristiques. Si $\gamma$ est faible, l'entraînement standard suffit.
• Efficacité : Le centrage de la moyenne élimine le besoin de techniques de réveil coûteuses en calcul (comme AuxK) dans les régimes à haut $\gamma$ et permet à des dictionnaires plus petits d'atteindre une interprétabilité égale ou supérieure à celle de dictionnaires plus grands non centrés.
• Aperçu théorique : Ce travail clarifie que la variabilité de la performance des SAE à travers différents domaines (langage vs biologie) est pilotée par la géométrie des activations du modèle source, et non par l'architecture du SAE elle-même.

Le papier conclut que pour la plupart des modèles, initialiser le biais du SAE à la médiane géométrique des activations est une étape à coût nul et à fort impact qui garantit que la taille effective du dictionnaire correspond à la taille voulue, permettant ainsi une interprétabilité mécaniste plus fiable à travers diverses familles de modèles.