Résumé technique : Sparse but Wrong: Incorrect L0 Leads to Incorrect Features in Sparse Autoencoders

Énoncé du problème

Les autoencodeurs parcimonieux (SAEs) sont conçus pour inverser la « superposition » dans les grands modèles de langage (LLMs), en extrayant des caractéristiques latentes interprétables et monosémantiques à partir des activations internes du modèle. Un hyperparamètre critique dans l'entraînement des SAE est $L_0$, défini comme le nombre moyen de caractéristiques latentes qui s'activent par jeton (token).

La littérature actuelle traite souvent $L_0$ comme un choix de conception neutre, évaluant les SAE via des graphiques de « compromis parcimonie–reconstruction ». L'hypothèse prédominante est que toute valeur de $L_0$ suffisamment basse est valide, à condition qu'elle produise une bonne erreur de reconstruction, et que des valeurs de $L_0$ plus élevées ne sont problématiques que si elles provoquent une trop grande densité des représentations. Cependant, des observations empiriques récentes suggèrent que les SAE à faible $L_0$ sont peu performants sur des tâches en aval comme le sondage parcimonieux (sparse probing). Ce document examine s'il existe un $L_0$ intrinsèquement « correct » pour une distribution de données donnée et si s'en écarter compromet fondamentalement l'interprétabilité des caractéristiques apprises.

Méthodologie

Les auteurs emploient une combinaison de modèles jouets synthétiques et d'expériences sur des LLM réels (Gemma-2-2b et Llama-3.2-1b) pour analyser la relation entre $L_0$ et la qualité des caractéristiques.

1. Expériences sur modèles jouets :

   • Les auteurs construisent un environnement synthétique basé sur l'Hypothèse de la Représentation Linéaire (LRH), où les entrées sont des combinaisons linéaires de « véritables caractéristiques » orthogonales.
   • Ils introduisent des corrélations contrôlées entre les caractéristiques (positives et négatives) pour simuler des schémas de cooccurrence réalistes dans le langage.
   • Ils entraînent des SAE (architectures BatchTopK et JumpReLU spécifiques) avec des valeurs de $L_0$ cibles variables : trop basses, exactement correctes (correspondant au taux d'activation moyen réel des caractéristiques), et trop hautes.
   • Ils comparent les latents appris par rapport aux caractéristiques de vérité terrain en utilisant la similitude cosinus et analysent l'erreur quadratique moyenne (MSE) de la perte de reconstruction.

2. Analyse théorique :

   • Le document fournit des preuves théoriques (Théorèmes F.1 et F.2) démontrant que lorsque $L_0$ est contraint en dessous du vrai $L_0$ des données, le dictionnaire désenchevêtré (correct) n'est pas le minimiseur de l'espérance de la MSE. Au lieu de cela, le paysage d'optimisation incite le SAE à « mélanger » des caractéristiques corrélées pour obtenir une erreur de reconstruction plus faible.
   • Les auteurs prouvent que la solution désenchevêtrée correcte n'est même pas un minimum local sous ces contraintes ; la descente de gradient déplace systématiquement le SAE vers des latents mixtes et polysémantiques.

3. Développement d'une métrique de substitution (Proxy) :

   • Les auteurs proposent une nouvelle métrique, la similitude cosinus par paire du décodeur ($c_{dec}$), définie comme la similitude cosinus absolue moyenne entre tous les couples de vecteurs du décodeur.
   • L'hypothèse est que lorsque $L_0$ est incorrect (trop bas ou trop haut), les latents mélangent des composantes de plusieurs caractéristiques, augmentant ainsi leur similitude cosinus mutuelle. Lorsque $L_0$ est correct, les latents devraient être plus orthogonaux (faible $c_{dec}$).

4. Validation par LLM :

   • Des SAE ont été entraînés sur Gemma-2-2b et Llama-3.2-1b à travers un balayage de valeurs de $L_0$.
   • Les auteurs ont corrélé la métrique $c_{dec}$ avec la performance du « sondage parcimonieux » (la capacité des latents du SAE à prédire la présence de concepts spécifiques).

Résultats clés

1. Un $L_0$ incorrect conduit au mélange de caractéristiques

• Faible $L_0$ : Lorsque $L_0$ est trop bas, le SAE ne peut pas représenter toutes les caractéristiques actives simultanément. Pour minimiser l'erreur de reconstruction, il « triche » en mélangeant des caractéristiques corrélées dans des latents uniques.
  • Corrélation positive : Les latents suivant la caractéristique $A$ incluront des composantes positives de la caractéristique corrélée $B$.
  • Corrélation négative : Les latents suivant la caractéristique $A$ incluront des composantes négatives de la caractéristique anti-corrélée $B$.
  • Cela se traduit par des latents hautement polysémantiques et bruités, même si l'erreur de reconstruction est faible.
• $L_0$ élevé : Lorsque $L_0$ est trop élevé, le SAE trouve des solutions dégénérées qui mélangent également les caractéristiques, bien que l'effet soit moins omniprésent qu'avec un faible $L_0$. Certaines caractéristiques correctes peuvent encore être apprises, mais la qualité globale se dégrade à mesure que $L_0$ s'éloigne de la vérité.
• Asymétrie : Le document note que commencer l'entraînement avec un $L_0$ trop bas crée un « minimum local » dont le SAE ne peut s'échapper, même si $L_0$ est augmenté ultérieurement. Inversement, commencer avec un $L_0$ trop élevé permet au SAE de récupérer les caractéristiques correctes lorsque $L_0$ est ajusté à la baisse.

2. Échec des graphiques de compromis parcimonie–reconstruction

Les auteurs démontrent que les graphiques standards de parcimonie–reconstruction sont trompeurs. Dans leurs modèles jouets, un SAE avec un $L_0$ correct (et donc des caractéristiques correctes et désenchevêtrées) obtient souvent une reconstruction moins bonne (MSE plus élevée) qu'un SAE avec un $L_0$ trop bas qui mélange les caractéristiques. Par conséquent, s'appuyer uniquement sur l'erreur de reconstruction pour sélectionner $L_0$ conduirait les praticiens à rejeter le SAE correct au profit d'un SAE incorrect et polysémantique.

3. Efficacité de la métrique $c_{dec}$

• Dans les modèles jouets, $c_{dec}$ est minimisé exactement au niveau du vrai $L_0$.
• Dans les expériences sur les LLM, $c_{dec}$ présente un « coude » ou une région de minimum clair qui corrèle fortement avec la performance de pointe sur les tâches de sondage parcimonieux.
• Pour Gemma-2-2b, le $L_0$ optimal (indiqué par le minimum de $c_{dec}$ et le pic de sondage) est nettement plus élevé (environ 200–250) que les valeurs couramment utilisées dans les SAE open-source existants (souvent < 100).

4. Différences d'architecture (JumpReLU vs. BatchTopK)

• BatchTopK : Présente une augmentation brutale de $c_{dec}$ à faible $L_0$ et un minimum global.
• JumpReLU : Présente un comportement de « collage » où le $L_0$ effectif reste proche de la valeur correcte sur une large gamme de coefficients de parcimonie ($\lambda_s$). Les SAE JumpReLU sont également plus performants que les BatchTopK à $L_0$ élevé, probablement parce qu'ils peuvent ajuster les seuils de déclenchement par latent, tandis que BatchTopK utilise un seuil global.

Signification et revendications

Le document affirme que l'hypothèse selon laquelle « toute valeur de $L_0$ suffisamment basse est valide » est incorrecte. La principale portée de ce travail est triple :

1. Correction d'une mécompréhension fondamentale : Il établit que $L_0$ n'est pas un paramètre libre mais un hyperparamètre critique qui doit correspondre à la parcimonie sous-jacente des véritables caractéristiques du LLM. Définir $L_0$ incorrectement (spécifiquement trop bas) provoque l'apprentissage de caractéristiques polysémantiques et corrompues plutôt que de caractéristiques monosémantiques.
2. Redéfinition de l'évaluation : Il soutient que les graphiques de compromis parcimonie–reconstruction sont une méthode invalide pour sélectionner les hyperparamètres des SAE car ils favorisent les solutions incorrectes de mélange de caractéristiques au détriment des solutions correctes et désenchevêtrées.
3. Implications pratiques : Les auteurs affirment que la plupart des SAE actuellement utilisés dans la communauté de la recherche ont un $L_0$ trop bas. Cela suggère que beaucoup de caractéristiques dites « interprétables » sont en réalité des mélanges de concepts, ce qui pourrait expliquer les résultats imprévisibles observés dans le pilotage (steering) et l'édition de modèles basés sur les SAE.
4. Outil de diagnostic : Le document introduit $c_{dec}$ comme une métrique de substitution pratique et non supervisée pour guider la recherche du $L_0$ correct, particulièrement dans les scénarios où les benchmarks de sondage étiquetés ne sont pas disponibles.

Les auteurs concluent que les praticiens doivent définir correctement $L_0$ pour entraîner des SAE dotés de caractéristiques monosémantiques, et que le domaine doit s'éloigner de la dépendance exclusive à l'erreur de reconstruction pour l'évaluation des SAE.