Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

Résumé Technique : Piloter les LLM avec des Autoencodeurs Creux (SAE)

Énoncé du Problème
Les autoencodeurs creux (Sparse Autoencoders ou SAE) ont été proposés comme un outil pour interpréter les grands modèles de langage (LLM) en découvrant des caractéristiques monosémantiques au sein du flux résiduel, sur la base de l'hypothèse de la représentation linéaire et de l'hypothèse de la superposition. Bien que les caractéristiques des SAE soient théoriquement capables de contrôler la génération du modèle (pilotage/steering), des benchmarks récents tels qu'AxBench (Wu et al., 2025) ont suggéré que les SAE sont nettement moins performants que des bases simples comme le prompting. Wu et al. (2025) ont conclu que « même des bases simples surpassent les autoencodeurs creux » pour les tâches de pilotage. De plus, des travaux antérieurs (Wang et al., 2025) ont suggéré qu'une haute interprétabilité et une utilité de pilotage sont fortement corrélées à une haute parcimonie (faible $\ell_0$), une condition souvent remplie par les caractéristiques annotées dans des dépôts comme Neuronpedia. Les auteurs de cet article soutiennent que la faible performance rapportée par Wu et al. (2025) provient d'une stratégie de labellisation et de sélection de caractéristiques sous-optimale plutôt que d'une limitation inhérente aux SAE.

Méthodologie
Le papier propose un pipeline supervisé pour labelliser et sélectionner les caractéristiques des SAE afin d'améliorer la performance de pilotage, contrastant avec les approches de labellisation non supervisées ou basées sur des LLM.

1. Pipeline de Labellisation Supervisée :

   • Source de Données : Les auteurs utilisent des jeux de données Stack Exchange (ex: académie, biologie, sport) où les étiquettes assignées par les utilisateurs servent de multi-labels de vérité terrain.
   • Sondes de Caractéristiques : Pour chaque caractéristique SAE, une sonde linéaire est construite en calculant la fréquence d'activation de la caractéristique sur un jeu de données. Une prédiction binaire est faite si la fréquence dépasse un seuil $\tau$.
   • Score F1 Calibré : Pour faire correspondre les caractéristiques aux étiquettes, les auteurs calculent un « F1 calibré » ($F1^c$). Cette métrique ajuste le score F1 standard pour tenir compte du support des étiquettes (fréquence), évitant ainsi les biais envers les étiquettes rares ou communes. Le seuil optimal $\tau$ est sélectionné pour maximiser ce score.
   • Débruitage et Sélection : Pour garantir des correspondances de haute qualité, le pipeline applique trois critères :
     1. Seuil de Support d'Étiquette : Filtre les étiquettes ayant moins de 50 occurrences pour réduire la variance.
     2. Proxy de Score de Sortie : Utilise un seuil ($10^{-3}$) basé sur le score de sortie de Arad et al. (2025) pour filtrer les caractéristiques possédant un potentiel de pilotage inhérent.
     3. Sélection Top-K : Conserve les 50 meilleures paires caractéristique-étiquette par catégorie.

2. Mécanisme de Pilotage :

   • Les auteurs emploient l'approche d'édition d'activation de Templeton et al. (2024). Lors de l'inférence, les activations spécifiques des caractéristiques ($z_f$) sont bloquées (clamped) à une valeur $\alpha$. L'erreur de reconstruction est préservée, et le vecteur latent édité est transmis au décodeur.
   • Évaluation : La méthode est évaluée sur AxBench, qui note le texte généré sur la fluidité, le respect des instructions et l'incorporation de concepts. Les auteurs optimisent la force de pilotage $\alpha$ individuellement pour chaque paire caractéristique-étiquette via une validation croisée, plutôt que d'utiliser une valeur globale unique.

3. Configuration Expérimentale :

   • Modèles : Les expériences ont été menées sur Gemma 2 (9B) en utilisant les SAE de Gemma Scope (largeur 131k) insérés dans le flux résiduel aux couches 17 et 32.
   • Baselines : Les comparaisons incluent la baseline « NP random » (caractéristiques sélectionnées aléatoirement avec des labels Neuronpedia) et la baseline de pilotage par prompting de Wu et al. (2025).

Résultats Clés

• Parité de Performance avec LoRA : Lorsque les caractéristiques sont sélectionnées et labellisées via le pipeline supervisé proposé, les SAE atteignent une performance de pilotage sur le benchmark AxBench proche de celle des baselines LoRA (Low-Rank Adaptation). Cela surpasse significativement les résultats rapportés par Wu et al. (2025).
• Validité Causale : Le pipeline sélectionne des caractéristiques qui sont étonnamment causales de leurs étiquettes identifiées. Même lorsque la composante « score de sortie » (un proxy pour la capacité de pilotage) est retirée du processus de sélection, les caractéristiques restantes sélectionnées par la labellisation supervisée démontrent toujours une performance de pilotage supérieure aux sélections aléatoires de Neuronpedia.
• Indépendance de la Parcimonie : Contra\irement aux conclusions de Wang et al. (2025), les auteurs constatent qu'une haute parcimonie (faible $\ell_0$) n'est pas strictement cruciale pour un pilotage réussi. Les SAE à faible et haute parcimonie du modèle Gemma Scope se sont révélés tous deux efficaces pour les tâches de pilotage.
• Baseline de Prompting : Bien que la méthode SAE proposée s'améliore considérablement par rapport aux tentatives précédentes de SAE, les auteurs notent que le prompting simple reste une base solide, probablement parce que les LLM sont explicitement entraînés pour suivre des instructions.

Signification et Revendications
Ce papier sert de réfutation partielle à l'affirmation selon laquelle les SAE sont inefficaces pour le pilotage. Les auteurs soutiennent que les résultats négatifs de Wu et al. (2025) n'ont pas rendu « pleine justice » aux SAE en raison de la dépendance à des labels préexistants, potentiellement sous-optimaux, et d'un manque de sélection supervisée des caractéristiques.

La signification primaire réside dans la démonstration que :

1. La Labellisation Compte : La méthode de labellisation des caractéristiques SAE est critique. Une approche supervisée utilisant des métriques calibrées et des seuils de support produit des caractéristiques ayant un impact causal réel sur la génération du modèle.
2. Robustesse des SAE : Les SAE peuvent être compétitifs avec les méthodes de fine-tuning économes en paramètres (LoRA) pour le pilotage, validant leur utilité en tant qu'outil d'interprétabilité.
3. Vérité Terrain Causale : Dans un cadre de recherche, le succès du pilotage d'une caractéristique confirme la « vérité terrain » de l'étiquette de la caractéristique, la distinguant des artefacts d'idiosyncrasies de l'ensemble de données (polysemanticité) qui pourraient induire en erreur une interprétation basée sur la corrélation.

Les auteurs maintiennent un ton modeste, reconnaissant que si les SAE sont puissants pour la recherche et la compréhension des mécanismes internes des modèles, le prompting reste une baseline difficile à battre pour les applications pratiques en raison de la nature de l'entraînement des LLM. Ils notent également que le pilotage de caractéristiques implique des « dommages contrôlés » au modèle, ce qui le rend moins adapté aux environnements de production par rapport au fine-tuning standard.