Résumé technique : SynthSAEBench

Énoncé du problème

L'amélioration des auto-encodeurs creux (Sparse Autoencoders - SAE) pour les grands modèles de langage (LLM) est entravée par l'absence de bancs d'essai d'évaluation fiables. Les bancs d'essai existants basés sur les LLM, tels que SAEBench, souffrent d'un bruit élevé entre les exécutions, ce qui rend difficile la distinction entre une véritable amélioration architecturale et la variance statistique. De plus, sans accès aux caractéristiques de vérité terrain (ground-truth features) dans les LLM, il est impossible de diagnostiquer pourquoi un SAE est peu performant ou de vérifier s'il a réellement appris les directions de caractéristiques sous-jacentes.

Inversement, l'approche alternative utilisant des données synthétiques repose historiquement sur des modèles « jouets » possédant moins de 10 caractéristiques ou sur des configurations sur mesure et non standardisées. Ces modèles à petite échelle ne parviennent pas à capturer la complexité des réseaux de neurones réels, spécifiquement des phénomènes comme la superposition de caractéristiques (représenter plus de caractéristiques que de dimensions), la corrélation de caractéristiques et les structures hiérarchiques. Par conséquent, il n'existe aucun benchmark synthétique standardisé, à grande échelle, qui fournisse une vérité terrain tout en restant assez réaliste pour servir de test significatif pour les architectures SAE.

Méthodologie

Les auteurs introduisent SynthSAEBench, un modèle de données synthétiques et un outil évolutifs conçus pour évaluer les SAE par rapport à des données à grande échelle (16 384 caractéristiques) présentant des caractéristiques réalistes. Le modèle est construit sur l'Hypothèse de la Représentation Linéaire (Linear Representation Hypothesis - LRH), qui postule que les concepts sont représentés comme des directions linéaires presque orthogonales.

Génération de données synthétiques

Le processus de génération de données étend le modèle classique d'apprentissage de dictionnaire Bernoulli-Gaussian pour inclure :

1. La superposition : Les caractéristiques sont initialisées comme des vecteurs unitaires aléatoires. Le degré de superposition est contrôlé via la similitude cosinus absolue maximale moyenne ($\rho_{mm}$) entre les directions de caractéristiques.
2. La corrélation : Une matrice de corrélation de rang faible ($\Sigma = FF^\top + \text{diag}(\delta)$) est utilisée pour générer des indicateurs de déclenchement binaires corrélés via une approche de copule gaussienne. Cela permet des structures de corrélation configurables entre les caractéristiques.
3. La hiérarchie : Une forêt d'arbres représente les dépendances hiérarchiques. Les caractéristiques enfants ne peuvent s'activer que si leur parent est actif. Le modèle supporte l'exclusion mutuelle entre les frères et sœurs (par exemple, un « chien » et un « oiseau » ne peuvent pas être actifs simultanément pour une même entité) et les magnitudes modulées par le parent, où l'intensité d'activation d'un enfant est modulée par l'intensité de son parent.
4. Distributions de déclenchement : Les probabilités de déclenchement des caractéristiques suivent une distribution de Zipf pour imiter la fréquence des concepts dans les données naturelles, tandis que les magnitudes de déclenchement sont échantillonnées à partir de distributions gaussiennes rectifiées.

Le modèle génère des données à des centaines de milliers d'échantillons par seconde sur un seul GPU, fournissant les directions de caractéristiques de vérité terrain ($D$) et les indicateurs de déclenchement ($z$) pour chaque échantillon.

Cadre d'évaluation

SynthSAEBench évalue les SAE à l'aide de quatre catégories de métriques, en tirant parti de la disponibilité de la vérité terrain :

• Qualité de reconstruction : Mesurée par la variance expliquée ($R^2$).
• Récupération des caractéristiques : Mesurée par le coefficient de corrélation moyen (MCC) via un appariement bipartite optimal entre les latents appris et les caractéristiques de vérité terrain, et par l'unicité des caractéristiques.
• Précision de classification : Précision (Precision), Rappel (Recall) et score F1 pour l'utilisation des latents SAE comme classificateurs binaires pour les caractéristiques de vérité terrain.
• Rareté (Sparsity) : Comparaison de la $L_0$ moyenne (caractéristiques actives) et du nombre de latents morts.

La configuration du benchmark utilise $N=16\,384$ caractéristiques dans une dimension cachée de $D=768$, avec un SAE entraîné à une largeur de 4 096 (plus étroite que la vérité terrain) pour refléter les contraintes des SAE réels des LLM.

Contributions clés

1. Benchmark SynthSAEBench : Un environnement synthétique standardisé et à grande échelle qui incorpore la corrélation, la hiérarchie et la superposition, fournissant des caractéristiques et des déclenchements de vérité terrain.
2. Test de limite inférieure contrôlé : Le benchmark agit comme un test de résistance pour les architectures SAE. Si une architecture échoue alors que l'Hypothèse de la Représentation Linéaire est vérifiée par construction, elle est peu susceptible de réussir sur de vrais LLM où l'hypothèse n'est qu'une approximation.
3. Reproduction des phénomènes de LLM : Les auteurs démontrent que SynthSAEBench reproduit les comportements connus observés dans les SAE de LLM, notamment :
   • Le décalage entre une haute qualité de reconstruction et une faible qualité de latent (observé dans les SAE de type Matching Pursuit).
   • Une haute performance de sondage (probing) malgré une faible reconstruction (observé dans les SAE de type Matryoshka).
   • Le compromis précision-rappel médié par $L_0$.
   • La quasi-équivalence des architectures JumpReLU et BatchTopK.
   • La sous-performance des SAE par rapport aux sondes de régression logistique supervisées.
4. Identification d'un mode de défaillance inédit : L'étude identifie que les SAE de type Matching Pursuit (MP) exploitent le bruit de superposition pour améliorer les métriques de reconstruction sans réellement apprendre les véritables caractéristiques. Cela suggère que des procédures d'encodage plus expressives peuvent faire du surapprentissage (overfitting) sur des corrélations spécieuses, ce qui pourrait expliquer pourquoi les encodeurs linéaires simples restent difficiles à surpasser en pratique.

Résultats

Les expériences ont été menées sur des SAE standards de type L1, Matching Pursuit, BatchTopK, Matryoshka BatchTopK et JumpReLU.

• SAE Matryoshka : Ont obtenu la meilleure récupération de caractéristiques (scores MCC et F1) et la meilleure performance de sondage, malgré la pire qualité de reconstruction (Variance Expliquée). Cela reflète les observations dans les benchmarks de LLM où les SAE Matryoshka excellent dans le désenchevêtrement des concepts mais peinent pour la reconstruction.
• SAE Matching Pursuit (MP) : Ont obtenu la plus haute qualité de reconstruction (Variance Expliquée) mais ont eu de mauvaises performances sur la récupération de caractéristiques et le sondage. Une analyse plus approfondie a révélé que les MP-SAE améliorent la reconstruction en faisant du surapprentissage sur le bruit de superposition plutôt qu'en apprenant les véritables caractéristiques.
• JumpReLU vs. BatchTopK : Ces deux architectures de pointe ont performé de manière quasi identique sur toutes les métriques, validant leur statut de choix de premier ordre.
• Sondes supervisées : Les sondes de régression logistique entraînées directement sur les activations synthétiques ont atteint un score F1 moyen de 0,974, surpassant nettement le meilleur SAE (Matryoshka, F1 de pointe $\approx$ 0,88). Cela confirme que l'écart entre les SAE et les méthodes supervisées est une limitation architecturale réelle, et non un artefact du bruit d'évaluation des LLM.
• Ablations : Les résultats sont restés stables à travers les variations de force de corrélation, de rang de corrélation, de probabilité de déclenchement et de profondeur hiérarchique. Notamment, l'augmentation de l'écart-type de la magnitude de déclenchement a amélioré le MCC mais a réduit le score F1, car les déclenchements de faible magnitude sont devenus plus difficiles à distinguer du bruit.

Signification

L'article affirme que SynthSAEBench constitue un complément nécessaire aux benchmarks de LLM. En offrant des caractéristiques de vérité terrain, des ablations contrôlées et des métriques à faible bruit, il permet aux chercheurs de prototyper rapidement et de diagnostiquer les modes de défaillance des SAE qui sont obscurcis dans les contextes réels.

Les auteurs soulignent que SynthSACeeBench représente un « scénario idéal » pour les SAE car l'Hypothèse de la Représentation Linéaire y est garantie. Le fait qu'aucune architecture évaluée n'atteigne une récupération parfaite des caractéristiques dans ce cadre idéal souligne que le goulot d'étranglement réside dans les architectures SAE actuelles et leurs dynamiques d'entraînement, plutôt que dans la validité de l'hypothèse de représentation elle-même. Cela renforce l'argument en faveur d'une innovation architecturale continue pour gérer plus efficacement la superposition, la corrélation et la hiérarchie. Le benchmark est destiné à guider le développement des SAE, les architectures prometteuses devant être validées ultérieurement sur des benchmarks de LLM réels comme SAEBench.