💬 NLP

VASAE: Naming SAE Dictionary Directions with Vocabulary-Aligned Anchoring

L'article introduit VASAE, une méthode qui entraîne des autoencodeurs creux avec un ancrage aligné sur le vocabulaire pour assigner des noms de jetons intrinsèques aux caractéristiques pendant l'entraînement, atteignant des taux d'alignement élevés dans les couches peu profondes et moyennes des modèles Transformer sans compromettre la qualité de la reconstruction.

Auteurs originaux : Kairui Zhang, Ziwen Yu, Zahraa S. Abdallah, Martha Lewis

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kairui Zhang, Ziwen Yu, Zahraa S. Abdallah, Martha Lewis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une machine géante et complexe (comme un modèle de langage IA moderne) qui écrit des histoires, répond à des questions et résout des problèmes. À l'intérieur de cette machine, l'information circule à travers une série de « tuyaux » appelés flux résiduels (residual streams). À mesure que la machine traite une phrase, ces tuyaux transportent un flux de données en constante évolution.

Pour comprendre comment la machine réfléchit, les chercheurs utilisent un outil appelé Autoencodeur Creux (Sparse Autoencoder ou SAE). Considérez l'SAE comme un microscope de haute technologie qui décompose ce flux de données complexe en une liste d'« ingrédients » ou de « caractéristiques » simples et distincts.

Le Problème : Les ingrédients « sans nom »
Par le passé, lorsque les chercheurs utilisaient ces microscopes, ils pouvaient voir les ingrédients, mais ils n'avaient pas de noms pour eux. C'était comme regarder un étalage d'épices où chaque bocal n'était étiqueté que par un numéro (par exemple, « Caractéristique n° 4 592 »). Pour découvrir ce qu'était réellement cette « Caractéristique n° 4 592 », les chercheurs devaient effectuer beaucoup de travail de détective après coup : ils faisaient passer des milliers de phrases dans la machine, observaient quand ce nombre spécifique s'activait, et devinaient : « Oh, cette caractéristique semble s'activer quand la machine parle de boulangeries ».

Ce processus de dénomination « post-hoc » (après coup) est lent, manuel et souvent imprécis.

La Solution : VASAE (L'étalage d'épices étiqueté)
La publication présente une nouvelle méthode appelée VASAE (Vocabulary-Aligned Sparse Autoencoder ou Autoencodeur Creux Aligné sur le Vocabulaire). Au lieu de laisser la machine apprendre ces ingrédients dans le vide, le VASAE force les ingrédients à rester proches du propre dictionnaire de mots de la machine.

Voici l'analogie :

L'ancienne méthode : Imaginez un chef apprenant à cuisiner en goûtant des mélanges aléatoires. Plus tard, il essaie de deviner quel est chaque ingrédient en regardant les plats qu'il a préparés.
La méthode VASAE : Imaginez un chef qui apprend à cuisiner, mais chaque fois qu'il choisit un nouvel ingrédient, il est doucement guidé pour le placer juste à côté du bocal étiqueté « Sel », « Poivre » ou « Sucre » dans le garde-manger. L'ingrédient n'a pas besoin d'être exactement identique au bocal, mais il doit rester assez proche pour être reconnu comme appartenant à cette catégorie.

Comment cela fonctionne

L'Ancre : La machine possède déjà une liste fixe de plongements de mots (word embeddings — des représentations mathématiques de mots comme « chat », « courir » ou « rue »). Le VASAE utilise ces représentations de mots comme des « ancres ».
L'Entraînement : À mesure que la machine apprend à décomposer le flux de données, elle reçoit une règle spéciale : « Assure-toi que tes nouveaux "ingrédients" restent géométriquement proches de l'une des ancres de mots existantes. »
Le Résultat : Une fois l'entraînement terminé, chaque ingrédient (caractéristique) reçoit automatiquement un nom. Il est simplement nommé d'après le mot auquel il est le plus proche. Si une caractéristique est la plus proche du mot « rue », elle est nommée « rue ». Si elle est la plus proche de « situé », elle est nommée « situé ».

Ce qu'ils ont découvert
Les chercheurs ont testé cette méthode sur deux modèles d'IA différents (GPT-2-small et Llama-3.1-8B) et ont constaté que :

Aucune perte de qualité : La machine comprenait et reconstruisait les données aussi bien qu'auparavant ; le « microscope » n'est pas devenu flou, il a simplement obtenu des étiquettes.
Dénomination automatique : Dans les couches antérieures de l'IA (les couches « peu profondes »), environ 90 % à 93 % des caractéristiques ont reçu un nom clair et pertinent. Par exemple, dans une phrase concernant un café, les caractéristiques qui se sont activées ont été automatiquement nommées des choses comme « situé », « Rue », « coin » et « autour ».
La profondeur compte : La méthode a mieux fonctionné dans les couches initiales et intermédiaires de l'IA. Dans les couches très finales (là où l'IA prend sa décision finale sur le mot suivant à dire), l'alignement était un peu plus désordonné, suggérant que les « ingrédients » y deviennent plus abstraits et plus difficiles à lier à un seul mot.

L'essentiel
Le VASAE ne se contente pas de montrer ce que l'IA pense ; il donne à la pensée interne de l'IA un vocabulaire qu'elle peut parler. Il transforme une liste de nombres mystérieux en un dictionnaire de mots que l'IA utilise en interne, ce qui rend beaucoup plus facile la compréhension de ce que fait la machine sans avoir besoin de passer des heures en travail de détective manuel.

Note : L'article se concentre strictement sur ce mécanisme de dénomination et sur la qualité de la reconstruction. Il ne prétend pas que cette méthode rend l'IA plus sûre, plus précise dans les tâches réelles ou prête pour un usage clinique ; elle fournit simplement une meilleure façon d'étiqueter et d'inspecter l'« étalage d'épices » interne de l'IA.

Résumé Technique : VASAE – Nommer les directions du dictionnaire des SAE par ancrage aligné sur le vocabulaire

1. Énoncé du problème

Les autoencodeurs creux (Sparse Autoencoders ou SAE) sont de plus en plus utilisés pour décomposer les flux résiduels de haute dimension des modèles Transformer en codes creux sur des dictionnaires appris, facilitant ainsi l'interprétabilité mécaniste. Cependant, une limitation importante des SAE standards est que leurs caractéristiques apprises (directions du dictionnaire) ne sont pas intrinsèquement connectées au vocabulaire de jetons (tokens) du modèle.

Dans la pratique courante, le nommage des caractéristiques est un processus a posteriori (post hoc). Les chercheurs doivent inspecter les contextes où des caractéristiques spécifiques s'activent ou exécuter des procédures d'interprétation automatisées distinctes pour assigner des étiquettes sémantiques. Ce décalage provient du fait que la géométrie du dictionnaire appris et la géométrie des plongements de jetons (token embeddings) sont généralement sans rapport ; une caractéristique peut reconstruire efficacement les activations tout en se situant loin de tout vecteur de jeton, ce qui la rend dépourvue de nom « intrinsèque » au niveau du vocabulaire.

La question posée est la suivante : pouvons-nous entraîner les caractéristiques des SAE de manière à ce qu'elles restent assez flexibles pour une reconstruction de haute qualité, mais qu'elles soient géométriquement ancrées suffisamment près des plongements de jetons pour acquérir des noms de jetons intrinsèques pendant l'entraînement, sans sacrifier la performance de reconstruction ?

2. Méthodologie : Autoencodeur Creux Aligné sur le Vocabulaire (VASAE)

Les auteurs proposent le VASAE, une modification de l'objectif d'entraînement standard des SAE qui introduit un mécanisme d'ancrage aligné sur le vocabulaire.

Architecture de base

Entrée : Le VASAE opère sur les vecteurs post-flux résiduel ( $h^{(\ell)}$ ) d'une couche $\ell$ d'un Transformer.
Encodeur : Utilise un encodeur creux top-k standard (carte linéaire + ReLU + sélection Top-K) pour produire un code creux $z$ .
Décodeur : Utilise une matrice de dictionnaire apprenable $W_D$ (où les colonnes sont des vecteurs de caractéristiques $d_i$ ) pour reconstruire le flux résiduel.
Ancres : La méthode utilise les plongements de jetons fixes du modèle ( $W_E$ ) comme directions de référence. Ces plongements partagent la même dimensionnalité que le flux résiduel (ou y sont projetés).

L'objectif d'ancrage

L'innovation clé est l'ajout d'un terme de perte d'ancrage à la perte de reconstruction standard.

Alignement sur le jeton le plus proche : Pour chaque caractéristique apprise $d_i$ , la méthode calcule la similitude cosinus avec tous les plongements de jetons fixes $w_v$ .
$s_i = \max_{v \in V} \cos(d_i, w_v)$
Le jeton $v^*_i$ réalisant ce maximum définit le nom de jeton intrinsèque pour la caractéristique $i$ .
Perte d'ancrage : L'objectif d'entraînement encourage les caractéristiques à rester proches de leur plongement de jeton le plus proche :
$L_{anchor} = -\frac{1}{d_{sparse}} \sum_{i=1}^{d_{sparse}} s_i$
Minimiser cette perte maximise la similitude cosinus entre les caractéristiques et leurs jetons de vocabulaire les plus proches.
Perte totale : L'objectif combiné est :
$L_{vasae} = L_{recon} + \lambda_{anchor} L_{anchor}$
où $\lambda_{anchor}$ est un hyperparamètre contrôlant la force de la contrainte d'alignement.

Distinction par rapport au couplage strict (Hard-Tying)

Les auteurs distinguent explicitement le VASAE d'une base de référence à décodeur « strictement couplé » (hard-tied), où les poids du décodeur sont fixés pour être exactement égaux à la matrice des plongements de jetons ( $W_D = W_E$ ). Le couplage strict force les caractéristiques à être des plongements de jetons exacts, ce qui, selon l'hypothèse de l'article, est insuffisant pour une reconstruction de haute qualité. Le VASAE garde le dictionnaire apprenable mais le tire vers la géométrie du vocabulaire via la perte d'ancrage.

3. Configuration expérimentale

La méthode a été évaluée sur deux modèles Transformer de type decoder-only :

GPT-2-small : 12 couches, $d_{model}=768$ , taille du vocabulaire $|V|=50\,257$ .
Llama-3.1-8B : 32 couches, $d_{model}=4096$ , taille du vocabulaire $|V|=128\,256$ .

Bases de référence :

SAE Standard : Entraîné uniquement avec la perte de reconstruction.
Décodeur Strictement Couplé (Hard-Tied) : Poids du décodeur fixés aux plongements de jetons ; seul l'encodeur est entraîné.

Métriques :

Reconstruction : Erreur Quadratique Moyenne (MSE), Variance Expliquée (VE) et récupération de l'Entropie Croisée (CE) après substitution du flux résiduel.
Alignement : Taux d'alignement géométrique des caractéristiques (pourcentage de caractéristiques avec un score d'alignement $s_i \ge 0,8$ ) et couverture du vocabulaire.
Études de cas : Inspection qualitative des noms de jetons intrinsèques assignés aux caractéristiques actives dans des contextes spécifiques.

4. Résultats clés

Qualité de la reconstruction

Le VASAE atteint des métriques de reconstruction comparables au SAE Standard, surpassant de manière significative la base de référence du Décodeur Strictement Couplé.

GPT-2-small : Le VASAE et le SAE Standard atteignent tous deux une Variance Expliquée (VE) de 0,965 et une récupération de CE de 0,975.
Llama-3.1-8B : Le VASAE et le SAE Standard atteignent tous deux une VE de 0,931 et une récupération de CE de 0,906.
Base de référence Strictement Couplée : Performante de manière médiocre (ex: VE négative dans GPT-2-small), confirmant que forcer les caractéristiques à être des plongements de jetons exacts détruit la capacité de reconstruction.

Alignement géométrique

GPT-2-small : Avec $\lambda_{anchor} = 10^{-4}$ , 89–94 % des caractéristiques des couches 0 à 10 dépassent le seuil d'alignement ( $s_i \ge 0,8$ ). L'alignement est fort et cohérent dans les couches peu profondes et intermédiaires.
Llama-3.1-8B : L'alignement dépend de la profondeur. Avec un coefficient plus élevé ( $\lambda_{anchor} = 5 \times 10^{-3}$ ), la couche peu profonde (L0) atteint 92,8 % d'alignement. Cependant, l'alignement chute considérablement dans les couches plus profondes (ex: L31), suggérant que l'ancrage du vocabulaire est plus compatible avec les états résiduels proches de l'espace d'embedding.

Études de cas

L'analyse qualitative des noms de jetons intrinsèques révèle une cohérence sémantique :

Dans GPT-2-small, les caractéristiques actives dans une phrase sur « Baker Street » sont assignées des noms intrinsèques comme located (situé), Street (rue), corner (coin) et around (autour).
Des exemples supplémentaires montrent des caractéristiques s'alignant sur des adjectifs/adverbes (ex: perfect, feasible), des termes liés aux récompenses (ex: winner, praise) et des termes d'auto-présentation (ex: fan, name).
Dans Llama-3.1-8B, la couche peu profonde montre un alignement similaire lié aux lieux, tandis que les couches plus profondes montrent moins de cohérence, reflétant les métriques d'alignement quantitatives.

5. Contributions et Signification

L'article apporte trois contributions principales :

Introduction du VASAE : Un objectif d'ancrage de vocabulaire progressif qui assigne aux directions du décodeur des SAE les noms des jetons les plus proches pendant l'entraînement, plutôt qu'a posteriori.
Évaluation de l'ancrage : Démontrer que l'ancrage aligné sur le vocabulaire préserve une qualité de reconstruction comparable aux SAE standards, tout en prouvant que le couplage strict du décodeur aux plongements de jetons est insuffisant pour cette tâche.
Analyse géométrique : Analyser l'alignement des caractéristiques dans l'espace d'embedding et la couverture du vocabulaire, fournissant la preuve que les noms de jetons intrinsèques agissent comme des identifiants dérivés de la géométrie.

Signification :
Les auteurs soutiennent que le VASAE complète les méthodes d'interprétation a posteriori existantes en connectant les caractéristiques apprises aux noms de jetons intrinsèques pendant l'entraînement. Cela fournit une « poignée indexée par le vocabulaire » pour les caractéristiques, offrant un point de départ pour l'inspection.

Crucialement, l'article maintient une position modeste sur les implications de ces noms :

Pas des explications : Un nom de jeton intrinsèque n'est pas une explication complète d'une caractéristique. Il n'explique pas pourquoi une caractéristique s'active ni son rôle causal dans le calcul du modèle.
Outil d'indexation : Les noms servent d'outils d'indexation préliminaires. La véritable compréhension nécessite une analyse plus approfondie de la manière dont les caractéristiques nommées participent aux circuits, comment elles se connectent à d'autres composants et comment les interventions sur elles affectent le comportement.
Limites : L'alignement est plus robuste dans GPT-2-small et dans les couches peu profondes/intermédiaires de Llama-3.1-8B. La méthode n'ancre actuellement que sur les plongements d'entrée ; pour les modèles avec des plongements entrée/sortie non liés, le choix de la matrice d'ancrage reste une question ouverte.

En résumé, le VASAE comble avec succès le fossé entre l'espace géométrique des caractéristiques apprises et l'espace du vocabulaire du modèle, permettant aux caractéristiques de porter des noms de jetons intrinsèques sans compromettre leur utilité pour la reconstruction.