💬 NLP

Turn-Averaged SAEs for Feature Discovery and Long-Context Attribution

Cet article introduit les autoencodeurs creux à moyenne de tour (turn-averaged sparse autoencoders ou SAEs) qui reconstruisent les activations moyennes du modèle sur l'ensemble des tours de conversation afin de surmonter les limites de scalabilité des SAEs standards basés sur les tokens, permettant ainsi une découverte de caractéristiques plus exhaustive et une analyse d'attribution simplifiée pour les transcriptions de modèles de langage à contexte long.

Auteurs originaux : Kevin Der, Harish Kamath, Ben Thompson

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kevin Der, Harish Kamath, Ben Thompson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre une conversation longue et complexe entre un humain et une IA. Vous voulez savoir pourquoi l'IA a dit ce qu'elle a dit.

Dans le monde de la recherche en IA, les scientifiques utilisent un outil appelé Autoencodeur Creux (SAE - Sparse Autoencoder). Considérez un SAE comme un bibliothécaire super organisé qui décompose les pensées de l'IA en petits « post-it » spécifiques.

L'ancienne méthode : Le bibliothécaire « mot par mot » (Token-by-Token)

Traditionnellement, ce bibliothécaire examine la conversation un mot (ou « token ») à la fois.

Le problème : Si la conversation fait 1 000 mots, le bibliothécaire écrit 1 000 post-it. Si la conversation fait 100 000 mots, il écrit 100 000 notes.
Le résultat : Les notes sont incroyablement détaillées. Une note pourrait dire « Le mot "pomme" est apparu ici ». Une autre pourrait dire « Le mot "courir" était là ». Mais quand vous essayez d'examiner toute l'histoire, vous vous noyez dans une mer de post-it. Il est impossible de voir la forêt à travers les arbres. Vous ne pouvez pas facilement dire si l'IA était « impolie », « créative » ou « en train de parler de mathématiques », car ces grandes idées sont éparpillées à travers des milliers de petites notes.

La nouvelle idée : Le bibliothécaire « par tour de parole » (Turn-Averaged)

Les auteurs de cet article ont introduit une nouvelle méthode appelée SAE par moyenne de tour (Turn-Averaged SAEs). Au lieu de regarder chaque mot individuellement, ils demandent au bibliothécaire de regarder un « tour » complet de la conversation (une réponse complète de l'IA ou de l'humain) et de faire la moyenne de toutes les pensées de ce tour.

L'analogie créative : Le Smoothie vs La Salade de Fruits

L'ancienne méthode (Par Token) : Imaginez une salade de fruits où vous pouvez voir chaque graine, chaque minuscule fragment de peau et chaque grain de sucre spécifique. C'est très détaillé, mais si vous voulez savoir si la salade est « sucrée » ou « acidulée », vous devez compter chaque morceau.
La nouvelle méthode (Par Moyenne de Tour) : Imaginez que vous mixez cette salade de fruits pour en faire un smoothie. Vous perdez les graines et les peaux spécifiques (les détails minuscules des mots individuels), mais vous obtenez un profil de saveur parfait et clair de l'ensemble. Est-ce un « smoothie à la fraise » ? Oui. Est-ce « épicé » ? Non. Le mixeur (le processus de moyennage) filtre le bruit et conserve l'idée générale.

Ce qu'ils ont découvert

Les chercheurs ont testé cette nouvelle approche de « smoothie » sur un modèle d'IA de 7 milliards de paramètres (une IA très intelligente mais pas encore « super-intelligente ») en utilisant des données de chat réelles. Voici ce qu'ils ont découvert :

Une meilleure vision globale : Lorsqu'ils ont demandé à une IA de décrire le sujet d'un tour de parole, les notes « par moyenne de tour » étaient bien meilleures pour capturer des idées de haut niveau comme « L'utilisateur est impoli », « Le sujet concerne la sécurité automobile » ou « L'IA est excessivement enthousiaste ». Les anciennes notes « mot par mot » se contentaient de lister des mots spécifiques ou des structures grammaticales, manquant ainsi la vue d'ensemble.
Gestion des histoires longues : Comme ils font la moyenne de tout le tour, ces nouvelles notes fonctionnent aussi bien pour un document de 30 000 mots que pour une phrase courte. L'ancienne méthode serait submergée et désordonnée face à des textes longs.
La solution de la poupée « Matriochka » : Ils ont également construit un modèle spécial « imbriqué ». Imaginez une poupée russe.
- La poupée intérieure contient les notes du « smoothie » (la vue d'ensemble du tour).
- La poupée extérieure contient les notes de la « salade de fruits » (les détails spécifiques des mots individuels).
  Cela permet à l'IA d'avoir à la fois la vue d'ensemble et les détails minuscules dans un seul et même système.

Pourquoi cela importe pour l'« attribution » (Tracer la cause)

L'une des utilisations principales de ces outils est de dessiner une carte (appelée graphe d'attribution) montrant comment une partie du cerveau de l'IA influence une autre.

L'ancienne carte : Pour une longue conversation, cette carte présentait des centaines de milliers de points et de lignes. C'était un fouillis illisible pour un humain.
La nouvelle carte : Avec les SAE par moyenne de tour, la carte est simplifiée. Au lieu d'un point pour chaque mot, il y a un point pour chaque tour. La carte devient un organigramme propre et lisible qui montre exactement comment la question d'un utilisateur a conduit à une réponse spécifique de l'IA.

Un exemple concret de l'article

Les chercheurs ont testé cela sur une conversation où l'IA a commencé par refuser de répondre à une question, puis a progressivement cédé, pour finalement commencer à produire du texte incohérent (texte dégénéré).

Avec l'ancienne méthode : La carte était trop désordonnée pour être comprise. Elle pointait vers des éléments aléatoires comme des « noms chimiques » ou du « code JSON », ce qui n'avait pas de sens comme cause.
Avec la nouvelle méthode : La carte a clairement montré une chaîne d'événements :
1. Les premiers tours présentaient des caractéristiques liées à la « sécurité de l'IA » et aux « armes nucléaires ».
2. Cela a déclenché une caractéristique de « détection de tentatives de jailbreak ».
3. Cela a finalement conduit à la « sortie dégénérée ».
  La nouvelle méthode a réussi à tracer le « pourquoi » de la défaillance de l'IA, ce que l'ancienne méthode ne pouvait pas faire clairement.

L'essentiel

Cet article démontre qu'en « mélangeant » les pensées de l'IA sur un tour de conversation complet, nous pouvons créer des outils bien plus performants pour comprendre le sens, le style et la sécurité de ce que fait l'IA, particةment lors de conversations longues. Cela transforme un tas chaotique de post-it en un récit clair et lisible.

Note : L'article se concentre strictement sur l'amélioration de l'analyse et de la compréhension des modèles d'IA. Il ne prétend pas que ces outils sont prêts pour un usage clinique, un diagnostic médical ou un déploiement direct dans des produits de consommation pour le moment.

Résumé Technique : SAE Moyennées par Tour pour la Découverte de Caractéristiques et l'Attribution en Contexte Long

1. Énoncé du Problème

Les Autoencodeurs Sparses (SAE) sont devenus un outil principal pour extraire des caractéristiques interprétables des modèles de langage, facilitant l'analyse de circuits, le pilotage comportemental et la surveillance de la sécurité. Cependant, les architectures SAE standard opèrent sur les activations de jetons (tokens) individuels. Cette granularité par jeton crée deux goulots d'étranglement significatifs pour l'interprétabilité à grande échelle :

Limitations de Mise à l'Échelle : Le nombre de caractéristiques actives augmente linéairement avec la longueur du contexte. Dans les scénarios à contexte long ou les conversations multi-tours, le volume de données résultant rend l'analyse en aval (telle que les graphes d'attribution) laborieuse et difficile à inspecter.
Perte de Contexte de Haut Niveau : De nombreux objectifs d'interprétabilité impliquent de comprendre pourquoi un modèle a produit une réponse spécifique, ce qui nécessite l'identification de propriétés de haut niveau (ex: sujet, persona, traits de sécurité) qui sont distribuées sur de nombreux jetons. Les SAE par jeton standard apprennent souvent des détecteurs de bas niveau pour des mots spécifiques ou des motifs syntaxiques. Comme l'objectif d'entraînement consiste à reconstruire chaque position indépendamment, il n'y a aucune pression pour que le modèle sépare ces caractéristiques de haut niveau, étalées sur l'ensemble du segment, du bruit au niveau du jeton.

2. Méthodologie

2.1 SAE Moyennées par Tour

La proposition centrale est d'entraîner des SAE sur l'état caché moyen à travers un segment de jetons (spécifiquement, un seul tour Humain ou Assistant) plutôt que sur les activations de jetons individuels.

Transformation d'Entrée : Étant donné un tour $T$ avec des jetons $x_t$ , l'entrée est l'état caché moyen $\bar{x} = \frac{1}{|T|} \sum_{t \in T} x_t$ .
Architecture : L'architecture SAE reste identique aux implémentations standards (utilisant BatchTopK pour la parcimonie). Puisque la moyenne de vecteurs dans $\mathbb{R}^{d_{model}}$ conserve la même dimensionnalité que les vecteurs individuels, aucun changement structurel n'est requis.
Intuition : La moyenne agit comme un filtre passe-bas. Elle lisse les détails de haute fréquence spécifiques au jeton (comme le choix de mots spécifiques ou les marqueurs syntaxiques) tout en préservant les composantes de basse fréquence qui correspondent à des concepts larges comme le sujet, le style et les traits comportementaux.

2.2 Architectures Hybrides

Pour remédier à la limitation selon laquelle la moyenne élimine le détail par jeton, les auteurs proposent deux approches hybrides pour capturer à la fois la structure de haut niveau et les résidus fins :

SAE Découplé : Entraîne deux SAE indépendantes. L'une reconstruit la moyenne du tour ( $\bar{x}$ ), et l'autre reconstruit le résidu ( $x_t - \bar{x}$ ). Bien que cela sépare les signaux, les modèles sont causalement déconnectés, ce qui complique l'analyse d'attribution.
SAE Imbriqué (Style Matryoshka) : Entraîne un seul SAE avec un encodeur et un décodeur partagés mais une fonction de perte spécialisée. L'espace des caractéristiques est divisé en une partition interne $[0:h]$ $[0 : h]$ et une partition externe $[h:d_{sae}]$ $[h : d_{s a e}]$ .
- Fonction de Perte : $L = \sum_t \| \text{dec}(\text{enc}(x_t)) - x_t \|^2 + \alpha \cdot \| \text{dec}_h(\text{enc}(\bar{x})[0:h]) - \bar{x} \|^2$ .
- La partition interne est forcée de reconstruire la moyenne du tour, tandis que l'ensemble complet des caractéristiques reconstruit les activations par jeton. Cela permet à un seul modèle d'apprendre simultanément les caractéristiques de haut niveau du tour et les détails au niveau du jeton.

2.3 Adaptation des Graphes d'Attribution

Les auteurs adaptent les graphes d'attribution au niveau du tour. Au lieu que les nœuds représentent des caractéristiques à des positions de jetons spécifiques, les nœuds représentent des caractéristiques actives sur un tour et une couche spécifiques.

Poids des Arêtes : Calculés en moyennant l'attribution de gradient à travers le tour source et en normalisant par la longueur du tour ( $1/|T_A|$ et $1/|T_B|$ ) pour garantir que les poids soient agnostiques à la longueur du tour.
Validation par Intervention : Les poids des arêtes sont validés en perturbant les caractéristiques sources le long de leurs directions de décodeur à travers tous les jetons d'un tour et en mesurant le changement des pré-activations de la caractéristique cible.

3. Contributions Clés

SAE Moyennées par Tour : A démontré que l'entraînement sur les états cachés moyens produit des caractéristiques qui capturent plus complètement les caractéristiques de haut niveau du tour (sujet, style, traits de sécurité) que les caractéristiques par jeton.
Architecture SAE Imbriquée : A introduit une architecture à modèle unique qui apprend conjointement les caractéristiques moyennées par tour et par jeton en utilisant une perte de type Matryoshka, atteignant une haute qualité de reconstruction pour les deux composantes du signal.
Attribution Scalable : A adapté les graphes d'attribution au niveau du tour, permettant une analyse compacte des conversations multi-tours. Les auteurs ont validé ces graphes via des expériences d'intervention et des métriques de suffisance (complétude et remplacement).

4. Résultats

4.1 Qualité des Caractéristiques et Reconstruction

Reconstruction : Le SAE Imbriqué atteint une erreur quadratique moyenne normalisée (nMSE) par jeton de 0,167, se rapprochant du SAE pur par jeton (0,162), tout en atteignant un nMSE moyen par tour de 0,116. En revanche, un SAE standard par jeton performe mal sur les entrées moyennées par tour (nMSE de 0,355), indiquant que la moyenne est hors distribution pour les modèles entraînés par jeton.
Découverte Qualitative : Sur des exemples impliquant des erreurs mathématiques, des styles techniques enthousiastes et la conformité réglementaire, les caractéristiques moyennées par tour ont identifié avec succès des propriétés comportementales de haut niveau (ex: "réponses incorrectes", "style technique enthousiaste") que les caractéristiques par jeton n'avaient pas capturées ou n'avaient que partiellement capturées.
Généralisation au Contexte Long : Les SAE moyennées par tour entraînées sur des tours de chat (longueur moyenne ~150 jetons) se sont généralisées avec succès à des documents 150 fois plus longs (24k–32k jetons) issus de LongBench v2, identifiant des concepts de haut niveau comme "macroéconomie" et "graphisme informatique" que les caractéristiques par jeton n'ont pas réussi à détecter.

4.2 Évaluation Quantitative

En utilisant un cadre d'évaluation par LLM-as-a-judge pour comparer les descriptions de caractéristiques aux résumés structurés des tours :

Discrimination (Matching 10-voies) : Les caractéristiques par jeton (max-pooled) ont surpassé les caractéristiques moyennées par tour (95,0 % contre 73,9 %), car elles reposent sur des détails spécifiques au jeton pour distinguer les textes.
Couverture (Classement Pairwise et 5-voies) : Les caractéristiques moyennées par tour ont nettement surpassé les caractéristiques par jeton (gagnant 87,9 % des comparaisons par paires). Elles fournissaient des descriptions plus complètes des caractéristiques de haut niveau d'un tour.
Métrique d'Embedding : Les caractéristiques moyennées par tour ont obtenu la similitude cosinus la plus élevée (0,663) par rapport aux champs de résumé structurés, confirmant leur supériorité en termes de couverture sémantique.

4.3 Analyse d'Attribution

Compacité du Graphe : Les graphes moyennés par tour ont réduit le nombre de nœuds d'environ 128K (par jeton) à ~5K pour une conversation de 10 tours, rendant l'inspection faisable.
Études de Cas :
- Attribution du Prompt Système : Les graphes moyennés par tour ont correctement identifié quels paragraphes du prompt système influençaient des requêtes utilisateur spécifiques, montrant des décalages d'attribution comparables aux graphes par jeton.
- Traçage de la Dégénérescence : Dans une conversation de 14 tours où le modèle a dégénéré en texte répétitif, le graphe moyenné par tour a tracé une chaîne causale cohérente : "Avertissements de sécurité IA" $\to$ "Armes nucléaires" $\to$ "Détection de prompts adverses" $\to$ "Sortie dégénérée". Les graphes par jeton ont échoué à trouver la caractéristique de détection adverse, la traçant plutôt vers des concepts non liés comme les "composés chimiques".
- Intervention & Suffisance : Les poids des arêtes ont montré une corrélation significative avec les effets d'intervention. Le SAE Imbriqué a obtenu les scores de suffisance de "complétude" et de "remplacement" les plus élevés, surpassant à la fois les SAE purs par jeton et les agrégations post-hoc de caractéristiques par jeton.

5. Signification et Revendications

L'article affirme que les SAE moyennées par tour rendent les techniques d'interprétabilité pratiques pour les contextes longs. En déplaçant l'unité d'analyse des jetons vers les segments, la méthode :

Produit des caractéristiques qui décrivent les caractéristiques de haut niveau (sujet, persona, sécurité) de manière plus complète que les caractéristiques par jeton.
Permet la construction de graphes d'attribution compacts et interprétables pour les conversations multi-tours qui seraient autrement trop volumineux à analyser.
Démontre que la modification du signal d'entraînement (via la moyenne) peut contraindre les SAE à apprendre des caractéristiques à la granularité souhaitée (concepts de haut niveau) indépendamment du nombre de jetons.
Montre que ces caractéristiques se généralisent à des segments bien plus longs que ceux vus durant l'entraînement, suggérant une robustesse pour l'analyse des modèles de pointe.

Les auteurs notent des limitations, notamment l'échelle actuelle des expériences (modèle 7B, corpus LMSYS-Chat-1M) et la dépendance aux LLM pour les métriques d'évaluation, identifiant l'application aux modèles de pointe et la création de benchmarks de vérité terrain comme travaux futurs nécessaires.