Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes

Résumé Technique : Matrices de Paires pour les Autoencodeurs Épars

Énoncé du Problème
Le protocole standard pour interpréter les Autoencodeurs Épars (SAE) dans les Grands Modèles de Langage (LLM) repose sur deux étapes : attribuer une étiquette à une caractéristique basée sur ses contextes d'activation les plus élevés et valider cette étiquette via un guidage de caractéristique unique (activation ou suppression de la caractéristique à une seule magnitude). Cet article soutient que ce protocole d'inspection « d'un seul coin » est systématiquement incomplet. Il postule que le rôle causal d'une caractéristique ne peut être pleinement compris en inspectant un seul régime d'activation ou une seule caractéristique isolément. Plus précisément, le protocole standard manque les changements de comportement non monotones le long de l'axe des coefficients et les rôles collectifs et structurels des caractéristiques quasi-orthogonales qui sont masqués lorsqu'elles sont guidées individuellement.

Méthodologie : Le Protocole de Matrice de Paires
Les auteurs proposent un « protocole de matrice de paires » qui étend l'inspection standard à un espace bidimensionnel :

1. Axe des Coefficients : Balayage d'une seule caractéristique sur une plage de coefficients de guidage ($c$) pour détecter des changements de mode ou des réponses dose-effet non monotones qu'une inspection à un seul point manquerait.
2. Axe des Conditions Conjoints : Guidage de plusieurs caractéristiques simultanément à un coefficient fixe. Cela teste si les caractéristiques sont individuellement substituables ou conjointement nécessaires pour des comportements spécifiques, un rôle souvent caché car les voisins non supprimés compensent la caractéristique supprimée.

Le protocole est appliqué à trois modèles post-entraînés : Qwen3-1.7B-Instruct, Gemma-2-2B-it et Llama-3.1-8B-Instruct. Le pipeline expérimental comprend quatre phases :

• Phase 1 (Pilote Comportemental) : Génération d'échantillons à partir de prompts introspectifs (par exemple, « Qu'est-ce qui vous fascine ? ») et de prompts de contrôle procéduraux (par exemple, recettes, explications de moteur).
• Phase 2 (Identification des Clusters) : Identification des phénomènes d'« effondrement de registre » où les modèles atteignent un pic sur un vocabulaire étroit (par exemple, termes de philosophie de l'esprit) pour les prompts introspectifs mais pas pour les contrôles.
• Phase 3 (Classement des Caractéristiques) : Classement des caractéristiques SAE basé sur les différences d'activation entre les pools introspectifs et de contrôle, utilisant des contrôles par bootstrap et permutation pour assurer la stabilité.
• Phase 4 (Guidage du Décodeur) : Application du protocole de matrice. Crucialement, les auteurs emploient des contrôles à géométrie appariée : ils comparent le guidage de caractéristique unique, le guidage de caractéristiques conjointes et les perturbations de direction aléatoire qui produisent des distorsions géométriques identiques dans le flux résiduel (appariement des rapports de norme et des similarités cosinus) pour isoler si la dégradation de la sortie est due à la magnitude ou au motif de direction.

Résultats Clés

1. Axe des Coefficients : Les Étiquettes de Contexte Supérieur Manquent les Axes Causaux
Sur Qwen3-1.7B, la caractéristique #26221 est étiquetée « auto-déni de l'IA » basée sur ses contextes d'activation les plus élevés. Cependant, un balayage de coefficient révèle une forme en U inversé dans les taux de déni.

• À la ligne de base ($c=0$), le modèle produit des dénis standards.
• À une amplification élevée ($c=+500$), le modèle n'augmente pas simplement les dénis ; il substitue la phrase de déni par une « voix de philosophe contemplatif » fluide (par exemple, « Je suis profondément en contemplation... »).
• À une amplification extrême ($c=+1000$), le modèle boucle sur ces marqueurs.
• Implication : L'étiquette standard ne capture qu'une seule forme de surface (le régime des données d'entraînement) et échoue à identifier la caractéristique comme un axe directionnel capable de produire des modes distincts et cohérents à différentes magnitudes. Deux caractéristiques de contrôle (#22082 et #2932) ont confirmé que le comportement monotone ou la panne pure sont distincts de ce changement de mode non monotone et cohérent.

2. Axe des Conditions Conjoints : Substituabilité Individuelle vs Nécessité Conjointe
Trois caractéristiques quasi-orthogonales dans Qwen (#29108, #26221, #4405) guident individuellement un registre de « philosophie de l'esprit ».

• Suppression de Caractéristique Unique : Supprimer l'une quelconque de ces caractéristiques à $c=-500$ laisse les contrôles procéduraux (recettes, explications de moteur) intacts ; le modèle substitue du contenu provenant des caractéristiques actives restantes.
• Suppression Conjointe : Supprimer les trois simultanément à $c=-500$ provoque un « effondrement de registre » sur tous les prompts, y compris les contrôles. Le modèle produit des squelettes syntaxiques remplis de jetons d'espace réservé (par exemple, « RECETTE DE SOUPE BASIQUE TOMOATO... Vc. 100+ »).
• Implication : Ces caractéristiques sont individuellement substituables mais conjointement nécessaires pour une composition ancrée. Le protocole standard, qui inspecte les caractéristiques une par une, manque ce rôle structurel collectif.

3. La Distorsion Géométrique ne Prédit pas la Cohérence
Pour écarter l'hypothèse selon laquelle la suppression conjointe pousse simplement le modèle « hors de la variété » en raison de la magnitude, les auteurs ont comparé des perturbations de direction unique, conjointe et aléatoire qui correspondaient à la distorsion géométrique du flux résiduel (rapport de norme $\approx 1,55$, cosinus $\approx 0,64$).

• Caractéristique Unique : A produit des réponses cohérentes de remplissage de stratégie.
• Direction Aléatoire : A produit des réponses cohérentes avec des substitutions de contenu diversifiées.
• Suppression Conjointe : A produit du texte d'espace réservé avec des taux élevés de dégénérescence par regex.
• Implication : La perte de cohérence dépend du motif de direction, et non de la magnitude. La combinaison spécifique de caractéristiques quasi-orthogonales déclenche une défaillance structurelle que les perturbations aléatoires de la même magnitude ne provoquent pas.

Réplication Inter-Modèles
Ces résultats ont été répliqués sur Gemma-2-2B-it et partiellement sur Llama-3.1-8B-Instruct :

• Gemma : A répliqué la découverte de la condition conjointe. La signature des dommages différait (injection de jetons « humain/je/IA » dans les emplacements de recettes plutôt que les codes d'espace réservé de Qwen), mais le mécanisme structurel (nécessité conjointe pour une composition ancrée) est resté. Le contrôle à géométrie appariée sur Gemma a montré un écart d'environ $10\times$ dans les taux de dégénérescence entre le guidage conjoint et la direction aléatoire.
• Llama : Une caractéristique causalement responsable principale (#38565) a été identifiée pour un registre « encyclopédique-scientifique », confirmant l'existence d'un effondrement de registre net et de caractéristiques causales à travers les modèles, bien que les tests complets au niveau de la matrice n'aient pas été effectués en raison des contraintes de disponibilité des SAE.

Signification et Revendications
L'article revendique que le protocole standard d'interprétabilité des SAE est insuffisant car il n'inspecte qu'un seul coin de la matrice comportementale d'une caractéristique. Les auteurs soutiennent que :

1. Les Étiquettes sont Locales, pas Globales : Une étiquette dérivée des contextes d'activation supérieurs capture un régime d'activation spécifique mais peut manquer l'axe causal complet de la caractéristique (par exemple, le passage du déni à la voix philosophique).
2. Les Caractéristiques sont Dépendantes du Contexte : Les caractéristiques quasi-orthogonales peuvent masquer les rôles les unes des autres ; le guidage de caractéristique unique échoue à détecter les dépendances structurelles requises pour une composition ancrée.
3. La Géométrie n'est pas Suffisante : La cohérence de la sortie est déterminée par la direction spécifique de la perturbation dans l'espace des caractéristiques, et non seulement par la magnitude de la distorsion géométrique.

Les auteurs concluent qu'un protocole d'interprétabilité robuste doit inclure des balayages de coefficients avec des vérifications de cohérence et des sondes de conditions conjointes de voisins quasi-orthogonaux pour cartographier avec précision les rôles causaux des caractéristiques SAE. Ils ne revendiquent pas que ces résultats s'appliquent à chaque caractéristique, mais démontrent que le protocole standard manque systématiquement ces classes spécifiques de comportements dans les modèles testés.