Do Sparse Autoencoders Identify Reasoning Features in Language Models?

Énoncé du problème
Les récentes avancées des modèles de langage de grande taille (LLM) ont démontré de fortes capacités de raisonnement multi-étapes, souvent sollicitées par le biais de l'incitation par chaîne de pensée (CoT). Un corpus croissant de recherches en interprétabilité mécanistique utilise des autoencodeurs parcimonieux (SAE) pour identifier des caractéristiques internes associées à ces processus de raisonnement. L'approche prédominante repose sur une sélection contrastive : identifier les caractéristiques des SAE qui présentent une activation significativement plus élevée sur des textes de raisonnement (par exemple, des traces CoT) par rapport à des textes non raisonnants. Cependant, les auteurs soutiennent que cette méthode souffre d'ambiguïtés fondamentales. Parce que les réponses CoT diffèrent des réponses directes non seulement par le raisonnement sous-jacent, mais aussi par l'usage lexical de surface (par exemple, des marqueurs de discours comme « Attends », « Mais », « Voyons »), les méthodes contrastives peuvent identifier des caractéristiques qui capturent des confusions lexicales superficielles plutôt que des calculs de raisonnement authentiques. La question centrale abordée est de savoir si les SAE peuvent identifier de manière fiable des caractéristiques monosémantiques représentant le processus de raisonnement interne lui-même, ou si elles capturent simplement des corrélats linguistiques de faible dimension qui co-occurrent avec le raisonnement.

Méthodologie
L'article propose un cadre d'évaluation basé sur la falsification, conçu pour tester la robustesse des « caractéristiques de raisonnement » sélectionnées de manière contrastive. La méthodologie se déroule en trois étapes :

1. Motivation théorique : Les auteurs présentent une analyse stylisée montrant que le décodage régularisé par parcimonie dans les SAE favorise intrinsèquement des corrélats stables et de faible dimension par rapport à la variation de haute dimension au sein du comportement. Dans un contexte où un comportement de haut niveau (le raisonnement) co-occurrent avec un indice lexical stable, le décodage parcimonieux peut retenir préférentiellement la coordonnée de l'indice tout en supprimant la variation distribuée et de haute dimension de la trace de raisonnement elle-même. Cela suggère que les méthodes contrastives peuvent isoler des structures de type indice plutôt que des calculs de raisonnement.

2. Injection causale de tokens : Pour tester les dépendances lexicales superficielles, les auteurs réalisent des expériences d'injection causale de tokens. Ils identifient les tokens ou n-grammes les plus activateurs pour une caractéristique candidate et les insèrent dans un texte non raisonnant. Si la caractéristique s'active de manière significative lors de l'injection de ces quelques tokens, elle est classée comme « pilotée par les tokens », indiquant qu'elle capture un indice lexical plutôt qu'un processus de raisonnement.

3. Falsification guidée par LLM : Pour les caractéristiques qui restent « dépendantes du contexte » après l'injection de tokens, les auteurs emploient un processus adversarial guidé par un LLM. Un LLM génère des hypothèses sur les motifs linguistiques ou structurels qu'une caractéristique détecte. Il construit ensuite deux types de contre-exemples :

   • Faux positifs (FP) : Des textes non raisonnants qui instaurent le motif hypothétisé (par exemple, des marqueurs de discours spécifiques ou des structures syntaxiques) pour déclencher une activation sans raisonnement.
   • Faux négatifs (FN) : Des paraphrases des traces de raisonnement les plus activateuses qui préservent le sens sémantique et l'intention de raisonnement, mais modifient la forme de surface (vocabulaire, syntaxe, style) pour supprimer l'activation.
     Une caractéristique n'est considérée comme une « véritable caractéristique de raisonnement » que si elle résiste à ces tentatives de falsification (c'est-à-dire qu'elle ne s'active pas sur les FP et qu'elle s'active sur les FN).

4. Vérification de bon sens par pilotage : À titre de vérification complémentaire, les auteurs réalisent des expériences de pilotage de caractéristiques pour voir si l'amplification des caractéristiques candidates améliore les benchmarks de raisonnement en aval, notant que les changements de performance seuls sont insuffisants pour prouver la représentation du raisonnement.

Contributions clés

• Insight théorique : L'article fournit un mécanisme théorique expliquant pourquoi la parcimonie dans les SAE crée une asymétrie favorisant la rétention d'indices lexicaux stables et de faible dimension par rapport à la variabilité du raisonnement de haute dimension, même lorsque le dictionnaire est parfait.
• Cadre d'évaluation : Il introduit un pipeline rigoureux, orienté vers la falsification, combinant l'injection causale de tokens et la génération de contre-exemples guidée par un LLM pour distinguer les véritables caractéristiques de raisonnement des corrélats linguistiques.
• Preuves empiriques : L'étude applique systématiquement ce cadre à travers 22 configurations impliquant plusieurs familles de modèles (Gemma-3, DeepSeek-R1-Distill-Llama, Llama-3.1), des couches et des ensembles de données de raisonnement.

Résultats

• Sensibilité aux tokens : Dans toutes les configurations, une majorité significative (45 % à 90 %) des caractéristiques candidates sélectionnées de manière contrastive s'est révélée hautement sensible aux interventions au niveau des tokens. L'injection de quelques tokens associés dans un texte non raisonnant suffisait à déclencher des augmentations substantielles d'activation, les classant comme pilotées par les tokens ou partiellement pilotées par les tokens.
• Falsification des caractéristiques dépendantes du contexte : Pour les caractéristiques restantes non expliquées par une simple injection de tokens, le processus de falsification guidé par un LLM a réussi à construire des contre-exemples ciblés. Le LLM a généré des textes non raisonnants activant les caractéristiques (Faux positifs) et des textes de raisonnement paraphrasés supprimant l'activation (Faux négatifs).
• Zéro véritable caractéristique : Sur l'ensemble des 248 caractéristiques dépendantes du contexte analysées, zéro n'a été classée comme une véritable caractéristique de raisonnement. Chaque caractéristique examinée s'est révélée être une confusion, détectant généralement des modèles syntaxiques spécifiques (par exemple, « D'abord, j'ai besoin de... »), des marqueurs de discours ou un cadrage académique formel plutôt que le calcul de raisonnement sous-jacent.
• Impact du pilotage : Les expériences de pilotage ont produit des performances minimales ou légèrement dégradées sur les benchmarks (AIME, GPQA), ce qui est cohérent avec la découverte selon laquelle ces caractéristiques ne codent pas le mécanisme de raisonnement lui-même.

Signification et affirmations
L'article conclut que, dans les contextes étudiés, les décompositions parcimonieuses tendent à favoriser des corrélats de faible dimension qui co-occurrent avec le raisonnement plutôt qu'à isoler le processus de raisonnement lui-même. Les auteurs affirment que les corrélations contrastives seules sont une preuve insuffisante de l'existence de caractéristiques de raisonnement monosémantiques. Ils soulignent que l'attribution de comportements de haut niveau à des caractéristiques individuelles de SAE nécessite une validation causale et une falsification pour écarter les confusions linguistiques superficielles. Le travail ne prétend pas que les SAE ne peuvent pas représenter une structure pertinente pour le raisonnement, mais plutôt que les pipelines contrastifs actuels identifient de manière fiable des caractéristiques qui sont mieux expliquées comme des corrélats linguistiques. Les auteurs préconisent de traiter les corrélations contrastives comme des hypothèses qui doivent subir des tests causaux et adversariaux rigoureux avant d'être interprétées comme des représentations de calculs cognitifs spécifiques.