🤖 AI

Finding Interpretable Prompt-Specific Circuits in Language Models

Ce papier présente ACC++, une méthode améliorée de traçage de circuits qui extrait, à partir d'un seul passage avant, des circuits d'attention interprétables et spécifiques aux invites, révélant comment les modèles de langage exploitent des signaux distincts et dépendants de la langue pour résoudre des tâches telles que l'identification d'objet indirect dans différents contextes linguistiques.

Auteurs originaux : Gabriel Franco, Lucas M. Tassis, Azalea Rohr, Mark Crovella

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gabriel Franco, Lucas M. Tassis, Azalea Rohr, Mark Crovella

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme une immense et animée ville où des millions de petits travailleurs (des neurones) s'échangent des notes pour répondre à une question. Pendant longtemps, nous pouvions voir ce que la ville produisait (la réponse), mais nous n'avions aucune idée de comment les travailleurs décidaient d'envoyer ces notes. C'était comme regarder un spectacle de magie sans connaître les tours.

Ce papier présente un nouvel outil appelé ACC++ qui agit comme une « vision aux rayons X » high-tech pour ces modèles. Il ne se contente pas de deviner ; il trace le chemin exact de l'information alors qu'elle circule dans le modèle pour résoudre un problème spécifique.

Voici une explication simple de ce que fait le papier et de ses découvertes :

1. Le Problème : La ville « Boîte Noire »

Lorsqu'un modèle répond à une invite (comme « Quand Marie et Jean sont allés au magasin, Jean a donné la bouteille à... »), il doit comprendre que la réponse est « Marie ».

L'ancienne méthode : Les chercheurs tentaient de déterminer quels travailleurs étaient impliqués en les allumant et en les éteignant un par un (comme tirer des fusibles dans une maison pour voir quelle lumière s'éteint). C'était lent, désordonné, et donnait souvent une image floue avec trop de « fausses alertes ».
Le nouvel outil (ACC++) : Au lieu de tirer des fusibles, ACC++ écoute les « chuchotements » entre les travailleurs. Il identifie les canaux spécifiques et de faible volume (appelés signaux) qui transportent l'information cruciale nécessaire pour prendre une décision.

2. Comment ACC++ Fonctionne : Le « Détective de Signaux »

Imaginez le mécanisme d'attention du modèle (là où il décide sur quoi se concentrer) comme une station de radio.

L'ancienne méthode : Elle tentait de trouver toute la tour de radio qui diffusait le signal.
ACC++ : Il zoome pour trouver la fréquence exacte (un signal spécifique) et le microphone exact (le travailleur) qui parle sur cette fréquence.
La Magie : Il fait cela en un seul passage, instantanément. Il élimine le bruit et vous laisse une carte propre et simple montrant exactement quels travailleurs ont parlé à qui, et ce qu'ils ont dit.

3. La Grande Découverte : Le Plan « Spécifique à l'Invite »

La découverte la plus excitante est que le modèle n'utilise pas le même plan pour chaque question. Il change de stratégie en fonction de la manière dont vous posez la question.

L'Analogie du « Jeu des Noms » (La tâche IOI) :
Les chercheurs ont testé le modèle avec un jeu : « Quand [Nom A] et [Nom B] sont allés au magasin, [Nom B] a donné un cadeau à [Nom A]. » Le modèle doit choisir le Nom A.

Scénario A : « Quand Marie et Jean sont allés... » (Marie est en premier).
Scénario B : « Quand Jean et Marie sont allés... » (Jean est en premier).

Le papier a révélé que le modèle utilise des circuits internes complètement différents pour ces deux scénarios, même si la tâche est la même.

Dans un cas, le modèle utilise un détecteur de « Deuxième Élément ».
Dans l'autre, il utilise un détecteur de « Motif Structurel ».
La Conclusion : Le modèle est flexible. Il possède une boîte à outils de différentes stratégies et choisit la bonne en fonction de la formulation exacte de votre invite.

4. Le Mystère Multilingue : Les Mêmes Travailleurs, Différentes Langues

Les chercheurs ont également testé le modèle avec différentes langues (anglais, espagnol, français, portugais).

La Découverte : Le modèle utilise le même groupe de travailleurs (les mêmes composants internes) pour résoudre le problème dans toutes les langues.
La Surprise : Cependant, les messages (signaux) que ces travailleurs s'échangent sont spécifiques à la langue.
L'Analogie : Imaginez une équipe de construction bâtissant une maison. Ils utilisent les mêmes membres d'équipe (travailleurs) qu'ils construisent à New York ou à Paris. Mais à New York, ils parlent anglais et passent des plans en anglais ; à Paris, ils parlent français et passent des plans en français. La structure du travail est la même, mais la langue de la communication change.
Découverte Bonus : Le papier a révélé que la « distance » entre les circuits pour différentes langues correspond à la similarité entre ces langues. Les circuits espagnol et portugais se ressemblent davantage que les circuits anglais et français, tout comme les langues elles-mêmes.

5. Pourquoi Cela Compte (Selon le Papier)

Clarté : Il transforme un réseau désordonné et confus de connexions en une carte propre et lisible.
Interprétabilité : L'outil peut même traduire ces « chuchotements » internes en anglais clair. Par exemple, il peut vous dire : « Ce travailleur cherche le deuxième élément d'une liste », ou « Ce travailleur reconnaît un nom propre ».
Efficacité : Il trouve ces réponses beaucoup plus vite et avec moins de « bruit » que les méthodes précédentes.

Résumé

Ce papier nous offre une nouvelle paire de lunettes qui nous permet de voir exactement comment une IA pense, mot par mot. Il révèle que l'IA n'est pas juste une machine statique ; c'est un résolveur de problèmes dynamique qui réorganise son équipe interne et change son style de communication en fonction de la manière dont vous lui posez une question et de la langue que vous utilisez. Il prouve que nous pouvons comprendre la « mécanique » de ces modèles sans avoir besoin de les démonter.

Résumé technique : Découverte de circuits interprétables spécifiques aux invites dans les modèles de langage

Énoncé du problème

Comprendre les mécanismes de calcul internes des grands modèles de langage (LLM) demeure un défi central en matière d'interprétabilité mécaniste. Alors que des travaux antérieurs ont établi que les modèles fonctionnent via des « circuits » — des voies causales de composants écrivant et lisant des informations dans le flux résiduel — les méthodes existantes pour retracer ces circuits présentent des limitations importantes. Les approches traditionnelles reposent souvent sur le patching d'activations, des entrées contrefactuelles ou des modèles de remplacement, qui sont coûteux en calcul, nécessitent plusieurs passes avant et peuvent introduire du bruit ou des artefacts. De plus, les méthodes précédentes de traçage de circuits produisent souvent de grands graphes bruyants qui obscurcissent les signaux spécifiques de faible dimension utilisés pour la communication, rendant difficile la dérivation d'explications compréhensibles par l'humain du comportement du modèle pour chaque invite.

Méthodologie : ACC++

L'article présente ACC++ (Attention-Causal Communication++), une méthode améliorée de traçage de circuits qui s'appuie sur le principe de la communication causale par attention (ACC). ACC++ est conçue pour identifier les signaux spécifiques (contenus de sous-espaces de faible dimension) qui amènent une tête d'attention à se concentrer sur une paire de tokens spécifique.

Mécanisme central

ACC++ fonctionne en une seule passe avant sans nécessiter de modèles de remplacement, de patching ou d'entrées contrefactuelles. La méthode procède en quatre étapes pour une tête d'attention donnée $(\ell, a)$ se concentrant sur une paire de tokens destination-source $(d, s)$ :

Décomposition : Le flux résiduel de destination $x_d$ est décomposé en une somme de sorties provenant de composants en amont (embeddings, têtes d'attention précédentes, MLP).
Construction du signal candidat : En utilisant la décomposition en valeurs singulières (SVD) de la matrice Question-Clé (QK) de la tête $\Omega = W_Q W_K^\top$ $Ω = W_{Q} W_{K}^{⊤}$ , la méthode projette les sorties des composants en amont sur les directions des vecteurs singuliers. Cela crée un ensemble de signaux candidats, où chaque signal correspond à un composant en amont spécifique écrivant dans une direction singulière spécifique (un candidat de rang 1).
- Avance technique : Pour gérer l'hétérogénéité des modèles (par exemple, les termes de biais et les embeddings de position rotatifs/RoPE), ACC++ unifie le calcul de l'attention en une forme bilinéaire unique $\tilde{x}_d^\top \Omega \tilde{x}_s$ en intégrant les biais et les rotations RoPE dans les représentations des tokens. Cela permet une analyse SVD unique par tête, indépendamment de l'architecture.
Attribution et notation : La contribution de chaque signal candidat au poids d'attention post-softmax $A_{ds}$ est notée en utilisant les gradients intégrés (IG). Contrairement aux travaux antérieurs qui utilisaient des substituts linéaires pour les scores pré-softmax, ACC++ évalue explicitement l'impact non linéaire de la suppression du signal sur la distribution complète du Softmax.
Recherche contrefactuelle gloutonne : En partant de l'ensemble complet des candidats, l'algorithme retire de manière gloutonne les signaux les mieux notés jusqu'à ce que le poids d'attention $A_{ds}$ tombe en dessous d'un seuil $\tau$ . L'ensemble retiré constitue le circuit causal pour cette décision d'attention spécifique.

Construction du circuit

Un circuit complet pour une invite est construit en appliquant récursivement ACC++ : en partant des composants ayant un effet direct sur le logit cible, la méthode retrace les déclenchements d'attention en amont, identifiant les signaux causaux pour chacun, jusqu'à ce qu'aucun composant en amont supplémentaire ne subsiste.

Contributions clés

1. Avances conceptuelles et techniques

Identification précise des signaux : ACC++ identifie les signaux comme le produit croisé des composants en amont et des directions des vecteurs singuliers, plutôt que d'identifier les composants et les canaux indépendamment. Cela produit des signaux de dimension plus faible et plus précis.
Comptabilité de l'attention non linéaire : En définissant l'objectif contrefactuel directement sur le poids d'attention post-Softmax (plutôt que sur un substitut linéaire), ACC++ évite les composants spurius et identifie des circuits plus petits et plus précis.
Analyse QK unifiée : La méthode gère les biais et le RoPE en transformant les tokens, permettant une analyse cohérente basée sur la SVD à travers différentes architectures de modèles (par exemple, GPT-2, Pythia, Gemma).

2. Interprétabilité automatique

Les auteurs démontrent qu'une fraction substantielle des signaux ACC++ est interprétable. Ils emploient un pipeline automatisé (adapté de [18]) qui :

Récupère les contextes à forte activation pour chaque signal dans un ensemble de données (The Pile).
Utilise un LLM pour générer une brève description en langage naturel du signal.
Valide la description en utilisant un protocole de juge-LLM pour distinguer le signal du bruit.
Les résultats montrent que de nombreux signaux admettent de courtes descriptions cohérentes en langage naturel (par exemple, « deuxième élément d'une paire parallèle », « nom propre », « délimiteur structurel »).

3. Analyse de circuits spécifiques aux invites

ACC++ permet l'analyse des circuits sur une base par invite, révélant que le comportement du modèle n'est pas statique mais varie considérablement avec la structure et la langue de l'invite.

Résultats et enseignements

1. Compacité et qualité des circuits

À travers trois modèles (GPT-2 Small, Pythia-160M, Gemma-2 2B) et trois tâches (Identification de l'objet indirect, Supérieur-à, Pronom de genre), les circuits ACC++ sont 2 à 10 fois plus petits que ceux produits par la méthode ACC originale.

Dimensionnalité : La majorité des signaux ACC++ sont de rang 1 (utilisant une seule direction singulière), par rapport aux signaux de dimension supérieure dans les travaux antérieurs.
Validité causale : Les études d'ablation confirment que la suppression des signaux ACC++ impacte significativement les performances du modèle sur la tâche cible tout en perturbant minimalement le flux résiduel (similarité cosinus $\approx 0,99$ ), confirmant leur rôle causal.

2. Sensibilité à la structure de l'invite (tâche IOI)

Dans la tâche d'identification de l'objet indirect (IOI), l'article constate que les circuits sont hautement sensibles aux modèles d'invite :

GPT-2 : Les circuits se regroupent strictement selon la structure de modèle de haut niveau (ordre ABBA vs BABA des noms). La même tête « déplaceur de nom » (9,9) utilise des signaux entrants fondamentalement différents selon le modèle (par exemple, « deuxième élément d'une paire » par rapport à des indices structurels génériques).
Pythia : Les circuits se regroupent selon des changements de formulation de bas niveau (par exemple, « Alors que » vs « Ensuite »), indiquant une sensibilité à la formulation de surface plutôt qu'à l'ordre structurel uniquement.
Gemma-2 : Montre un regroupement plus complexe et moins dépendant du modèle, suggérant une dépendance aux détails plus fins de l'invite.

3. Mécanismes multilingues (tâche mIOI)

Dans un cadre multilingue IOI (anglais, espagnol, français, portugais) :

Réutilisation des composants : Les modèles réutilisent les mêmes têtes d'attention et MLP à travers les langues.
Signaux spécifiques à la langue : Bien que les composants soient partagés, les signaux qui les traversent sont souvent spécifiques à la langue.
Corrélation linguistique : La distance entre les circuits de différentes langues corrèle fortement avec la distance typologique entre ces langues (distances syntaxiques et génétiques). Par exemple, les circuits espagnol et portugais sont plus similaires entre eux qu'aux circuits anglais ou français.

Importance et affirmations

L'article affirme qu'ACC++ fournit un outil pratique et évolutif pour l'interprétabilité mécaniste qui ne repose pas sur des interventions contrefactuelles coûteuses. Son importance principale réside dans :

Évolutivité : Rendre l'analyse de circuits par invite viable à grande échelle en ne nécessitant qu'une seule passe avant.
Interprétabilité : Fournir un lien direct entre les canaux de communication de faible dimension et des descriptions en langage naturel lisibles par l'humain, comblant le fossé entre les mécanismes mathématiques et la compréhension sémantique.
Compréhension nuancée : Révéler que les « circuits » des modèles ne sont pas monolithiques mais des assemblages dynamiques de composants et de signaux qui s'adaptent à la structure de l'invite et à la langue. Cela remet en question la vision d'un circuit universel unique pour une tâche, montrant plutôt un spectre de mécanismes spécifiques aux invites.

Les auteurs notent des limitations, notamment le caractère heuristique du seuil $\tau$ , l'absence de traçage des signaux induits par les FFN, et le fait que les interprétations automatisées sont suggestives plutôt que concluantes. Ils soulignent que les résultats multilingues sont basés sur un petit nombre de paires de langues et doivent être considérés comme indicatifs d'une tendance plus large plutôt que comme une preuve définitive.