🤖 machine learning

Markovian Circuit Tracing for Transformer State Dynamic

Ce papier présente le traçage de circuits markoviens (MCT), un cadre diagnostique qui démontre que les activations des transformateurs sur des tâches de modèles de Markov cachés synthétiques encodent des structures grossières de transitions d'états, permettant des abstractions d'états qui améliorent considérablement la précision des prédictions contrefactuelles par patchage d'activation.

Auteurs originaux : Abdullah X

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abdullah X

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un magicien effectuer un tour. Vous voyez les cartes qu'il mélange et les mots qu'il prononce (les émissions visibles), mais vous ne pouvez pas voir l'ordre secret qu'il garde en tête (les états cachés).

Depuis longtemps, les chercheurs tentent de comprendre comment les modèles d'IA (comme les Transformers) « pensent » en examinant leurs engrenages et leurs câblages internes. Cet article, intitulé « Markovian Circuit Tracing » (MCT), propose une nouvelle façon de jeter un coup d'œil dans l'esprit du magicien, spécifiquement lorsque l'IA tente de prédire ce qui se passe ensuite dans une séquence.

Voici le détail de leur expérience et de leurs découvertes, en utilisant des analogies simples.

1. Le Déroulement : Un Spectacle de Magie Contrôlé

Pour tester l'IA, les chercheurs n'ont pas utilisé de données réelles (comme Shakespeare ou des articles de presse). À la place, ils ont construit un monde factice parfaitement contrôlé basé sur un concept mathématique appelé Modèle de Markov Caché (HMM).

Le Jeu : Imaginez un jeu de plateau où un pion se déplace autour d'un cercle de pièces cachées. Vous ne pouvez pas voir dans quelle pièce se trouve le pion, mais vous voyez une lumière colorée clignoter à chaque fois que le pion bouge.
Les Règles : Les chercheurs connaissent les règles exactes : comment le pion se déplace entre les pièces, comment les lumières clignotent, et exactement ce que le pion devrait prédire ensuite.
L'IA : Ils ont entraîné une petite IA (un « Transformer ») pour jouer à ce jeu. Elle ne voit que les lumières colorées et doit deviner la prochaine lumière.

2. Le Problème : L'IA « Pense-t-elle » Vraiment ?

Lorsque l'IA devine correctement, est-ce qu'elle mémorise simplement des motifs, ou construit-elle réellement une carte interne des pièces cachées ?

Les chercheurs voulaient savoir : L'« activité cérébrale » interne de l'IA (les activations) contient-elle une carte de ces pièces cachées ?

3. La Méthode : « Markovian Circuit Tracing » (MCT)

Ils ont créé un pipeline de diagnostic appelé MCT. Imaginez-le comme un traducteur qui tente de convertir les signaux cérébraux désordonnés et de haute dimension de l'IA en une simple liste de « pièces » (états).

Ils ont testé ce traducteur de quatre manières :

Vérification de la Croyance : Peut-on lire l'esprit de l'IA pour voir si elle connaît la probabilité d'être dans chaque pièce ? (Comme demander : « Ai-je 80 % de certitude d'être dans la Pièce Rouge ? »)
Vérification de la Carte : Si nous forçons l'IA à penser qu'elle est dans une pièce spécifique, agit-elle comme si elle y était réellement ?
Vérification de la Transition : L'état interne de l'IA change-t-il d'une manière qui correspond aux règles du jeu ?
Le Test de « Patching » (Le Tour de Magie) : C'est la partie la plus importante. Ils ont pris l'« état » interne de l'IA (la supposition du traducteur sur la pièce où elle se trouve) et l'ont échangé contre un état différent en plein jeu.
- Analogie : Imaginez que l'IA conduit une voiture. En cours de route, vous plongez la main et remplacez la carte mentale du conducteur de « Je suis sur l'autoroute » à « Je suis en ville ». Si l'IA commence soudainement à conduire comme si elle était en ville (ralentissant, tournant), alors la carte interne était réelle et utile.

4. Les Résultats : Un Succès Partiel

Les résultats étaient « partiels mais cohérents », ce qui signifie que l'IA a bien fait certaines choses et moins bien d'autres.

L'IA est une Bonne Élève : L'IA a très bien appris le jeu. Elle a prédit la prochaine lumière presque aussi bien qu'un mathématicien parfait ne l'aurait fait.
La « Carte » est Floue : Lorsque les chercheurs ont tenté de traduire les signaux cérébraux de l'IA en « pièces » spécifiques, ce n'était pas une correspondance parfaite de un à un.
- Dans les jeux faciles (où les lumières montrent clairement dans quelle pièce vous êtes), la carte interne de l'IA était assez claire.
- Dans les jeux difficiles (où les lumières sont confuses ou il y a trop de pièces), la carte interne de l'IA était floue.
La Preuve du « Patching » : C'était la plus grande victoire. Lorsqu'ils ont forcé l'IA à utiliser un état interne spécifique (un « centroïde »), le comportement de l'IA a changé exactement comme le prédisait les mathématiques.
- Le Résultat : Le comportement de l'IA est devenu beaucoup plus proche de la cible mathématique « parfaite » que lorsqu'ils utilisaient des états aléatoires ou incorrects. Cela prouve que l'IA utilise une structure interne spécifique pour prendre des décisions, même si cette structure n'est pas une copie parfaite des règles du jeu.

5. La Grande Conclusion

L'article conclut que les Transformers construisent bien des résumés internes d'« état » lorsqu'ils résolvent des problèmes de séquence, mais ces résumés ressemblent davantage à des croyances probabilistes (par exemple : « Je pense que je suis probablement dans la Pièce A ») plutôt qu'à des étiquettes exactes (par exemple : « Je suis définitivement dans la Pièce A »).

Limitations Clés Mentionnées :

Cela a été testé sur des modèles synthétiques minuscules jouant à un jeu factice.
Le « traducteur » qu'ils ont utilisé était simple.
Ils ne peuvent pas affirmer que cela fonctionne pour des tâches réelles complexes comme écrire de la poésie ou diagnostiquer des maladies pour l'instant. L'article limite strictement ses affirmations à cette référence mathématique contrôlée.

Analogie de Résumé

Imaginez que vous essayez de comprendre comment fonctionne un GPS en regardant une voiture conduire.

L'ancienne méthode : Vous regardez les fils et essayez de deviner comment la carte est stockée.
La méthode de cet article : Vous construisez un labyrinthe minuscule et parfait. Vous regardez la voiture le naviguer. Ensuite, vous plongez la main dans la voiture et remplacez la carte mentale du conducteur par une autre. Si la voiture tourne soudainement à gauche au lieu de droite, vous savez avec certitude que le conducteur utilisait une carte, et vous avez réussi à identifier comment cette carte influence la conduite.

L'article dit : « Nous avons construit un labyrinthe parfait, échangé la carte, et prouvé que le conducteur utilisait une carte. Mais nous ne savons pas encore si cela fonctionne pour conduire sur de vraies autoroutes. »

Résumé technique : Traçage de circuits markoviens pour la dynamique d'état des transformateurs

Énoncé du problème

L'interprétabilité mécanistique s'est principalement concentrée sur l'analyse de circuits locaux, de caractéristiques et de têtes d'attention pour expliquer des comportements isolés dans les transformateurs. Cependant, les tâches de séquence partiellement observées nécessitent un paradigme computationnel différent : le modèle doit maintenir et mettre à jour un résumé interne (état) au fil du temps pour éclairer les prédictions futures. Bien que les modèles de Markov cachés (HMM) fournissent un cadre mathématiquement rigoureux pour de telles tâches — où la solution optimale est un vecteur de croyance bayésienne sur les états latents —, il manque des benchmarks contrôlés pour tester si les activations des transformateurs encodent réellement ces dynamiques de transition d'état. Les travaux existants étudient souvent des composants (sondage, patching, extraction d'état) de manière isolée, sans accès simultané à la vérité terrain exacte pour les états latents, les vecteurs de croyance et les cibles contrefactuelles.

Méthodologie : Traçage de circuits markoviens (MCT)

L'article introduit le traçage de circuits markoviens (MCT), un pipeline de diagnostic conçu pour tester si les activations des transformateurs contiennent une structure de transition d'état grossière. La méthodologie opère dans un benchmark synthétique contrôlé utilisant six familles distinctes de HMM avec des complexités de transition et d'émission variables.

Le benchmark

Le benchmark entraîne de minuscules transformateurs causaux (2 couches, largeur 128, ~275k paramètres) sur des émissions visibles de HMM où les états latents, les matrices de transition et les probabilités d'émission sont connus exactement. Cette configuration fournit :

Vérité terrain exacte : Séquences d'états latents, vecteurs de croyance bayésiens et matrices de transition.
Cibles exactes : Prédictions bayésiennes optimales du prochain token et cibles contrefactuelles d'état forcé (la distribution du prochain token si l'état latent était forcé à une valeur spécifique).

Le pipeline MCT

Étant donné un transformateur entraîné sur des émissions HMM, le MCT exécute les étapes suivantes :

Extraction d'état : Un extracteur d'état $g$ mappe les vecteurs d'activation $a_{\ell,t}$ vers des états candidats discrets $z_t$ . L'extracteur de référence utilise le clustering K-means sur les activations résiduelles.
Récupération de la croyance : Une sonde de ridge linéaire mappe les activations vers le vecteur de croyance bayésien exact pour tester si l'information de croyance est présente.
Récupération de la transition : La séquence d'états extraite est utilisée pour estimer une matrice de transition, qui est comparée à la vraie matrice de transition HMM en utilisant la divergence KL par ligne.
Test d'ordre markovien : Des modèles empiriques d'ordre 0, 1 et 2 sont ajustés aux états extraits pour évaluer la force du signal markovien d'ordre 1.
Forçage d'état (Intervention) : Il s'agit du test causal central. Le centroïde d'un cluster d'état récupéré est patché dans le modèle à une position de token spécifique. La sortie du modèle est ensuite comparée à la cible contrefactuelle HMM exacte (la distribution résultant du forçage de l'état latent). La performance est mesurée par la divergence KL entre la sortie du modèle patché et la cible exacte.

Résultats clés

Apprentissage de la tâche

Sur 18 exécutions (6 familles HMM × 3 graines), les transformateurs ont appris la tâche de prédiction efficacement, atteignant une perte excédentaire moyenne par rapport au prédicteur bayésien optimal de seulement 0,0138.

Récupération d'état et de transition

Information de croyance : Les sondes linéaires ont confirmé que l'information de croyance est récupérable à partir des activations pour toutes les familles, bien que la qualité varie considérablement selon la famille HMM.
Structure de transition : Les abstractions d'état basées sur les résidus et l'ACP ont récupéré une structure de transition partielle. Le signal était le plus fort dans les régimes persistants (transitions collantes) et facilement séparables (faible entropie d'émission).
Limites : La récupération était plus faible dans les régimes d'émission ambiguë et à six états. Le clustering de croyance exact est resté une borne supérieure plus forte que le clustering dérivé des activations, suggérant que le modèle représente un objet continu de type croyance plutôt qu'une copie directe de l'étiquette latente discrète.

Forçage d'état (Preuve causale)

L'intervention de forçage d'état a fourni la preuve la plus claire d'utilité causale :

Performance : Le patching d'un centroïde d'état récupéré a réduit la divergence KL vers la cible contrefactuelle exacte de 0,1957 (non patché) à 0,0532 en moyenne.
Contrôles : Cette amélioration surpasse significativement les contrôles incluant des centroïdes d'états erronés, des activations moyennes, des activations aléatoires, des centroïdes d'étiquettes mélangées, et même des centroïdes d'états vrais dans certaines métriques agrégées.
Implication : L'abstraction d'état récupérée est causalement significative et plus proche de l'état prédictif interne du modèle que l'étiquette latente échantillonnée dans certains contextes.

Contributions

Benchmark contrôlé : Un cadre unifié fournissant des étiquettes latentes exactes, des croyances bayésiennes, des matrices de transition et des cibles contrefactuelles pour tester les méthodes d'interprétabilité des transformateurs.
Pipeline de diagnostic (MCT) : Un pipeline de référence pour mapper les activations vers des abstractions d'état, tester l'ordre markovien et valider la pertinence causale via le forçage d'état.
Résultats empiriques : Preuve que les petits transformateurs apprennent des prédicteurs proches de Bayes et que leurs activations résiduelles contiennent une structure de transition partielle et grossière, en particulier dans les régimes avec des signaux de transition forts.

Importance et affirmations

L'article positionne le MCT non pas comme un algorithme complet pour récupérer les états cachés, mais comme un cadre de diagnostic pour la dynamique d'état des transformateurs. Les auteurs affirment que :

Le MCT détecte avec succès une structure de transition prédictive partielle dans des paramètres synthétiques.
Il identifie où les signaux d'interprétabilité sont forts (régimes persistants/faciles) et où ils sont faibles (régimes ambigus/hautement entropiques).
Les tests de forçage d'état utilisant des contrefactuels HMM exacts fournissent une méthode rigoureuse pour évaluer la pertinence causale des abstractions d'état extraites.

Le travail est modeste dans son ampleur, reconnaissant que les tâches sont synthétiques, que les modèles sont minuscules et que l'extracteur de référence est simple. Il ne prétend pas que le raisonnement en langage naturel possède des structures d'état identiques, mais établit plutôt une ligne de base pour tester si les abstractions dérivées des activations peuvent révéler des dynamiques prédictives grossières face à une vérité terrain exacte.