🤖 machine learning

Markovian Circuit Tracing for Transformer State Dynamic

本論文は、合成隠れマルコフモデルタスクにおけるトランスフォーマーの活性化が粗い状態遷移構造を符号化しており、活性化パッチングを通じて反事実的予測精度を大幅に向上させる状態抽象化を可能にする診断フレームワークであるマルコフ回路追跡（MCT）を導入する。

原著者： Abdullah X

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Abdullah X

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが魔術師がトリックを演じるのを見ていると想像してください。あなたは彼がシャッフルするカードや発する言葉（可視的な出力）を目撃しますが、彼が頭の中で保持している秘密の順序（隠れ状態）は見ることができません。

長年、研究者たちはトランスフォーマーのような AI モデルがどのように「思考」するかを、その内部の歯車や配線を観察することで解明しようと試みてきました。この論文は**「マルコフ回路追跡（Markovian Circuit Tracing、MCT）」**と題され、AI がシーケンスの次に来る出来事を予測しようとする際、魔術師の心の中を覗く新しい方法を提案しています。

以下に、彼らの実験と発見を簡単な比喩を用いて解説します。

1. 設定：管理されたマジックショー

AI をテストするために、研究者たちはシェイクスピアやニュース記事といった実世界データを使用しませんでした。代わりに、隠れマルコフモデル（HMM）という数学的概念に基づいた完璧に管理された架空の世界を構築しました。

ゲーム: 隠れた部屋が円形に並んだボードゲームを想像してください。トークンがどの部屋にいるかは見えませんが、トークンが動くたびに色付きのライトが点滅するのを目撃します。
ルール: 研究者たちは正確なルールを知っています。トークンが部屋間をどのように移動するか、ライトがどのように点滅するか、そしてトークンが次に何を予測すべきかを正確に把握しています。
AI: 彼らは小さな AI（「トランスフォーマー」）をこのゲームをプレイするように訓練しました。この AI は色付きのライトしか見えず、次のライトを推測する必要があります。

2. 問題：AI は実際に「思考」しているのか？

AI が正しく推測したとき、それは単にパターンを暗記しているだけなのか、それとも隠れた部屋の内なる地図を構築しているのでしょうか？

研究者たちは知りたいと考えていました：AI の内部的な「脳活動」（活性化）に、これらの隠れた部屋の地図が含まれているのか？

3. 手法：「マルコフ回路追跡（MCT）」

彼らは MCT という診断パイプラインを作成しました。これは、AI の複雑で高次元の脳信号を、単純な「部屋（状態）」のリストに変換しようとする翻訳機のようなものです。

彼らはこの翻訳機を 4 つの方法でテストしました。

信念チェック: AI の心を読み、各部屋にいる確率を知っているか確認できるか？（例：「私は赤い部屋にいると 80% 確信しているか？」と問うようなもの）
地図チェック: AI に特定の部屋にいると強制的に思わせた場合、実際にその部屋にいるかのように振る舞うか？
遷移チェック: AI の内部状態の変化が、ゲームのルールと一致する形で起こるか？
「パッチング」テスト（マジックのトリック）: これが最も重要な部分です。彼らは AI の内部「状態」（どの部屋にいるかの翻訳機の推測）を、ゲームの最中に別の状態と入れ替えました。
- 比喩: AI が車を運転していると想像してください。走行中に、運転手の心の地図を「高速道路にいる」から「街中にいる」に差し替えます。もし AI が突然、街中を運転するかのように減速したり曲がったりするなら、その内部の地図は実在し、有用であったことになります。

4. 結果：部分的な成功

発見は「部分的だが一貫性のある」ものでした。つまり、AI はいくつかのことはうまく行い、他のことはうまく行かなかったということです。

AI は優秀な生徒です: AI はゲームを非常にうまく学びました。完璧な数学者が予測できるのとほぼ同様に、次のライトを予測しました。
「地図」はぼやけています: 研究者たちが AI の脳信号を特定の「部屋」に変換しようとしたとき、それは完璧な 1 対 1 の一致ではありませんでした。
- 簡単なゲーム（ライトがどの部屋にいるかを明確に示している場合）では、AI の内部地図は比較的明確でした。
- 難しいゲーム（ライトが混乱を招く場合、または部屋が多すぎる場合）では、AI の内部地図はぼやけていました。
「パッチング」の証明: これが最大の勝利でした。彼らが AI に特定の内部状態（「重心」）を使用することを強制したとき、AI の振る舞いは数学が予測した通りに変化しました。
- 結果: AI の振る舞いは、ランダムな状態や誤った状態を使用した場合よりも、はるかに「完璧な」数学的な目標に近づきました。これは、その構造がゲームの規則の完璧なコピーでなかったとしても、AI が意思決定を行うために特定の内部構造を使用していることを証明します。

5. 大きな教訓

この論文は、トランスフォーマーがシーケンス問題を解決する際に内部的な「状態」の要約を構築しているが、それらは正確なラベル（例：「私は間違いなく部屋 A にいる」）ではなく、確率的な信念（例：「私は部屋 A にいる可能性が高いと思う」）に近いものであると結論付けています。

言及された主な限界:

これは小さな合成モデルが架空のゲームをプレイするものとしてテストされました。
使用された「翻訳機」は単純でした。
彼らはまだ、詩を書くことや病気を診断することのような複雑な実世界のタスクに対してこれが機能すると主張できません。論文は厳密に、この管理された数学的ベンチマークにその主張を限定しています。

要約の比喩

あなたが車の運転を見ながら GPS がどのように機能するかを突き止めようとしていると想像してください。

従来の方法: 配線を見て、地図がどのように保存されているかを推測しようとします。
この論文の方法: 完璧な小さな迷路を構築します。車がそれを navigated するのを見守ります。その後、車の中に手を伸ばして、運転手の心の地図を別のものに入れ替えます。もし車が突然右ではなく左に曲がり始めたら、運転手が地図を使用していたことは確実であり、その地図が運転にどのように影響するかを特定したことになります。

この論文はこう言っています。「私たちは完璧な迷路を構築し、地図を入れ替え、運転手が地図を使用していたことを証明しました。しかし、これが実際の高速道路での運転に通用するかどうかは、まだわかりません。」

技術的概要：トランスフォーマー状態ダイナミクスに対するマルコフ回路追跡

問題定義

メカニズム的解釈可能性は、主にトランスフォーマーにおける孤立した行動を説明するために、局所的な回路、特徴、およびアテンションヘッドの分析に焦点を当ててきた。しかし、部分的に観測される系列タスクは、異なる計算パラダイムを必要とする。すなわち、モデルは将来の予測を知らせるために、時間経過とともに内部の要約（状態）を維持・更新しなければならない。隠れマルコフモデル（HMM）は、潜在状態に対するベイズ的信念ベクトルが最適解となるような、そのようなタスクに対して数学的に厳密な枠組みを提供する。しかし、トランスフォーマーの活性化が実際にこれらの状態遷移ダイナミクスを符号化しているかどうかをテストするための、制御されたベンチマークは不足している。既存の研究は、潜在状態、信念ベクトル、および反事実的ターゲットに対する正確なグラウンドトゥルースに同時にアクセスできないまま、コンポーネント（プロービング、パッチング、状態抽出）を個別に研究することが多い。

手法：マルコフ回路追跡（MCT）

本論文は、トランスフォーマーの活性化に粗い状態遷移構造が含まれているかどうかをテストするように設計された診断パイプラインである**マルコフ回路追跡（MCT）**を導入する。この手法は、遷移および放出の複雑さが異なる 6 つの異なる HMM ファミリを用いた制御された合成ベンチマーク内で動作する。

ベンチマーク

このベンチマークは、潜在状態、遷移行列、および放出確率が正確に既知である HMM から可視放出を学習する、小型の因果トランスフォーマー（2 層、幅 128、パラメータ数約 275k）を訓練する。この設定は以下のものを提供する：

正確なグラウンドトゥルース：潜在状態系列、ベイズ的信念ベクトル、および遷移行列。
正確なターゲット：ベイズ最適の次のトークン予測、および強制状態反事実的ターゲット（潜在状態が特定の値に強制された場合の次のトークンの分布）。

MCT パイプライン

HMM 放出上で訓練されたトランスフォーマーが与えられた場合、MCT は以下のステップを実行する：

状態抽出：状態抽出器 $g$ が、活性化ベクトル $a_{\ell,t}$ を離散的な候補状態 $z_t$ にマッピングする。参照抽出器は、残差活性化に対する K-means クラスタリングを使用する。
信念回復：線形リッジプローブが、活性化を正確なベイズ的信念ベクトルにマッピングし、信念情報が存在するかどうかをテストする。
遷移回復：抽出された状態系列を使用して遷移行列を推定し、行ごとの KL 発散を用いて真の HMM 遷移行列と比較する。
マルコフ次数テスト：抽出された状態に 0 次、1 次、2 次の経験的モデルを適合させ、1 次マルコフ信号の強度を評価する。
状態強制（介入）：これが核心的な因果テストである。回復された状態クラスタの重心を、特定のトークン位置においてモデルにパッチする。その後、モデルの出力を、正確な HMM 反事実的ターゲット（潜在状態を強制することによって生じる分布）と比較する。性能は、パッチ適用後のモデルの出力と正確なターゲットとの間の KL 発散によって測定される。

主要な結果

タスク学習

18 回の実行（6 つの HMM ファミリ × 3 つのシード）全体において、トランスフォーマーは予測タスクを効果的に学習し、ベイズ最適予測器に対する平均超過損失がわずか0.0138であった。

状態および遷移回復

信念情報：線形プローブは、すべてのファミリにおいて信念情報が活性化から回復可能であることを確認したが、その品質は HMM ファミリによって大きく異なった。
遷移構造：残差および PCA ベースの状態抽象化は、部分的な遷移構造を回復した。信号は持続的（粘着性のある遷移）および容易に分離可能（低い放出エントロピー）な領域で最も強かった。
限界：回復は曖昧な放出および6 状態の領域では弱かった。正確な信念クラスタリングは、活性化由来のクラスタリングよりも強い上限であり続けた。これは、モデルが離散的な潜在ラベルの直接のコピーではなく、連続的な信念のようなオブジェクトを表現していることを示唆している。

状態強制（因果的証拠）

状態強制介入は、因果的有用性に関する最も明確な証拠を提供した：

性能：回復された状態の重心をパッチすることにより、KL 発散を正確な反事実的ターゲットに対して、パッチなしの0.1957から平均して0.0532に削減した。
対照実験：この改善は、誤った状態の重心、平均活性化、ランダム活性化、シャッフルされたラベルの重心、そして集計された指標によっては真の状態の重心さえも上回る対照実験を大幅に上回った。
含意：回復された状態抽象化は因果的に意味があり、特定の文脈において、サンプリングされた潜在ラベルよりもモデルの内部予測状態に近い。

貢献

制御されたベンチマーク：トランスフォーマーの解釈可能性手法をテストするための、正確な潜在ラベル、ベイズ的信念、遷移行列、および反事実的ターゲットを提供する統合フレームワーク。
診断パイプライン（MCT）：活性化を状態抽象化にマッピングし、マルコフ次数をテストし、状態強制を通じて因果的関連性を検証するための参照パイプライン。
経験的知見：小型トランスフォーマーがニアベイズ予測器を学習すること、およびその残差活性化が、特に強い遷移信号を持つ領域において、部分的で粗い粒度の遷移構造を含んでいるという証拠。

意義と主張

本論文は、MCT を隠れ状態を回復するための完全なアルゴリズムとしてではなく、トランスフォーマー状態ダイナミクスのための診断フレームワークとして位置づけている。著者らは以下を主張する：

MCT は、合成設定において部分的な予測遷移構造を成功裏に検出する。
解釈可能性シグナルが強い場所（持続的/容易な領域）と弱い場所（曖昧/高エントロピー領域）を特定する。
正確な HMM 反事実的ターゲットを用いた状態強制テストは、抽出された状態抽象化の因果的関連性を評価するための厳密な手法を提供する。

この研究は範囲が控えめであり、タスクが合成であること、モデルが小型であること、参照抽出器が単純であることを認めている。自然言語推論が同一の状態構造を持つと主張するものではなく、正確なグラウンドトゥルースに対して、活性化由来の抽象化が粗い予測ダイナミクスを露呈できるかどうかをテストするための基準を確立するものである。