🤖 machine learning

Closure-Validated Circuit Discovery in Attention Heads: Co-activation Proposes, Ablation Disposes

本論文は、共活性化統計量に基づいてアテンションヘッドをクラスタリングすることで妥当な回路の候補を生成できる一方で、それらの機能的な必要性を検証できるのは因果的アブレーションテストのみであり、そのような安価な信号は、Mixture-of-Expertsモデルのような複雑なアーキテクチャにおいて真の回路を特定することにしばしば失敗することを明らかにしている。

原著者： Yongzhong Xu

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yongzhong Xu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文の解説を、シンプルで日常的な比喩を用いて日本語に翻訳したものです。

大きなアイデア：「提案」と「証明」によるチームの特定

あなたは、複雑な機械（巨大なロボットの脳のようなもの）がどのように動いているのかを解明しようとしていると想像してください。あなたは、特定の歯車のグループ（アテンション・ヘッドと呼ばれます）が、「前の単語を覚える」や「パターンを見つける」といった特定のタスクを実行するために、一つのチームとして連携しているのではないかと疑っています。

長い間、研究者たちは、**共活性化（co-activation）**を観察することで、これらのチームを見つけようとしてきました。これは、歯車を眺めながら、「おい、歯車Aと歯車Bがいつも同時に回転しているぞ。彼らはきっとチームなんだ！」と言うようなものです。

この論文は、極めて重要な問いを投げかけています。「歯車が一緒に回転しているからといって、それらが本当に機能的なチームとして重要な仕事をしていると言えるのだろうか？」 あるいは、それらは単に同じ電源スイッチに接続されているために一緒に回っているだけで、実際には何の役にも立っていないのではないか？

著者らはこれを、**「提案（Proposal）」（観察に基づく推測）と「発見（Discovery）」（証明に基づく確定した事実）**の違いと呼んでいます。

実験：「沈黙テスト」

チームが実在することを証明するために、著者らは単に歯車の回転を観察するだけでなく、「沈黙テスト（Silence Test）」（彼らはこれを**「クロージャ（Closure/完結性）」**と呼んでいます）を行いました。

提案： 彼らは数学的なレシピ（クラスタリング）を用いて、一緒に回転する歯車のグループを見つけ出しました。
テスト： その特定の歯車のグループをオフ（アブレーション／除去）にしました。
判定：
- 本物の回路（Real Circuit）： もし機械がミスをしたり、動作が止まったりした場合、そのグループは本物の、不可欠なチームであったことを意味します。
- 偽の回路（Fake Circuit）： もし機械が完璧に動き続け（あるいはむしろ、より良く動いた）場合、そのグループは本当のチームではありませんでした。彼らは単なる「ノイズ」や、重要ではない冗長な部品に過ぎなかったのです。

結果：二つの異なる物語

著者らは、このテストを3種類の異なるタイプのロボットの脳（AIモデル）で検証しました。

1. デンス・モデル（標準的な脳）

モデル： Pythia 1B および OLMo 1B
物語： これらのモデルでは、「沈黙テスト」は完璧に機能しました。数学が「チーム」であると示した歯車のグループをオフにすると、ロボットの脳は実際にその仕事ができなくなりました。
比喩： これは、オーケストラの中でいつも同じ音を奏でているミュージシャンのグループを見つけるようなものです。彼らを消音（ミュート）すると、音楽は崩壊します。結論： これらのモデルにおいて、「一緒に回転している」という推測は、多くの場合、本物の回路に対する正しい「提案」となっていました。

2. MoEモデル（スペシャリストの脳）

モデル： OLMoE-1B-7B（Mixture of Experts / 混合エキスパート）
特徴： このモデルは異なり、「マネージャー」が存在し、どのスペシャリストがどのタスクに取り組むかを決定します。
物語： ここで事態は複雑になります。
- まず、脳全体を観察した際、数学的な手法ではチームを全く見つけることができませんでした。
- そこで、研究者たちはより賢いトリックを試みました。入力データを「どのマネージャーがアクティブか」に基づいてグループ化し、そのグループ内でのチームを探したのです。すると、今度は数学が非常に強いシグナルを見つけ出しました。それはまるで、本物のチームのように見えました！
- ひねり： しかし、この「完璧な」チームに対して沈黙テストを行ったところ、ロボットの脳は悪化するどころか、むしろ性能が向上したのです。
比喩： オフィスの中で、いつも同じコーナーに立って大声で話している人々のグループを想像してください。あなたは彼らを「プロジェクト・チーム」だと思うかもしれません。しかし、彼らに帰ってもらうよう頼んだところ、オフィスはむしろスムーズに回り始めました。彼らは実際には、周囲の邪魔をしていただけだったからです。
結論： このモデルにおいて、数学は見かけ上はチームに見えるグループを見つけ出しましたが、それは実際には単なる「ノイズ」でした。沈黙テストは、「チームのように見えること」は「チームであること」の十分条件ではないということを証明しました。

トレーニングのタイムライン：「形態」対「機能」

著者らは、これらの脳が赤ちゃんから大人へと成長していく過程（学習中）も観察しました。彼らは二つの側面を見ました。

形態（Form）： 歯車は正しいものに焦点を当てているように見えるか？（例：前の単語を見ているか？）
機能（Function）： 歯車は実際に「仕事」をしているか？（その歯車をオフにすると、ロボットは壊れるのか？）

彼らは、驚くべきミスマッチを発見しました。

機能はあるが形態がない（Function without Form）： 時には、ある歯車のグループが（フォーカスが定まる前から）重労働（不可欠な機能）をこなしていることがありました。彼らはまだ「彷徨っている」状態でありながら、懸命に働いていました。
形態はあるが機能がない（Form without Function）： 時には、ある歯車のグループが完璧に集中し、鋭いフォーカスを持っているように見える（優れた形態を持つ）にもかかわらず、それらをオフにしても何も起こらないことがありました。彼らはチームのように見えていましたが、実際にはただの装飾品でした。

「冗長性」の驚き

特定のテスト（自然言語を用いたPythia 1B）において、奇妙な現象が見つかりました。

「チーム」をオフにしたとき、ロボットが「正解」に対して持っていた確信度は急落しました（自分が間違っていると確信した状態）。
しかし、全体のスコア（平均損失/loss）はほとんど変化しませんでした。
比喩： バックアップ発電機を想像してください。メインの電源線を切ると、照明は激しく点滅しますが（特定のシグナルが急落する）、バックアップ発電機が即座に作動するため、家全体が暗くなることはありません（全体のスコアは維持される）。モデルには非常に多くのバックアップ経路があるため、ダメージを隠してしまい、「チーム」が実際よりも重要ではないように見せてしまうのです。

主な教訓

この論文は、AI研究者に向けてシンプルなルールを提示して締めくくっています。

「共活性化は『提案』であり、クロージャ（完結性）こそが『証明』である。」

AIの脳の一部が一緒に活性化しているからといって、あるいは焦点が合っているように見えたり、統計的なクラスターに現れたりするからといって、それが機能的な回路であるとは限りません。 それが本当に重要かどうかを知るためには、「沈黙テスト（アブレーション）」を行う必要があります。

標準的なモデルでは、その推測はしばしば正しいです。
しかし、複雑な「Mixture of Experts（混合エキスパート）」モデルでは、その推測は完全に間違っている可能性があり、チームを見つけたと思ったら、実は単なる「注意を逸らすもの」を見つけていただけ、ということも起こり得ます。

この論文が主張していないこと：

この手法がすべてのAIモデルに適用できるとは言っていません（テストされたモデルに限ります）。
これが、異なる数学を用いる他のタイプのAI機能（「Sparse Autoencoders」など）に適用できるとも言っていません。
医学的または臨床的なアドバイスを提供するものではありません。これは純粋に、これらの特定のコンピュータ・ブレインがどのように機能するかを理解するためのものです。

技術要約：アテンションヘッドにおける閉鎖検証された回路の発見

問題提起
メカニスティックな解釈可能性（Mechanistic Interpretability）の研究対象は、個々のユニットから、コンポーネントのグループ（部分空間、多様体、ヘッドセット）へとシフトしている。有力な手法の一つとして、共活性化統計（例：スパースオートエンコーダのフィーチャやアテンションヘッドを用いた二値化イジングモデル）を用いてこれらのグループを見出すアプローチが提案されている。しかし、決定的な欠落がある。すなわち、統計的に一貫した共活性化コミュニティが、実際に「回路（circuit）」としての負荷を担う性質を持っているのかという点である。真の回路とは、そのグループの機能が適用される入力に対して、その除去がモデルの性能を因果的に低下させるコンポーネントの集合を指す。

本論文は、「安価なシグナル」——具体的には、共活性化クラスターのメンバーシップ、アテンション・ターゲット選択性、および参加比率（participation ratio）——が、回路発見のための十分な証拠となり得るのか、それとも単に因果的検証を必要とする候補を提示しているに過ぎないのかを調査している。著者らは、クラスタリングのみによって以下の区別が可能かどうかを問うている：

真の回路（True Circuits）: 機能を共同で実装し、負荷を担っているグループ。
共活性化コミュニティ（Co-active Communities）: 共通の上流ドライバーによって同時に発火しているが、冗長または微々たる貢献しかしていないグループ。
キャンセル可能なコミュニティ（Cancellable Communities）: ネットワークが補償できるバイアス信号を追加しており、それらの除去によってむしろ性能が向上する場合があるグループ。

手法
本研究では、3つの1Bスケール言語モデル（Pythia 1B、OLMo 1B、および混合エキスパートモデルであるOLMoE-1B-7B）と2つの入力分布（合成インダクションおよび自然言語テキスト）を用いて、「提案と検証（proposal-and-validation）」のフレームワークを採用している。

提案（クラスタリング）:
- シグナル抽出: 各アテンションヘッドに対し、テンプレートフリーのシグナルを抽出する：入力中の任意のキーポジションに割り当てられた最大アテンション重み。
- 二値化: シグナルはヘッドごとに中央値で二値化される。これにより、構成上すべてのヘッドが50%の例で発火することになり、発火率のバイアスが除去される。
- イジング適合: 二値化されたシグナルに対し、擬似尤度（pseudolikelihood）を用いてペアワイズ・イジングモデルを適合させ、ヘッド間の結合強度を推定する。
- コミュニティ回復: 絶対結合行列に対してスペクトラルクラスタリングを適用する。クラスター数（ $k$ ）は、ヘッドの能力（例：前トークン、インダクション）に関する教師あり分類に対する調整ランド指数（ARI）を最大化するように選択される。
- 候補選択: 純度、隔離性（内部結合と外部結合の比率）、およびサイズ制約に基づいて、特定のサブクラスターを選択する。
検証（閉鎖テスト）:
- アブレーション: 選択されたコミュニティに対し、特定されたヘッドの出力スライスを、それらが残差ストリームに入る前にゼロにするアブレーションを行う。
- 比較: 例ごとのダメージ（クロスエントロピー損失の変化、トップ1精度、ターゲット・トークン・ロジット）を、同じサイズの5つのマッチド・ランダム制御アブレーションと比較する。
- 判定基準: 候補が「閉鎖（closure）」をパスするためには、ダメージが期待される方向（損失が増加し、精度/ロジットが減少する）であり、かつランダム制御分布に対して統計的に有意（zスコア > 1.8）である必要がある。
拡張プロキシ:
- 本研究では、これら「安価な」シグナルが、時間の経過とともに負荷を担う機能とどのように相関するかを確認するため、アテンション・ターゲット選択性と**参加比率（PR）**も追跡している。

主な結果

高密度モデル（Pythia 1B, OLMo 1B）:
- 合成および自然言語テキストの両方の分布において、特定された共活性化コミュニティは閉鎖をパスする。
- これらのコミュニティのアブレーションは、ランダム制御と比較して、一貫して損失を増加させ、精度およびターゲット・ロジットを低下させる。
- OLMo 1B（自然言語）: 損失に対して+36.4 $\sigma$ 、ターゲット・ロジットに対して-50.9 $\sigma$ という、最も強いシグナルを生成した。
- Pythia 1B（自然言語）: 「ダウンストリーム冗長性のシグネチャ」を示した。ターゲット・ロジットは大幅に低下したが（-52.5 $\sigma$ ）、総体的な損失の変化は小さかった（+1.95 $\sigma$ ）。これは、モデルがアブレーションされた出力を再構成する冗長なダウンストリーム経路を持っており、クロスエントロピー損失を保護しつつ、特定の予測の確信度を崩壊させていることを示している。
混合エキスパート（OLMoE-1B-7B）:
- 限界的な失敗: 自然言語において、周辺的なイジングモデルは崩壊し（ARI $\approx$ 0.006）、構造を回復することに失敗した。
- ルート条件付きの回復: 例をルーティング・パターンによって層別化（ルーティング重みのk-meansを使用）し、個別のイジングモデルを適合させることで、統計的に有意なシグナルを回復した（ARI 0.191、ランダム分割ヌルに対して+3.05 $\sigma$ ）。
- 閉鎖の失敗: 統計的な回復にもかかわらず、発見されたコミュニティは誤った方向の閉鎖に失敗した。アブレーションにより、コミュニティの除去が性能を改善した（特定のルーティング層において z = -5.64 $\sigma$ 、それ以外の層において -12.94 $\sigma$ ）。これらのヘッドはルート調整されたノイズとして機能しており、それらを除去することで、特に特定のルーティング層以外の入力においてモデルの性能が向上した。
学習軸プロキシ:
- 形式なき機能: OLMo 1Bにおいて、BOS（文頭）ヘッドは、アテンション・BOS選択性パターンが形成される（選択性がほぼゼロであった）2Bトークンの時点で、すでに負荷を担っていた（閉鎖をパスした）。
- 機能なき形式: Pythia 1Bにおいて、前トークン・ヘッドは高い選択性と高い参加比率を示したが、閉鎖には失敗した（アブレーションは性能を損なわず、場合によっては向上させた）。
- この双方向のデカップリングは、アテンション・パターンと機能が異なる構成概念であり、単なる同一現象の異なる感度ではないことを証明している。

マルチメトリック報告
本論文は、クロスエントロピー損失単独では閉鎖の指標として信頼できないと主張している。これは、制御分散の崩壊（OLMoの自然言語で見られる）によって増幅されたり、ダウンストリームの冗長性（Pythiaの自然言語で見られる）によって隠蔽されたりするためである。著者らは、以下のマルチメトリック基準を推奨している：

方向: すべてのメトリックがダメージの方向へ動くこと。
ターゲット・ロジット: 因果的影響の主要な指標。
精度: 裏付けとなる証拠。
損失: 集計による緩和の影響を受けるため、保守的な下限値。

主張と意義
本論文は、以下の4つの主張を結論としている：

提案 vs. 発見: 非教師あり共活性化クラスタリングは、回路の提案手法であり、発見手法ではない。それは候補となるコミュニティを特定するが、それらが負荷を担っていることを検証するのは因果的アブレーション（閉鎖）のみである。
高密度モデルの成功: 高密度な1Bスケールモデルにおいて、共活性化コミュニティは、合成および自然言語テキストの両方において、閉鎖を生き残る負荷を担う回路を正常に提案できる。
MoEの失敗: MoEアーキテクチャにおいては、ルート条件付きの統計的回復（注意深いヌルテストをパスするもの）であっても、回路の証拠としては不十分である。回復されたコミュニティは、閉鎖に失敗し、逆の方向（除去によって性能が向上する）の結果をもたらすことがある。
メトリックの乖離: アテンション・パターンと機能の間のギャップは双方向である。パターンを持たないが機能を持つヘッド、あるいは機能を持たないがパターンを持つヘッドが存在する。

範囲と限界
著者らは、これらの結果がSAE（スパースオートエンコーダ）のフィーチャ・多様体（異なる検証基準を使用）や、より大きなモデル、他のアーキテクチャ（LLaMA、Mistralなど）、あるいは他の入力分布（コードなど）に一般化できるとは主張していない。また、MoEにおける「誤った方向への失敗」は、テストされた特定のアーキテクチャとルーティング・プロトコルに特有のものであることも述べている。イジング親和性は比較可能性のための選択であり、必ずしも最適な親和性ではない。本研究は、MoEにおける負の結果が不可欠であることを強調している。なぜなら、それは統計的な一貫性が、複雑なアーキテクチャにおいて因果的な負荷を担うことを保証しないことを示しているからである。