Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations

この論文は、活性化パッチングを用いて因果的に重要なアテンションヘッドを特定し、回路レベルの分析を自然言語の説明に橋渡しするパイプラインを提案し、GPT-2 Small における間接的対象識別タスクにおいて、LLM 生成の説明がテンプレートベースの手法を上回る品質を持つことを実証するとともに、モデルの自信と説明の忠実性の間に相関がないことを明らかにしています。

要約

この論文は、**「AI（大規模言語モデル）がなぜその答えを出したのか、その『頭の中』を人間が理解できる言葉で説明する」**という難しい課題に挑んだ研究です。

AI はすごい性能ですが、その判断プロセスはまるで「ブラックボックス（中身が見えない箱）」のようでした。この研究は、その箱の内部を分解して、**「本当に原因となっている部品」を見つけ出し、それを「人間にわかる物語」**に変える新しい方法を提案しています。

以下に、専門用語を避け、身近な例えを使ってわかりやすく解説します。

---

🕵️‍♂️ 1. 研究の目的：AI の「脳内探偵」になる

AI が「A と B がいて、B が C に何かを渡した」という文を読んで、「C ではなく A が受け取ったはずだ」と正解を導き出したとします。
従来の方法は、「AI が A に注目した（アテンション）」という**「表面的な視線」**だけを頼りに、「だから A が正解だ」と説明していました。しかし、それは「視線を向けたからといって、実際にその判断をしたわけではない」という誤解を招くことがありました。

この研究は、**「本当に AI の判断を動かした『原因』は何か？」を突き止め、それを「信頼できる物語」**として説明しようとしています。

🔧 2. 使った方法：AI の脳を「いじって」調べる

研究者たちは、AI の内部構造を調べるために、以下のような**「手術のような実験」**を行いました。

• 実験（アクティベーション・パッチング）：
  AI の頭の中で、特定の「部品（アテンション・ヘッド）」の動きを意図的に書き換えてみます。
  • 例え話： 料理人が卵を割る瞬間に、その手を強制的に別の場所へ動かす。すると、料理（AI の答え）がどう変わるか？
  • もし手を動かしたことで料理が台無しになれば、「その手（部品）は料理に不可欠だった」とわかります。
  • もし何も変わらなければ、「その手は単なる飾りだった」とわかります。

この実験を通じて、AI の判断に**「本当に重要な 6 つの部品」**だけを見極めました。

📝 3. 説明の生成：2 つのスタイルで比較

見つけた「重要な部品」を元に、人間向けの説明文を作りました。2 つのやり方を比べました。

1. テンプレート式（ロボット風）：
   「L9H9 という部品が注目したから、正解は〇〇です」と、決まり文句に数字を埋め込むだけ。
   • 結果： 正直だが、少し味気なく、文脈が乏しい。
2. LLM 生成式（賢い翻訳者風）：
   見つけた部品データを、もう一つの AI（LLM）に読み込ませ、「これを人間がわかるように物語にして」と頼む。
   • 結果： 「L9H9 という部品が『メアリー』に 66% の注目度を向け、ジョンには 7% しか向けなかったため、メアリーが正解だと判断しました」と、具体的な数字と文脈を含んだ自然な文章が生まれました。
   • 評価： 後者のほうが66% も質が高く、人間に伝わりやすかったのです。

📊 4. 驚きの発見：AI の「自信」と「説明」は関係ない

この研究で最も興味深い発見が 2 つあります。

① 「説明の完全さ」は 100% ではない

• 発見： 見つけた 6 つの部品だけで、AI の正解を 100% 再現できました（十分性：100%）。
• しかし： これらの部品を AI から取り除いても、AI はまだ 78% くらいは正解できてしまいました（網羅性：22%）。
• 意味： AI は**「メインのエンジン（6 つの部品）」だけでなく、「予備のエンジン（バックアップ）」もたくさん持っています。メインが壊れても予備で動くため、AI は非常にタフですが、「なぜ正解したか」を一言で説明するのは難しい**のです。

② 「自信」と「本当の理由」は無関係

• 発見： AI が「99% 自信がある！」と言った時、その説明が本当に正しい（原因を捉えている）とは限りませんでした。
• 意味： AI が自信満々でも、実は「予備のエンジン」や「偶然の要因」で答えを出している可能性があります。だから、**「AI が自信を持っているからといって、その説明を鵜呑みにしてはいけない」**という警鐘を鳴らしています。

💡 5. まとめ：何ができたのか？

この研究は、AI の「ブラックボックス」を解き明かすための新しい道筋を示しました。

• 真実の追求： 単なる「視線」ではなく、「因果関係（原因と結果）」に基づいて説明する。
• 人間の言葉へ： 複雑な数値データを、LLM を使って自然な物語に変える。
• 注意点： AI の説明は「完全な真実」ではなく、「主要な部分」を捉えたものに過ぎない。また、AI の自信は説明の正しさを保証しない。

最終的なメッセージ：
AI の仕組みを理解するには、単に「AI が何と言ったか」ではなく、「AI の頭の中で何が起きたか」を、「予備のエンジン」や「裏の事情」も含めて正直に伝えることが、AI を信頼して使うための第一歩です。

技術概要

論文要約：LLM に対する因果的根拠に基づくメカニズム的解釈性と忠実な自然言語説明

この論文は、大規模言語モデル（LLM）の内部動作を人間が理解できる自然言語の説明に変換する新たなパイプラインを提案し、その有効性を検証した研究です。特に、モデルの「回路（circuit）」レベルの因果的分析と、自然言語説明の「忠実性（faithfulness）」を結びつけることに焦点を当てています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義

現在の LLM 研究には、以下の 2 つの方向性が存在しますが、これらは分離して発展してきました。

1. メカニズム的解釈性（Mechanistic Interpretability）: モデル内部の計算回路（アテンションヘッドなど）を特定し、モデルの挙動を技術的な用語（例：「L9H9 がログオット差の 17.4% に寄与する」）で記述する。
2. 説明可能 AI（XAI）: 人間が理解できる理由付け（rationales）を生成するが、多くの場合、アテンション重みなどの相関的な信号に依存しており、必ずしも因果的なメカニズムを反映していない。

核心的な課題: 技術的な回路分析の結果を、因果的に忠実（causally faithful）な自然言語説明に自動的に変換し、その説明がモデルの実際の決定プロセスをどの程度正確に反映しているかを評価する方法が確立されていないことです。

2. 手法（Methodology）

著者は、以下の 3 つの段階からなるパイプラインを提案しました。

2.1. 対象タスクとモデル

• モデル: GPT-2 Small（1.24 億パラメータ）。
• タスク: 間接目的語の識別（Indirect Object Identification: IOI）。
  • 例文：「When Mary and John went to the store, John gave a drink to...」
  • 正解：「Mary」。
  • このタスクは、既知の回路構造を持つため、評価の「正解（ground truth）」として適しています。

2.2. 回路の特定（活性化パッチングによる）

• 活性化パッチング（Activation Patching）: 入力文の名詞位置を交換して破損させたデータを作成し、各アテンションヘッドの介入がモデルの出力（ログオット差）に与える因果的影響を測定します。
• 効果回復率（Effect Recovery）: 破損データからクリーンなデータへの回復度合いを計算し、因果的に重要なヘッドを特定します。
• 結果として、IOI タスクにおいて 6 つの主要なアテンションヘッド（Name Mover や S-Inhibition ヘッドなど）を特定しました。

2.3. 説明の生成

2 つの方法で自然言語説明を生成し比較しました。

1. テンプレートベース: 抽出された値（ヘッド名、アテンション確率など）を固定テンプレートに埋め込む。
2. LLM 生成ベース: 構造化された回路データ（ヘッド名、アテンション率、予測確信度など）を LLM に提示し、文脈に即した 1〜2 文の説明を生成させる。

2.4. 忠実性の評価（ERASER メトリックの適応）

トークンレベルの説明評価で使われる ERASER メトリックを、回路レベルのコンポーネント評価に適応させました。

• 充足性（Sufficiency）: 挙げられたヘッドだけでモデルの予測を説明できるか？
• 網羅性（Comprehensiveness）: 挙げられたヘッドを除去（アブレーション）すると、予測が変化する（低下する）か？
• 品質スコア: 具体的なヘッド名、パーセンテージ、予測対象の言及、メカニズムへの言及、簡潔さ（50 語未満）を基準に評価。

3. 主要な貢献

1. 回路分析から自然言語説明への変換パイプラインの構築: 因果的な回路発見と NL 説明生成を統合した初の試みの一つ。
2. ERASER メトリックの回路レベルへの適応: 説明の忠実性を定量的に評価するための新しい枠組みの提示。
3. テンプレート対 LLM 生成の説明比較: メカニズム的解釈性の文脈において、両者の品質を初めて体系的に比較。
4. 説明とメカニズムの乖離に関する失敗分類の提案: 説明がメカニズムと一致しない 3 つの失敗カテゴリを特定。

4. 実験結果

GPT-2 Small における IOI タスクでの評価結果は以下の通りです。

4.1. 回路の特定

• 特定された 6 つのヘッドは、ログオット差の 61.4% を説明しました（残りは他のヘッドに分散）。
• 主要なヘッドは、Wang et al. (2023) が以前特定した「Name Mover」や「S-Inhibition」など、既知の回路と一致しました。

4.2. 忠実性の評価

• 充足性: 100%。特定された 6 つのヘッドだけで、モデルの予測を完全に再現できました。
• 網羅性: 22%。これら 6 つのヘッドを除去しても、モデルの性能は部分的にしか低下しませんでした。これは、モデルが分散したバックアップ機構を持っていることを示唆しています。
• F1 スコア: 提案手法（36.0%）は、従来のアテンション重みベースの手法（20.6%）を大幅に上回りました。

4.3. 説明の品質

• LLM 生成の説明は、テンプレートベースの説明と比較して、品質スコアで 66% 高い結果となりました。
• LLM 生成の説明は、具体的なアテンション確率（例：66.5%）や文脈的な名前への言及を含み、より人間に理解しやすいものでした。

4.4. 失敗分析と発見

• 信頼度との相関なし: モデルの予測確信度と説明の忠実性（網羅性）の間には相関が見られませんでした（$r = 0.009$）。高い確信度の予測でも、説明がメカニズムを捉えきれていない可能性があります。
• 乖離の 3 つのカテゴリ:
  1. 分散計算: 多くのヘッドが中程度の寄与をしており、少数のヘッドで説明できない場合。
  2. 欠落した主要ヘッド: 特定のインスタンスで重要になるヘッドが、固定されたトップ 6 回路に含まれていない場合。
  3. 冗長なヘッド活動: ヘッドが活性化しているが、因果的なカバレッジを増加させない場合。

5. 意義と結論

• 因果的根拠の重要性: 単なるアテンション重みではなく、活性化パッチングによる因果的分析に基づく説明が、真に忠実な説明を得るために不可欠であることを示しました。
• LLM による説明生成の可能性: 複雑な回路データを、人間が理解可能な自然言語に変換する際、LLM がテンプレートよりも優れていることが実証されました。
• モデルの頑健性と説明の難しさ: 100% の充足性と 22% の網羅性のギャップは、トランスフォーマーモデルが冗長な計算機構を持ち、アブレーションに対して頑健であることを示しています。これは、モデルの挙動を単一の「簡潔な説明」で完全に記述することが本質的に困難であることを意味します。
• 実用上の示唆: 信頼度（confidence）だけで説明の質を判断することはできず、システムには説明の網羅性（comprehensiveness）を併記するなどの配慮が必要であるとしています。

この研究は、AI の透明性と信頼性を高めるための重要な一歩であり、メカニズム的解釈性を実用的な説明へと橋渡しする枠組みを提供しています。