💬 NLP

Automated Attribution Graph Interpretation via Probe Prompting

本論文は、アトリビューション・グラフ内の特徴量をクロス・プロンプト活性化シグネチャを用いて概念に整合したスーパーノードへとグループ化する、透明性の高いルールベースのパイプラインである「プローブ・プロンプティング」を導入し、最小限の計算オーバーヘッドで、事実的ドメイン全般にわたるそれらの因果的ステアリング挙動を正常に検証することに成功した。

原著者： Giuseppe Birardi, Gonçalo Paulo

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Giuseppe Birardi, Gonçalo Paulo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、質問に答えるために何百万ものワーカー（ニューロン）が互いにメモを回し合っている、巨大で賑やかな都市だと想像してください。私たちは、どのようにメモが渡されるか（数学的仕組み）は正確に知っていますが、都市があまりに巨大でメモが複雑すぎるため、人間が地図を見て、「ああ、この特定のワーカーのグループが、『テキサスの州都はオースティンである』という事実を担当しているのだな」と断定することは不可能です。

この論文は、その都市をマッピングするための新しい手法である**プローブ・プロンプティング（Probe Prompting）**を紹介しています。以下に、簡単な比喩を用いてその仕組みを説明します。

1. 問題点：読み解くには大きすぎる都市

以前、研究者たちは「属性グラフ（attribution graphs）」を見てモデルを理解しようと試みてきました。これは、どのワーカーが最終的な回答に影響を与えたかを示す設計図のようなものです。

問題点: 「テキサスの州都は？」という単純な質問であっても、設計図には何千もの線とノードが存在します。それは、一文字一文字を個別に見て小説を読もうとするようなものです。たった一つの経路を辿るだけで数時間かかり、何千もの質問に対してこれを行うことは不可能です。
従来の方法: 一部の研究者は、AIにワーカーのラベル付け（「これは『テキサス』に関するものだ」など）を行わせようとしました。しかし、多くの場合、AIはそのワーカーが実際にその瞬間に「何をしたか」ではなく、そのワーカーが「普段何をしているか」に基づいて推測しているだけでした。

2. 解決策：探偵としての「プローブ（探針）」

著者らは、プローブ・プロンプティングと呼ばれる、透明性の高いルールベースのシステムを作成しました。これは、モデルを推理ゲームの容疑者のように扱う手法です。

セットアップ: 特定の質問（例：「テキサスの州都は……」）を取り上げ、詳細を入れ替えた、ほぼ同一の「プローブ（探針）」となる質問のセットを生成します（例：「フロリダの州都は……」、「ニューヨークの州都は……」）。
テスト: これらのプローブに対して、特定のワーカー（特徴量）がどのように反応するかを観察します。
- 比喩: ビルの中に警備員がいると想像してください。彼らが何をするかを知るために、一度観察するだけでは不十分です。次に、「『ジョン』という人が入ってきたらどうしますか？」と聞き、次に、「『メアリー』なら？」「『ボブ』なら？」と聞きます。
- もし警備員が「ジョン」が入ってきた時にだけ反応するなら、その人はジョン検知器です。
- もしどんな名前に対しても反応するなら、その人は名前検知器です。
- もし「〜は」や「〜の」と言われた時に反応するなら、その人は文法ヘルパーです。

3. ワーカーのグループ化：「スーパーノード」

これらの反応に基づき、システムは何千もの個々のワーカーをスーパーノードへとグループ化します。

魔法: 5,000人の個々のワーカーを見る代わりに、システムはこう言います。「よし、この50人のワーカーは全員『テキサス検知器』として機能している。だから、これらを一つの大きなチーム、チーム・テキサスと呼ぼう」。
結果: 巨大で混乱した都市の地図は、いくつかの名前が付いたチーム（例：チーム・テキサス、チーム・オースティン、チーム「州都」）へと圧縮され、読みやすい図になります。

4. 証明：「スワップ（入れ替え）」実験

これらのラベルが、単なる偶然の推測ではなく本物であることを、どのように証明するのでしょうか？著者らは**因果的スワップ（Causal Swap）**を実施します。

実験: ダラスに関する質問（本来の答えはオースティンであるはず）を用意し、モデルに強制的にミネソタ（本来の答えはセントポールであるはず）と答えさせようと試みます。
手法: チーム・ダラスとラベル付けされたワーカーの「音量を下げ」、チーム・ミネソタとラベル付けされたワーカーの「音量を上げる」操作を行います。
結果:
- プローブ・プロンプティングによるラベルを使用したとき、モデルはダラスからミネソタへと回答を正しく変更することに**73%**の成功率で成功しました。
- ランダム・コントロール（ラベルを無視してランダムにワーカーを選んで入れ替える手法）を用いた場合、モデルは正しく回答を変更することはほとんどありませんでした。
- インフルエンス・コントロール（何をしているかにかかわらず、最も「声の大きい」ワーカーを選ぶ手法）を用いた場合も、モデルは正解への変更に失敗しました。

5. 平易な言葉による主な知見

効果がある: このシステムは、どのワーカーが特定の事実を実際に制御しているかを特定することに成功しました。これらをグループ化することで、モデルの「脳」を読み解けるものにしました。
少ない方が良い: 時として、文章のあらゆる部分（都市の名前、州の名前、そして州都）を制御しようとすると、逆にモデルを混乱させてしまいます。答えに関連する特定のパーツ（州と州都）だけを調整する方が効果的です。
透明性が高い: 「ブラックボックス」である一部のAI手法とは異なり、このシステムは明確で人間が理解可能なルールを使用しています。研究者が作業内容を確認したい場合、なぜあるワーカーが特定のチームに分類されたのか、その理由を正確に確認できます。

まとめ

この論文は、言語モデルの脳内の混沌とした読めない地図を、クリーンでラベル付けされた図へと変えるツールを提示しています。これは、モデルの各パーツが少しずつ異なる質問に対してどのように反応するかをテストし、似たパーツをグループ化し、それらのグループが実際にモデルの振る舞いを制御していることを、制御された実験における回答の入れ替えによって証明することで実現されています。

この論文が主張していないこと:

この手法が、あらゆるAIタスク（コードを書いたり会話をしたりすることなど）に適用できるとは主張していません。テストは、事実に関する質問（州都、本の著者、企業の創設者など）に特化して行われました。
この手法がモデルを修正したり、より賢くしたりすることを主張しているわけではありません。これは単に、人間がモデルの仕組みを理解するのを助けるためのものです。
この手法がすべての言語やすべてのモデルサイズで機能することを主張しているわけではありません。テストは、特定の英語モデル（Gemma-2-2B）を用いて行われました。

技術要約：プローブ・プロンプティングによる帰属グラフの自動解釈

問題提起
大規模言語モデル（LLM）における入力から出力への計算経路は理論的には既知であるが、その計算の極めて高い密度が、人間による解釈を困難にしている。Sparse Autoencoders (SAE) や Cross-Layer Transcoders (CLT) といった既存のメカニズム的解釈手法は、高密度のモデル活性化を疎な特徴量へと分解することには成功している。しかし、得られる帰属グラフ（attribution graphs）は依然として手動分析には大きすぎる。例えば、一つの短い事実に基づくプロンプトだけで、600から5,000個のノードを持つグラフが生成される。コーパスの活性化に対するLLMのスコアリングに依存することが多い既存の自動解釈技術は、因果的な検証や回路レベルの相互作用に関する洞察を提供できていない。個別のケーススタディから、手動での追跡を必要とせずに大規模な回路カタログへとスケール可能な、振る舞いに紐付いた自動化されたグルーピング手法が切実に求められている。

手法：プローブ・プロンプティング（Probe Prompting）
本論文では、複雑な帰属グラフを、概念に整合したコンパクトな「スーパーノード（supernodes）」の集合へと変換するための、透明性の高いルールベースのパイプラインであるプローブ・プロンプティングを導入する。この手法は、以下の4つの明確な段階を経て進行する：

帰属グラフの生成： NeuronpediaとCLT辞書を用い、シード・プロンプト（例：「ダラスを含む州の州都は」）に対する帰属グラフを生成する。
プローブ・プロンプトの生成： 各シードに対し、LLMが概念を対象とした一連のプローブ・プロンプトを生成する。これらのプローブは、シードの構文構造（前置詞、回答の位置）を維持しつつ、内容となるエンティティを変化させる。
クロス・プロンプト活性化シグネチャ（CPAS）： システムはプローブ集合全体にわたって特徴量の活性化を測定する。単一のプロンプトにおけるピーク（これは曖昧になりやすいため）に頼るのではなく、ピークの一貫性、疎性、およびシードに対するコサイン類似性などの指標を集計する。この集計により、各特徴量のCPASが形成される。
ルールベースのスーパーノード形成： 決定論的な決定木を用いて、CPASの指標を以下の4つの機能的役割のいずれかにマッピングする：
- Semantic-Dictionary (SEM-DICT)： 単一の意味的トークン（例：「テキサス」）に対して一貫してピークを示す特徴量。
- Semantic-Concept (SEM-CONC)： 関連するトークンのファミリー（例：アーティスト名）に対してピークを示す特徴量。
- Relationship (REL)： エンティティではなく関係性をエンコードする、拡散した活性化パターンを持つ特徴量。
- Say-X (SAY-X)： 意味的ターゲットに対して予測可能な位置にある機能的トークン（例：「は」、「の」）においてピークを示し、実質的に出力を促進する特徴量。
  同じ役割と名称を共有する特徴量は、スーパーノードへと統合される。

因果的検証プロトコル
これらのスーパーノードの有用性を検証するため、著者らはエンティティ・スワップ実験を含む因果的介入プロトコルを採用している。ソース・ターゲットのペア（例：ダラス $\to$ オースティン）に対し、ソースに関連する特徴量をアブレーション（除去）し、ターゲットに関連する特徴量を増幅させる。成功の判定は、モデルの予測がターゲットのエンティティへと転換されたかどうかで行われる。

重要な点として、本論文は、結果が特徴量の数やグラフの影響によるアーティファクトではないことを保証するために、以下の2つの厳格なベースラインを導入している：

Matched-Random Control（一致させたランダム制御）： ラベル付けされた集合と同じ数とレイヤー分布を持ち、概念に整合したスーパーノードの外側から抽出されたランダムな特徴量セット。
Influence-Matched Top-K Control（影響力一致Top-K制御）： ラベル付けされた介入の累積影響力予算と一致するように、グラフへの影響力が高い上位 $K$ 個の特徴量を選択したベースライン。

主な結果
本手法は、Gemma-2-2Bモデルと公開されているCLT辞書を用い、4つの事実ドメイン（米国の州都、本の登場人物、企業の創設者、絵画の画家）にわたって評価され、合計44,596回の介入実行が行われた。

ベースラインに対する優位性： ラベル付けされたスーパーノードは、ランダムおよび影響力一致の両方のベースラインを大幅に上回った。米国ドメインにおいて、ラベル付けされたアプローチは72.8%のHit%（転換成功率）を達成したが、これは一致させたランダム制御の0.7%、および影響力一致Top-Kベースラインの**4.2%**と比較して顕著な差であった。
人間によるアノテーションとの比較： ダラス／オースティンのプロンプトを用いたケーススタディにおいて、自動化されたパイプラインは人間がキュレーションしたグラフと比較して、同等の成功率（人間による49回中38回に対し、自動化による49回中40回）を達成したが、より多くの特徴量セット（1コールあたり4個に対し96.5個）を必要とした。しかし、自動化された手法は、特定のソース州に対して人間によるキュレーションが見逃した転換経路を特定することに成功しており、非冗長性を示した。
フィールド加算性（Field Additivity）： 本研究は「少ないことは、より良いことである（less is more）」という事実を見出した。中間フィールドおよび回答フィールド（例：州および州都）に焦点を当てた介入は、入力フィールド（例：都市）を含めるよりも有意に効果的であった。入力フィールドは、モデルが何を生成すべきかではなく、モデルが何を読み取っているかをエンコードすることが多いためである。
ステアリング強度： 最適な増幅倍率（ $M$ ）は、二峰性（ $M \approx 2.4$ 付近と $M \approx 6.9$ 付近にピーク）を持つことが判明し、単一特徴量のステアリングで使用される標準的な $M=20$ という設定に疑問を投げかけた。

意義と主張
本論文は、プローブ・プロンプティングによって、透明性の高いルールベースのパイプラインを通じて、回路レベルの解釈可能性を部分的に自動化できることを示している。その主な貢献は以下の通りである：

回路グルーピングの自動化： 手動の介入なしに、数千の特徴量を概念に整合したスーパーノードへとグループ化するスケーラブルな手法を提供する。
因果的検証フレームワーク： 一致させたランダムおよび影響力一致のコントロールを用いることで、グルーピングの質を評価するための堅牢でメソッドに依存しないハネスを確立した。これは、解釈スコアがランダムに初期化されたモデルによっても達成可能であるという批判に対処するものである。
運用的有用性： 得られたラベルは単なる記述的なものではない。それらはエンティティ・スワップを実行するための操作的な有用性を持ち、特徴量が計算グラフ内での実際の振る舞いによって正しくクラスター化されているかを確認するための迅速なテストとして機能する。

著者らは、現在の主張が因果的抽象化のレベル1および2（特徴量とその機能的役割の特定）をカバーしているものの、レベル3（潜在変数による完全なメカニズムの特定）までは主張していないことを謙虚に述べている。また、現在の制限事項として、2ホップの事実想起への限定、グラフ生成中のアテンションの固定（介入時には固定されていない）、および英語の機能的トークン語彙への依存を挙げている。本研究は、将来のグルーピング手法を因果的介入に対して較正するための、再利用可能なハネスとして提示されている。