🤖 AI

Finding Interpretable Prompt-Specific Circuits in Language Models

本論文は、単一のフォワードパスから解釈可能なプロンプト固有の注意回路を抽出する改良された回路追跡手法 ACC++ を紹介し、言語モデルが異なる言語的コンテキストにおける間接目的語の識別などのタスクを解決するために、どのように言語に依存した固有の信号を利用するかを明らかにする。

原著者： Gabriel Franco, Lucas M. Tassis, Azalea Rohr, Mark Crovella

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gabriel Franco, Lucas M. Tassis, Azalea Rohr, Mark Crovella

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、数百万人の小さな労働者（ニューロン）が互いにメモを渡し合い、質問に答える巨大で賑やかな都市だと想像してみてください。長らく、私たちは都市が生み出したもの（答え）は見ていましたが、労働者たちがどのようにそのメモを送ることを決めたのかはわかりませんでした。それは、トリックを知らずにマジックショーを見ているようなものでした。

この論文は、これらのモデルに対するハイテクな「X 線ビジョン」として機能する新しいツール「ACC++」を紹介しています。これは単に推測するだけでなく、特定の課題を解決するためにモデル内を流れる情報の正確な経路を追跡します。

以下は、この論文が何を行い、何を発見したかの簡単な解説です：

1. 課題：「ブラックボックス」都市

モデルがプロンプト（例：「メアリーとジョンが店に行ったとき、ジョンは瓶を...に渡した」）に答える際、答えが「メアリー」であることを突き止めなければなりません。

従来の方法： 研究者たちは、労働者を一つずつオンとオフに切り替える（家のヒューズを抜いてどの電灯が消えるかを見るような）ことで、どの労働者が関与しているかを特定しようとしました。これは遅く、煩雑で、多くの「誤検知」を含むぼやけた画像をもたらすことがありました。
新しいツール（ACC++）： ヒューズを抜く代わりに、ACC++ は労働者間の「ささやき」を聴きます。意思決定に必要な重要な情報を運ぶ特定の低音量のチャネル（シグナルと呼ばれる）を特定します。

2. ACC++ の仕組み：「シグナル探偵」

モデルのアテンション機構（何に注目するかを決定する部分）をラジオ局だと考えてみてください。

従来の方法： 放送しているラジオ局全体を見つけようとしました。
ACC++： 正確な周波数（特定のシグナル）と、その周波数で話している正確なマイク（労働者）を特定するためにズームインします。
魔法： これは単一のパスで即座に行われます。ノイズを取り除き、どの労働者が誰と話し、何を言ったかを正確に示す、清潔でシンプルなマップを残します。

3. 大きな発見：「プロンプト固有」の設計図

最も興奮すべき発見は、モデルがすべての質問に対して同じ設計図を使用するわけではないということです。質問の仕方に基づいて戦略を変えます。

「名前ゲーム」のアナロジー（IOI タスク）：
研究者たちは、モデルを次のゲームでテストしました：「[名前 A] と [名前 B] が店に行ったとき、[名前 B] は [名前 A] にプレゼントを渡した」。モデルは名前 A を選ぶ必要があります。

シナリオ A： 「メアリーとジョンが店に行ったとき...」（メアリーが先）。
シナリオ B： 「ジョンとメアリーが店に行ったとき...」（ジョンが先）。

論文は、これらの 2 つのシナリオに対してモデルが完全に異なる内部回路を使用することを発見しました。タスクは同じですが。

あるケースでは、モデルは「2 番目の項目」検出器を使用します。
もう一方では、「構造的パターン」検出器を使用します。
結論： モデルは柔軟です。異なる戦略の工具箱を持っており、プロンプトの正確な文言に基づいて適切なものを選びます。

4. 多言語の謎：同じ労働者、異なる言語

研究者たちはまた、異なる言語（英語、スペイン語、フランス語、ポルトガル語）でモデルをテストしました。

発見： モデルは、すべての言語で問題を解決するために同じグループの労働者（同じ内部コンポーネント）を使用します。
意外な点： しかし、それらの労働者が互いに渡すメッセージ（シグナル）は言語固有です。
アナロジー： 建設チームが家を建てていると想像してください。ニューヨークでもパリでも、同じチームメンバー（労働者）を使用します。しかし、ニューヨークでは英語を話し、英語で設計図を渡します。パリではフランス語を話し、フランス語で設計図を渡します。仕事の構造は同じですが、コミュニケーションの言語は変化します。
追加発見： 論文は、異なる言語の回路間の「距離」が、言語同士が互いにどの程度似ているかに対応していることを発見しました。スペイン語とポルトガル語の回路は、英語とフランス語の回路よりも互いに似ています。それは言語自体がそうであるのと同じです。

5. これが重要な理由（論文によると）

明確さ： 煩雑で混乱した接続の網を、清潔で読みやすいマップに変えます。
解釈可能性： このツールは、これらの内部の「ささやき」を平易な英語にさえ翻訳できます。例えば、「この労働者はリストの 2 番目の項目を探している」や「この労働者は固有名詞を認識している」といったことを伝えられます。
効率性： 従来の方法よりもはるかに速く、より少ない「ノイズ」でこれらの答えを見つけます。

まとめ

この論文は、AI がどのように単語ごとに思考するかを正確に見る新しいメガネを提供します。それは、AI が単なる静的な機械ではなく、質問の仕方と使用する言語に応じて内部チームを再編成し、コミュニケーションスタイルを変える動的な問題解決者であることを明らかにします。これらは分解する必要なく、これらのモデルの「メカニクス」を理解できることを証明しています。

技術的概要：言語モデルにおける解釈可能なプロンプト固有の回路の発見

問題定義

大規模言語モデル（LLM）の内部的計算メカニズムの理解は、機械的解釈可能性における中心的な課題のままです。先行研究は、モデルが「回路」、すなわち残差ストリームから情報を書き込み読み取るコンポーネント間の因果経路を通じて動作することを確立していますが、これらの回路を追跡する既存の方法には重大な限界があります。従来のアプローチは、しばしば活性化パッチング、対照入力、または置換モデルに依存しており、計算コストが高く、複数のフォワードパスを必要とし、ノイズやアーティファクトを導入する可能性があります。さらに、以前の回路追跡手法は、通信に使用される特定の低次元信号を曖昧にする、大規模でノイズの多いグラフを生成することが多く、プロンプトごとのモデル動作に対する人間が理解できる説明を導き出すことを困難にしています。

手法：ACC++

本論文は、注意因果通信（ACC）の原理に基づいて構築された、改良された回路追跡手法である**ACC++（Attention-Causal Communication++）**を導入します。ACC++ は、特定の注意ヘッドが特定のトークンペアに注意を向ける原因となる特定の信号（低次元部分空間の内容）を特定するように設計されています。

中核メカニズム

ACC++ は、置換モデル、パッチング、対照入力を必要とせず、単一のフォワードパスで動作します。この手法は、宛先 - 元トークンペア $(d, s)$ に注意を向ける特定の注意ヘッド $(\ell, a)$ に対して、以下の 4 つのステップで進行します。

分解: 宛先残差ストリーム $x_d$ を、アップストリームコンポーネント（埋め込み、以前の注意ヘッド、MLP）の出力の和に分解します。
候補信号の構築: ヘッドの Query-Key（QK）行列 $\Omega = W_Q W_K^\top$ $Ω = W_{Q} W_{K}^{⊤}$ の特異値分解（SVD）を用いて、アップストリームコンポーネントの出力を特異ベクトル方向に射影します。これにより、各信号が特定のアップストリームコンポーネントが特定の特異方向（ランク 1 の候補）に書き込むことに対応する候補信号のセットが作成されます。
- 技術的進歩: モデルの不均一性（例えば、バイアス項や回転位置埋め込み/RoPE）に対処するために、ACC++ はバイアスと RoPE 回転をトークン表現に折りたたむことで、注意計算を単一の双線形形式 $\tilde{x}_d^\top \Omega \tilde{x}_s$ に統一します。これにより、アーキテクチャに関わらずヘッドごとに単一の SVD 分析が可能になります。
帰属とスコアリング: 各候補信号の、ソフトマックス後の注意重み $A_{ds}$ への寄与を、統合勾配（IG）を用いてスコアリングします。事前ソフトマックススコアに対して線形代理モデルを使用していた先行研究とは異なり、ACC++ は信号除去が完全なソフトマックス分布に及ぼす非線形の影響を明示的に評価します。
貪欲な対照探索: 候補の全セットから開始し、アルゴリズムは注意重み $A_{ds}$ が閾値 $\tau$ 未満になるまで、最高スコアの信号を貪欲に除去します。除去されたセットが、その特定の注意決定に対する因果回路を構成します。

回路の構築

プロンプトに対する完全な回路は、ACC++ を再帰的に適用することで構築されます。ターゲット対数オッズに直接影響を与えるコンポーネントから開始し、各々の因果信号を特定しながらアップストリームでの注意発火を追跡し、それ以上の上流コンポーネントが存在しなくなるまで続けます。

主要な貢献

1. 概念的および技術的進歩

精密な信号の特定: ACC++ は、コンポーネントとチャネルを独立して特定するのではなく、アップストリームコンポーネントと特異ベクトル方向のクロス積として信号を特定します。これにより、より低次元で精密な信号が得られます。
非線形注意の勘定: 事前ソフトマックスの代理モデルではなく、ポストソフトマックスの注意重みに対して直接対照目的を定義することで、ACC++ は偽のコンポーネントを回避し、より小さく正確な回路を特定します。
統合された QK 分析: この手法はトークンを変換することでバイアスと RoPE を処理し、異なるモデルアーキテクチャ（例：GPT-2、Pythia、Gemma）間で一貫した SVD ベースの分析を可能にします。

2. 自動的解釈可能性

著者らは、ACC++ 信号の相当な割合が解釈可能であることを実証しています。彼らは [18] から適応された自動パイプラインを採用しており、以下の手順を実行します。

データセット（The Pile）から各信号に対する高活性化コンテキストを取得します。
LLM を用いて、信号の短い自然言語記述を生成します。
LLM をジャッジとして用いるプロトコルにより、信号とノイズを区別するために記述を検証します。
結果として、多くの信号が短く、整合性のある自然言語記述（例：「並列ペアの 2 番目の項目」、「固有名詞」、「構造的区切り文字」）を許容することが示されました。

3. プロンプト固有の回路分析

ACC++ により、プロンプトごとの回路分析が可能となり、モデルの動作は静的ではなく、プロンプトの構造と言語によって大きく変動することが明らかになりました。

結果と洞察

1. 回路のコンパクト性と品質

3 つのモデル（GPT-2 Small、Pythia-160M、Gemma-2 2B）と 3 つのタスク（間接目的語識別、Greater-Than、性別代名詞）にわたって、ACC++ 回路は元の ACC 手法によって生成された回路の2 倍から 10 倍小さくなっています。

次元性: ACC++ 信号の大部分はランク 1（単一の特異方向を使用）であり、先行研究のより高次元の信号と比較されます。
因果的妥当性: アブレーション研究により、ACC++ 信号を除去することがターゲットタスクにおけるモデルのパフォーマンスに大きな影響を与えつつ、残差ストリームを最小限に擾乱（コサイン類似度 $\approx 0.99$ ）することが確認され、それらの因果的役割が確認されました。

2. プロンプト構造への感度（IOI タスク）

間接目的語識別（IOI）タスクにおいて、回路はプロンプトテンプレートに極めて敏感であることが発見されました。

GPT-2: 回路は、高レベルのテンプレート構造（ABBA 対 BABA の名前順序）によって厳密にクラスター化されます。同じ「名前移動」ヘッド（9,9）は、テンプレートに応じて（例：「ペアの 2 番目の項目」対一般的な構造的合図）根本的に異なる入力信号を使用します。
Pythia: 回路は、低レベルの文言変更（例：「While」対「Then」）によってクラスター化され、構造的順序だけでなく表面レベルの表現に対する感度を示しています。
Gemma-2: より複雑でテンプレート依存性の低いクラスター化を示し、より微細なプロンプトの詳細への依存性を示唆しています。

3. 多言語メカニズム（mIOI タスク）

多言語 IOI 設定（英語、スペイン語、フランス語、ポルトガル語）において：

コンポーネントの再利用: モデルは言語を超えて同じ注意ヘッドと MLP を再利用します。
言語固有の信号: コンポーネントは共有されていますが、それらを流れる信号はしばしば言語固有です。
言語的相関: 異なる言語の回路間の距離は、それらの言語間の類型論的距離（構文学的および遺伝的距離）と強く相関します。例えば、スペイン語とポルトガル語の回路は、英語やフランス語の回路よりも互いに類似しています。

意義と主張

本論文は、ACC++ が高価な対照介入に依存しない、実用的でスケーラブルな機械的解釈可能性のツールを提供すると主張しています。その主な意義は以下の点にあります。

スケーラビリティ: 単一のフォワードパスのみを必要とすることで、大規模なプロンプトごとの回路分析を実行可能にします。
解釈可能性: 低次元の通信チャネルと人間が読み取れる自然言語記述との直接的なリンクを提供し、数学的メカニズムと意味的理解の間のギャップを埋めます。
ニュアンスのある理解: モデルの「回路」は単一のものではなく、プロンプト構造と言語に適応するコンポーネントと信号の動的な集合体であることを明らかにします。これは、タスクに対する単一の普遍的な回路という見方を覆し、代わりにプロンプト固有のメカニズムのスペクトルを示しています。

著者らは、閾値 $\tau$ のヒューリスティックな性質、FFN によって引き起こされる信号の追跡の欠如、および自動解釈が決定的ではなく示唆的なものであることなどの限界を指摘しています。彼らは、多言語に関する発見が少数の言語ペアに基づいており、決定的な証明というよりも広範な傾向を示唆するものとして扱われるべきであると強調しています。