技術要約：クエリ回路：言語モデルがユーザーのプロンプトにどのように回答するかを説明する

1. 問題定義

現在のメカニスティック・インタープリタビリティ（機械論的解釈可能性）の研究は、主に能力回路の発見（capability circuit discovery）に焦点を当ててきました。これは、特定のアルゴリズム的スキル（間接目的語の特定や、大小比較など）に対して、データセット全体を通じて責任を持つグローバルなサブネットワークを特定するものです。これは価値のある手法ですが、これらの手法は、なぜ大規模言語モデル（LLM）が単一の、特定のユーザー入力クエリに対して特定の出力を生成するのか（インスタンスレベルの説明）については説明できません。

インスタンスレベルの回路に対する既存のアプローチは、Sparse Autoencoders (SAEs) や Cross-Layer Transcoders (CLTs) といった**サロゲートモデル（代理モデル）**に大きく依存しています。これらのサロゲートは、疎な活性化を提供することで回路発見を容易にするため、LLMの挙動を近似するために使用されます。しかし、本論文は、これらのサロゲートが元のモデルの活性化を忠実に再構成できないことが多く、LLMの真の計算メカニズムを捉えきれていない可能性があると主張しています。さらに、これらのサロゲートの訓練には膨大な計算コストがかかり、そのアクセシビリティを制限しています。

本論文は、**クエリ回路の発見（Query Circuit Discovery）**というタスクを導入します。これは、単一の入力クエリに対するモデルの応答を駆動する、元のLLM内にある直接的（in-place）で疎かつ忠実なサブネットワークを特定することを目指すものです。このアプローチは、潜在的に不実実なサロゲートモデルに依存することなく、ローカルな入力レベルの説明を提供することを目指しています。

2. メソドロジー（手法）

著者らは、クエリ回路発見における2つの主要な技術的課題、すなわち「既存の評価指標の不安定性」と「単一クエリに対する標準的な発見手法の非効率性」に対処するためのフレームワークを提案しています。

2.1. 評価指標：正規化偏差忠実度 (Normalized Deviation Faithfulness: NDF)

回路発見の標準的な指標である正規化忠実度スコア (Normalized Faithfulness Score: NFS) は、一般的なデータセット（例：MMLU）において不安定であることが示されています。NFSの値はしばしば激しく変動し、1を超えたり0を下回ったりするため、回路の発見プロセスを確実に追跡したり、回路の品質を比較したりすることが不可能です。

これを解決するために、著者らは正規化偏差忠実度 (NDF) を導入しました：
$$\text{NDF}(C_q) = 1 - \min\left( \left| \frac{L(M(q)) - L(C_q(q))}{L(M(q)) - L(M(q'))} \right|, 1 \right)$$
ここで：

• $M$ はターゲットとなるLLM。
• $C_q$ は発見されたクエリ回路。
• $q$ は元のクエリ、$q'$ は破損したクエリ（例：重要な事実的手がかりが削除されたもの）。
• $L(\cdot)$ は性能指標（例：ロジット差）。

NDFの主な特性:

• 有界性: $[0, 1]$ の範囲内に厳密に制限されています。
• 対称性: モデルの性能からの偏差を、上下等しく罰します。
• 解釈性: スコアが1の場合、回路はモデルの性能を完全に復元していることを示し、0の場合、偏差は元のクエリと破損したクエリの間の差分と同じであることを示します。

2.2. 発見手法：Best-of-N (BoN) サンプリング

標準的なエッジ・スコアリング手法（Edge Attribution Patching [EAP] など）は、勾配ノイズやエッジ間の組合せ効果の無視により、単一のクエリに対してコンパクトで忠実な回路を見つけるのが難しいことがよくあります。著者らは、特定のクエリに対して発見された回路は失敗することがあっても、そのクエリの**パラフレーズ（言い換え）**に対して発見された回路は成功する場合が多いことを観察しました。

これに基づき、彼らはBest-of-N (BoN) サンプリングを提案しています：

1. パラフレーズ: 元のクエリ $q$ のパラフレーズを $p$ 個生成する。
2. スコアリング: 元のクエリおよびすべてのパラフレーズに対してエッジ重要度スコア（EAP-IGを使用）を計算し、$p+1$ 個のエッジスコア行列を得る。
3. 選択: $p+1$ 個の候補回路（各スコア行列に対して1つずつ）を構築し、最も高いNDFスコアを持つものを選択する。

効率を高め、すべてのエッジ予算に対してLLMを $p+1$ 回実行することを避けるために、著者らは2つのバリアントを提案しています：

• 補間型BoN (Interpolated BoN: iBoN): 異なるサイズの以前に発見された2つの忠実な回路の間を補間し、追加のフォワードパスなしで新しい回路を形成する。
• 制約適応型スコア行列を用いたBoN (BoN with Constraint-Adaptive Score Matrix: BoN-CSM): すべての以前に発見された回路からのスコア行列を統一されたスコア行列およびティア（階層）行列に集約し、さまざまなサイズの新しい回路を効率的に構築できるようにする。

3. 主な貢献

1. タスクの定式化: 本論文は、グローバルな能力回路の発見やサロゲートベースのインスタンスレベルのアプローチとは異なる、クエリ回路の発見を正式に定義しました。これは、情報の流れを元のモデル内で直接追跡することを強調しています。
2. 堅牢な評価 (NDF): 著者らは、一般的なデータセットにおけるNFSの不安定性を特定し、より信頼性が高く、有界で、対称的な指標としてNDFを提案しました。
3. 効率的な発見 (BoN): 勾配ノイズと組合せ効果の限界を克服するために、Best-of-N サンプリングとそのバリアント（iBoN、BoN-CSM）を導入し、複雑な自然言語クエリに対するコンパクトで忠実な回路の発見を可能にしました。
4. 実証的検証: 本論文は、提案手法が、MMLUやARC Challengeのような複雑なタスクにおいても、個々のクエリに対してモデルの性能の大部分を復元する疎なクエリ回路がLLM内に存在することを実証しています。

4. 実験結果

著者らは、Indirect Object Identification (IOI)、算術タスク、ARC Challenge、および9つのカテゴリのMMLUにわたって手法を評価しました。

• 性能: BoN サンプリングは、ベースライン（単一クエリ・スコアリングおよびパラフレーズによるスコアの平均化）を一貫して上回りました。
• 希薄性（Sparsity）: MMLUにおいて、モデルの全エッジのわずか 1.3%（Llama-3.2-1B-Instructにおける約5,000エッジ）を含むクエリ回路が、平均 0.6 のNDFを達成し、そのクエリに対するモデルの挙動の約60%を復元しました。対照的に、標準的なEAP-IGは、同様の性能レベルに達するために大幅に多くのエッジ（最大51.7%）を必要としました。
• 共有サブ回路: 分析の結果、クエリ回路はパラフレーズによって変化するものの、基礎となる能力に対応する一連のコアエッジ（「共有サブ回路」）を共有していることが明らかになりました。これは、これらの回路がランダムな「ロトリーチケット」ではなく、共通のメカニズムの変種であるという仮説を支持しています。
• 実行可能性（Actionability）: ジェンダーバイアスに関する実験では、高いNDFスコアを持つ回路の方が、より実行可能であることが分かりました。高NDF回路によって特定された特徴をゼロにした場合、低NDF回路と比較して、バイアスの減少が大幅に大きくなりました。これは、NDFが意味のある計算を捉える能力の信頼できるプロキシ（代理指標）であることを示唆しています。

5. 意義と主張

本論文は、クエリ回路の発見が、言語モデルが個々の入力をどのように処理するかについての、忠実かつスケーラブルな説明への重要な一歩であると主張しています。

• 忠実性: サロゲートに頼らず、モデル内で直接（in-placeで）動作することにより、その説明はモデルの実際の計算メカニズムに対してより忠実になります。
• スケーラビリティ: 提案されたBoN サンプリング手法は、サロゲートモデルの訓練や過剰なフォワードパスといった膨大な計算コストをかけることなく、これらの回路の発見を可能にします。
• 実用性: モデルの挙動の大部分を説明する疎なサブネットワーク（例：1.3%の接続）の発見は、LLMが非常に局所的な経路を通じて個別の入力を処理していることを示唆しており、詳細なメカニスティック・分析が可能であることを示しています。

著者らは、課題（マルチトークン生成の扱い、および人間が理解可能なラベル付けの完全自動化など）は残っているものの、本研究は、医療や自律走行システムのような高リスクな領域での展開に不可欠な、プロンプトレベルでのLLMの決定を説明するための実用的な道筋を確立したと結論付けています。