技術要約：アトリビューション・パッチングが嘘をつくとき

問題定義

メカニスティック・インタープリタビリティ（機械論的解釈可能性）は、どの内部コンポーネント（ニューロン、アテンション・ヘッド）が特定のモデル挙動を駆動しているかを特定するために、因果的ローカライゼーションに依存している。これに対するゴールドスタンダードはアクティベーション・パッチングであり、これは、破損した入力下でのあるコンポーネントの活性化を、クリーンな入力下でのその値で置き換えた際の因果的効果を測定するものである。しかし、アクティベーション・パッチングはコンポーネントの数に対してコストが線形にスケールするため、大規模なスケールでは計算量的に困難である。

その結果、実務者は、破損した活性化の周囲で介入を線形近似する、一次の勾配ベースの近似手法であるアトリビューション・パッチングに頼ることになる。効率的ではあるものの、アトリビューション・パッチングの信頼性は十分に理解されていない。系統的な誤差は、基礎となる回路の誤認を招く可能性がある。先行研究では、特定の失敗モード（例：活性化領域の不一致、ソフトマックスの再分配）を特定し、部分的な救済策を提案しているが、根本的な問いが残されている。それは、「いつアトリビューション・パッチングは信頼できるのか、その誤差はどの程度大きくなり得るのか、そしてどのように修正すべきか？」という問いである。

方法論と核心となる洞察

著者らは、二次テイラー展開を用いて、アトリビューション・パッチングの誤差の構造を分析している。彼らは、真の因果効果（$\Delta$）と一次推定値（$\hat{\Delta}$）の間の誤差 $E$ を、以下の2つの成分に分解する：
$$E = \underbrace{\frac{1}{2} \delta^\top H \delta}_{\text{支配的な二次項}} + \underbrace{\Phi(\delta)}_{\text{三次剰余項}}$$
ここで、$\delta$ は摂動の方向であり、$H$ は活性化に関するスカラー出力メトリックのヘッセ行列である。

核心となる洞察：ダウンストリーム vs ローカル曲率

決定的な発見は、支配的な誤差項が、パッチされたコンポーネント自体のローカルな曲率ではなく、介入に対するネットワークレベルの応答（摂動がモデルの残りの部分を通じてどのように伝播するか）に由来するという点である。

• 先行する修正策の失敗： 従来のメソッド（例：AtP*、GIM）は、ローカルな活性化の曲率（例：活性化関数の二階微分）を用いて誤差を修正しようと試みる。著者らは、ローカルな曲率は真の誤差の予測因子としては極めて劣悪であり、真の誤差源を2〜66倍も過小評価していることを示し、相関がほぼゼロ（$r=0.04$）であることを証明した。
• ネットワークレベルの修正： 真の誤差は、計算グラフ全体のヘッセ行列ベクトル積（HVP）に依存する。

提案される解決策：Screen–Flag–Flag（スクリーニング・フラグ・修正）

この分解に基づき、著者らはスケーラブルなワークフローを提案する：

1. Screen（スクリーニング）： すべてのコンポーネントに対して標準的なアトリビューション・パッチングを計算する（バックプロパゲーション1回）。
2. Flag（フラグ立て）： 一次の推定値に対する二次項の大きさとして定義される信頼度スコア（$\tilde{R}$）を計算する：
   $$\tilde{R} = \frac{|\delta^\top H \delta|}{2 |\hat{\Delta}|}$$
   $\tilde{R}$ が高い場合、省略された二次項が有意であることを示し、その推定値が信頼できないことをフラグ立てする。
3. Fix（修正）： フラグが立てられたコンポーネントに対してのみ、HVPベースの二次修正を適用する。
   • 標準的なHVP： 推定値に $\frac{1}{2} \delta^\top H \delta$ を加える。これには2回のバックプロパゲーション（勾配を計算するための1回と、HVPを計算するための1回）が必要となる。
   • マルチステップHVP (MS-HVP)： 単一のテイラーステップがオーバーシュートしてしまう（局所的な滑らかさの仮定に反する）ような大きな摂動の場合、修正を $K$ 個のサブステップに分割する。これにより、残留誤差を $O(\|\delta\|^2)$ から $O(\|\delta\|^3/K^2)$ へと低減させる。

主な貢献

1. アトリビューションの信頼性の再定義： 著者らは、支配的な誤差源をローカルな非線形性ではなく、ダウンストリームのネットワーク応答へと突き止め、なぜ従来のローカルな修正策が構造的に不完全であるのかを説明した。
2. スケーラブルな二次修正： 彼らは、HVPおよびMS-HVPを、大規模なスケール（最大9Bパラメータ）において実現可能であることが示された最初の二次修正法として導入した。Integrated Gradients (IG) は、この規模では計算量的に実行不可能（1タスクあたり約25 GPU日を必要とする）であるが、HVPは実行可能である。
3. デザインスペースとワークフロー： 彼らは、目的別に既存の精緻化手法を整理し、計算リソースを信頼できるコンポーネントではなく、信頼できないコンポーネントに対してのみターゲットとする「Screen-Flag-Fix」パイプラインを提案し、精度と効率のバランスをとっている。

実験結果

著者らは、5つのモデルファミリー（124M–9Bパラメータ）と複数のタスク（IOI、Greater-Than、Factual Completion）にわたって、提案手法を評価した。

• 誤差の低減： 標準的なHVP修正は、低〜中程度の曲率領域において、アテンション・ヘッドで72–90%、事前活性化MLPニューロンで56–67%のトップ5相対誤差を減少させた。病理的な高曲率領域（例：Pythia-410M IOI）では、単一ステップのHVPはオーバーシュートする可能性があるが、MS-HVP (K=5) は安定性を回復し、誤差を最大82%減少させた。
• ベースラインとの比較：
  • vs. Integrated Gradients (IG)： 計算コストを一致させた場合、MS-HVPはIGと同等以上の精度を示す。GPT-2 IOIにおいて、MS-HVP（コスト10）は、IG（コスト35）を大幅に上回り、3.5倍の効率向上を実現した。
  • vs. Integrated Hessians (IH)： IHは一貫してMS-HVPを下回る。これは、IHの重み付けスキーム（特徴量の相互作用のために設計されたもの）が、アトリビューション・パッチングに関連する特定の誤差項を系統的に過小修正するためである。
  • vs. GIM/AtP：* これらの手法は、わずかな改善を示すか、あるいは性能を低下させる。特に、高次のネットワーク曲率が支配的な大規模モデルにおいては顕著である。
• 回路のリカバリー： 各コンポーネントの精度向上が、回路のリカバリーの改善につながっている。GPT-2 Greater-Thanベンチマークにおいて、MS-HVP (K=5) は、真の正解とのトップ5・オーバーラップを70.1%から83.2%に向上させ、IGやGIMを凌駕した。
• スケーラビリティ： 8B以上のパラメータにおいて、IGは実行不可能であるが、HVPは依然として実用的である。MS-HVPは、この規模で実証された唯一の二次修正法である。

意義と主張

本論文は、アトリビューション・パッチングが本質的に信頼できないのではなく、修正可能な特定の誤差源、すなわち「ダウンストリームのネットワーク曲率の無視」に苦しんでいることを主張している。ローカルな活性化特性からネットワークレベルのヘッセ行列ベクトル積へと焦点を移すことで、著者らは、アトリビューション・パッチングがいつ失敗し、どのように修正できるかについての一般的な説明を提供している。

その意義は、これまで厳密な因果テストが困難であったスケールにおいて、高忠実度の回路リカバリーを可能にした点にある。提案された「Screen-Flag-Fix」ワークフローにより、実務者は信頼できるコンポーネントについては一次近似の速度を維持しつつ、必要な場合にのみターゲットを絞った計算効率の高い二次修正を適用することができる。このアプローチは、フル・アクティベーション・パッチングやIntegrated Gradientsのような経路積分法による膨大なコストをかけることなく、現代の大型言語モデルにおけるメカニスティックな回路の発見を支援するものである。