技術要約：メカニスティック・データ・アトリビューション (MDA)

1. 問題提起

メカニスティック解釈可能性（MI）は、インコンテキスト学習（ICL）を担うインダクション・ヘッドのような、大規模言語モデル（LLM）内の解釈可能な回路の特定に成功してきた。しかし、これらの回路の因果的な起源が訓練データ内のどこにあるのかは依然として不明なままである。現在のMI研究は主に静的なものであり、推論時に特定の回路が「何を」計算しているかを逆向きに解析することには長けているが、特定の訓練データの分布が「なぜ」「どのように」それらの計算の出現を引き起こしたのかを判別するツールを欠いている。従来の訓練データ・アトリビューション（TDA）手法は、グローバルなモデルの挙動（例：テストセットに対する損失）に焦点を当てており、アテンション・ヘッドやニューロンといった特定の解釈可能なユニットの機能的な挙動には焦émentしていない。

2. 手法：MDAフレームワーク

著者らは、内部メカニズムの訓練起源を特定の訓練サンプルへと遡るためのスケーラブルなフレームワークである**メカニスティック・データ・アトリビューション（MDA）**を導入する。このフレームワークは3つのステージで構成される。

ステージ1：解釈可能なユニットの局在化

本フレームワークは、3つのタプル $(\mu, \pi, f_{probe})$ を定義する：

• モニタリング指標 ($\mu$): 特定の解釈可能なユニットを識別するための定量的指標（例：インダクション・ヘッドにおけるプレフィックス一致スコア）。
• 部分空間投影 ($\pi$): ターゲットとなるユニットに関連するパラメータ部分空間 $\theta_{sub}$ を分離する（例：特定のアテンション・ヘッドの重み）。
• プロービング関数 ($f_{probe}$): 特定のデータセット $D_{probe}$ に対するユニットの機能的な有効性を評価する関数。

ステージ2：ユニット特異的な影響力の計算

標準的なTDAがグローバルな損失を使用するのに対し、MDAは**影響関数（Influence Functions, IF）を特定のパラメータ部分空間に対して動作するように適応させる。訓練サンプル $z_{train}$ が解釈可能なユニットに与える影響は、以下のように計算される：
$$I_{MDA}(z_{train}, D_{probe}) = -\nabla_{\theta_{sub}}L(z_{train})^\top \hat{H}^{-1}_{\theta_{sub}} \nabla_{\theta_{sub}}f_{probe}(\theta, D_{probe})$$
LLMに対するスケーラビリティを確保するため、本フレームワークはEK-FAC（固有値補正されたクロネッカー因子近似曲率）**を採用し、制限されたパラメータ部分空間内において、逆ヘッセ行列 $\hat{H}^{-1}_{\theta_{sub}}$ を効率的に近似する。これにより、フル行列の反転に伴う計算の困難さを回避している。

ステージ3：理解と介入

計算された影響力スコアは、因果的な介入に使用される。著者らは以下の方法で、その知見を検証している：

1. データ削除： 訓練中に影響力の高いサンプルの勾配をマスクする。
2. データ増強： 影響力の高いサンプルを複製する。
3. メカニスティック・データ増強パイプライン： LLMを用いて影響力の高いサンプルから構造的パターンを抽出し、新しい訓練データをプログラム的に合成する。

3. 主な貢献

方法論的フレームワーク

本論文は、分析のレンズを記述的な分析（「この回路が存在する」）から、発展的な追跡（「このデータ分布がこの回路の形成を引き起こした」）へと転換する新しいパラダイムとしてMDAを提案している。これは、個々のユニットの機能的挙動を特定の訓練データに帰属させるための、スケーラブルで勾配ベースのアプローチを提供する。

因果的検証

Pythiaファミリーのモデル（14M, 31M, 70M, 160Mパラメータ）を用いた広範な実験を通じて、著者らは因果的な証拠を提示している：

• 必要性： 影響力の高いサンプルのわずかな割合（$\le 10\%$）を除去すると、ターゲットとなるインダクション・ヘッドや以前のトークン・ヘッドの出現が著しく阻害または遅延する。
• 十分性： これらの特定のサンプルで訓練セットを増強すると、これらのヘッドの形成が加速される。
• 特異性： ランダムな介入（影響力の低いサンプルの除去または増強）は有意な影響を示さず、特定されたサンプルが一般的な訓練ノイズではなく、メカニズムと因果的に結びついていることを裏付けている。

メカニスティックな洞察

• データ・カタリスト（触媒）： インダクション・ヘッドの出現は、意味的な内容ではなく、反復的な構造データ（例：LaTeX、XML、コード、および一見「ノイズ」に見える反復的なシーケンス）によって駆動される。これらのパターンはメカニスティックな触媒として機能する。
• 転移可能性： あるインダクション・ヘッドに対して特定された高影響力サンプルは、他のインダクション・ヘッドに対しても効果的に一般化される。これは、回路間で共有されたメカニスティックな駆動源が存在することを示唆している。
• 出現のダイナミクス： インダクション・ヘッドの形成は、疎でユニークなデータのサブセットによって引き起こされるのではなく、トークンが蓄積されるにつれて着実に進行する。高影響力サンプルは、単一の「スイッチ」としてではなく、この蓄積の「速度」を調節する。
• ICLとの相関： インダクション・ヘッドの形成を強化する介入は、ICLの性能向上を同時にもたらす。これは、インダクション・ヘッドがICLの基礎的なメカニズムであるという仮説に対する直接的な因果的証拠を提供する。

実用的な応用

著者らはメカニスティック・データ増強パイプラインを提案している。高影響力サンプルから構造的モチーフを抽出し、LLMを用いて新しいデータを合成することで、小さなモデル（Pythia-14M）から生成された合成データが、より大きなモデル（最大160M）におけるインダクション・ヘッドの形成を効果的に加速できることを示した。これは、これらのメカニズムに必要な構造的なカリキュラムがスケール不変であることを示唆している。

4. 結果と観察

• スケーラビリティ： MDAはモデルパラメータに対して劣線形にスケールし（図3）、OLMo-2-7Bまでのより大きなモデルへの適用が可能である。
• 冪乗則（パワーロー）分布： 影響力スコアは重い裾を持つ冪乗則分布に従い、ごく一部のサンプルがメカニズムの出現に対して不釣り合いに大きく寄与している。
• 全般的な性能： MDAによる増強は、一般的な言語モデリングや事実の想起能力を損なうことなく、回路の収束を加速させる。これは、ターゲットを絞ったメカニスティックな強化が、広範なモデルの品質を損なわないことを示している。
• モデル間の一貫性： 小規模モデルから導出された合成パターンは、より大きなモデルにも一般化される。これは、より大きなシステムを最適化するための軽量なプロキシ（代理）としての利用可能性を検証している。

5. 意義と主張

本論文は、特定の訓練データの分布と、解釈可能な内部回路の形成を結びつける直接的な因果的証拠を提供する最初の試みであると主張している。インダクション・ヘッドとICLの間の因果関係を確立することで、MDAは以下のための原則に基づいた手法を提供する：

1. 科学的理解： 訓練コーパスの統計的特性が、いかにして専門化された回路（例：推論や想起のための回路）を形成するかを観察する。
2. モデル・ガバナンス： モデル開発を制御するための精密なデータレベルの介入を可能にし、特定のデータタイプをフィルタリングまたは増強することで、バイアスのある、あるいは有害なメカニズムを軽減できる可能性がある。
3. 効率性： 「データの触媒」を特定することで、高レバレッジなデータパターンに集中し、事前学習の計算コストを削減できる可能性がある。

著者らは、MDAをメカニスティック解釈可能性と訓練データ・アトリビューションの架け橋として位置づけており、LLMの発展的な軌跡における観測的な相関関係を超え、実行可能な因果的介入へと移行させている。