技術的概要：軌道ベースのデータ帰属はどの程度忠実か？

1. 問題提起

軌道ベースのデータ帰属手法（例：SGD-influence、TracIn、SOURCE）は、トレーニング軌道を展開することで、個々のトレーニングサンプルがモデル予測に与える影響を推定する。データ選択、評価、モデル診断に広く利用されているが、これらの手法には包括的な誤差分析が欠けている。実務家は、帰属誤差の大きさと発生源に関する根本的な不確実性に直面しており、特に誤差が帰属式と実際のトレーニングダイナミクス間の不一致（例：オプティマイザの不一致）に起因するのか、それとも本質的なアルゴリズム近似（例：1 次テイラー展開）に起因するのかについて不明確である。この不確実性は、既存の理論的導出が想定する SGD ではなく、主に AdamW などのオプティマイザを利用する現代の深層学習パイプラインにおける、これらの手法の信頼性ある展開を妨げている。

2. 手法と分類

著者は、軌道ベースの帰属に関する初の体系的な誤差分析を提案し、総誤差を 3 つの明確なカテゴリに整理する：

1. 設定レベル誤差（Config-level Error）: 帰属式が実際のトレーニング手順を忠実に反映していない場合に生じる。特定された主要な発生源はオプティマイザの不一致であり、モデルが AdamW でトレーニングされているにもかかわらず、手法が確率的勾配降下法（SGD）のダイナミクスを仮定している点である。
2. アルゴリズムレベル誤差（Algorithm-level Error）: パラメータ軌道を線形化するために使用される1 次テイラー展開など、効率化のための近似に起因する。
3. システムレベル誤差（System-level Error）: 浮動小数点精度と GPU の非決定性による不可避な誤差であり、真の再トレーニング（ground-truth retraining）であっても影響を受ける。

これらに対処するため、本論文では以下を提案する：

• AdamW-influence: SGD を仮定するのではなく、実際のアダマート（AdamW）最適化ダイナミクス（モメンタム状態と座標ごとの適応的スケーリングを含む）を展開する新しいアルゴリズム。AdamW の 2 次モーメント更新の非線形性を正しく処理するため、勾配レベルで摂動を注入する。
• 誤差プロキシ（Error Proxy）: 再トレーニングを行わずに元の軌道に沿ったサンプルごとのアルゴリズムレベル誤差（更新推定誤差）を推定するための閉形式式。
• K ステップ先読みフレームワーク（K-Step Look-Ahead Framework）: オフライン戦略とオンライン戦略を地平パラメータ $K$ の境界ケースとして扱う、データ選択のための統一的な理論フレームワーク。これにより、先読み情報と蓄積された近似誤差の間のトレードオフを分析可能にする。

3. 主な貢献

A. 設定レベル誤差（オプティマイザの不一致）の修正

著者は、既存の手法が SGD を仮定して帰属を導出しており、AdamW でトレーニングされたモデルに適用すると体系的な偏差が生じることを実証する。AdamW のモメンタムと適応的スケーリングを正しく考慮するAdamW-influenceを提案する。

• 結果: 4 つの設定（MLP、CNN、GPT-2、Llama 3.2-1B）において、AdamW-influence は SGD ベースのベースラインと比較して、推定された影響と真の影響（TSLOO）との間のスピアマン相関を10% から 300% 以上向上させた。
• 示唆: オプティマイザの整合性は、残りのアルゴリズムレベル誤差を分離・分析するための必須の前提条件である。

B. アルゴリズムレベル誤差の分解

設定レベル誤差を修正した後、著者は 1 次テイラー展開に起因する誤差を分離する。支配的な 2 つの要因を特定する：

1. 学習率（$\eta$）: 学習率が大きいほど、ステップごとの線形化誤差が増加する。
2. 軌道長（$T - t^*$）: 残りの軌道が長いほど、誤差が蓄積される。

• 結果: 誤差の大きさは学習率に反比例し、残りの軌道長に比例する。
• 貢献: 著者は、オプティマイザが既に維持している量を用いてサンプルごとの誤差ノルムを推定する**閉形式の誤差プロキシ（式 4）**を導出した。このプロキシは、1 つ除外再トレーニング（leave-one-out retraining）によって得られた真の誤差ノルムと強く相関しており（$\rho \in [0.83, 0.89]$）、再トレーニングなしで誤差を考慮した意思決定を可能にする。

C. データ選択のための実践的ガイドライン

本論文は、$K$ を選択決定が考慮する未来へのステップ数とするK ステップ先読みフレームワークの下で、オフラインおよびオンラインのデータ選択戦略を統合する。

• 知見:
  • オプティマイザの整合性: AdamW-influence を用いたオンライン選択は、一貫してオンライン SGD-influence よりも優れており、忠実性の向上が下流の選択性能に転移する。
  • 地平と誤差: オフライン選択は最も長い地平（$K = T-t$）に対応し、最大の近似誤差を蓄積する。短から中程度の地平を持つオンライン選択は、オフラインの性能と同等かそれ以上であることが多い。
  • $K$ の調整: 最適な地平 $K$ は、学習率が低下するにつれて増大する。学習率が小さいほど、近似誤差が支配的になる前に $K$ ステップの総和をさらに延長できる。
• ガイドライン: 実務家は $K$ を学習率と別々に固定するのではなく、学習率と共同で調整すべきであり、整合したオプティマイザを用いた短地平のオンライン選択は、信頼性が高く実行可能な処方箋である。

4. 実験結果

著者は以下の条件で手法を評価した：

• モデル: MLP、CNN、GPT-2、Llama 3.2-1B。
• データセット: MNIST、WikiText-2、Alpaca、Tulu3。
• 指標: 忠実度のための TSLOO 真値に対するスピアマン順位相関、およびデータ選択の品質のための検証/テスト誤り率またはパープレキシティ。

主要な成果:

• 忠実度: AdamW-influence は、すべての学習率およびアーキテクチャにわたって SGD-influence を大幅に上回る。例えば、$lr=10^{-3}$ の MNIST+CNN において、相関は 0.015 から 0.090 へ向上し（+500%）、改善された。
• 選択の品質: データ選択タスクにおいて、オンライン AdamW-influenceは、オンライン SGD-influence およびオフライン AdamW-influence のいずれと比較しても、MNIST において低い誤り率、Llama 3.2 において低いパープレキシティを達成した。
• 誤差プロキシ: 導出されたプロキシは、高いスピアマン相関（$\rho \approx 0.85$）で真の誤差ノルムを正確に追跡し、軌道を意識した意思決定のための実用的なシグナルとしての有効性を検証した。

5. 意義と主張

本論文は、軌道ベースのデータ帰属に関する初の体系的な誤差分析を提供し、これらの手法を「ブラックボックスのスコアリング関数」から「診断可能な推定量」へと移行させることを主張する。

• 理論的インパクト: 誤差を設定、アルゴリズム、システムのレベルに分類することで、現代の深層学習コンテキストにおける不忠実さの発生源を明確にする。
• 実践的インパクト: AdamW-influence と K ステップフレームワークの導入は、実務家に対する具体的かつ実行可能な解決策を提供する。帰属式を実際のオプティマイザ（AdamW）に整合させ、先読み地平を慎重に調整することで、データ選択とモデル診断の信頼性を大幅に向上させ得ることを示す。
• スケーラビリティ: 提案された手法は $O(T)$ の複雑さを維持する（状態記憶の増大により SGD-influence に対して約 3 倍の定数オーバーヘッドがあるが）、ランダムマスキング技術と組み合わせることで大規模モデルへの適用が可能である。

著者は限界を認め、計算制約により分析は 1 次テイラーベースの手法と Llama 3.2-1B までのモデルに限定されており、他の領域（例：強化学習、拡散モデル）への一般化は未解決の課題であると述べている。