Interaction-Aware Influence Functions for Group Attribution

技術的サマリー：グループ帰属のための相互作用を考慮したインフルエンス関数

問題定義
インフルエンス関数は、トレーニング例を除去することがホールドアウト損失などのターゲット関数をどのように変化させるかを近似するための基礎的なツールである。例の「グループ」のインフルエンスを推定する標準的な手法は、そのメンバーの個々のインフルエンスを合計することである。しかし、この加法的アプローチは例が独立して寄与すると仮定しており、結合効果を捉え損なう。実際には、例は冗長（例：ニアダブレット）または相補的（例：異なるラベルを持つ類似特徴）であり得る。個々のインフルエンスを合計すると、冗長な例が二重にカウントされ、相補的なものの相乗効果が見過ごされるため、グループ帰属の精度が低下し、データ選択が最適化されない（例：非常に冗長な部分集合を選択する）。パラメータシフトに対する二階補正など、これを解決しようとする先行試みは、しばしばターゲット関数自体がそのシフトにどのように反応するかを見落としている。

手法
著者らは、例間の相互作用がターゲット関数をどのように共同で影響するかを特徴づける「相互作用を考慮したインフルエンス関数」を提案する。中核的な革新は、パラメータシフトを線形化するだけでなく、トレーニング済みパラメータ $\hat{\theta}$ 周りでターゲット関数 $f$ を「二階」まで展開することである。

1. 二階展開:
   正確なグループ除去効果 $I^-(S) = f(\hat{\theta}_{D\setminus S}) - f(\hat{\theta})$ は、$f$ を二階まで展開することで近似される：
   $$\hat{I}^-(S) \approx \underbrace{\frac{1}{N} \nabla_\theta f(\hat{\theta})^\top u_S}_{\text{一階インフルエンス}} + \underbrace{\frac{1}{2N^2} u_S^\top H_f u_S}_{\text{相互作用項}}$$
   ここで、$u_S = \sum_{z_i \in S} u_i$ は集約パラメータシフトであり、$u_i = H^{-1}\nabla_\theta \ell(z_i, \hat{\theta})$ であり、$H_f = \nabla^2_\theta f(\hat{\theta})$ はターゲット関数のヘッシアンである。

2. ペアワイズ相互作用項:
   第二項（相互作用項）は、ペアワイズ寄与 $\kappa(z_i, z_j) = u_i^\top H_f u_j$ の和に分解される。

   • 解釈: $H_f$ が正定値である場合、$\kappa(z_i, z_j)$ は二つの例のターゲットへの効果の整合性を測定する内積として機能する。
   • 冗長性対相補性: この項は、例がモデルを類似した方向に押し出す場合（冗長性、限界効用逓減）に正となり、反対方向に押し出す場合（相補性、有益な結合効果）に負となる。
   • 閉形式因数分解: 二値ロジスティック回帰において、著者らは $\kappa(a, b) = (\sigma_a - y_a)(\sigma_b - y_b) \cdot \langle x_a, x_b \rangle_M$ であることを証明する。これは形式的に、異なるラベルを持つ類似例は相補的であり、同じラベルを持つ類似例は冗長であるという原則を回復する。

3. 貪欲なデータ選択:
   この手法をデータ選択（ターゲットを最小化する部分集合 $S$ を見つけること）に適用するために、著者らは既に選択された集合 $S$ に候補 $z_i$ を追加するための周辺スコア $m(z_i | S)$ を導出した。このスコアには、既に選択されたものと同様の候補を罰する項 $u_S^\top H_f u_i$ が含まれており、外部の多様性ヒューリスティックを必要とせずに、個々の品質とグループの多様性を効果的にバランスさせる。

主な貢献

• 理論的枠組み: ターゲット関数の二階展開から導出されたペアワイズ相互作用項を、標準的な一階の和に付加する新しいインフルエンス関数推定量。これはパラメータシフトを展開する先行研究（例：Basu et al. [5]）とは異なり、より安定した解釈可能なペアワイズ構造を提供する。
• 理論的保証: ロジスティック回帰において閉形式因数分解で、相互作用項が古典的な教師あり学習の原則（異クラス間の類似ペアの相補性、同クラス内の類似ペアの冗長性）を符号化することを証明。深層多クラス分類器へも拡張可能。
• アルゴリズム的効率: 必要な量を事前計算し、アキュムレータを更新する貪欲な選択手順（アルゴリズム 1）。計算量は $O(KPd)$ であり、大規模なデータセットやモデルに対してスケーラブルである。

実験結果
この手法は主に 2 つの環境で評価された。

1. 再トレーニングへの忠実性（小規模モデル）:

   • 設定: 分類および回帰タスク across 6 つのデータセット - モデルペア（ロジスティック回帰、MLP、ResNet-9）で評価。
   • 指標: 推定インフルエンスと真のグループ除去再トレーニング効果との間のスピアマン順位相関。
   • 結果: 相互作用を考慮した推定量（F+I）はすべての設定で最も高い相関を達成し、標準的な一階インフルエンス（F）および二階パラメータシフト補正（F+B）を大幅に上回った。特に、F+B は不安定を示し、非凸設定におけるパラメータシフトの展開の理論的な条件悪化を確認した。

2. 部分集合選択（小規模および大規模言語モデル）:

   • 小規模（MLP）: MNIST および FashionMNIST において、標準的なインフルエンスベースの選択（F）は少数のクラスに収束し、ランダム選択よりも性能が悪化した。相互作用を考慮した手法は、ランダム選択と同等のクラスエントロピーを維持し、最低のホールドアウトテスト損失を達成した。
   • 大規模言語モデル（Llama-3.1-8B）: 約 27 万例のプールからの指示微調整データ選択に適用。
   • 結果: 提案手法は、7 つのすべての下流タスク（GSM8K, AQuA, ARC-E, HellaSwag, PIQA, ECQA, SQuAD）においてランダム選択を上回った。7 つのタスクのうち 5 つで全体的な性能が最も高く、インフルエンスベースのベースライン（Additive IF, LESS）および表現類似性ベースライン（RDS+, NV-Embed）を凌駕した。重要なのは、標準的なインフルエンスベースの選択（Additive IF）がほとんどのタスクでランダム選択を下回ったことで、この領域における加法的スコアリングの失敗を浮き彫りにした。

意義と主張
本論文は、グループ帰属は本質的にパラメータシフトだけでなく、トレーニング例が「ターゲット」にどのように影響するかに関係すると主張する。ターゲットに対する結合効果を通じて相互作用を特徴づけることで、提案手法は冗長なデータ選択につながる加法的スコアリングの「盲点」に対処する。著者らは、これらの相互作用を考慮することが、グループインフルエンスを正確に推定し、多様で効果的なトレーニング部分集合を選択するために不可欠であることを実証した。この手法は、外部から課された多様性ペナルティに依存するのではなく、ターゲット関数の曲率から自然に現れる原理的な二階補正を提供する。

限界
著者らは 2 つの主な限界を指摘している。

1. 貪欲な選択手順は効果的であるが、形式的な最適性保証を持たない。
2. 推定量は、基礎となるヘッシアン近似（例：EK-FAC、低ランク射影）からの近似誤差を継承する。将来の研究は、スケーラブルな逆ヘッシアン推定の進歩から恩恵を受け得る。