技術的サマリー：低データ環境における効果的なデータ剪定のための制約付きデータ値最大化

1. 問題定義

機械学習モデル、特に大規模言語モデルは、データ需要が飽和することなく増大する一方で、データの利用可能性は停滞しています。データ価値評価法は、個々の訓練インスタンスがモデル性能に与える影響を帰属させることを目指し、データセットのサイズを削減することでエネルギーを節約し、訓練効率を向上させます。しかし、既存のデータ剪定（低価値データの除去）アプローチは、特にデータセットのわずかな部分のみが残存する低データ環境において、重大な限界を有しています。

著者らは、最先端の方法（特にシャプレイ値およびバンザフ値に基づくアプローチ）に以下の 3 つの主要な欠陥を特定しました：

1. クラスターサイズバイアス：シャプレイ値およびバンザフ値は、クラスターの総有用性をそのメンバー間で分配します。その結果、大きなデータクラスター内の点は、小さなクラスター内の点よりも小さい限界値を受け取ります。これにより、大規模なクラスター全体が早期に除去され、クラスターの最後の代表が剪定されると、モデル性能が急激に低下します。
2. 冗長性バイアス：Leave-One-Out（LOO）法は、しばしば冗長なサンプルにゼロの値を割り当て、1 つの代表を保持することの有用性と、多数を保持することの有用性を区別できません。
3. 非ネストされた最適部分集合：特定の保持予算（例：10%）に対して精度を最大化するデータ部分集合は、異なる予算（例：5%）に対する最適集合の部分集合であるとは限りません。ネスト性を前提とする標準的な剪定戦略は、これらの予算固有の最適値に適応できません。

2. 手法：制約付きデータ値最大化（CDVM）

これらの限界に対処するため、著者らは制約付きデータ値最大化（CDVM）を提案しました。これは、データ帰属行列上の制約付き最適化問題としてデータ剪定を扱う、最適化ベースのフレームワークです。

中核的概念

• データ帰属行列（$T$）：スカラー値のデータ値とは異なり、CDVM は $T \in \mathbb{R}^{n \times m}$ という行列を利用します。ここで、$n$ は訓練インスタンスの数、$m$ はテストインスタンスの数です。要素 $T_{i,j}$ は、訓練インスタンス $i$ がテストインスタンス $j$ の予測に与える影響を定量化します。この行列は、最大サンプル再利用（MSR）の原理を用いて推定され、各インスタンスごとに完全な再訓練を行うことなく、サンプリングされた部分集合でモデルを訓練することで影響を近似します。
• 最適化定式化：CDVM は、保持する $S$ 個の訓練インスタンスを指定するバイナリベクトル $w \in \{0, 1\}^n$ を選択し、制約条件下で目的関数を最大化するよう剪定を定式化します。
  • 目的：テストサンプルへの総影響を最大化しつつ、少数のテストサンプルへの影響の過度な集中にペナルティを課す。
  • 制約：保持されるインスタンスの数は予算 $S$ と等しくなければならない。
  • スラック変数：少数のテストサンプルが有用性を支配する「勝者総取り」シナリオを防ぐため、各テストサンプルへの影響を閾値 $\kappa$ で上限とするスラック変数 $t_j$ を導入します。$\kappa$ を超える影響はペナルティ対象となります。

形式的な最適化問題は以下の通りです：
$$\begin{aligned} \max_{w, t} \quad & \alpha \sum_{j=1}^m v_j - (1-\alpha) \sum_{j=1}^m t_j \\ \text{s.t.} \quad & v = T^\top w \\ & \sum_{i=1}^n w_i = S \\ & t_j \ge 0, \quad t_j \ge v_j - \kappa \\ & w_i \in \{0, 1\} \end{aligned}$$
ここで、$v_j$ はテストサンプル $j$ に対して誘発される有用性であり、$\alpha$ は総有用性と閾値超過に対するペナルティとのバランスを調整します。

実装

著者らは、混合整数線形計画（MILP）として問題を解くために、バイナリ制約 $w_i \in \{0, 1\}$ を $w_i \in [0, 1]$ に緩和し、 Disciplined Parametrized Programming フレームワークを用いて解きました。解算後、$w$ の上位 $S$ 個の要素を保持します。このアプローチはバランスの取れたカバレッジを確保し、予算が許容する限り、どのテストサンプル（およびそれに対応する暗黙的なデータクラスター）も総影響ゼロとならないことを保証します。

3. 主要な貢献

本論文は以下の 4 つの主要な貢献を行います：

1. 既存の限界の分析：著者らは、シャプレイおよびバンザフ帰属が、より大きなデータクラスター内のインスタンスに対してより小さな限界貢献を割り当てることを、理論的かつ実証的に示しました。これにより、バランスの取れない除去パターンが生じ、低データ領域において最適ではない剪定性能につながります。
2. 予算固有性の洞察：最適な保持集合は予算に依存することを示しました。ある保持レベルに対して精度を最大化する部分集合は、必ずしも別のレベルに対して最適化された部分集合を含んでいるわけではありません。
3. CDVM アルゴリズム：帰属行列上での最適化として剪定を定式化する CDVM の導入により、テストサンプル間でのバランスの取れた影響を強制することで、冗長性とクラスターサイズバイアスを明示的に処理します。
4. ベンチマーク評価：OpenDataValベンチマークの 6 つのデータセットにおける包括的な評価を行い、最先端の技術と比較して強力な性能と競争力のある実行時間を示しました。

4. 実験結果

著者らは、OpenDataVal ベンチマークの 6 つのデータセット（CIFAR-10、Adult、IMDB、BBC、Pol、Nomao を含む）において、5% から 30% の保持レベルで CDVM を評価しました。

• 性能：CDVM は 36 設定中 28 設定（6 データセット × 6 剪定率）で最先端の性能を達成しました。ランダム除去、DataBanzhaf、DataOob/メモリー化法を常に上回りました。
• 影響最適化との比較：影響最適化法（Yang et al., 2023）は一部のデータセット（特に Nomao）で競争力のある性能を示しましたが、CDVM はハイパーパラメータを適切に調整した場合、すべての 6 つのベンチマークでランダムベースラインを常に上回った唯一の手法でした。
• 実行時間効率：CDVM は優れた速度と精度のトレードオフを提供します。帰属行列 $T$ の計算は、すべての半値ベース手法に共通する主要なボトルネックですが、最適化ステップは高速です。5,000 個のモデルを用いた CDVM は、10,000 個のモデルを必要とする手法と同等かそれ以上の結果を達成し、ヘシアン逆行列を必要とする影響最適化法よりも大幅に短い最適化時間を要しました。
• ロバスト性：この手法はハイパーパラメータの選択に対してロバストです。デフォルト設定（$\alpha=0.5$、$\kappa$ はデータセット統計から導出）は、グリッドサーチされたパラメータとほぼ同等の性能を発揮し、探索オーバーヘッドをゼロにしました。

5. 意義と主張

本論文は、CDVM が低データ領域におけるデータ剪定のための堅牢な解決策を提供すると主張しています。これは、内在的なバイアスにより既存のシャプレイベース手法がしばしば失敗するシナリオです。スカラー値のデータ値から、帰属行列上の制約付き最適化へと移行することで、CDVM は残存データセットがテスト分布のバランスの取れたカバレッジを維持することを保証します。

著者らは、その発見が「データ剪定の改善に大きな余地がある」ことを浮き彫りにしており、これが直接的に訓練コストとエネルギー消費の削減につながることを強調しています。CDVM は計算面で競争力があるものの、主要なボトルネックは帰属行列 $T$ の計算と保存にあると指摘しています。今後の研究では、より効率的な帰属推定子の検討や、$T$ の疎性を利用した ImageNet などの大規模データセットへのスケーリングが考えられます。

本論文は、CDVM がモデル品質を犠牲にすることなく低価値な例を剪定するためにデータ帰属を効果的に活用し、ランダム選択や既存の価値ベースの剪定戦略に対する実用的な代替手段を提供すると結論付けています。