技術要約: Data-DPO

問題提起

教師あり微調整（SFT）は、大規模言語モデル（LLM）を強化するための重要なステップであるが、フルスケールの指示データセットで学習を行うことは計算コストが高く、最適とは限らない。既存のデータ選択手法は通常、サンプルの重要度（勾配の類似性、損失の減少）やデータの多様性（埋め込みの被覆率、冗長性の削減）に基づいてサブセットを選択することでこれに対処している。

しかし、著者らは、これらの手法がデータの価値を、サンプルの本質的な品質や表現空間における位置のみによって決定される静的な特性として扱っていると主張している。これは、重要な動態を見落としている。すなわち、データサンプルと特定のターゲットモデルの能力分布との間の適合性である。「高品質」または「情報量が多い」とされるサンプルであっても、弱いモデルにとっては難しすぎたり、強力なモデルにとっては冗長であったりする場合がある。したがって、解決すべき核心的な問題は、単に高品質なデータを選ぶことではなく、ターゲットモデルの現在の学習ニーズに特化して適したデータを選択する方法である。

手法: Data-DPO

本論文では、ターゲットモデル指向のデータ選択フレームワークであるData-DPOを提案する。静的なプロキシや事前計算されたスコアに依存する手法とは異なり、Data-DPOはターゲットモデルの局所的な学習動態を能動的に観察して、好みを導き出す。パイプラインは主に4つのステージで構成される：

1. 二重ビュー・エンコーディング (Dual View Encoding)

各候補サンプル $z_i = (c_i, y_i)$ （条件と応答）は、凍結された埋め込みモデルを使用して、2つの補完的な表現へとエンコードされる：

• 条件埋め込み ($e^c_i$): 入力 $c_i$ のみをエンコードする。プローブセットの構築および周辺的な多様性の測定に使用される。
• 教師用埋め込み ($e^s_i$): ペア $(c_i, y_i)$ 全体をエンコードする。好みの学習およびスコアリングに使用される。

2. プローブセットの構築と活性化プロービング (Probe Set Construction & Activation Probing)

ターゲットモデル $M_0$ が異なるサンプルに対してどのように反応するかを特徴付けるために、クラスタリングと貪欲なk-center戦略を用いて、被覆率を確保した代表的なプローブセット $D_p$ を構築する。

• ワンステップ・プロービング: この手法は、$T$ ラウンドのワンステップ更新を実行する。バッチ $B_t$ に対して、更新前（$\ell^0_i$）と一時的なワンステップ更新後（$\ell^1_i$）のSFT損失を計算する。
• 活性化ゲイン (Activation Gain): ゲインは $g^{(t)}_i = \log(\frac{\ell^0_i + \epsilon}{\ell^1_i + \epsilon})$ と定義される。ゲインが高いほど、そのサンプルがターゲットモデルを局所的に強く活性化することを示す。
• 好みの構築: これらのゲインはバッチ内で正規化され、どちらのサンプルがより大きな活性化をもたらすかに基づいて、ペアの好み（$z_w \succ z_l$）を形成するために集計される。

3. 好み学習 (Preference Learning - DPOスタイル)

ターゲットモデルを条件としたデータへの好みを予測する、軽量な報酬モデル（残差MLP）を学習させる。

• 目的関数: モデルは、データ空間における直接選好最適化（DPO）の目的関数を用いて学習される。
• 参照ポリシー: 標準的なDPOがベースモデルのポリシーを参照として使用するのに対し、Data-DPOは、候補セットがポリシーからサンプリングされたものではなく事前定義されたものであるため、プローブセットに対する一様経験的参照 (uniform empirical reference) を使用する。
• 学習: モデルは、ターゲットモデルのワンステップのフィードバックによって好まれるサンプルに対して、より高い報酬を割り当てるように学習する。

4. 逐次選択 (Sequential Selection)

最終的なサブセットは、以下の3つの信号を組み合わせることで貪欲に選択される：

1. ターゲットモデルの好み ($p_i$): 学習された報酬モデルからのスコア。
2. 外部品質 ($q_i$): 独立した品質スコア（例：別のLLMによるもの）。
3. 周辺的多様性 ($d_i$): 条件埋め込みの、既に選択されたセットに対するコサイン類似度によって測定される。
   ステップ報酬は $R(S_t, z_i) = p_i + q_i + d_i(S_t)$ となり、選択されたサブセットがターゲットモデル固有の活性化、一般的な品質、および分布の被覆率のバランスを保つことを保証する。

主な貢献

1. ターゲットモデル条件付きの視点: 本論文は、データの価値は静的な本質的特性ではなく、動的であり、ターゲットモデルの能力分布との適合性に依存するということを強調することで、データ選択を再定義した。
2. Data-DPOフレームワーク: ターゲットモデルのワンステップの学習フィードバックから直接データの好みを構築し、これらの特定の好みを学習する報酬モデルを訓練する手法を導入した。
3. ハイブリッド選択戦略: ターゲットモデルの好みを外部の品質および周辺的多様性と統合する選択メカニックを提案し、局所的に活性化しやすいサンプルのみを選択してしまうオーバーフィッティングを防ぐ。
4. 実証的検証: 系統的な実験により、Data-DPOが既存のベースライン（重要度ベース、多様性ベース、およびハイブリッド手法を含む）を一貫して上回り、複数のデータ予算においてフルデータ学習の性能を安定して超えることを示した。

実験結果

この手法は、LLaVAおよびLlama-3.2をターゲットモデルとして、Vision-Flan（一般的な指示）およびLLaVA-CoT（推論）を用いて、5%、10%、15%のデータ予算下で評価された。

• パフォーマンス: Data-DPOは、Vision-Flanにおいて、およびLLaVA-CoTの低い予算において、すべてのベースライン（Random, LESS, COINCIDE, EL2Nなど）を一貫して上回った。
  • Vision-Flanにおいて、5%、10%、15%の予算に対してそれぞれ100.76%、102.63%、**102.70%**の平均相対パフォーマンス（ARP）を達成し、いずれもフルデータ学習を上回った。
  • LLaVA-CoTにおいて、5%および10%の予算で102.73%および103.93%のARPを達成し、ベースラインを大幅に上回った。ただし、15%の予算では、EL2Nが102.46のARPを達成し、Data-DPOの101.31をわずかに上回った。それにもかかわらず、Data-DPOは他のすべての手法を上回り、フルデータ学習を上回る性能を維持した。
• アブレーション研究:
  • プロキシモデル: 元のターゲットモデルの代わりに、プロービングのために（5%のデータで訓練された）プロキシモデルを使用すると、パフォーマンスが著しく低下した。これは、ターゲットモデルからの直接的なフィードバックの必要性を裏付けている。
  • 信号の組み合わせ: ターゲットの好みのみを使用した場合、ランダム選択よりも成績が悪かった。「好み + 品質 + 多様性」の組み合わせが最適な結果を得るために不可欠であり、これらの信号の相補性を示した。
  • 堅牢性: 本手法は、異なるターゲットモデルのスケール（7B vs 13B）、異なるモデルファミリー、異なる品質スコアリングソース、および異なる埋め込みモデルにわたって効果的であり続けた。

意義と主張

本論文は、Data-DPOが、静的なサンプル中心の評価から動的なモデル中心の評価へと移行することで、データ選択におけるパラダイムシフトを提供すると主張している。

• 核心的な洞察: SFTにおけるデータの価値は絶対的なものではなく、ターゲットモデルの現在の状態に相対的なものである。モデルの潜在的な能力を活性化するサンプルは、単に「高品質」であるだけのサンプルよりも価値が高い。
• 安定性: ターゲットモデル固有の好みを品質および多様性の制約と組み合わせることで、Data-DPOは、訓練分布を狭めてしまう可能性のある「容易すぎる」サンプルのみを選択するという落とし穴を回避する。
• 効率性: プロービング段階を必要とするものの、選択信号のために重いプロキシモデルを訓練することを避け、ワンステップのフィードバックによって訓練される軽量な報酬モデルに依存している。

著者らは、Data-DPOがターゲットを意識した堅牢なデータ選択ソリューションを提供し、大幅に削減された訓練データを用いてモデルが優れた性能を達成することを可能にすると結論付けている。