論文「Decomposing the Delta: What Do Models Actually Learn from Preference Pairs?」の技術的サマリー

本論文は、言語モデルの推論能力向上における「選好ペア（Preference Pairs）」の学習メカニズム、特に「デルタ（質の差）」がどのように機能するかを解明することを目的としています。DPO や KTO などの選好最適化手法が広く利用されていますが、どのデータ特性が推論タスクの性能向上に寄与するかは未解明でした。著者らは、推論モデルが一般推論タスクで性能を向上させるために、選好ペアのどの側面が重要であるかを調査しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳述します。

1. 問題定義と背景

従来の推論タスクにおける選好ペア構築では、「正解（Chosen）」と「不正解（Rejected）」を対比させ、**答えの正誤（Outcome Correctness）**を学習の主要なシグナルとしていました。しかし、Geng et al. (2025) による「デルタ学習仮説」は、教師モデルの能力が学生モデルより低くても、2 つの回答間に「質の差（デルタ）」が存在すれば学習が成立することを示しました。

本研究は、この仮説を推論タスクに適用し、以下の 2 つの「デルタ」の概念を定義・分析します。

1. 生成器レベルのデルタ（Generator-level Delta）: 選好ペアを生成する 2 つのモデル間の能力差（例：強いモデル vs 弱いモデル）。
2. サンプルレベルのデルタ（Sample-level Delta）: 1 つの選好ペア内における、選ばれた回答と棄却された回答の間の質的差異（推論プロセスの質）。

2. 手法と実験設定

データセットとモデル

• ベースモデル: Nemotron-8B を使用。
• トレーニングデータ: OpenR1-Math-220k を基に構築。DeepSeek-R1 などのモデルで生成された推論トレースを使用。
• 評価タスク:
  • ドメイン内: 数学推論（MATH-500, GSM8K, AIME など）。
  • ドメイン外: STEM 知識（MMLU-Pro, TheoremQA）、コード生成（LiveCodeBench）。

実験アプローチ

本研究は 3 つの主要な調査フェーズで構成されます。

A. 生成器レベルのデルタのスケーリング効果

• 設定: 棄却回答を生成するモデル（s1-3B）を固定し、選択回答を生成するモデルの能力（s1-7B, s1-32B, Nemotron-4B~49B など）を段階的に向上させます。
• 目的: モデル間の能力差（生成器レベルのデルタ）を拡大させた場合の、ドメイン内・ドメイン外タスクへの影響を調査。

B. サンプルレベルのデルタの正体（正誤の役割）

• 設定: 1 つのモデル（Nemotron-4B）から生成された回答を用い、正誤の組み合わせ（正 vs 不正、正 vs 正、不正 vs 不正、不正 vs 正）の 4 通りで選好ペアを作成し、DPO で学習させます。
• 目的: 学習シグナルが「答えの正誤」に依存しているか、それとも「推論プロセスの質」に依存しているかを検証。

C. 推論品質の次元分解とデータ効率

• 手法: LLM-as-a-judge（GPT-OSS-120b）を用いて、推論トレースを以下の 5 つの次元で評価します。
  1. 事実性（Factuality）
  2. 戦略的一貫性（Strategy Coherence）
  3. ステップの一貫性（Step Coherence）
  4. 計算精度（Computational Precision）
  5. 信号対雑音比（Signal-to-Noise）
• 実験: 各次元で「デルタ（質の差）」が最大のペアを抽出し、少量のデータ（1k, 2.5k, 5k）で DPO 学習を行い、フルデータセット（16.5k）との性能を比較します。

3. 主要な結果

結果 1: 生成器レベルのデルタのスケーリング則

• ドメイン内（数学）: 生成器レベルのデルタを拡大しても、数学タスクの性能向上は頭打ち（プラトー）になりました。ベースモデルが既に高い能力を持っているためと考えられます。
• ドメイン外（STEM/コード）: 生成器レベルのデルタを拡大するにつれ、STEM やコードタスクでの性能が着実に向上しました。
• メカニズム: 生成器レベルのデルタが拡大すると、サンプルレベルのデルタ（特にステップの一貫性など）も全次元で拡大することが確認されました。この「質の差の拡大」がドメイン外への汎化能力向上を説明します。

結果 2: 正誤（Outcome Correctness）は支配的なシグナルではない

• 驚くべき発見: 「正 vs 不正」だけでなく、「不正 vs 不正」や「正 vs 正」のペアでも、ベースモデルに対して性能向上が見られました。
• 結論: 学習の主要なシグナルは「答えが正しいかどうか」ではなく、推論プロセスそのものの質にあります。特に、棄却された回答の「欠陥を避ける」学習（プッシュアウェイ）が重要である可能性が示唆されました。

結果 3: ステップの一貫性（Step Coherence）によるデータ効率化

• 高品質な少量データ: 全 16.5k ペアの中から、推論品質の次元（特にステップの一貫性）で最大のデルタを持つペアを 5k だけ選別して学習させることで、フルデータセットと同等、あるいはそれ以上の性能を達成しました。
• ステップの一貫性の重要性: 5 つの品質次元の中で、「ステップの一貫性（論理的なステップの連続性）」が最も効果的なデータ選別基準であることが判明しました。

4. 主要な貢献

1. デルタの二重構造の解明: 推論タスクにおける選好学習の効果を、モデル間の能力差（生成器レベル）とペア内の質的差異（サンプルレベル）に分解して定式化しました。
2. 推論プロセスの重要性の立証: 推論タスクにおける選好学習のシグナルは、単なる正解の獲得ではなく、推論プロセスの質（特にステップの一貫性）に依存することを示しました。
3. 実用的なレシピの提示:
   • データ構築時: 可能な限り大きな「生成器レベルのデルタ」を持つモデルペアを使用する。
   • データ選別時: 「サンプルレベルのデルタ」（特にステップの一貫性）を指標として、最も情報量の多いデータのみを選別することで、データ効率を劇的に向上させる。

5. 意義と結論

本論文は、推論モデルの能力向上において、単に「正解」を教えることよりも、「質の高い推論プロセス」と「質の差（デルタ）」を学習させることが重要であることを示しました。

特に、**「少量の高品質データ（ステップの一貫性の高いペア）で、大規模データと同様の性能を達成できる」**という発見は、計算コストの削減と、より効率的なモデルアライメントの実現に寄与します。これは、推論タスクにおける選好最適化の戦略を、単なる正解ベースのフィルタリングから、推論プロセスの質的評価に基づく精密なデータ選別へと転換させる指針となります。