技術的概要：パス率重み付き自己蒸留による「スイートスポット」の回復

1. 問題定義

大規模言語モデル（LLM）は、コードや数学などの分野において、検証可能な報酬を用いた強化学習（RLVR）を用いて訓練されるケースが増加しています。GRPO（Group Relative Policy Optimization）などの RLVR 手法は成功を収めていますが、「クレジット割当のボトルネック」に悩まされています。これは、試行ごとの単一のスカラー報酬では、モデルが「どこで」「なぜ」失敗したかを示すことができないためです。

自己蒸留方策最適化（SDPO）は、モデル自身を教師として用い、特権情報（例：ランタイムエラーや正解）を条件として、密なトークンレベルの監督を提供することでこの問題に対処します。しかし、著者は重要なトレードオフを特定しました。

• GRPO は、暗黙的な「難易度認識」を有しています。グループ相対的な優位性正規化は、中間難易度の質問（パス率 $p \approx 0.5$）における「スイートスポット」に学習を自然に集中させ、容易すぎる（$p \approx 1$）または難しすぎる（$p \approx 0$）質問における学習を抑制します。
• SDPO は、優れた密なクレジット割当を提供しますが、この難易度認識を欠いています。KL 損失に基づくアプローチはすべての質問を均等に扱い、最も有益な中間難易度のサンプルにおける学習信号を希釈し、無意味な「すべて正解」または「すべて不正解」のグループを抑制することに失敗します。

核心的な問題は、SDPO が密なクレジット割当を得るために、GRPO が有する有益な「スイートスポット」への集中を犠牲にしており、その結果として学習効率が最適化されていない点にあります。

2. 手法：SC-SDPO

著者は、密なクレジット割当を犠牲にすることなく、外部の教師を必要とせずに SDPO に難易度認識のある「スイートスポット」を回復させる変法として、**スケール整合型 SDPO（SC-SDPO）**を提案します。

理論的基盤

本論文は、Bae ら [2026] の学習可能性の枠組みを正規化された報酬に拡張します。

1. 生報酬と正規化報酬: 生バイナリ報酬の下では、方策改善は分散 $p(1-p)$ によって下から抑えられます。しかし、GRPO はグループ相対的な正規化を使用します：$\hat{A}_i = (r_i - \bar{r}) / \text{std}(\{r_i\})$。
2. スケーリング因子: 著者は、この正規化が $p(1-p)$ の分散項を吸収し、質問間での主要な学習可能性を均等化することを示します。その結果、GRPO における残りの質問ごとの勾配の大きさは、$p(1-p)$ ではなく $\sqrt{p(1-p)}$ としてスケーリングされます。
3. 理想的な目的関数: SDPO の密なトークンレベルの優位性と GRPO の難易度変調を組み合わせるためには、質問ごとの理想的な勾配は $[\hat{p}(1-\hat{p})]^{1/2}$ の因子でスケーリングされるべきです。

アルゴリズム的実装

SC-SDPO は、質問ごとのスカラー重み $\bar{w}_j$ を導入することで SDPO の損失関数を修正します：
$$\mathcal{L}_{\text{SC-SDPO}}(\theta) := \sum_{j=1}^{M} \bar{w}_j \sum_{i \in G_j} \sum_{t} \text{KL}(\pi_\theta(\cdot | x_j, y_{i,<t}) \parallel \text{sg}(\pi_\theta(\cdot | x_j, f_i, y_{i,<t})))$$

重み付けスキームの主要な構成要素：

• 重み関数: 正規化されていない重みは $w_j = [\hat{p}_j(1-\hat{p}_j)]^\alpha$ です。ここで、$\hat{p}_j$ はバッチ内の質問 $j$ に対する経験的パス率です。著者は理論的導出に基づき $\alpha = 1/2$ を設定します。
• バッチ適応型正規化: 訓練中にパス率の分布がシフトすることによる訓練の不安定さを防ぐため、重みはバッチ内で正規化されます：$\bar{w}_j = w_j / \text{mean}(\{w_l\}_{l \in S})$。ここで、$S$ は非退化な質問の集合です。
• ゼロコスト副産物: SDPO はすでに質問ごとに複数のロールアウトをサンプリングするオンポリシーアルゴリズムであるため、パス率 $\hat{p}_j$ は既存の訓練ループの無料の副産物です。追加のロールアウトやオフラインパスは不要です。

3. 主要な貢献

1. 理論的解析: 本論文は、GRPO の優位性正規化が分散項 $p(1-p)$ を吸収し、勾配の大きさに対する自然なスケーリング因子として $\sqrt{p(1-p)}$ を残すことを特定しました。これは、スケーリングが分散に対して線形であるべきという以前の仮定を修正するものです。
2. SC-SDPO アルゴリズム: SDPO に対する単純な単一スカラーの修正であり、難易度認識を回復させます。これは、変化するパス率に基づいて質問を動的に重み付けし、モデルの能力を追跡する暗黙的なカリキュラムを生成します。
3. 実証的検証: 密なクレジット割当（SDPO）と難易度認識型重み付け（SC-SDPO）を組み合わせることで、いずれかのメカニズム単独を使用する場合と比較して優れた性能が得られることを示す広範な実験を行いました。

4. 実験結果

実験は、科学的推論（化学、物理学、生物学、材料科学）およびツール使用ベンチマークにおいて、Qwen3-8BおよびOLMo-3-7Bに対して実施されました。

• 性能向上:
  • Qwen3-8Bにおいて、SC-SDPO（$\alpha=0.5$）は、重み付けなしの SDPO ベースラインに対して、平均で**+3.2**（mean@16）および**+4.3**（maj@16）の改善を示しました。
  • OLMo-3-7Bにおいては、+1.8（mean@16）および**+3.0**（maj@16）の改善でした。
  • SC-SDPO は、GRPO、SDPO、および他のベースライン（PACED、Hard Filter、SRPO）を一貫して上回りました。
• 指数の解析: $\alpha=0.5$（スケール整合型）の選択は、$\alpha=1$（分散ベース）を一貫して上回り、$\alpha=1$ が学習信号を過度に抑制するという理論的主張を検証しました。
• 訓練ダイナミクス:
  • SC-SDPO は、重み付けなしの SDPO ベースラインと同様の安定した勾配ノルムを維持しましたが、静的重み付け（PACED）は勾配スパイクを引き起こし、ハードフィルタリングは勾配を過度に抑制しました。
  • この手法は、訓練の初期段階において、中間難易度のサンプル（「スイートスポット」）のより高い割合を保持することに成功し、スキル獲得を加速しました。
  • 応答長は SDPO ベースラインよりも高く維持されており、モデルが短い回答に収束するのではなく、中間難易度の質問について詳述するよう促されていることを示唆しています。

5. 意義と主張

本論文は、SC-SDPO が LLM のポストトレーニングにおける密なクレジット割当と難易度認識の間の根本的な緊張関係を解決すると主張しています。正規化された報酬の理論的解析を通じて正しいスケーリング因子（$\sqrt{p(1-p)}$）を導出することで、著者は自己蒸留に「スイートスポット」を回復させる「単純な処方箋」を提供します。

その意義は以下の点にあります：

• 効率性: 外部の教師モデルや追加の計算オーバーヘッド（ゼロコストのパス率推定）を必要とせずに、最先端の結果を達成します。
• 頑健性: バッチ適応型正規化により、安定した訓練ダイナミクスが保証され、静的または固定された重み付けスキームの落とし穴を回避します。
• 汎用性: この手法は、異なるモデルファミリー（Qwen および OLMo）およびタスクタイプ（推論およびツール使用）で機能します。

著者は限界について謙虚であり、この手法はバイナリ報酬と離散的なパス率の粒度（ロールアウト数 $G$ に依存）に依存しており、オープンエンドな生成タスクや著しく大規模なモデルスケールにおける有効性についてはさらなる検証が必要であると述べています。