技術要約: PowerOPD

問題提起

大規模言語モデル（LLM）における標準的なオンポリシー蒸留（On-Policy Distillation: OPD）は、学生（Student）自身が生成した軌跡を用いて、教師（Teacher）と学生のポリシー間の逆KLダイバージェンスを最小化することを目的としている。全語彙の計算に伴う計算コストを回避するため、現代の実装では、学生がサンプリングしたトークンに基づく単一サンプル・モンテカルロ推定器を用いて目的関数を推定している。

著者らは、この「バニラなOPD」のアプローチが、実際には以下のような深刻な学習の病理（Pathologies）に苦しんでいることを指摘している：

1. サンプル効率の低さ: デンスなトークンレベルの監督があるにもかかわらず、検証精度が初期に低下し、数百ステップにわたって回復しない。
2. 不安定な生成ダイナミクス: 応答の長さが安定する前に大きな振動を示しており、これは学生が繰り返し不安定な生成レジームに陥っていることを示唆している。
3. 性能ギャップ: バニラなOPDは、全語彙を用いたOPDよりも著しく弱いポリシーに収束する（例：MATH-500において8.19ポイントの精度差）。

根本原因の診断:
論文では、これらの失敗の原因を対数比報酬（$r_t = \log \frac{\pi_T(o_t|c_t)}{\pi_\theta(o_t|c_t)}$）に求めている。この報酬は構造上、無制限である：

• 高分散: 対数比は極端な負の値（-50付近）に達することがあり、単一の稀なトークンが勾配更新を支配することを許してしまう。
• 初期位置における極端な値: 巨大な報酬の大きさは、学生のロールアウトの初期位置に不釣り合いな影響を与え、プレフィックス（接頭辞）の分布を不安定化させ、連鎖的なエラーを引き起こす。
• 持続性: これらの極端な値は学習中も減衰せず、最適化プロセス全体を通じて不安定性を注入し続ける。
• 事後的な修正の失敗: クリッピング、tanh圧縮、Zスコア正規化といった標準的な強化学習の安定化手法は、無制限の対数比が既に計算された後に作用するため、根本的な歪みを残したままとなり、失敗する。

手法: PowerOPD

無制限な性質に対処するため、著者らはPowerOPDを提案する。これは、報酬設計を「事後的な対数比の安定化」ではなく、「原理に基づいた確率から報酬へのマッピングの学習」として再定義するものである。

コア設計原則

著者らは、堅牢なOPD報酬のために必要な2つの特性を定義している：

1. 有界性 (P1): 稀なモンテカルロ事象が壊滅的な勾配更新を誘発するのを防ぐため、報酬関数は$[0, 1]^2$上で有界でなければならない。
2. 符号の一貫性 (P2): 報酬の符号は、教師と学生の確率差と正しく一致しなければならない（教師がより高い確率を割り当てている場合は正、それ以外は負）。

Box-Cox変換

著者らは、標準的な報酬の「変換してから引く」という構造（$h(\pi_T) - h(\pi_\theta)$）を維持しつつ、無制限な対数関数 $h(x) = \log x$ をBox-Cox冪変換に置き換える：
$$h_\alpha(x) = \frac{x^\alpha - 1}{\alpha}, \quad \alpha > 0$$

これにより、PowerOPD報酬が得られる：
$$r^\alpha_t = \text{sg}[\pi_T(o_t | c_t)^\alpha - \pi_\theta(o_t | c_t)^\alpha]$$
ここで $\text{sg}$ はストップグラディエント（stop-gradient）を表す。

• 有界性: 任意の $\alpha > 0$ に対して、報酬は $[-1, 1]$ の範囲内に厳密に制限される。
• 符号の一致: $\alpha > 0$ において $x^\alpha$ は単調増加であるため、報酬の符号は確率の差を正しく反映する。
• 退化限界: 標準的な対数比報酬は、退化限界 $\alpha \to 0$ として回収される。

改善のメカニズム

指数 $\alpha$ は、報酬の感度プロファイルを制御する：

• 小さい $\alpha$: 対数比が持つ稀なイベントへの強調を保持しつつ、有界性を保ちながら、低確率トークンに対する高い感度を維持する。
• 大きい $\alpha$: 低確率トークンの差異を減衰させる。両方のモデルが低い確率を割り当てているトークン（信頼性の低い測定値）に対する報酬を抑制し、少なくとも一方のモデルが相当な確率を割り当てているトークンに学習を集中させる。これにより、「高レバレッジだが統計的に信頼できない」方策勾配項をフィルタリングする。

主な貢献

1. OPDの病理の診断: 本論文は、バニラなOPDの学習の不安定性が、事後的な安定化の欠如ではなく、無制限な対数比報酬に起因することを、経験的かつ理論的に診断した。
2. PowerOPDフレームワーク: Box-Cox変換から導出された、パラメータ $\alpha$ を持つ、本質的に有界で符号一貫性のある報酬ファミリーの導入。
3. 理論的洞察: 対数比がより広範な有界変換の退化限界であること、および安定性は事後ではなく、確率から報酬へのマッピングレベルで強制されなければならないことを示した。
4. 効率性の向上: サンプリングされたトークンのみを使用しながら、全語彙を用いた蒸留を凌駕する性能を示す。

実験結果

著者らは、4組のQwen3教師・学生ペア（0.6B/1.7Bの学生、4B/8Bの教師）を用い、6つの数学的推論ベンチマーク（GSM8K, MATH-500, AMC23, AIME24/25, Minerva, Olympiad-Bench）でPowerOPDを評価した。

性能向上:

• vs. バニラなOPD: PowerOPDは、ベンチマーク平均で最大 +6.37 (Avg@8) および +5.71 (Pass@8) の向上を達成した。AMC23のような特定のベンチマークでは、+16.75 (Avg@8) に達した。
• vs. 事後的な安定化手法: 最良の事後ベースライン（Clip, Tanh, Z-Score）に対し、平均で +3.01 (Avg@8) および +3.54 (Pass@8) 上回った。
• vs. 全語彙を用いたOPD: サンプリングされたトークンのみを使用しているにもかかわらず、平均で +2.59 (Avg@8) および +8.90 (Pass@8) 上回った。

効率性:

• 実時間（Wall-Clock Time）: 全語彙を用いたOPDと比較して 59.2% 削減。
• ピークGPUメモリ: 23.1% 削減。
• 学習ダイナミクス: PowerOPDは、バニラなOPDで見られた初期の精度低下と応答長の振動を排除した。勾配ノルムは、バニラなOPDの初期スパイクよりも 3,000倍以上小さく 保たれた。

$\alpha$ によるスケーリング:

• 大きな $\alpha$ は一般に精度を向上させ、応答の長さを短縮し（全語彙を用いたOPDで一般的な長さの膨張を抑制）、学習ダイナミクスをさらに安定させた。

重要性と主張

本論文は、無制限な対数比という根本原因に対処することで、オンポリシー蒸留の基本的な最適化の困難を解決すると主張している。確率から報酬へのマッピングレベルで有界性と符号の一貫性を強制することにより、PowerOPDは以下を可能にする：

1. 安定した学習: 病理的な学習ダイナミクス（精度の低下、長さの振動）の排除。
2. 優れた性能: バニラなOPDおよび全語彙を用いたOPDの両方を上回る精度を実現。
3. 計算効率: 計算コストを約60%削減しながら、全語彙を用いた蒸留と同等以上の性能を発揮。

著者らは、実験が主に数学的推論ベンチマークとQwen3モデルで行われていることを注記しており、これらが報酬設計の制御されたテストベッドであることを示している。今後の課題として、コード生成、指示追従、多言語推論におけるこれらの利点の検証を挙げている。本手法は、ロールアウト生成や教師のスコアリングを変更することなく、標準的なOPDパイプラインの報酬関数としてプラグアンドプレイで置き換え可能なものである。