技術的サマリー：CEPO – 対照的証拠方策最適化を用いた RLVR 自己蒸留

1. 問題定義

検証可能な報酬を伴う強化学習（RLVR）は、推論タスクにおける大規模言語モデル（LLM）の事後学習において支配的なパラダイムとなっている。標準的なアプローチであるグループ相対方策最適化（GRPO）は、価値ネットワークを排除し、サンプリングされた応答群内で報酬を正規化することで学習を簡素化する。しかし、GRPO は根本的なクレジット割り当てのボトルネックに悩まされている。すなわち、正しい軌道のすべてのトークンに一貫したシーケンスレベルのアドバンテージを割り当て、誤った軌道のすべてのトークンに一貫した負の信号を割り当てる点である。

この均一性は、数学的推論には非効率的である。なぜなら、単一の決定的な推論ステップまたは小さな算術的誤りが結果を決定する一方、トークンの大部分は文法的な充填語または定型文だからである。均一なクレジット割り当ては、充填トークンに勾配信号を浪費し、決定的な推論ステップと非情報的内容を区別できず、収束の遅延とノイズの多い更新をもたらす。

オンポリシー自己蒸留（モデルを正解を教師として条件付ける）を通じてこれを修正しようとする以前の試みは、2 つの決定的な問題に直面した。

1. 情報漏洩: OPSD や SDPO などの手法は、学生と特権的教師間のトークンごとの発散を最小化する。理論的には、これは勾配に語彙全体にわたる $r$ 条件付き重みの和を導入する。学習が進むにつれて、この「有害な逸脱」が benign な信号を支配し、モデルが入力と答えの間 ($x \to r^+$) に偽の相関をエンコードさせ、一般化能力を低下させる。
2. 信号の質の低さ: 最近の RLSD 手法は、証拠比 $P^+_T(y_t)/P_S(y_t)$ に対してストップグラディエントを適用して GRPO のアドバンテージを調整することで漏洩を解決した。しかし、RLSD には 3 つの信号上の限界がある。
   • 流暢性の交絡: 分母 $P_S(y_t)$ はベースレート流暢性を反映しており、意味的関連性に関わらず共通のトークンに対して比を抑制する。
   • 非対称な負の信号: 誤った軌道に対しては、ペナルティは間接的であり、誤った答えが何を予測するかという明示的な根拠を欠く。
   • 片側の証拠: RLSD は、正解と誤った答えの両方に同等に支持される充填トークンと、正解に支持されるが誤った答えには好まれない決定的な推論ステップを区別できない。なぜなら、両者とも同じ比を生むからである。

2. 手法：対照的証拠方策最適化（CEPO）

著者は、単一参照の証拠比を、正解の教師と誤った答えの教師との間の対照比に置き換えるCEPOを提案する。

中核メカニズム

学生の事前分布 $P_S$ と正解の教師 $P^+_T$ を比較する代わりに、CEPO は正解の教師 $P^+_T$ と誤った教師 $P^-_T$ を比較する。誤った教師は、同じ学習バッチから選ばれた拒絶された答え（$r^-$）（具体的には、最も低い報酬を持つ拒絶されたロールアウト）を条件としてモデルに条件付けることで構築され、追加のサンプリングコストは発生しない。

対照的証拠デルタは以下のように定義される。
$$\Delta^{CE}_t = \text{sg}\left( \log \frac{P^+_T(y_t)}{P^-_T(y_t)} \right)$$
ここで、$\text{sg}(\cdot)$ はストップグラディエント演算子である。

ベイズ的解釈

著者は、$\Delta^{CE}_t$ に対して、差分信念更新としての明確なベイズ的解釈を導き出した。これは、トークン $y_t$ が正解 $r^+$ に対する事後信念を強化しつつ、誤った答え $r^-$ に対する信念を弱める程度を測定する。

• 決定的なステップ: 大きな正の $\Delta^{CE}_t$ を受ける（$r^+$ によって強く支持され、$r^-$ によって好まれない）。
• 充填トークン: $\Delta^{CE}_t \approx 0$ を受ける（$r^+$ と $r^-$ の両方に同等に支持される）。

学習目的

トークンレベルのアドバンテージは、この対照的重みによって調整される。
$$\hat{A}^{(i)}_t = A^{(i)} \cdot \left[ (1-\lambda) + \lambda \cdot \text{clip}(w^{CE}_t, 1-\epsilon_w, 1+\epsilon_w) \right]$$
ここで、$w^{CE}_t = \exp(\text{sign}(A) \cdot \Delta^{CE}_t)$ である。方策は、標準的な PPO クリッピングされた代理目的関数を用いて更新される。パラメータ $\lambda$ は、ウォームアップ期間中に初期値から 0 まで線形に減衰する。

3. 主要な貢献と理論的保証

本論文は、CEPO が RLSD の構造的な安全性を継承しつつ、その信号の質を厳密に一般化することを立証する。

1. 構造的な安全性: CEPO は方向アンカリング（特権的情報が更新の符号を反転させることができない）と漏洩フリーの勾配（語彙全体にわたる $r$ 条件付き和がない）を満たす。誤った答えの教師 $r^-$ は、ストップグラディエントされたスカラーとしてのみ関与する。
2. RLSD の包含: 誤った答えの教師が情報を含まない場合（$P^-_T = P_S$）、CEPO は厳密に RLSD に帰着する。したがって、RLSD は CEPO の退化したケースである。
3. 識別性の鋭さ: 著者は、誤った答えの教師が学生事前分布に対してそのトークンを好ましくない場合（$P^-_T(y_t) < P_S(y_t)$）に限り、CEPO が RLSD よりも厳密に鋭いクレジットをトークン $y_t$ に割り当てることを証明する。この条件は、経験的に算術的および推論的に決定的な位置に集中し、充填トークンは中立な重み（$w^{CE}_t \approx 1$）を受け取ることで、偽の信号の導入を回避する。

4. 実験結果

著者は、Geo3k幾何データセットで学習され、5 つのマルチモーダル数学的推論ベンチマーク（DynaMath, LogicVista, MathVisionmini, MMMU, WeMath）でテストされたQwen3-VLモデル（2B および 4B パラメータ）上で CEPO を評価した。

• 性能向上:
  • 2B スケール: CEPO は平均精度**43.43%**を達成し、GRPO（41.17%）を 2.26 ポイント上回った。
  • 4B スケール: CEPO は**60.56%**を達成し、GRPO（57.43%）を 3.13 ポイント上回った。
  • 向上は、微細な多段階推論を必要とするベンチマーク（例：LogicVista, MathVisionmini）で最も顕著であり、知識検索ベンチマーク（MMMU）では最小であった。
• ベースラインの失敗:
  • OPSD および SDPOは、学習前のベースラインを下回る性能（例：2B で 34.96% 対 39.73%）を示し、情報漏洩の理論的予測を実証的に確認した。
  • RLSDは GRPO よりもわずかに改善を示したが、CEPO には及ばなかった。
• 効率性: CEPO は、GRPO に対して軌道あたり 1 つの追加の教師フォワードパスのみを追加する（RLSD と同様のオーバーヘッド）が、追加のサンプリングコストは発生しない。

5. 意義と主張

本論文は、CEPO が RLVR におけるクレジット割り当て問題に対する原理的かつ実用的な解決策を提供すると主張する。その意義は以下の点にある。

• トレードオフの解決: 情報漏洩を防ぐために必要な構造的な安全性（安定した学習の前提条件）と、決定的な推論ステップを充填物から区別するために必要な信号の質という、「両方の世界の最良のもの」を達成する。
• 理論の実証的検証: 漏洩に陥りやすい手法（OPSD/SDPO）がベースライン以下に崩壊することは、理論的な漏洩分析の実証的確認として機能し、CEPO の成功は対照的アプローチの有効性を裏付ける。
• 解釈可能性: トークン重みの分析により、CEPO が重要な代数導出にクレジットを適切に局所化し、流暢だが無情報な散文を抑制することが示された。これは RLSD では観察されなかった挙動である。

著者は、CEPO が次世代のクレジット認識型 RLVR 学習のための堅牢な構築ブロックを提供すると結論付け、今後の研究として、本手法をより大規模なモデル、テキストのみの推論、およびコード生成へ拡張することが提案されている。