技術要約：エントロピーを超えて：コントラスティブ・ポリシー最適化による正当性認識型アドバンテージ・シェーピング

問題提起

検証可能な報酬（Verifiable Rewards: RLVR）を用いた強化学習、特にGroup Relative Policy Optimization (GRPO) のような手法は、数学やプログラミングといった領域における推論能力を向上させてきた。しかし、既存のアプローチには主に2つの根本的な限界が存在する：

1. トークンレベルの軽視： トラジェクトリレベルで適用されるバイナリの正当性報酬（正解/不正解）は、推論チェーン内における個々のトークンの明確な貢献度を区別できない。
2. ゼロ・アドバンテージの非効率性： サンプリングされた回答がすべて不正解（またはすべて正解）であるグループにおいて、トラジェクトリレベルのアドバンテージはゼロとなり、膨大な量の学習データがポリシー最適化に利用できなくなる。

これらの課題に対処するために、探索を促進したりトークンの重要性を精査したりするためのアドバンテージ・シェーピングの信号として「エントロピー」を利用する試みが最近行われている。しかし、著者らは、エントロピーは本質的に正当性と乖離していると主張している。高いエントロピーは、代替解の生産的な探索を示す場合もあれば、誤った推論パスによる有害な混乱を示す場合もある。その結果、エントロピーに基づく手法は、文脈に応じて高エントロピーのトークンを報酬したり抑制したりするという、矛盾した設計上の選択を強いられることになる。これは、エントロピーが基礎となる推論の質を評価せずに、不確実性のみを定量化しているためである。

手法：コントラスティブ・ポリシー最適化 (CPO)

本論文では、エントロピーの代わりに「トークンレベルのコントラスティブ・ディスアグリーメント（対照的不一致）」信号を用いて正当性認識型のアドバンテージ・シェーピングを行うフレームワーク、Contrastive Policy Optimization (CPO) を提案する。

コアメカニズム

CPOは、「正当性は比較を通じて立ち現れる」という直感を利用している。学生が自身の解答を参照解答と比較することで間違いを見つけるのと同様に、LLMは自身のバニラな生成分布 ($\pi$) と、参照ガイド付きの事後分布 ($\pi_{post}$) を対比させることで、誤ったトークンを特定できる。

1. コントラスティブ・ディスアグリーメント ($\delta_t$):
   この手法は、参照ガイド付きプロンプト下でのトークンの確率と、バニラプロンプト下での確率の対数比として、トークンレベルの信号を定義する：
   $$\delta_t(x, y) = \log \frac{\pi_{post}(y_t | x, y^\star, y_{<t})}{\pi(y_t | x, y_{<t})}$$
   ここで、$y^\star$ は参照解答（オラクル）である。理論上、この比率は、特定のトークンが正しい補完へと導く確率 ($g(x, y_{<t}, y_t)$) と単調に相関する。

   • 正の $\delta_t$: そのトークンが参照と一致しており、正しい可能性が高いことを示す。
   • 負の $\delta_t$: そのトークンが参照と矛盾しており、誤っている可能性が高いことを示す。

2. アドバンテージ・シェーピング:
   CPOは、このトークンレベルの信号をGRPOから導出されたトラジェクトリレベルのアドバンテージ ($A_i$) に統合する。整形されたアドバンテージ $\tilde{A}_{i,t}$ は以下のように計算される：
   $$\tilde{A}_{i,t} = A_i + \text{clip}(\alpha \cdot \delta_{i,t}, \text{bounds})$$

   • クリッピング: 安定性を確保するため、トークンレベルの信号の大きさは、トラジェクトリレベルのアドバンテージの方向を逆転させないように（例：正しいトラジェクトリが単一のトークンの不一致によってペナルティを受けることがないように）クリップされる。
   • ゼロ・アドバンテージの解決: アドバンテージがゼロ ($A_i = 0$) であるトラジェクトリに対して、トラジェクトリレベルの信号は勾配を提供しない。CPOは $\delta_t$ を利用することで、これらのケースにおいても意味のある学習信号を提供し、従来は「使い物にならない」と見なされていたデータでの最適化を可能にする。

3. 理論的統一:
   著者らは、On-Policy Distillation (OPD) がCPOの特殊なケースであることを示している。OPDでは外部の教師モデルが事後分布を提供する。CPOは、事後分布を、現在のポリシーよりも正当性についてより多くの情報を持つあらゆる分布（参照解答への自己条件付けを含む）としてインスタンス化できるようにすることで、これを一般化している。

主な貢献

1. 信号としてのコントラスティブ・ディスアグリーメント: 本論文は、コントラスティブ・ディスアグリーメントがエントロピーよりも信頼性の高いトークンレベルの正当性信号であることを、（理論的および経験的に）検証し、導入した。これにより、有用な探索と有害な混乱を区別できる。
2. OPDの理論的基盤: 本フレームワークは、多様なバリアント（外部教師、参照ガイド付き自己教師、クリティック誘導型ポリシー）を、単一の正当性駆動型目的関数の下で統一し、On-Policy Distillationに原理的な根拠を与える。
3. CPOフレームワーク: アドバンテージ・シェーピングのための計算効率の高い手法であり、ゼロ・アドバンテージ問題を解決し、より情報量の多い勾配と効果的な探索を可能にする。
4. 実験的検証: 数学的な推論におけるインドメイン（領域内）の数学推論タスクおよびアウトオブドメイン（領域外）の汎化タスクの両方において、CPOがエントロピーベースのRLVR手法を凌駕することを広範な実験で示した。

実験結果

実験は、MATHデータセットを用いて学習を行うにあたり、Qwen2.5-Math-7B および Qwen3-Base-4B に対して行われた。

• 性能向上: CPOは、GRPOおよび他のエントロピーベースのベースライン（Entropy-Tokens, Entropy-Adv, RL-ZVPなど）を大幅に上回る。
  • Qwen2.5-Math-7B において、CPOはGRPOと比較して平均性能を 7.7% 向上させた。
  • Qwen3-Base-4B において、CPOはGRPOと比較して平均性能を 8.5% 向上させた。
• 汎化性能: 多くのベースラインがアウトオブドメイン（OOD）での性能低下に苦しむ中で、CPOはGPQAやMMLU-ProといったベンチマークにおけるOOD性能を維持、あるいは向上させた。
• アブレーション研究:
  • データの有効性: 不正解の回答は主にインドメインの改善（搾取/Exploitation）を駆動し、正解の回答はOODの汎化（探索/Exploration）を維持するために極めて重要であることが判明した。$\alpha_+ : \alpha_-$ のバランス比率を (1:1) とすることが最良の結果をもたらした。
  • トークンレベル vs トラジェクトリレベル: トラジェクトリレベルで不一致を平均化するよりも、トークンレベルでのシェーピングの方が、クレジット割り当ての重要な変動をより良く保持できるため、優れていることが証明された。
  • エントロピー分析: CPOはGRPOと比較して、より高い学習エントロピーと長い回答長を維持しており、持続的な探索を示している。ワードクラウド分析によると、エントロピーが言語的な多様性に焦点を当てるのに対し、CPOはタスクに不可欠なトークン（数学記号、コード構造）に焦点を当てている。

意義と主張

本論文は、CPOがヒューリスティックなエントロピーベースの介入から、正当性認識型の最適化戦略への転換を象徴していると主張している。自己生成分布と参照ガイド付き分布の対比を利用することで、CPOはポリシー学習をタスクの成功に一致させる信頼できる信号を提供する。

著者らは、回答タイプの異なる役割が極めて重要であることを強調している：正解の回答はモデルが新しい解決策の経路を探索することを可能にし（オーバーフィッティングを防ぐ）、不正解の回答はモデルが最も有望な経路を搾取し洗練することを可能にする。これらをコントラスティブ・ディスアグリーメント信号を通じてバランスさせることで、汎化性能を損なうことなく優れた性能を実現できる。さらに、ゼロ・アドバンテージ問題を解決する能力は、RLVRの設定において、より効率的なデータ利用が可能であることを示唆している。