💬 NLP

Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit Negative Gradients

本論文は、有界重要度サンプリングと暗黙の負勾配を活用して負のロールアウトを不要とし、GRPO に比べて優れた数学的推論性能を達成する新しい RLVR フレームワークであるポジティブ・オンリー・ポリシー最適化（POPO）を導入する。

原著者： Mingwei Xu, Hao Fang

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

原著者： Mingwei Xu, Hao Fang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

困難な数学の問題を解くロボットを教育すると想像してください。通常、ロボット（または AI）を強化学習で教育する際、「善玉刑事・悪玉刑事」のアプローチが用いられます。

善玉刑事: ロボットが正解を出したとき、ご褒美（報酬）を与えます。
悪玉刑事: ロボットが誤答を出したとき、叱責します（ペナルティ）。

現在の主流な手法（GRPO と呼ばれる）は、「悪玉刑事」に大きく依存しています。多くの回答を生成し、正解を保持しつつ、誤答を積極的に罰することで、ロボットに「してはいけないこと」を教えようとしています。

問題点:
この論文の著者らは、この「悪玉刑事」戦略に欠陥があることに気づきました。数学において、誤答を出す方法は無限にあります。小さな計算ミス、論理の誤り、あるいは完全に無謀な推測など、失敗する方法は多岐にわたります。失敗する方法がこれほど多いため、いくつかのランダムな誤答を罰することは、 haystack（干し草の山）にダーツを投げて、特定の針を見つけようとするようなものです。ロボットが失敗した真の理由を見逃してしまう可能性があります。

解決策: POPO（Positive-Only Policy Optimization）
著者らは、新しい手法 POPO を提案しました。「悪玉刑事」を使ってロボットを叱責する代わりに、「善玉刑事」のみを使用することにしました。彼らは誤答を完全に無視し、正解の強化に 100% 集中します。

ロボットが混乱したり行き詰まったりすることなく、この「ポジティブのみ」のアプローチを機能させる方法は以下の通りです。

1. 「自己競争」のトリック（暗黙の負の勾配）

あなたはこう問うかもしれません。「ロボットに何が間違っているかを決して伝えないなら、どのようにして間違いを止めるのでしょうか？」

著者らは、ロボットが「最良の正解」を選ぶことを強制されるだけで、何をしてはいけないかを学ぶと説明しています。

比喩: 先生が正解を出した生徒だけを称賛する教室を想像してください。先生は間違えた生徒を怒鳴りません。しかし、先生が「称賛トークン」を「正解」に対してのみ限られた数で与えるため、「誤答」の確率は自然に縮小します。
仕組み: 数学において、すべての可能な回答の確率の合計は 100% でなければなりません。正解の確率を上げれば、誤答の確率は自動的に低下します。この論文は数学的に証明しており、「善を強化する」ことは、明示的に叱責しなくても、悪に対して目に見えない「ペナルティ」を生み出すことを示しています。

2. 「動く的」のアンカー（シアンネットワーク）

良い回答だけを強化すると、ロボットが過度に自信を持ち、同じ数少ない回答を繰り返し出すようになり（モード崩壊と呼ばれる問題）、問題解決の新しい方法を探索しなくなる可能性があります。

比喩: ロボットをダンサーだと想像してください。自分自身しか見ていなければ、ループに陥る可能性があります。これを防ぐため、著者らはロボットに「シャドウパートナー」（シアンネットワーク）を与えます。
仕組み: このシャドウパートナーは、ロボットよりも少し古く、ゆっくり動くバージョンです。ロボットはシャドウパートナーに近づこうとしますが、シャドウパートナーは非常にゆっくりと動きます（指数移動平均と呼ばれる手法を使用）。これにより、ロボットが軌道から外れすぎるのを防ぎつつ、学習と改善を可能にします。

3. 「類似性」の安全網

通常、AI の訓練では、ロボットが変化しすぎないようにする厳格なルールとして「KL ダイバージェンス」が用いられます。著者らは、このルールが硬直的すぎると考えました。

比喩: ロボットに厳格な地図に従うよう強制する代わりに、「類似性」チェックを使用します。彼らはロボット内部の「アイデア（表現）」を確認します。ロボットの新規なアイデアがシャドウパートナーのアイデアと「類似」している限り、変化が許されます。これは、ロボットの創造性を抑圧することなく、安定性を保つための、より柔軟で柔らかい方法です。

彼らは何を見出しましたか？
著者らは、この新しい手法（POPO）を、Qwen などの異なる AI モデルを用いて、AIME やオリンピック問題などの有名な数学ベンチマークでテストしました。

結果: POPO は、良い例と悪い例の両方を使用する現在の最良の手法（GRPO など）と同等か、それ以上の性能を発揮しました。
ハイライト: AIME 2025 という非常に難しいテストにおいて、POPO 手法は 36.67% のスコアを達成し、標準的な手法の 30.00% を上回りました。

まとめ
この論文は、数学的推論の世界では、生徒のあらゆる間違いを常に叱責する必要はないと主張しています。正解のステップを集中的に強化し、「誤った」ステップが自然に消え去るよう保証する賢い数学的トリックを使用すれば、生徒（または AI）はより速く、より効果的に学習できます。彼らはこれを Positive-Only Policy Optimization と呼んでいます。

技術的概要：ネガティブロールアウトを超えて：暗黙的ネガティブ勾配によるポジティブのみの方策最適化

問題定義

検証可能な報酬を伴う強化学習（RLVR）は、特に数学分野において大規模言語モデル（LLM）の推論能力を向上させるための支配的なパラダイムとして浮上してきた。グループ相対方策最適化（GRPO）などの現在の最先端のアプローチは、正解（ポジティブ）と不正解（ネガティブ）のロールアウトをグループ化して比較し、アドバンテージを推定することに依存している。しかし、本論文は、不正な回答を明示的な学習信号として扱うことにおける根本的な限界を指摘している：

段階性の欠如: 二値報酬設定（例：正解なら $R(x,y)=1$ 、そうでなければ $0$）では、すべての不正な回答が同等に扱われる。「わずかに間違っている」回答と「完全に意味をなさない」回答を区別する本質的な信号が存在しない。
組み合わせ的な広大さ: 複雑なタスク（オリンピックレベルの数学など）における不正な回答の空間は、組み合わせ的に広大である。少数のサンプリングされたネガティブロールアウトにペナルティを課すだけでは、意味のある失敗モードを網羅したり、スパースな二値報酬下で堅牢な報酬信号を提供したりすることは期待できない。
非効率性: 本論文は、成功のみを強化することによってのみ方策の改善が達成できるかどうかを疑問視しており、BYOL や SimSiam などのポジティブサンプルのみを使用して効果的な表現を学習する対照的自己教師あり学習（SSL）手法との類似性を指摘している。

手法：ポジティブのみの方策最適化（POPO）

著者は、ネガティブな結果を暗黙的に処理しながら、正解（ポジティブ）のロールアウトのみから学習する新しいオンポリシー RL フレームワークであるPOPOを提案する。このフレームワークは、勾配ガイダンスのための独立したネガティブロールアウトなしに動作する。

コアコンポーネント

自己正規化重要度サンプリング:
値ネットワークやグループ相対アドバンテージを使用する代わりに、POPO はポジティブロールアウトの集合 $S^+(x)$ に対して有界な重要度サンプリング重みを適用する。ポジティブな回答 $y$ の重みは以下のように定義される：
$w_\theta(y|x) = \frac{\pi_\theta(y|x)}{Z_+(x)}, \quad \text{where } Z_+(x) = \sum_{y' \in S^+(x)} \pi_\theta(y'|x)$
これにより、「自信のある」正解がより強く強化される自己競争メカニズムが生まれ、正規化によって多様性が維持される。
暗黙的ネガティブ勾配:
本論文は、明示的なネガティブペナルティが不要であることを示す理論的証明（定理 3.1）を提供する。ソフトマックス制約（ $\sum \pi_\theta(y|x) = 1$ ）により、ポジティブな回答の確率を増加させることは、本質的にネガティブな回答の確率を減少させる。勾配分析は、損失関数が不正なログオッズ $y' \in S^-(x)$ に対して厳密に正の勾配を誘発し、暗黙的な「確率税」とエントロピーベースのペナルティとして機能することを示している。
適応的シアンアノカー:
分布の不一致や過学習につながる可能性のある参照モデルなしでトレーニングを安定させるため、POPO はシアンアノネットワークアーキテクチャを採用する：
- 方策ネットワーク（ $\pi_\theta$ ）: 最適化されているアクティブなネットワーク。
- シアンアノネットワーク（ $\pi_\xi$ ）: 方策パラメータの指数移動平均（EMA）を通じて更新されるターゲットネットワーク： $\xi \leftarrow \tau \xi + (1-\tau)\theta$ 。
- 表現空間の整合: 高分散かつトークンに敏感になり得る標準的な KL 発散の代わりに、POPO は予測器ヘッドとコサイン類似度を用いて、方策ネットワークとシアンアノネットワークの隠れ表現を意味的埋め込み空間で整合させる。これは、ソフトで有界な制約として機能する。
損失関数:
総損失は、ポジティブサンプル上の重み付き負対数尤度（NLL）、表現空間の類似度、およびエントロピー正則化を組み合わせる：
$L_{POPO} = -\mathbb{E} \left[ \sum_{y \in S^+(x)} w_\theta(y|x) \log \pi_\theta(y|x) \right] + \alpha L_{sim} + \beta L_{ent}$

主要な貢献

パラダイムシフト: ネガティブサンプルが効果的な方策最適化に必要であるという慣習に挑戦し、RLVR 学習がオンラインのポジティブロールアウトのみを通じて行われるフレームワークを導入する。
理論的正当性: 確率の再分配とエントロピー正則化から自然に生じる暗黙的ネガティブ勾配の存在を証明し、明示的なネガティブサンプリングの必要性を排除する。
安定化メカニズム: KL 発散に代わるものとして、モーメントベースの適応と表現空間の類似性を備えたシアンアノアーキテクチャを提案し、方策の崩壊と無制限のドリフトを防止する。
有界重要度サンプリング: 強化の強度と多様性のバランスを取るために、ポジティブ集合上での自己正規化重み付け方式を利用する。

実験結果

著者は、トレーニングにDeepScaleR-Preview-Datasetを使用し、MATH-500、AMC 2023、AIME 2024、AIME 2025、OlympiadBenchの 5 つの数学ベンチマーク全体でパフォーマンスを評価した。

テスト対象モデル: Qwen2.5-Math ファミリー（1.5B、7B）、DeepSeek-R1 蒸留モデル、および汎用 LLM（Llama-3.1-8B、DeepSeek-Math-7B）を含む各種ベースモデルで実験が行われた。
パフォーマンス:
- POPO は、ほとんどのベンチマークにおいて GRPO やその変種（Dr. GRPO、DAPO、SAPO）と同等かそれ以上のパフォーマンスを達成した。
- 注目すべき結果: Qwen-Math-7Bを使用したAIME 2025ベンチマークにおいて、POPO は**36.67%**を達成し、GRPO（30.00%）を上回った。
- OlympiadBenchにおいて Qwen-Math-7B を使用した場合、POPO は**57.27%**に達し、GRPO の 56.38% を上回った。
アブレーション研究:
- ネガティブロールアウトを除去し（均一重みを使用）、自己正規化された重み再分配の必要性を確認したところ、パフォーマンスが大幅に低下した。
- モーメント適応または表現空間の整合を除去すると、不安定化とパフォーマンスの低下を招き、安定化メカニズムの有効性が検証された。
一般化: POPO はモデルに依存しない利点を示し、数学特化型および汎用 LLM の両方で良好に機能した。

意義と主張

本論文は、ネガティブロールアウトなしに効果的に動作する RLVR の新たな方向性を確立すると主張している。著者は、スパースな二値報酬環境において、失敗の組み合わせ的性質が明示的なネガティブペナルティを非効率的かつ潜在的にノイズの多いものにするとしている。確率の再分配を通じた暗黙的ネガティブ勾配を活用し、表現空間の整合を通じて方策を安定化させることで、POPO は現在の GRPO ベースの手法に対する堅牢な代替案を提供する。

著者は、現在の焦点がスパースな二値報酬にあること（多くの現実世界のタスクは密な報酬を持つ）、テキストベースの数学的推論のみでの検証、および 7B パラメータまでのモデルに限定されたテストなど、限界を指摘している。今後の研究として、ネガティブサンプルのための適応的ロールアウト分割の検討や、コード生成およびマルチモーダル推論への拡張が提案されている。