📊 statistics

Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity

本論文は、検証可能な報酬を用いた標準的な強化学習（RLVR）の目的関数が、正解間の確率質量の分布に対して無関心であるため多様性の崩壊を引き起こすことを特定し、有効な出力に対して均一性を強制する Uniform-Correct Policy Optimization（UCPO）を提案し、これにより単一試行の精度を維持しつつマルチサンプルの多様性とカバレッジを大幅に向上させる。

原著者： Anamika Lochab, Bolian Li, Ruqi Zhang

公開日 2026-05-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Anamika Lochab, Bolian Li, Ruqi Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Uniform-Correct Policy Optimization」という論文を、平易な言葉と日常的な比喩を用いて解説します。

大きな問題：「画一的」な罠

あなたが数学の問題を解くために、優秀な生徒を訓練していると想像してください。あなたは彼に、「あなたの目標は正解を得ることだ」と伝えます。

AI の世界では、これをRLVR（検証可能な報酬を用いた強化学習）と呼びます。AI が問題を解こうとし、答えが正しければ「ゴールドスター」を獲得します。

問題点：
この論文は、標準的な訓練手法（GRPO など）は、ゴールドスターを「獲得すること」にあまりにも焦点が当たりすぎており、生徒がそれを「どのように」獲得したかには関心がないと主張しています。

3 つの異なる有効な解法（方法 A、方法 B、方法 C）がある数学の問題を想像してください。

従来の方法（GRPO）： AI は 3 つすべてを試します。純粋な偶然で、方法 A を使って 1 つの問題を解きます。ゴールドスターを獲得します。スターを獲得したため、AI は「方法 A が最高だ！次はそれを使おう」と考えます。そして、方法 B と C の試行を止めてしまいます。
結果： AI は方法 A の達人になります。1 回試せばほぼ毎回正解を得られます（Pass@1）。しかし、64 回試して「いかなる解」でも見つけられるかどうかを問うと、失敗します。なぜなら、方法 B と C を忘れてしまったからです。AI は単一の狭い習慣へと収束してしまいました。

この論文はこれを**「多様性の崩壊（Diversity Collapse）」**と呼びます。AI は一芸に秀でた存在（one-trick pony）になってしまうのです。

診断：なぜこれが起こるのか

著者らは、これが起こる主な 2 つの理由を突き止めました。

目標が曖昧すぎる： 訓練のルールは「正解を最大化せよ」と言っていますが、「正解を最大化し、かつ可能なすべての方法を使ってみるよう努めよ」とは言っていません。そのため、AI は無関心になります。多様であるべきだと認識していないのです。
「富める者がさらに富む」サイクル：
- 想像してください。AI が偶然、方法 A を選ぶ確率が少し高いとします。
- 方法 A をより頻繁に選ぶため、それについてより多くの練習を積むことになります。
- 訓練による更新が、方法 A をさらに強力にします。
- すると、方法 A をさらに頻繁に選ぶようになります。
- 最終的に、方法 B と C は選ばれなくなり、AI はそれらを再び学ぶ機会を失います。それらは消滅してしまうのです。

解決策：「Uniform-Correct」方策

著者らは問いかけました。「複数の正解がある場合、AI が振る舞うべき『完璧な』方法とは何か？」

彼らは、AI は**Uniform-Correct（均一かつ正解）**であるべきだと結論付けました。

Uniform（均一）： すべての有効な解（方法 A、B、C）を完全に同じように扱うべきです。それぞれに均等な機会（それぞれ 33%）を与えるべきです。
Correct（正解）： 間違った答えに時間を浪費してはいけません。

これは、完璧なオムレツを作る 3 つの異なる方法を知っているシェフのようなものです。「Uniform-Correct」なシェフは、最初に作ったものだけに固執するのではなく、3 つすべての方法を均等に使い回すことで、他の作り方を忘れることがありません。

新しいツール：UCPO

「画一的」な罠を修正するために、著者らはUCPO（Uniform-Correct Policy Optimization）と呼ばれる新しい訓練手法を開発しました。

仕組み（比喩）：
AI が生徒たち（異なる解）のクラスを採点する教師だと想像してください。

従来の方法（GRPO）： 教師は、最初に手を挙げた生徒だけを褒めます。他の生徒は黙り込み、やがて手を挙げることやめてしまいます。
新しい方法（UCPO）： 教師はクラス全体を見渡します。生徒 A が頻繁に手を挙げている場合、教師は「よくやったが、まだあまり手を挙げていない生徒 B と生徒 C に特別なボーナスを与えよう」と言います。

UCPO は訓練に「ペナルティ」を追加します。AI が特定の解を過度に好むようになると、訓練がそれを押し戻し、「いいえ、すべての正解の間で注意をより均等に配分する必要がある」と伝えます。

結果：何が起きたか

チームは、小規模から大規模までの 3 つの異なる AI モデルで、難易度の高い数学ベンチマーク（AIME 数学コンテストなど）を用いてこれをテストしました。

精度は高く維持された： AI は、従来の手法と同様に、1 回目で正解を得る能力（Pass@1）に優れていました。
多様性が劇的に向上した： AI に 64 回の異なる試行を生成させたとき、より多くのユニークで正解の解を見つけています。
- 最も難しいテスト（AIME24）において、新しい方法は、64 回の試行の中で「いかなる」正解も見つける能力を**10%**向上させました。
- 解答で使用された数式のバリエーションは**45%**増加しました。

まとめ

この論文は、標準的な AI 訓練がモデルを硬直化させていることを示しています。つまり、正解になる 1 つの方法を見つけると、それに固執し、他のすべての有効な方法を忘れてしまうのです。新しい手法UCPOは、AI がすべての選択肢を維持し、すべての正解の経路を等しく価値あるものとして扱うよう強制します。これにより、精度を犠牲にすることなく、AI はより堅牢で創造的になります。

以下は、論文「Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity.」の詳細な技術的サマリーです。

1. 問題定義

**検証可能報酬を用いた強化学習（RLVR）**は、数学などの推論タスクにおける大規模言語モデル（LLM）の単一試行精度（Pass@1）を大幅に向上させました。しかし、重大な副作用が特定されました。**多様性の崩壊（Diversity Collapse）**です。

現象: RLVR は1 つの正解を生成する確率を高める一方で、Pass@K（ $K$ 個のサンプリングされた答えのうち少なくとも 1 つが正解である確率）を劇的に低下させる傾向があります。これは、モデルの解空間が収縮し、正解の狭い部分集合に確率質量が集中し、他の有効な推論経路が抑制されていることを示しています。
根本原因: 著者らは、標準的な RLVR 目的関数（GRPO - Group Relative Policy Optimization など）における構造的な限界を特定しました。これらの目的関数は、正解の間で確率質量がどのように分布しているかに対して無関心です。
- 数学的に、正解の集合 $Y^+$ に対して確率質量の 100% を配置するあらゆる方策は、その質量が 1 つの解に集中している（崩壊している）場合でも、すべての有効な解に一様に分布している（多様性がある）場合でも、同じ最大報酬をもたらします。
- オンポリシーサンプリングのダイナミクスと組み合わさると、この無関心性は自己強化型のフィードバックループを生み出します。わずかに多くサンプリングされた解はより大きな勾配更新を受け、その確率とサンプリング頻度がさらに増加し、不可逆的なモード崩壊へと至ります。

2. 手法

A. 理論的解析

著者らは崩壊メカニズムを形式化し、最適な方策構造を定義しました。

崩壊メカニズム: GRPO 下では、サンプリングバイアスが不均一なサンプル数をもたらすことを証明しました。勾配更新はこれらの数に比例してスケーリングされ、支配的な解の確率を増幅し、少数派の解を抑制します。ある解がサンプリング閾値（ $\pi(y) \ll 1/K$ ）を下回ると、勾配信号を受け取らず、回復できなくなります。
最適方策の定義: 著者らは、最適な方策は**Uniform-Correct Policy（UCP）**であるべきだと提案しました。この方策は 2 つの基準を満たします。
- ロバスト性: 正解のサブセットが無効化された場合（例：分布シフトによる）、保持される確率質量の最悪ケースを最大化します。
- エントロピー正則化された最適性: 正解集合内で、正解性と多様性（エントロピー）のバランスを取る目的関数を一意に最大化します。
- 定義: UCP は誤った出力に対して確率 0 を置き、すべての正解に対して確率を一様に分布させます（ $y \in Y^+$ に対して $\pi(y|x) = 1/|Y^+|$ ）。

B. 提案手法：Uniform-Correct Policy Optimization (UCPO)

UCP を達成するために、著者らは GRPO 目的関数の修正であるUCPOを提案しました。

目的関数: UCPO は、標準的な正解性の最大化に条件付き一様性ペナルティを追加します。
$\mathcal{L}_{UCPO} = \underbrace{\log Z_\theta(x)}_{\text{正解性質量}} - \tau \underbrace{KL(u(\cdot|x) \parallel q_\theta(\cdot|x))}_{\text{一様性ペナルティ}}$
- $Z_\theta(x)$ : 正解出力上の総確率質量。
- $q_\theta(\cdot|x)$ : 正解出力に対する方策の条件付き分布。
- $u(\cdot|x)$ : 正解出力集合上の一様分布。
- $\tau$ : 一様性ペナルティの強さを制御するハイパーパラメータ。
勾配メカニズム:
- 標準的な GRPO は、現在のサンプリング頻度で勾配を重み付けします（支配的なモードを有利にします）。
- UCPO はこのバイアスを相殺するように勾配信号を再重み付けします。現在の条件付き分布と一様ターゲットの間を補間します。
- 逆重み付け: 勾配推定量は、過小表現されている正解（現在の確率が低いもの）に高い重みを割り当て、支配的なものには低い重みを割り当てます。これにより、「アドバンテージ予算」を再分配し、総正解質量を犠牲にすることなく少数派の正解応答を増幅します。

3. 主要な貢献

無関心性の特定: 標準的な RLVR 目的関数が、正解集合内の多様性に対して無関心であることを形式的に証明し、確率的なトレーニングダイナミクスが不可逆なモード崩壊を駆動することを示しました。
理論的特徴付け: ロバスト性とエントロピー正則化された基準の両方のもとで、Uniform-Correct Policyを一意の最適解として確立しました。
アルゴリズム設計（UCPO）: UCP をその一意の最適解として強制する、GRPO のシンプルかつ効果的な修正である UCPO を導出しました。
勾配の再分配: 過小表現されている正解応答に向けて勾配信号を再分配するメカニズムを導入し、自己強化型の崩壊サイクルを打破しました。

4. 実験結果

著者らは、3 つのモデル（1.5B、7B パラメータ）と5 つの数学的推論ベンチマーク（AIME24/25、AMC、MATH、OlympiadBench）全体で UCPO を評価しました。

Pass@K の向上: UCPO は、競争力のある Pass@1 を維持しながら、Pass@K（特に Pass@64）を一貫して向上させました。
- AIME24（7B モデル）: 標準的な GRPO と比較して、Pass@64 で**+10% の絶対的改善**を達成しました。
- 平均改善: すべてのモデルにわたって、UCPO は GRPO に対して平均 Pass@64 を**+3.5 から +4.8 ポイント**向上させました。
多様性指標:
- UCPO は、GRPO に比べて正解集合内で最大45% 高い式レベルの多様性を達成しました。
- 誤った答えに質量を広げることが多いグローバルなエントロピー正則化とは異なり、UCPO は正解集合を多様化させながら高い正解性質量（ $Z_\theta \approx 1$ ）を維持します。
ベースラインとの比較: UCPO は、エントロピー正則化（Ent-Reg）、KL-共分散制御、Focal GRPO などの多様性保持手法よりも優れていました。グローバルなエントロピー正則化は脆弱であり、Pass@1 を劣化させたり、正解集合内の多様性を向上させたりできないことが示されました。
効率性: UCPO は計算オーバーヘッドがほとんどありません（アドバンテージのスカラー再重み付けのみ）であり、追加のロールアウトや参照モデルを必要としません。

5. 意義

この研究は、推論モデルにおける現在の RLVR トレーニングパラダイムの根本的な欠陥に対処します。「1 つの正解を見つける」ことではなく、「すべての正解の多様な分布を維持する」ことに焦点を移すことで、UCPO は以下を実現します。

解空間の収縮の防止: 微調整中にモデルが有効な推論経路を「忘れる」ことを防ぎます。
ロバスト性の向上: 複数の正解を網羅する方策は、分布シフトや検証器のノイズに対してよりロバストです。
原理的なターゲットの提供: ヒューリスティックなエントロピーボーナスを超えて、最適な方策の構造を明示的にターゲットとする理論的に裏付けられた目的関数へと移行します。

要約すると、UCPOは、RLVR における多様性崩壊問題に対するスケーラブルで理論的に堅牢な解決策を提供し、LLM が単一試行精度を犠牲にすることなく、より高いマルチサンプルカバレッジを達成することを可能にします。