📊 statistics

Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity

本文指出，标准的可验证奖励强化学习（RLVR）目标因对正确解之间的概率质量分布漠不关心而导致多样性崩溃，并提出了均匀正确策略优化（UCPO）以在有效输出上强制实现均匀性，从而在保持单次尝试准确性的同时显著提升了多采样的多样性与覆盖率。

原作者： Anamika Lochab, Bolian Li, Ruqi Zhang

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Anamika Lochab, Bolian Li, Ruqi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《Uniform-Correct Policy Optimization》（统一正确策略优化）的解释。

核心问题：“一刀切”的陷阱

想象你正在训练一位天才学生解决数学题。你告诉他：“你的目标是得出正确答案。”

在人工智能领域，这被称为RLVR（可验证奖励强化学习）。AI 尝试解决问题，如果答案正确，它就会获得一枚“金星星”。

问题所在：
论文指出，标准的训练方法（如 GRPO）过于专注于“获得”金星星，而不在乎学生是“如何”获得它的。

想象一道数学题有三种不同的有效解法（方法 A、方法 B 和方法 C）。

旧方法（GRPO）： AI 尝试了所有三种方法。纯粹靠运气，它用方法 A 解出了一道题。它得到了一枚金星星。因为得到了星星，AI 心想：“方法 A 是最好的！下次我就用这个。”于是它不再尝试方法 B 和 C。
结果： AI 成为了方法 A 的大师。只要它尝试一次，几乎总能得到正确答案（Pass@1）。但如果你让它尝试 64 次，看看它能否找到任何解法，它就会失败。为什么？因为它已经忘记了方法 B 和 C。它坍缩成了一种单一、狭隘的习惯。

论文将这种现象称为**“多样性坍缩”**。AI 变成了一只会一种把戏的猴子。

诊断：为什么会发生这种情况？

作者发现了导致这种情况发生的两个主要原因：

目标过于模糊： 训练规则只说“最大化正确答案的数量”。它没有说“最大化正确答案的数量，同时尝试使用所有可能的方法”。因此，AI 对此漠不关心。它不知道它本应该保持多样性。
“富者愈富”的循环：
- 想象 AI 仅仅因为偶然，就稍微更倾向于选择方法 A。
- 因为它更频繁地选择方法 A，它也就更多地练习该方法。
- 训练更新使得方法 A 变得更强。
- 现在它选择方法 A 的频率更高了。
- 最终，方法 B 和 C 再也未被选中，AI 再也没有机会重新学习它们。它们逐渐消亡。

解决方案：“统一正确”策略

作者问道：“当存在多个正确答案时，AI 的完美行为方式是什么？”

他们得出的结论是，AI 应当是**统一正确（Uniform-Correct）**的。

统一（Uniform）： 它应当同等对待每一个有效解法（方法 A、B 和 C）。它应当给予它们均等的机会（各占 33%）。
正确（Correct）： 它不应在错误的答案上浪费时间。

这就像一位厨师知道三种制作完美煎蛋卷的不同方法。“统一正确”的厨师不会只坚持他最先做的那种；他会均衡地轮换使用这三种方法，这样他就永远不会忘记如何制作其他两种。

新工具：UCPO

为了打破“一刀切”的陷阱，作者创造了一种新的训练方法，称为UCPO（统一正确策略优化）。

它是如何工作的（类比）：
想象 AI 是一位正在给全班学生（即不同的解法）打分的老师。

旧方法（GRPO）： 老师只表扬第一个举手的学生。其他学生保持沉默，最终不再举手。
新方法（UCPO）： 老师观察全班。如果学生 A 举手很多次，老师会说：“干得好，但让我们给那些还没怎么举手的学生 B 和学生 C 一个特别奖励。”

UCPO 在训练中增加了一种“惩罚”。如果 AI 开始过度偏爱某一种解法，训练机制就会予以回击，并说：“不，你需要更均匀地将注意力分散到所有正确答案上。”

结果：发生了什么？

该团队在三个不同规模的 AI 模型（从小型到大型）上，使用高难度的数学基准测试（如 AIME 数学竞赛）对此进行了测试。

准确率保持高位： AI 在第一次尝试就得出正确答案的能力（Pass@1）与旧方法一样出色。
多样性飙升： 当他们要求 AI 生成 64 次不同的尝试时，它找到了多得多的独特且正确的解法。
- 在最难的测试（AIME24）中，新方法将 AI 在 64 次尝试中找到任何正确答案的能力提高了10%。
- 答案中所使用的数学方程的多样性增加了45%。

总结

该论文表明，标准的 AI 训练会使模型变得过于僵化——它们找到一种正确的方式就固守不放，忘记了所有其他有效的途径。新方法UCPO迫使 AI 保持所有选项的开放性，将每一条正确的路径视为同等有价值。这使得 AI 更加稳健且富有创造力，同时又不牺牲其准确性。

以下是论文《Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity》（统一正确策略优化：打破 RLVR 对多样性的漠视）的详细技术总结。

1. 问题陈述

可验证奖励强化学习（RLVR） 显著提高了大语言模型（LLM）在数学等推理任务上的单次尝试准确率（Pass@1）。然而，已发现一个关键的副作用：多样性崩溃（Diversity Collapse）。

现象：虽然 RLVR 提高了生成一个正确答案的概率，但它往往大幅降低 Pass@K（即 $K$ 个采样答案中至少有一个正确的概率）。这表明模型解空间收缩，将概率质量集中在正确解的一个狭窄子集上，同时抑制了其他有效的推理路径。
根本原因：作者指出了标准 RLVR 目标（如 GRPO - 组相对策略优化）中的结构性局限。这些目标对概率质量在正确解之间的分布方式漠不关心。
- 从数学上讲，任何将 100% 质量置于正确输出集合 $Y^+$ 上的策略，无论该质量是集中在一个解上（崩溃）还是均匀分布在所有有效解上（多样），都会产生相同的最大奖励。
- 结合同策略采样动态，这种漠视创造了一个自我强化的反馈循环：采样频率稍高的解会获得更大的梯度更新，进一步增加其概率和采样频率，导致不可逆的模式崩溃。

2. 方法论

A. 理论分析

作者形式化了崩溃机制并定义了最优策略结构：

崩溃机制：他们证明了在 GRPO 下，采样偏差会导致样本计数不均。梯度更新随这些计数缩放，从而放大主导解的概率并抑制少数解。一旦某个解低于采样阈值（ $\pi(y) \ll 1/K$ ），它将不再接收梯度信号且无法恢复。
最优策略定义：作者提出最优策略应为统一正确策略（Uniform-Correct Policy, UCP）。该策略满足两个标准：
- 鲁棒性：如果部分正确解被禁用（例如由于分布偏移），它最大化最坏情况下保留的概率质量。
- 熵正则化最优性：它在正确集合内唯一地最大化平衡正确性与多样性（熵）的目标。
- 定义：UCP 在错误输出上放置零概率，并在所有正确解上均匀分布概率（对于 $y \in Y^+$ ， $\pi(y|x) = 1/|Y^+|$ ）。

B. 提出的解决方案：统一正确策略优化（UCPO）

为了实现统一正确策略，作者提出了 UCPO，这是对 GRPO 目标的修改。

目标函数：UCPO 在标准正确性最大化基础上增加了条件均匀性惩罚。
$\mathcal{L}_{UCPO} = \underbrace{\log Z_\theta(x)}_{\text{正确性质量}} - \tau \underbrace{KL(u(\cdot|x) \parallel q_\theta(\cdot|x))}_{\text{均匀性惩罚}}$
- $Z_\theta(x)$ ：正确输出上的总概率质量。
- $q_\theta(\cdot|x)$ ：策略在正确输出上的条件分布。
- $u(\cdot|x)$ ：正确输出集合上的均匀分布。
- $\tau$ ：控制均匀性惩罚强度的超参数。
梯度机制：
- 标准 GRPO 根据当前采样频率对梯度进行加权（偏向主导模式）。
- UCPO 重新加权梯度信号以抵消这种偏差。它在当前条件分布和均匀目标之间进行插值。
- 逆加权：梯度估计器为代表性不足的正确解（当前概率较低的解）分配更高的权重，而为主导解分配较低的权重。这有效地重新分配了“优势预算”，以放大少数正确响应，同时不牺牲总正确性质量。

3. 主要贡献

识别漠视性：本文形式化证明了标准 RLVR 目标对正确集合内部的多样性漠不关心，允许随机训练动态导致不可逆的模式崩溃。
理论表征：确立了统一正确策略为在鲁棒性和熵正则化标准下的唯一最优解。
算法设计（UCPO）：推导了 UCPO，这是对 GRPO 的一种简单而有效的修改，强制统一正确策略成为其唯一最优解。
梯度重分布：引入了一种机制，将梯度信号重新分配给代表性不足的正确响应，打破自我强化的崩溃循环。

4. 实验结果

作者在三个模型（1.5B、7B 参数）和五个数学推理基准（AIME24/25, AMC, MATH, OlympiadBench）上评估了 UCPO。

Pass@K 提升：UCPO 在保持具有竞争力的 Pass@1 的同时，一致地提升了 Pass@K（特别是 Pass@64）。
- AIME24（7B 模型）：与标准 GRPO 相比，Pass@64 实现了 +10% 的绝对提升。
- 平均提升：在所有模型中，UCPO 将平均 Pass@64 提升了 +3.5 到 +4.8 分（相对于 GRPO）。
多样性指标：
- 与 GRPO 相比，UCPO 在正确集合内实现了高达 45% 的方程级多样性提升。
- 与全局熵正则化（通常会将质量分散到错误答案上）不同，UCPO 在多样化正确集合的同时保持了高正确性质量（ $Z_\theta \approx 1$ ）。
与基线比较：UCPO 优于其他多样性保持方法，如熵正则化（Ent-Reg）、KL-协方差控制和 Focal GRPO。研究表明，全局熵正则化是脆弱的，往往会降低 Pass@1 或无法提升正确集合内的多样性。
效率：UCPO 引入了可忽略的计算开销（仅对优势进行标量重加权），且不需要额外的 rollout 或参考模型。

5. 意义

这项工作解决了当前推理模型 RLVR 训练范式中的一个根本缺陷。通过将重点从仅仅“找到一个正确答案”转移到“维持所有正确答案的多样化分布”，UCPO：

防止解空间收缩：确保模型在微调过程中不会“遗忘”有效的推理路径。
增强鲁棒性：覆盖多个正确解的策略对分布偏移或验证器噪声更具鲁棒性。
提供原则性目标：它超越了启发式的熵奖励，转向一个具有理论依据的目标，明确针对最优策略的结构。

总之，UCPO 为 RLVR 中的多样性崩溃问题提供了一种可扩展且理论健全的方案，使大语言模型能够在不牺牲单次尝试准确率的情况下实现更高的多采样覆盖率。