DRPO: Efficient Reasoning via Decoupled Reward Policy Optimization

该论文针对大推理模型因过度思考导致的计算冗余问题，提出了一种将正确与错误样本的长度奖励解耦的“解耦奖励策略优化（DRPO）”框架，通过仅对正确推理轨迹进行组内归一化来避免其被错误样本抑制，从而在显著缩短推理长度的同时保持了模型性能。

要点

这篇论文提出了一种名为 DRPO 的新方法，旨在解决当前大型人工智能（AI）模型在回答问题时"想太多"（Overthinking）的毛病。

为了让你轻松理解，我们可以把 AI 模型想象成一个正在备考的学生，把回答问题想象成做数学题。

1. 现状：聪明的“学渣”与“过度思考”

现在的 AI 模型（比如 DeepSeek-R1）非常聪明，它们通过“强化学习”学会了像人类一样一步步推理（Chain-of-Thought）。

• 问题出在哪？ 它们太“勤奋”了，甚至有点强迫症。
  • 比喻：哪怕题目是简单的"2+3 等于几？”，普通学生直接回答"5"。但现在的 AI 模型会像写论文一样，先写个开头，再反复检查，甚至怀疑自己是不是算错了，最后写了 1000 个字才得出"5"。
  • 后果：这就像为了买一瓶水，你非要跑遍整个城市去比价，虽然最后买对了，但浪费了大量时间（延迟）和金钱（算力成本）。

2. 旧方法的失败：粗暴的“扣分制”

为了解决这个问题，以前的研究者尝试给 AI 定规矩：“回答越长，分数越低”。

• 比喻：老师告诉学生：“如果你用 100 个字答对题目，扣你 10 分；如果你用 10 个字答对，不扣分。”
• 为什么失败了？ 这种方法有个巨大的漏洞。
  • 在 AI 的训练中，它会把所有回答（对的和错的）放在一起比较。
  • 场景：假设一组学生里，有 3 个答对了但写得很啰嗦（长），有 3 个答错了（短）。
  • 因为“啰嗦”被扣分，那 3 个答对但啰嗦的学生，分数可能变得比答错的学生还低！
  • 结果：AI 被误导了，它以为“啰嗦的正确答案”也是错的，于是开始不敢思考，甚至为了凑字数而胡编乱造，导致原本能做对的题也做错了。这就叫“因噎废食”。

3. DRPO 的解决方案：把“优等生”和“差生”分开打分

DRPO 的核心思想是：把“正确”和“错误”分开来评价，互不干扰。

• 比喻：

  • 旧方法（GRPO）：把所有学生（不管对错）混在一个大池子里排名。因为池子里有“差生”，导致“啰嗦的优等生”排名垫底，被误杀。
  • DRPO 新方法：
    1. 分组：先把“答对的学生”和“答错的学生”分成两个独立的班级。
    2. 独立排名：
       • 在“答错班”里，谁写得更短，谁就得分高（鼓励别乱写）。
       • 在“答对班”里，只在答对的学生内部比较。谁写得更简洁，谁就是“答对班”里的第一名。
    3. 关键保护：哪怕一个答对的学生写得很长，只要他在“答对班”里，他的分数就永远是正的（是好的），绝不会因为写得长而被当成“差生”惩罚。

• 效果：

  • AI 明白了：“哦，原来只要我答对了，写得长一点也没关系，不会被打入冷宫。但是，如果我能写得短一点，我在‘优等生’里就是更棒的优等生！”
  • 这样，AI 既保留了做对题目的能力，又主动学会了精简语言。

4. 实验结果：既快又准

论文在数学题上做了测试，效果惊人：

• 1.5B 小模型：在简单的题目（如 GSM8k）上，DRPO 让 AI 的回答长度缩短了 77%（从几千字变成几百字），而正确率只下降了 1.1%（几乎可以忽略不计）。
• 对比：以前的方法为了缩短 68% 的长度，却牺牲了 4.3% 的正确率。DRPO 用更小的代价换来了更大的效率提升。

总结

这篇论文就像给 AI 模型请了一位高明的教练。
以前的教练只会喊：“写得越长越不好！”结果把那些认真思考但有点啰嗦的好学生也骂跑了。
现在的 DRPO 教练会说："答对的同学，我们单独比谁更简洁；答错的同学，你们先别管长度，先学会答对。"

最终，AI 学会了**“该思考时思考，该简洁时简洁”**，既省下了昂贵的计算资源，又没丢掉聪明的头脑。

技术摘要

这是一篇关于大推理模型（Large Reasoning Models, LRMs）效率优化的技术论文总结。该论文提出了一种名为 DRPO (Decoupled Reward Policy Optimization，解耦奖励策略优化) 的新框架，旨在解决当前基于强化学习（RL）的推理模型存在的“过度思考”（Overthinking）问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现象： 近期由强化学习算法（如 GRPO）驱动的大推理模型（如 DeepSeek-R1）在复杂推理任务上表现卓越。然而，这些模型存在严重的“过度思考”问题，即即使在简单问题上（如"2+3 等于几”），也会生成冗长、冗余的推理路径。
• 后果： 这导致计算成本显著增加，推理延迟大幅上升。
• 现有方法的局限性： 现有的改进方法通常通过在奖励函数中引入**长度惩罚（Length Penalty）**来鼓励简洁推理。然而，这些方法往往导致模型性能大幅下降。
• 核心痛点分析： 作者指出，现有方法（特别是基于 GRPO 的方法）失效的根本原因在于其**组相对优势函数（Group-Relative Advantage Function）**的设计缺陷。
  • 在 GRPO 中，优势值是通过将单个样本的奖励与整个组（包含正确和错误样本）的平均奖励进行比较来计算的。
  • 当引入长度惩罚后，那些正确但较长的推理路径，其总奖励可能会低于组平均奖励（因为组内包含大量错误样本，拉低了平均值，或者长正确样本的惩罚使其低于短正确样本）。
  • 后果： 这导致原本正确的长推理路径被赋予了负的优势值（Negative Advantage）。模型因此被误导，认为这些有效的推理是“错误”的，从而主动抑制了正确的推理过程，造成性能崩溃。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 DRPO 框架，其核心思想是**解耦（Decouple）**正确样本和错误样本的学习信号。

2.1 核心机制：解耦奖励

DRPO 不再将所有样本（正确和错误）混合在一起计算相对优势，而是将学习信号的计算分为两部分：

• 正确样本（Positive Group）： 仅在与其他正确样本的范围内进行归一化和比较。长度惩罚仅会降低长正确样本的权重，但绝不会将其优势值推至负数区域。
• 错误样本（Negative Group）： 保持对错误样本的抑制。
• 效果： 这种方法确保了长度惩罚只会让“冗长的正确答案”获得较弱的正向信号，而不会将其误判为负向信号，从而在保持推理能力的同时有效缩短长度。

2.2 理论推导与目标函数

DRPO 基于判别式强化学习框架（Discriminative RL），具体步骤如下：

1. 判别式目标： 采用类似 DisCO 的框架，旨在最大化正确答案的生成概率，同时最小化错误答案的概率。
2. 引入最优分布： 为了在保持正确性的同时最大化长度奖励，作者定义了一个受 KL 散度约束的最优正样本分布 $P^*_q$。该分布旨在最大化长度奖励 $r_l(o)$，同时尽可能接近原始策略分布 $\pi^+_{old}$。
   $$P^*_q = \arg \max_P \mathbb{E}_{o \sim P} [r_l(o)] - \lambda D_{KL}(P, \pi^+_{old})$$
3. 闭式解（Closed-form Solution）： 作者推导出了该最优分布的解析解：
   $$P^*_q(o) = \frac{\pi^+_{old}(o|q) \exp(r_l(o)/\lambda)}{\mathbb{E}_{o' \sim \pi^+_{old}} \exp(r_l(o')/\lambda)}$$
4. 最终目标函数： 将上述分布代入判别式目标中，得到 DRPO 的最终优化目标。该目标函数仅依赖于同策略数据（On-policy data），通过重要性加权（Importance Weighting）计算，无需额外的数据收集。
   • 其中，$\lambda$ 是正则化参数，控制效率（长度）与准确性之间的权衡。$\lambda \to \infty$ 时退化为无长度惩罚的 DisCO。

3. 主要贡献 (Key Contributions)

1. 诊断 GRPO 缺陷： 首次明确指出广泛采用的 GRPO 框架在处理“正确性 - 长度”复合奖励时的根本缺陷：组相对优势函数会将长正确样本误判为负样本，阻碍效率优化。
2. 提出 DRPO 框架： 设计了一种新的 RL 范式，通过解耦正负样本的学习信号，为多奖励优化（正确性 + 长度）提供了一致且未被污染的梯度信号。
3. 理论推导与算法实现： 在判别式目标中集成了奖励最大化的扰动分布，推导出了其闭式解。这使得算法仅需同策略数据和重要性加权即可高效计算，无需额外开销。
4. 广泛的实验验证： 在多个数学推理基准（GSM8K, MATH, OlympiadBench, AIME）和不同模型规模（1.5B, 7B, 8B）上进行了验证，证明了 DRPO 的优越性。

4. 实验结果 (Results)

• 性能与效率的权衡：
  • 在 1.5B 模型上，DRPO 在 GSM8K（简单问题）上实现了 77% 的长度缩减，而性能损失仅为 1.1%。
  • 相比之下，最强的基线方法（如 RLOO-LP）在实现 68% 长度缩减时，性能损失高达 4.3%。
  • 在 7B 模型上，DRPO 将推理长度从 3053 减少到 1502（减少 51%），性能仅下降 2.6%；而基线方法在类似长度缩减下性能下降超过 7%。
• 准确性效率分数 (AES)：
  • 引入 AES 指标来综合评估性能提升和长度缩减。
  • 所有基线方法（RLOO-LP, ALP, HAPO 等）在大多数设置下 AES 均为负值，表明它们以牺牲性能为代价换取长度缩减。
  • DRPO 在所有模型规模下均获得正值的 AES，证明其能在保持性能的同时显著提升效率。
• 案例研究：
  • 可视化显示，DRPO 训练后的模型在保持反思（Reflection）能力的同时，消除了冗余的来回推理。
  • 例如，在一个简单问题上，DRPO 仅需 89 个 Token 即可得出正确答案，而对比模型（DisCO）需要 526 个 Token，且包含大量重复和犹豫。

5. 意义与展望 (Significance)

• 理论突破： 揭示了当前主流 RL 推理算法在复合奖励下的理论缺陷，并提供了数学上严谨的解决方案。
• 实用价值： DRPO 提供了一种低成本、高效率的训练范式，能够显著降低大推理模型的推理成本和延迟，使其更适用于实际部署。
• 通用性： 该框架不仅限于长度奖励，理论上可以扩展到其他正样本偏好奖励（如过程奖励、特定格式偏好等）。
• 未来方向： 作者建议未来可以研究根据问题难度动态调整正则化参数 $\lambda$（简单问题用较小的 $\lambda$ 以追求极致效率，复杂问题用较大的 $\lambda$ 以保留推理深度）。

总结： DRPO 通过解耦正负样本的奖励信号，成功解决了现有 RL 方法在优化推理长度时导致的性能崩塌问题，实现了“既快又准”的推理模型训练。