🤖 machine learning

Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization

本文介绍了对比策略优化（Contrastive Policy Optimization, CPO），这是一种新颖的强化学习框架，它通过在参考引导生成与原始生成之间引入标记级对比差异，来取代基于熵的优势塑造，从而更准确地传递正确性信号，进而解决了零优势问题，并在域内和域外基准测试上均显著优于现有方法。

原作者： Weiwen Xu, Jia Liu, Hou Pong Chan, Long Li, Deng Cai, Min Chen, Hao Zhang

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Weiwen Xu, Jia Liu, Hou Pong Chan, Long Li, Deng Cai, Min Chen, Hao Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人解决一个棘手的谜题，比如一道复杂的数学题或一个编程挑战。你不仅希望机器人能猜出正确答案，还希望它能学会“如何思考”。这就是强化学习的世界，在这里，AI 通过尝试并获取反馈来学习。通常情况下，反馈很简单：如果最终答案正确，就说“做得好！”，如果错误，就说“再试一次！”。但问题在于：一条通往正确答案的长而曲折的路径中，可能既有精彩的步骤，也有愚蠢的错误交织在一起。如果你只看最终结果，机器人可能会对哪些具体的步骤是有帮助的、哪些是有害的感到困惑。

为了解决这个问题，科学家们尝试使用“熵”（entropy）的概念。把熵想象成衡量机器人在任何给定时刻有多“不确定”或多“困惑”的指标。如果机器人在两个选项之间犹豫不决，它的熵就会很高。其核心思想是：高不确定性意味着机器人在探索新想法，这是好事；而低不确定性意味着它很有信心，这也是好事。但问题在于：困惑并不总是意味着机器人在进行有用的探索。有时，机器人之所以困惑，是因为它陷入了死胡同。这就像一个学生盯着数学题抓耳挠腮。他们是在对一个巧妙的解法进行深度思考，还是仅仅完全迷失了方向？使用熵的传统方法无法区分“生产性的困惑”与“破坏性的困惑”。这篇题为《超越熵》（Beyond Entropy）的论文试图通过给机器人一种更好的方式来判断它是否走在正确的轨道上，从而解决这个谜团。

研究人员提出了一种名为**对比策略优化（Contrastive Policy Optimization, CPO）**的新方法。CPO 不仅仅是猜测机器人是否困惑，它更像是一个通过对比标准答案来检查作业的学生。想象一个刚刚完成数学测试的学生。他们看着自己的作业并想：“我不确定这一步。”然后，他们瞄了一眼老师的标准答案。突然间，错误变得显而易见了！学生看到：“噢，我在这里写了一个减号，但标准答案里是一个加号。”这种领悟的瞬间——即他们所想与正确答案之间的差异——清晰地告诉了他们哪里出了错。

CPO 对 AI 也是如此。它获取 AI 自己的答案，并将其与“参考答案”（正确解法）进行对比。它会观察 AI 生成的每一个单词（或“标记/token”）。如果 AI 在错误的步骤上表现得很自信，那么参考答案会让 AI 在该错误步骤上的信心大幅下降。如果 AI 在正确的步骤上表现得犹豫不决，参考答案则会提升其信心。这种“对比性分歧”（contrastive disagreement）——即 AI 的想法与正确路径之间的差距——成为了一个极其可靠的信号。论文通过数学和实验证明，通过这种信号来识别错误，比仅仅测量 AI 的“困惑度”要有效得多。

团队在一些非常难的数学问题上测试了该方法，使用了像 Qwen2.5-Math-7B 和 Qwen3-Base-4B 这样的模型。他们发现 CPO 相比于标准方法（GRPO）有了巨大的提升。平均而言，与标准方法相比，它将性能提升了约 7.7% 到 8.5%。更令人印象深刻的是，虽然其他方法在处理未见过的任务（域外任务）时往往表现变差，但 CPO 反而变得更好了。看起来，通过专注于 AI 推理偏离真相的具体时刻，该模型不仅学会了更准确，也学会了更有创造力。

其中一个最有趣的发现是 AI 如何从不同类型的答案中学习。论文指出，当 AI 得到一个正确答案时，应该鼓励它继续探索并尝试新的、有创意的路径（探索）；但当它得到一个错误答案时，应该引导它遵循已被证明正确的步骤（利用）。CPO 完美地平衡了这两种行为。这就像一位教练告诉球员：“当你领先时，尝试一些花哨的新招式！但当你落后时，坚持那些你已知有效的基本功。”这种平衡防止了 AI 陷入无聊的循环或漫无目的地游荡。

简而言之，这篇论文认为，仅仅测量“困惑度”不足以教会 AI 进行良好的推理。相反，我们需要向 AI 展示它自己的想法与正确答案之间的差异。通过使用这种“对比性分歧”，AI 能够更精准地识别自己的错误，从而实现更聪明、更可靠且更具创造性的问题解决能力。作者展示了这种方法不仅适用于其训练的数学问题，也适用于全新的、未见的挑战，这为让 AI 变得更聪明、更鲁棒开辟了一条充满前景的道路。

技术摘要：超越熵：通过对比策略优化实现正确性感知优势塑造

问题陈述

具有可验证奖励（Verifiable Rewards, RLVR）的强化学习，特别是像组相对策略优化（GRPO）这样的方法，已经提升了数学和编程等领域的推理能力。然而，现有方法面临两个根本性的局限：

Token 级忽视： 应用于轨迹层面的二元正确性奖励（正确/错误）无法区分推理链中单个 token 的不同贡献。
零优势低效性： 在所有采样的响应均为错误（或均为正确）的组中，轨迹层面的优势为零，导致大量的训练数据无法用于策略优化。

最近尝试解决这些问题的研究利用了**熵（entropy）**作为优势塑造（advantage shaping）的信号，以鼓励探索或细化 token 重要性。然而，作者认为熵与正确性在本质上是不一致的。高熵既可能表示对替代解决方案的有效探索，也可能表示由错误推理路径导致的有害混乱。因此，基于熵的方法往往会导致矛盾的设计选择（例如，在某些语境下奖励高熵 token，而在另一些语境下抑制它们），因为熵量化的是不确定性，而非底层推理的质量。

方法论：对比策略优化 (CPO)

本文提出了对比策略优化 (CPO) 框架，该框架使用**Token 级对比差异（contrastive disagreement）**信号来取代熵，从而实现正确性感知的优势塑造。

核心机制

CPO 利用了“正确性通过比较而产生”的直觉。正如学生通过将自己的作业与参考答案进行比较来识别错误一样，大语言模型（LLM）可以通过将其原始生成分布 ( $\pi$ ) 与参考引导的后验分布 ( $\pi_{post}$ ) 进行对比，来识别错误的 token。

对比差异 ( $\delta_t$ )：
该方法将 Token 级信号定义为在参考引导提示词下的概率与其在原始提示词下的概率之比的对数：
$\delta_t(x, y) = \log \frac{\pi_{post}(y_t | x, y^\star, y_{<t})}{\pi(y_t | x, y_{<t})}$
这里 $y^\star$ 是参考答案（Oracle）。从理论上讲，该比例与特定 token 指向正确完成的可能性 ( $g(x, y_{<t}, y_t)$ ) 呈单调相关。
- 正 $\delta_t$ ： 表示该 token 与参考答案一致，且很可能是正确的。
- 负 $\delta_t$ ： 表示该 token 与参考答案相悖，且很可能是错误的。
优势塑造：
CPO 将这种 Token 级信号集成到源自 GRPO 的轨迹级优势 ( $A_i$ ) 中。塑造后的优势 $\tilde{A}_{i,t}$ 计算如下：
$\tilde{A}_{i,t} = A_i + \text{clip}(\alpha \cdot \delta_{i,t}, \text{bounds})$
- 裁剪（Clipping）： 为了确保稳定性，Token 级信号的幅度被限制在一定范围内，使其不会反转轨迹级优势的方向（例如，一个正确的轨迹不会因为单个 token 的差异而被惩罚）。
- 解决零优势问题： 对于优势为零 ( $A_i = 0$ ) 的轨迹，轨迹级信号无法提供梯度。CPO 利用 $\delta_t$ 在这些情况下提供有意义的学习信号，从而使此前被视为无效的数据能够进行优化。
理论统一：
作者证明了**在策略蒸馏（On-Policy Distillation, OPD）**是 CPO 的一个特例。在 OPD 中，外部教师模型提供后验分布。CPO 通过允许后验分布被任何比当前策略更了解正确性的分布所实例化来推广这一过程，包括基于参考答案的自我调节（self-conditioning）。

核心贡献

作为信号的对比差异： 本文引入并验证了（在理论和实证上）对比差异是比熵更可靠的 Token 级正确性信号。它能够区分有效的探索与有害的混乱。
OPD 的理论基础： 该框架为在策略蒸馏提供了原则性的基础，将多种变体（外部教师、参考引导的自我教师、批评者引导的策略）统一在单一的正确性驱动目标之下。
CPO 框架： 这是一种计算高效的优势塑造方法，解决了 RLVR 中的零优势问题，从而实现了更具信息量的梯度和有效的探索。
实证验证： 大量实验表明，在领域内数学推理和领域外泛化任务上，CPO 的表现均优于基于熵的 RLVR 方法。

实验结果

实验在 Qwen2.5-Math-7B 和 Qwen3-Base-4B 上使用 MATH 数据集进行训练。

性能提升： CPO 显著优于 GRPO 和其他基于熵的基线方法（如 Entropy-Tokens, Entropy-Adv, RL-ZVP）。
- 在 Qwen2.5-Math-7B 上，CPO 比 GRPO 平均性能提升了 7.7%。
- 在 Qwen3-Base-4B 上，CPO 比 GRPO 平均性能提升了 8.5%。
泛化能力： 不同于许多遭受领域外（OOD）性能退化的基线方法，CPO 在 GPQA 和 MMLU-Pro 等基准测试上保持甚至提升了 OOD 性能。
消融研究：
- 数据有效性： 研究发现，错误响应主要驱动领域内改进（利用/Exploitation），而正确响应对于维持 OOD 泛化至关重要（探索/Exploration）。平衡的 $\alpha_+ : \alpha_-$ (1:1) 比例产生了最佳结果。
- Token 级 vs. 轨迹级： Token 级塑造被证明优于在轨迹层面平均差异，因为它能更好地保留关键的信用分配（credit assignment）变化。
- 熵分析： 与 GRPO 相比，CPO 保持了更高的训练熵和更长的响应长度，这表明其持续的探索能力。词云分析显示，CPO 专注于任务关键型 token（数学符号、代码结构），而熵则侧重于语言的多样性。

意义与主张

本文声称 CPO 代表了从启发式熵干预向正确性感知优化策略的转变。通过利用自我生成分布与参考引导分布之间的对比，CPO 提供了一个与任务成功相一致的可靠信号。

作者强调，不同类型的响应扮演着不同的角色：正确响应允许模型探索新的解题路径（防止过拟合），而错误响应则允许模型利用并精炼最有希望的路径。通过对比差异信号平衡这两者，可以在不牺牲泛化能力的情况下实现卓越的性能。此外，该框架解决零优势问题的能力表明，它在 RLVR 设置中能更高效地利用训练数据。