🤖 machine learning

ACPO: Adaptive Credit Policy Optimization via Fine-Grained Surrogate Entropy

本文提出了自适应信用策略优化（Adaptive Credit Policy Optimization, ACPO），这是一种利用模式局部代理熵来非对称地调节策略更新的标记级信用分配框架，通过有效解决稀疏奖励和梯度失配带来的挑战，在数学推理和编程基准测试中超越了现有的强化学习基准方法。

原作者： Zijun Xie, Yuyang You, Yongzhi Li, Enlei Gong, Zeyu Chen, Quan Chen, Yanhua Cheng, Peng Jiang, Yadong Mu

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zijun Xie, Yuyang You, Yongzhi Li, Enlei Gong, Zeyu Chen, Quan Chen, Yanhua Cheng, Peng Jiang, Yadong Mu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名非常聪明的学生（一个 AI）如何解决复杂的数学问题或编写代码。你给他们一个问题，他们写出了一段长长的、分步骤的解答，然后在最后告诉你：“正确！”或“错误。”

问题：“一刀切”的评分
在传统的训练方法中，如果学生得到了最终正确答案，系统会给他们写的每一个词都发一颗“金星”。如果错了，则会对每一个词都给一个“大拇指朝下”。

这是低效的。想象一下学生在写一篇长论文：

好的情况： 他们可能完美地写好了 90% 的内容，但中间因为一个微小的、自信的错误而导致全盘皆错。
坏的情况： 或者，他们可能有一半的内容都在盲目猜测，但最后运气好碰对了结果。

如果对每个词都一视同利，AI 会感到困惑。它不知道哪些词帮助它成功了，哪些词导致了它的失败。这被称为信用分配问题（Credit Assignment Problem）。

旧的解决方案：猜测与粗放工具
以往的方法试图解决这个问题：

过程奖励（Process Rewards）： 雇佣人类来为论文中的每一步进行评分。这太昂贵且太慢了。
熵（置信度）检查： 观察 AI 对每个词有多“确定”。如果 AI 不确定（高“熵”），系统就假设这个词很重要。
- 缺陷： 一些方法只是简单地说，“忽略前 20% 不确定的词”，这太粗放了。另一些方法试图直接优化“不确定性”的数学模型，但这就像是试图通过看后视镜来驾驶汽车——它会向引擎发送错误的信号。

新的解决方案：ACPO（自适应信用策略优化）
作者提出了一种名为 ACPO 的新方法。你可以把 ACPO 想象成一位超级聪明的教练，他会实时观察学生的置信度，并据此调整反馈。

以下是 ACPO 的工作原理，使用一个简单的类比：

1. “代理熵”（置信度计）

ACPO 没有测量整个词典的混乱程度（这太杂乱且充满噪声），而是使用了一个置信度计。它只关注 AI 最有可能选择的下一个词。

高置信度： AI 对自己的答案很确定。
低置信度： AI 在犹豫。

论文发现了一个有趣的模式：当 AI 犯错时，它通常会以一个自信的错误猜测开始，然后随着尝试挽回局面，其置信度变得混乱且摇摆不定。ACPO 利用这种“摇摆感”作为信号。

2. 非对称策略（双轨制系统）

ACPO 对“好日子”和“坏日子”采取不同的处理方式。

场景 A：学生做对了（正向优势）
- 逻辑： 如果学生解决了问题，但在某个特定步骤表现得有些犹豫（低置信度），那么这种犹豫实际上是深度思考或关键决策点的体现。
- 行动： ACCO 会说：“做得好！但刚才你犹豫的部分？为那个特定的词增加双倍奖励。” 它鼓励 AI 即使在感到不确定时也要努力思考，只要最终能得到正确答案。
场景 B：学生做错了（负向优势）
- 逻辑： 如果学生失败了，但在犯错时却表现得极其自信（高置信度），那是很危险的。这意味着他们过度自信且犯了错。
- 行动： ACPO 会说：“你错了，而且你还非常确定。严厉惩罚那个自信的错误。” 然而，如果学生在犯错后陷入了混乱和盲目猜测，ACPO 则会说：“不用担心混乱的部分；专注于修正那个自信的错误。”

3. 为什么它更好（“代理”技巧）

论文解释说，使用完整的“不确定性”数学计算非常混乱，因为它试图考虑 AI 可能选取的每一个词，而不仅仅是它实际选取的词。这会产生“噪声”。

ACPO 使用了代理熵（Surrogate Entropy）。你可以把它想象成置信度计的一个简化、纯净的版本。它忽略了“如果……会怎样”这种杂乱的背景噪声，只专注于：“AI 对它实际写下的那个词有多确定？”

这使得训练信号更加清晰。它就像一位教练在说：“我不在乎你可能说的另外 99 个词；我只在乎你在这里自信地说了错误的词。”

结果

作者在难题（如 AIME）和编程挑战上测试了该方法。

结果： ACPO 始终优于其他顶尖方法（如 GRPO、DAPO 和 SAPO）。
原因： 它学习得更快、更稳定，因为它知道应该赞扬哪些词，以及应该纠正哪些词，而不是仅仅给整个答案一个笼统的评分。

总结：
ACPO 是一种更聪明的 AI 作业批改方式。它不再是对整个答案给出一个单一的分数，而是观察学生在每一步的置信度。如果学生不确定但做对了，它会给予额外奖励；如果学生很自信但做错了，它会给予严厉惩罚。这有助于 AI 进行深度思考并避免过度自信。

技术摘要：ACPO —— 基于细粒度代理熵的自适应信用策略优化

1. 问题陈述

强化学习（RL）显著增强了大型语言模型（LLM）的推理能力，特别是在具有可验证目标的领域（如数学和编程）。然而，一个关键的瓶颈仍然存在：稀疏的结果奖励（Sparse Outcome Rewards）。在标准的具有可验证奖励的强化学习（RLVR）中，标量奖励通常仅在长思维链（CoT）轨迹结束时才可用。

现有的可扩展方法（如 GRPO）将这种轨迹级奖励均匀地分配给所有 token。这种“无差别”的分配忽略了单个推理步骤的不同贡献，导致高方差和不稳定性。虽然近期的熵感知方法尝试通过使用 token 不确定性作为重要性的代理来解决这一问题，但它们面临两个主要局限：

粗粒度启发式： 依赖于“硬分桶”（例如，将前 20% 最高熵的 token 统一对待）的方法缺乏处理复杂推理所需的必要粒度。
优化失配： 直接优化真实熵会引入非局部梯度分量（作用于整个词表分布），这可能与采样 token 的策略更新不一致。此外，即使在脱离（detached）状态下，真实熵也会对词表长尾分布中的噪声非常敏感。

2. 方法论：自适应信用策略优化 (ACPO)

ACPO 提出了一种基于**模式局部代理熵（Mode-Local Surrogate Entropy）**动态调节策略更新的 token 级信用分配框架。

2.1 核心洞察：错误处出现熵峰值

在数学推理任务（AIME）上的实证分析显示出一个明显的模式：当模型发生推理错误时，错误轨迹的步进条件熵会剧烈上升并保持在高位；而正确的轨迹则保持低且稳定的熵。这表明，不确定性是识别推理过程中关键“分叉点”的强信号。

2.2 代理熵公式化

为了避免真实熵带来的优化失配，ACPO 引入了一种代理熵 ( $\delta_{i,t}$ )，定义为主导模式（dominant mode）的补概率：
$\delta_{i,t}(\theta) = 1 - \pi_\theta(v^*_{i,t} | q, y_{i,<t})$
其中 $v^*_{i,t}$ 是概率最高的 token。

模式局部聚焦： 与全词表熵不同， $\delta$ 仅关注模型对其最可能预测的置信度。
梯度行为： 在“模式对齐”（即采样 token 频繁与主导模式重合）的假设下， $\delta$ 的梯度作用于主导模式而非整个分布。这在保留预期的策略梯度方向的同时，调节了更新的幅度。
理论界限： 论文证明了该代理熵相对于真实香农熵具有确定性界限，在质量集中的 LLM 分布下是一种鲁棒的近似。

2.3 非对称信用分配

ACPO 将这种代理熵集成到优势估计（ $\hat{A}_{i,t}$ ）的非对称加权方案中，区分成功和失败的轨迹：

正向优势轨迹（成功）：
- 目标： 强化不确定但正确的决策。
- 机制： 权重由 $(2 + \delta_{i,t})$ 进行缩放。
- 原理： 在成功的展开中，高不确定性意味着模型虽然犹豫但做对了关键推理步骤；这些步骤应当被强调。常数偏移量 '2' 确保调制因子保持为正，防止梯度反转。
非正向优势轨迹（失败）：
- 目标： 惩罚过度自信的错误，同时减少来自错误后不确定性的噪声。
- 机制： 权重由 $(1 - \delta_{i,t})$ 进行缩放。
- 原理： 错误的轨迹通常包含低不确定性（过度自信）的错误以及随后的高熵噪声。ACPO 对置信度高的（错误的）token 施加较大的惩罚，对随后的不确定 token 施加较小的惩罚，从而有效地“清理”信用信号。

最终的目标函数 $J_{ACPO}$ 将这些非对称权重与 SAPO 的标准软门控机制相结合。

3. 核心贡献

细粒度自适应信用分配： 一种 token 级的权重方案，通过动态调节优势估计，非对称地对待正向和非正向轨迹，以强调不确定的成功并惩罚过度自信的失败。
代理熵公式化： 一种新型的模式局部不确定性代理，避免了真实熵导致的优化失配。它提供了确定性的熵界限，并在模式对齐和近端更新下保持了策略梯度方向。
实证有效性： 在三个基座模型（Qwen2.5-Math-7B, DeepSeek-R1-Distill, Qwen3-8B-Base）的竞争性推理基准测试上进行了验证，证明了其相对于强基线模型的持续改进。

4. 实验结果

实验在数学推理基准（AIME 2024/2025, MATH500, HMMT25, BeyondAIME）和编程基准（HumanEvalPro）上进行。

性能： ACPO 一致优于包括 GRPO, DAPO, GTPO 和 SAPO 在内的强 RL 基线。
- 在 Qwen2.5-Math-7B 上，ACPO 达到了平均 34.04 的得分，超过了 SAPO (31.53) 和 GTPO (31.89)。
- 在 DeepSeek-R1-Distill-Qwen-7B 上，ACPO 达到 40.21，显著优于次优基线 SAPO (38.35)。
训练动态： 与 SAPO 相比，ACPO 在训练早期阶段展现出更快的训练奖励和验证准确率提升速度。在后期阶段，它维持了更高的验证准确率，表明其具有更好的训练稳定性和更高的性能上限。
消融研究：
- 非对称设计 $(2+\delta, 1-\delta)$ 被证明优于对称变体或使用脱离（detached）的真实熵。
- 使用 Top-1 主导模式（代理熵）比使用脱离的真实熵或 Top- $k$ 变体更有效，证实了主导模式的不确定性是推理分叉点的简洁且有效的代理。

5. 重要性与主张

论文声称，ACPO 解决了 LLM 在稀疏奖励 RL 中的根本“信用分配瓶颈”，且无需昂贵的过程奖励模型（PRM）或人工标注。通过用细粒度的、基于熵的机制取代粗糙的均匀奖励分配，ACPO 使模型能够更有效地从结果信号中学习。

作者强调，他们的方法在理论上是基于“真实熵会引入非局部梯度，而其模式局部代理与采样 token 更新相一致”这一观察。结果表明，区分对待成功的犹豫步骤和失败的过度自信步骤，对于稳定和加速推理任务中的 RL 训练至关重要。该方法被呈现为一种针对现有 GRPO 框架的、可扩展且即插即用的改进方案。