💬 NLP

GTPO and GRPO-S: Token and Sequence-Level Reward Shaping with Policy Entropy

本文介绍了 GTPO 和 GRPO-S，这两种新型强化学习算法通过实现基于动态熵的奖励塑造，以实现细粒度的、标记级和序列级的信用分配，从而增强了大语言模型的推理能力，进而克服了现有方法（如 GRPO 和 DAPO）存在的粗粒度局限性。

原作者： Hongze Tan, Zihan Wang, Jianfei Pan, Jinghao Lin, Hao Wang, Yifan Wu, Tao Chen, Zhihang Zheng, Zhihao Tang, Haihua Yang

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hongze Tan, Zihan Wang, Jianfei Pan, Jinghao Lin, Hao Wang, Yifan Wu, Tao Chen, Zhihang Zheng, Zhihao Tang, Haihua Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文 "GTPO and GRPO-S: Token and Sequence-Level Reward Shaping with Policy Entropy" 的解释，采用了通俗易懂的语言和富有创意的类比。

核心问题： “全对或全错” 的评分制

想象你正在教一名学生（AI）解决一道非常长且复杂的数学题。这个学生写出了一个包含 50 个步骤的解题过程。

第 1 到第 4 步 非常出色，逻辑严密且正确。
第 50 步（最终答案）因为一个微小的计算错误而错了。

在目前主流的方法（如 GRPO）中，老师只看最终结果，发现错了，就会给这篇 50 步的“论文”打一个不及格的分数（0 分）。

结果： 学生会想：“噢，看来第 1 到第 49 步也全都毫无用处。” 他们会忘掉那些优秀的步骤，并在下次尝试时转向完全随机的其他方法。
缺陷： 这被称为粗粒度的信用分配（coarse-grained credit assignment）。它将整个思维链视为一个单一的整体，忽略了其中大部分其实是非常完美的。

解决方案： “熵” 指南针

论文作者提出了一种新的评分方式。他们引入了**策略熵（Policy Entropy）**的概念。

可以将**熵（Entropy）理解为衡量“思考深度”或“不确定性”**的指标。

低熵： 学生非常自信。他们只是在机械地输入已知内容（例如：“1 + 1 = 2”）。
高熵： 学生正在停顿、权衡多个选项，并努力应对一个困难的选择。他们正在探索不同的路径。

论文认为，当结果正确时，高熵是好事（意味着你仔细探索了正确的路径）；但当结果错误时，高熵是坏事（意味着你在错误的道路上盲目自信地猜测）。

两种新算法

论文介绍了两种使用“熵”指南针来提供更好反馈的新型“老师”（算法）。

1. GTPO (Group Token Policy Optimization，组内 Token 策略优化)

类比： “荧光笔”老师
GTPO 不再是一次性给整篇文章评分，而是对每一个单词（Token）进行单独评分。

如果文章正确： 老师会通过“荧光笔”标出学生犹豫或探索不同选项的地方（高熵），并给予额外的加分。这告诉学生：“你在那个特定步骤上思考得很深入，做得好！”
如果文章错误： 老师会寻找那些学生表现得过于自信但实际却错了的单词（低熵）。他们会对这些单词给予严厉的惩罚。这告诉学生：“你在这里太自以为是了，而且你错了。下次别这么自信。”

为什么有效： 它保留了推理过程中的优秀部分，并惩罚了导致失败的特定过度自信时刻。

2. GRPO-S (Sequence-Level GRPO，序列级 GRPO)

类比： “成绩单”老师
有时，对每个单词进行评分速度太慢或计算量太大。GRPO-S 是一个更轻量级的版本。

它不再关注单个单词，而是观察整篇文章的平均“思考强度”。
如果文章正确： 它会检查：“学生整体上是否进行了深入思考和探索？”如果是，整篇文章都会获得提升。
如果文章错误： 它会检查：“学生是否在盲目自信地犯错？”如果是，整篇文章会受到更大的惩罚。

为什么有效： 它虽然速度更快，但仍然比传统的“全对或全错”方法更聪明。它特别擅长在极长的推理任务中保持模型的稳定性。

实验结果：发生了什么？

作者在困难的数学基准测试（如 AIME 和 MATH）上测试了这些新老师。

旧方法 (GRPO/DAPO)： 学生经常陷入困境。他们要么过快地放弃，要么陷入“自信但错误”的循环中（策略崩溃/Policy Collapse）。
新方法 (GTPO/GRPO-S)：
- 探索能力： 学生能更持久地尝试不同的路径，因为当他们做对时，会因为“思考深入”（高熵）而获得奖励。
- 精准度： 他们学会了不再盲目自信地犯错。
- 表现： 他们在困难数学问题上的得分显著提高，能够解决比以前更复杂的推理链。

一句话总结

这篇论文教会了 AI 模型不要再把长串的思维链看作是一个单一的“通过或失败”的等级，而是给它们一份详细的成绩单，奖励它们在正确时深入思考，并在错误时保持谦逊，从而实现更智能的推理。

技术摘要：GTPO 与 GRPO-S

1. 问题陈述

当前用于大语言模型（LLM）的强化学习（RL）算法，特别是组相对策略优化（GRPO）及其变体（如 DAPO），存在**粗粒度信用分配（coarse-grained credit assignment）**的问题。在这些框架中，统一的奖励（例如：正确答案为 +1，错误答案为 0 或 -1）被分配给生成序列中的每一个 token。这种范式造成了两个关键局限性：

惩罚正确的推理： 如果最终答案错误，即使一个序列包含数十个正确的逻辑步骤，也会被视为零奖励，这实际上丢弃了有价值的中间推理过程。
奖励错误的路径： 相反，如果一个序列通过猜测或错误的中间步骤达到了正确答案，它会获得全额奖励，从而强化了错误的推理模式。
长度偏差： 标准的 GRPO 设计由于聚合了统一的优势函数（advantages），在统计上隐含地倾向于对于正确答案而言更长的序列，这在统计学上是次优的。

虽然近期的研究利用策略熵作为正则化约束或使用二进制掩码来过滤 token，但它们未能主动重塑奖励信号，以区分正确解中的高价值探索与错误解中的自信错误。

2. 方法论

作者提出了**动态熵加权（Dynamic Entropy Weighting）**框架，该框架将策略熵重新定义为细粒度信用分配的内在锚点。其核心假设是：推理序列中的高策略熵与关键决策点（认知努力）相关。该框架通过重新分配基于熵的奖励来进行操作，包含两种互补的算法：

A. 组 Token 策略优化 (GTPO)

GTPO 在 token 层面运行，为每个 token 分配唯一的、经熵加权的奖励。

成功序列 ( $O^+$ )： 高熵（表示有价值的探索或不确定性）的 token 会获得奖励加成。其奖励塑造形式为：
$\tilde{r}^+_{i,t} = \alpha_1 r_i + \alpha_2 \frac{H_{i,t}}{\sum_{k} H_{k,t}} \cdot d_t$
其中 $H_{i,t}$ 是 token 的生成熵， $d_t$ 是在步长 $t$ 处活跃的成功序列计数。这强化了不确定但正确的步骤。
失败序列 ( $O^-$ )： 低熵（表示高置信度）的 token 会受到更重的惩罚。其奖励使用逆熵进行塑造：
$\tilde{r}^-_{j,t} = \alpha_1 (-1) + \alpha_2 \frac{1/H_{j,t}}{\sum_{k} (1/H_{k,t})} \cdot h_t \cdot (-1)$
这惩罚了自信的错误，鼓励模型打破错误的推理模式。
优势计算： 分别为正向集和负向集计算独立的优势函数，并在整个 batch 的所有 token 上进行归一化，以确保缩放的一致性。

B. 序列级 GRPO (GRPO-S)

GRPO-S 是一种轻量级的序列级变体，旨在为长思维链（CoT）任务提供稳定性。

它不使用 token 级奖励，而是根据整个序列的平均熵 ( $\hat{H}_k$ ) 来调节全局序列奖励。
具有较高平均探索度的成功序列会获得奖励，而具有高置信度（低平均熵）的错误序列则会受到惩罚。
该方法在 GTPO 的微观精度与 GRPO-S 的宏观序列稳定性之间提供了权衡。

理论保证

论文通过理论分析证明了：

奖励质量守恒（Reward Mass Conservation）： 在特定的超参数约束下（ $\alpha_1 + \alpha_2 = 1$ ），塑造后的正向奖励之和等于原始二进制奖励之和，确保总学习信号相对于基准真相保持无偏。
渐近一致性（Asymptotic Consistency）： 随着训练推进，成功序列之间的熵差异逐渐减小，熵加权引入的梯度偏差随之消失，确保收敛至与标准 GRPO/DAPO 相同的全局最优解。
方差缩减： GTPO 中使用的 token 级归一化在统计上优于标准 GRPO 中的两阶段平均法，从而降低了梯度方差。

3. 核心贡献

识别粗粒度局限性： 论文通过解决 GRPO 无法对特定推理步骤分配信用的问题，从根本上优化了 GRPO 框架。
GTPO 算法： 在高效的 GRPO 框架内，引入了首个真正的、基于动态熵加权的细粒度逐 token 信用分配方法。
GRPO-S 算法： 提出了一种捕捉整个序列探索价值的序列级变体，为长 CoT 推理提供了卓越的稳定性。
理论分析： 为所提出的目标函数提供了关于无偏性和收敛性的证明。
实证验证： 在挑战性的数学推理基准测试上展示了显著的性能提升。

4. 实验结果

实验在 Qwen2.5-7B 和 Qwen2.5-32B 模型上针对 AIME 2024、AIME 2025 和 MATH 500 基准测试进行。

性能表现： GTPO 和 GRPO-S 均刷新了最先进水平（SOTA），持续超越了 GRPO、DAPO 以及先进的 “DAPO w/ Forking Tokens” 基线。
- 在 AIME 2024 (Qwen2.5-7B) 上，GTPO 实现了 64.89% 的 Pass@32，较 DAPO 的 35.51% 有了巨大的提升。
- 在 AIME 2025 上，GRPO-S 在 7B 模型上实现了 23.33%、在 32B 模型上实现了 34.33% 的 Pass@32，超越了所有基线模型。
探索与稳定性： 不同于 DAPO 常因过早的策略崩溃（熵崩溃）而进入平台期，GTPO 和 GRPO-S 展现出了**“熵回升”（entropy rebound）**现象。模型维持了更高的探索度，从而产生了更长、更多样化的推理链以及更高的最终奖励上限。
样本效率： 这些方法在大约 210 个训练步内收敛，表明性能提升并非源于更长的训练时间，而是源于更高效的学习信号。

5. 意义与主张

论文声称，利用并引导模型的确定性是开发可靠 AI 系统的一个极具前景的前沿领域。通过将策略熵不仅视为一种正则化项，而是作为主动奖励塑造的动态信号，所提方法实现了：

精确的信用分配： 在不需要显式价值网络的情况下，区分正确路径中的有价值探索与错误路径中的自信错误。
鲁棒推理： 使 LLM 从模式模仿转向可验证的、逐步的推理。
可扩展性： 提供了一个在细粒度精度（GTPO）与序列稳定性（GRPO-S）之间进行原则性权衡的方案，能够有效地跨不同模型规模和任务难度进行扩展。

作者总结道，其框架解决了当前 RLHF 方法中固有的稳定性-探索权衡问题，使模型能够在有效避免过度自信且错误的推理陷阱的同时，更有效地探索复杂的推理空间。