💬 NLP

Future-KL Regularized GRPO: Process-Level Credit Assignment from $f$ -Divergence Regularization

本文介绍了未来 KL 正则化策略优化（FRPO），这是一种无需价值函数的方法，它通过引入基于 $f$ -散度导出的因果未来正则化回报值来修正 GRPO 的 token 级 KL 正则化，从而在保持更高熵值和更低策略漂移的同时提升数学推理性能。

原作者： Jiarui Yao, Ruida Wang, Hao Bai, Tong Zhang

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiarui Yao, Ruida Wang, Hao Bai, Tong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《Future-KL Regularized GRPO》的解释。

宏观图景：教导机器人思考

想象你正在教一个机器人（人工智能）解决数学问题。你给它一个问题，它尝试写出一段长长的、分步的解答。为了确保它不会只是随机猜测或偏离正轨，你会使用一位“老师”（参考模型）来检查它的工作。

这篇论文聚焦于一种特定的训练方法，称为GRPO（组相对策略优化）。可以将 GRPO 想象成一个课堂环境：

机器人针对同一个数学问题生成多个答案（一个“组”）。
一个验证器进行检查：“你得到正确的最终数字了吗？”（是/否）。
机器人通过将自己的答案与“同学”进行比较来学习。如果一个答案比其他答案更好，机器人就会得到“击掌”（奖励）；如果更差，就会得到“竖起大拇指表示反对”。

问题：“局部”惩罚与“未来”成本

在标准训练中，有一条规则旨在防止机器人过度改变其“个性”。这被称为KL 正则化。它就像一条“保持在车道内”的规则。如果机器人开始写出与原始老师截然不同的内容，它就会受到惩罚。

旧方法（错误所在）：
目前，大多数系统以逐词（token-by-token）的方式应用这种惩罚，将其作为句子末尾的一笔简单“罚款”。

类比： 想象一位司机正在进行长途旅行。旧系统只检查司机在经过警车的那一刻是否超速。它忽略了这样一个事实：如果司机在 10 英里前拐错了弯，那么他现在就已经偏离路线 10 英里了。旧系统将每一英里都视为孤立事件。

论文的洞见：
作者们意识到，在一条长长的推理链中（如数学证明），你写下的每一个字都会改变后续所有字的“路径”。

“未来”成本： 如果机器人在句子早期出现轻微偏差，它迫使所有未来的字也必须随之偏离才能讲得通。那个早期错误的“成本”不仅仅是错误本身，而是所有必须跟随这条错误路径的未来字的累积成本。
缺失的信号： 旧系统忽略了这种“未来成本”。它只惩罚当前的字，而不惩罚它产生的连锁反应。

复杂性：为何不能简单混合

论文还指出了 GRPO 运作方式中存在的一个棘手数学问题。

非线性分数： GRPO 不仅仅看原始分数（0 或 1）。它会对组内的分数进行归一化（就像给班级里的学生排名）。这使得分数与奖励之间形成了一种奇怪的、弯曲的关系。
冲突： 如果你试图在对学生排名之前，直接将“保持在车道内”的惩罚混入分数中，就会破坏数学逻辑。这就像在计算班级排名之前，试图将“迟到惩罚”加到学生的成绩上。这会扭曲排名系统并破坏学习信号。

解决方案：FRPO（未来 KL 正则化策略优化）

作者提出了一种名为FRPO的新方法。其工作原理分步如下：

步骤 1：对答案进行排名（优势）。 首先，仅根据最终的数学答案计算奖励。对一组答案进行排名，以区分哪些是好的，哪些是坏的。这就是“组优势”。
步骤 2：添加未来惩罚（修正）。 在排名完成后，回过头去查看获胜答案和失败答案中的每一个字。
- 对于每一个字，不仅要计算其自身的惩罚，还要计算所有后续字的惩罚之和。
- 类比： 想象一场接力赛。旧系统只惩罚那个掉棒的选手。新系统不仅惩罚掉棒的选手，还惩罚“接下来三位选手不得不放慢速度追赶”这一事实。它根据当前字所开启的整个未来旅程来分配功劳（或责任）。
步骤 3：更新。 将“组排名”与这种新的“未来惩罚”结合，以更新机器人的“大脑”。

为何重要（结果）

该论文在解决高难度数学问题（如高中竞赛题）的大型语言模型上测试了这种方法。

更高的分数： 新方法（FRPO）比旧方法解决了更多的问题。
更少的漂移： 机器人更紧密地保持了其原始的“老师”个性。它没有发疯，也没有为了获得高分而开始胡言乱语。
更多的创造力： 机器人保持了健康的“熵”（思维的多样性）。它没有变成一个枯燥、重复的机器人，但也没有偏离正轨。

总结

该论文认为，在训练 AI 进行推理时，不能仅仅惩罚它此刻正在说的字。你必须惩罚该字所创造的未来路径。通过在训练过程中加入“未来成本”计算，AI 能够学会更连贯地思考，解决更难的问题，并在不需要复杂的“评论家”模型监督的情况下保持稳定。

简而言之： 不要只惩罚司机此刻的超速行为；要惩罚他们 10 英里前那个错误的转弯，正是那个错误迫使他们加速以重新回到正轨。这就是“未来 KL"的洞见。

技术摘要：未来 KL 正则化 GRPO

问题陈述
组相对策略优化（GRPO）已成为大语言模型（LLM）后训练中无评论家强化学习（RL）的主导范式，尤其在数学推理领域。GRPO 通过在采样响应组内对结果奖励进行归一化，消除了对所学价值函数的需求。然而，GRPO 中 KL 正则化的标准实现通常将惩罚视为局部的、损失侧的 token 惩罚（例如使用 $k_3$ 估计量）。

作者指出了这种方法的一个根本缺陷：它忽略了自回归生成所诱导的过程级信用分配。在自回归轨迹中，早期 token 不仅产生其自身的局部正则化成本，还会改变未来前缀的分布，从而影响所有后续 token 的 KL 成本。标准的局部损失项仅区分采样 token 的惩罚，而忽略了因果性的“未来正则化回报”。

此外，论文强调了 GRPO 的组归一化与标准“奖励中的 KL"公式之间的结构不兼容性。与线性奖励目标（如 MaxEnt RL）不同，后者可以将奖励和正则化项融合，但 GRPO 的组归一化诱导了非线性的提示级效用（具体而言，对于二元奖励是 arcsin 变换）。这种非线性意味着在归一化之前将 KL 惩罚添加到奖励中会扭曲隐式目标，将 token 级的 KL 信息压缩为单个轨迹级标量，从而无法保留正确的梯度信号。

方法论
本文推导了 GRPO 风格目标在通用 token 级 $f$ -散度正则化下的同策略策略梯度。关键的理论洞察是，梯度分解为两个具有不同缩放特性的独立项：

奖励项：继承自非线性效用 $\ell(p)$ ，该项携带提示依赖的增益 $\ell'(p)$ 。对于二元奖励，这恢复了标准的 GRPO 优势。
正则化项：该项独立于 $\ell'$ ，并分解为局部 token 惩罚加上因果性未来正则化回报。

基于这一推导，作者提出了未来 KL 正则化策略优化（FRPO）。该算法以解耦的方式修改了标准 GRPO 更新：

严格从原始验证器奖励计算组归一化的结果优势（ $\hat{A}^{GRPO}$ ），保留隐式的非线性效用。
通过计算从当前 token 到轨迹末尾的 per-token 对数比率（ $\delta_{i,j} = \log \frac{\pi_\theta}{\pi_{ref}}$ ）的逆向累积和，构建 token 级的未来 KL 校正项。
在优势构建之后将此未来 KL 项添加到优势中，而不是在归一化之前对奖励进行塑形。

响应 $i$ 中 token $t$ 的更新规则为：
$\hat{A}^{FRPO}_{i,t} = \text{sg}\left( \hat{A}^{GRPO}_i - \beta \sum_{j=t}^{T_i} \delta_{i,j} \right)$
其中 $\text{sg}$ 表示停止梯度。该方法不需要评论家，不需要额外的模型传递，并保持与标准 GRPO 相同的计算开销。

主要贡献

非线性效用的识别：论文证明 GRPO 的组归一化诱导了非线性效用（对于二元奖励， $\ell(p) = 2 \arcsin \sqrt{p}$ ），使得奖励和 KL 无法融合。在归一化之前将 KL 添加到奖励中会在结构上扭曲目标。
同策略梯度的推导：作者推导了 token 级 $f$ -散度正则化的正确同策略梯度，表明其需要一个在局部损失侧实现中缺失的未来正则化回报项。
FRPO 算法：他们提出了 FRPO，这是一种简单、解耦的更新方法，在保留 GRPO 结果优势的同时注入了必要的未来 KL 信用分配。该方法将轨迹级排序与过程级 KL 正则化分离开来。
最优性解释：未来 KL 结构被证明与熵正则化 RL 的最优性条件一致，其中最优策略满足涉及未来 KL 成本的过程奖励形式。

实验结果
作者在 DAPO-Math-17k 数据集上训练的 Qwen3 基础模型（1.7B、4B 和 30B-A3B）上评估了 FRPO 在数学推理任务中的表现。

性能：在 30B-A3B 模型上，FRPO 在 MATH500 基准测试中，相比最强基线（带损失侧 KL 的标准 GRPO），pass@16 提高了近 5% 的绝对增益。它还在 AIME24、AIME25 和其他奥林匹克级别基准测试中优于基线。
稳定性与漂移：与损失侧 KL 基线相比，FRPO 保持了更高的最终熵和更低的策略漂移（通过 PPO-KL 衡量）。这表明该方法能够激发长思维链（CoT）推理模式，而不会过度偏离参考策略。
消融实验：实验证实，对于此任务，反向 KL（模式寻求）的表现优于前向 KL（模式覆盖）。论文还指出，对于未来 KL 项，使用 $k_1$ 估计量（对数比率）优于 $k_3$ ，因为 $k_3$ 的非负性会产生单向惩罚信号，阻碍信用分配。
失败模式：论文观察到，“奖励中的 KL"方法（在归一化之前将 KL 添加到奖励中）会导致模型崩溃或性能下降，这验证了理论主张，即在 GRPO 的非线性效用下，这种融合在结构上是不正确的。

意义
论文认为，这项工作的意义在于纠正了一个广泛使用的 RL 框架中微妙但关键的实现错误。通过将视角从“局部损失惩罚”转变为“过程级信用分配”，作者表明 GRPO 可以在不引入复杂价值函数或额外计算成本的情况下得到改进。所提出的 FRPO 方法提供了一种理论扎实、轻量级的修改，在增强推理能力的同时，保留了基础模型的稳定性和泛化特性。这项工作强调，在自回归设置中，正则化本质上是一种过程级信号，忽略未来的剩余成本会导致次优的信用分配。