🤖 machine learning

Complementing reinforcement learning with SFT through logit averaging in the post training of LLMs

本文提出了一种用于大语言模型的 novel 后训练方法，该方法通过平均冻结的 SFT 参考策略与可训练策略的 logits 来增强组相对策略优化（GRPO），从而在有效结合强化学习的推理能力与监督微调的格式稳定性的同时，消除了对 KL 正则化或评论家的需求。

原作者： Xingwei Gan, Ying Zhu

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xingwei Gan, Ying Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比对这篇论文的解释。

大局观：两位老师，一位学生

想象一下，你正在训练一个大型语言模型（AI）来解决数学问题。你有两位截然不同的“老师”试图教导它：

格式老师（SFT）： 这位老师非常擅长教导 AI 如何整洁地书写答案、使用正确的符号，并严格遵守规则（例如将最终答案框起来）。然而，这位老师有时会在实际的数学逻辑上犯错。
推理老师（RL）： 这位老师是数学天才，能够完美地解决复杂的方程。但是，这位老师很随性；他们经常忘记给答案加框、跳过步骤，或者以不符合考试要求的奇怪格式书写。

问题所在：
传统上，当你试图结合这两位老师时，你会使用一种称为"KL 正则化”的方法。这就像用一根橡皮筋将推理老师系在格式老师身上。这根橡皮筋迫使推理老师保持与格式老师的风格相近。

弊端： 如果格式老师在数学上犯了错，橡皮筋就会把推理老师拉向同样的错误。AI 会陷入试图保持“整洁”却未能变得“聪明”的困境。

新方案：Logit 平均
这篇论文的作者提出了一种结合这两位老师的新方法。他们不是用橡皮筋将两者绑在一起，而是创造了一个融合的声音。

想象 AI 是一个合唱团。新方法不是在唱歌前强迫歌手们保持完美的齐唱（这会限制他们的音域），而是在他们开口唱歌之前，先将他们的声音混合起来。

如果格式老师说“给答案加框”，而推理老师说“答案是 5"，那么融合的声音会说：“给答案加框：5"。
如果格式老师在数学上犯了错（说答案是 6），但推理老师知道答案是 5，那么融合的声音会 heavily 依赖推理老师的数学判断，同时保留格式老师“加框”的指令。

工作原理（"Logit"的魔力）

在 AI 术语中，模型的“声音”由称为logits的数字组成（这些数字代表模型接下来选择特定单词或数字的可能性）。

混合： 研究人员将格式老师和推理老师的数字在数学上进行平均。
结果： 这创造了一个新的、临时的“融合策略”。
训练： AI 通过在这个融合策略上进行练习来学习。如果最终答案正确，它就会获得奖励（分数）。
- 因为格式老师是混合的一部分，AI 永远不会忘记如何整洁地书写。
- 因为推理老师是混合的一部分，AI 可以自由地纠正格式老师的数学错误。

为什么这更好（“专家乘积”）

这篇论文使用了一个称为“专家乘积”的概念。这就像委员会的决策：

如果专家 A（格式）对风格很确定，而专家 B（推理）对数学很确定，那么最终决定在两方面都很强。
如果专家 A 在数学上错了，专家 B 的信心会覆盖它，但专家 A 在风格上的信心依然保留。

论文发现，这种“融合声音”的方法比旧的“橡皮筋”方法效果更好。AI 学会了正确解决数学问题，同时保持了整洁的格式，而旧方法往往会让 AI 忘记如何正确格式化，或者陷入格式老师的数学错误中。

实验

研究人员在三个不同的“考试”（数据集）上测试了这种方法：

MATH： 高难度数学问题。
cn-k12： 中国初中/高中数学。
MMLU： 通用知识和推理。

他们在三种不同规模的 AI 模型（小、中、大）上进行了测试。

结果：

在几乎所有情况下，新的“融合声音”方法都比传统方法获得了更高的分数。
它在解决一个特定问题上尤其出色：传统方法往往会让 AI 在学习解决更难的数学问题时“忘记”如何格式化答案。而新方法在提高数学技能的同时，保持了格式化技能完好无损。

论文中的一个具体例子

论文给出了一个几何问题的具体示例：

格式老师（SFT）： 正确建立了方程，但在数学上犯了错，得出结论半径是6。它整洁地将答案框了起来。
推理老师（RL）： 正确计算了数学，发现半径是5，但忘记给答案加框或以最终格式书写。
融合声音： 它从推理老师那里获取正确的数学（5），并从格式老师那里获取整洁加框的指令。最终输出是一个整洁加框的5。

总结

这篇论文介绍了一种训练 AI 模型的方法，它像一个协作团队，而不是严格的等级制度。通过数学上平均“整洁但随性”的老师与“聪明但随性”的老师的“思想”（logits），AI 学会了既聪明又整洁，避免了强迫一方严格遵循另一方的陷阱。

技术摘要：通过 Logit 平均用 SFT 补充强化学习

1. 问题陈述

大语言模型（LLM）的后训练通常依赖两种范式：监督微调（SFT）和具有可验证奖励的强化学习（RLVR）。虽然 SFT 提供密集的逐 token 监督以学习格式和风格，但其受限于训练演示的分布。相反，近端策略优化（PPO）和组相对策略优化（GRPO）等 RL 方法可以超越这些分布限制，但 suffers 稀疏且嘈杂的奖励信号。

标准方法是将这些方法按顺序结合：首先应用 SFT，随后进行带有 Kullback-Leibler (KL) 正则化项 $\beta \text{KL}(\pi_\theta \| \pi_{\text{sft}})$ 的 RL，以将可训练策略 $\pi_\theta$ 锚定到 SFT 参考 $\pi_{\text{sft}}$ 。作者指出了这种"KL 锚定”方案中的一个根本矛盾：KL 惩罚将 $\pi_\theta$ 拉向 $\pi_{\text{sft}}$ ，可能将策略限制在 SFT 检查点的局限性内（例如代数错误、重复循环），并阻碍其充分利用 RL 期间开发的推理能力。从业者通常通过选择较小的 $\beta$ 来缓解这一问题，但作者提出了一种替代正则化的结构性方案。

2. 方法论

本文介绍了一种用logit 平均替代 KL 正则化的方法。可训练策略 $\pi_\theta$ 与冻结的参考策略 $\pi_{\text{ref}}$ （例如 SFT）通过平均它们的 logit 进行耦合，形成混合策略 $\pi^{\text{mix}}_{\theta, \alpha}$ ，而不是惩罚发散。

核心机制：
给定权重 $\alpha \in [0, 1]$ 和状态 $s$ ，混合 logit $z^{\text{mix}}_{\theta, \alpha}(s)$ 定义为：
$z^{\text{mix}}_{\theta, \alpha}(s) = (1 - \alpha) z_\theta(s) + \alpha z_{\text{ref}}(s)$
混合策略随后为 $\pi^{\text{mix}}_{\theta, \alpha}(a | s) = \text{softmax}(z^{\text{mix}}_{\theta, \alpha}(s))$ 。

训练目标：
作者将 GRPO 目标适配到此混合策略：

Rollouts（轨迹采样）： 轨迹从混合策略 $\pi^{\text{mix}}_{\theta, \alpha}$ 采样，而不是从纯可训练策略 $\pi_\theta$ 采样。
优势估计： 基于这些混合轨迹的奖励计算组相对优势。
优化： 更新可训练参数 $\theta$ 以在混合策略下最大化奖励。参考 logit $z_{\text{ref}}$ 在整个过程中保持冻结。
权重方案：
1. 固定权重： $\alpha$ 在整个训练过程中保持恒定（例如 $\alpha=0.5$ ）。
2. 自适应权重： $\alpha$ 基于保留的验证集动态更新。更新规则使用“净增益”指标，比较纯策略与混合策略的正确性；如果混合产生净增益，则推动 $\alpha$ 趋向 1，否则趋向 0。

与 RLVR 的比较：
与使用 critic 和 KL 正则化的标准 RLVR 方法（PPO、GRPO、DAPO）不同，该方法没有 KL 项或 critic。参考策略通过 logit 平均参与探索，损失函数中的重要性比率是在当前和旧的混合策略之间计算的。

3. 主要贡献与发现

互补技能（模式 1 & 2）：
在 MATH、cn-k12 和 MMLU 数据集上的实证分析显示，SFT 和 RL 训练的策略拥有互补技能：

SFT 擅长格式（遵守输出模板），但在复杂推理上可能失败。
RL 策略（ $\pi_\theta$ ） 擅长推理（推导出正确的数值答案），但经常失去格式纪律。
互补性： 相当大比例的问题（22%–38%）恰好被这两个策略中的一个正确解决。Logit 平均充当“专家乘积（Product of Experts）”，结合了 SFT 的格式优势和 RL 策略的推理优势。

性能结果：
在 Qwen2.5-Instruct 模型（1.5B、3B、7B）上针对三个数据集进行评估：

准确率： 在所有九种（数据集 $\times$ 模型大小）配置中，logit 平均方法相对于标准的 KL 正则化 GRPO 实现了更高或相当的答题准确率。
消融实验： 将 SFT 锚点替换为基础 Instruct 模型会导致性能显著下降，证实了收益源于与格式感知参考的混合。
Logit 平均与概率平均： Logit 平均（分布的几何平均）优于概率平均（算术平均）。Logit 平均以较小的混合权重实现更高的解决率，并在 $\alpha=0.5$ 时达到峰值；而概率平均需要更高的权重，并在 $\alpha=0.6$ 时达到峰值。

理论联系：
本文确立了 logit 平均在数学上等价于专家乘积（POE）。由此产生的策略最小化了对 RL 策略和参考策略的加权 KL 散度之和。这种结构允许策略将概率集中在两个专家都偏好的 token 上，有效地纠正 SFT 的代数错误，同时保留其格式约束。

4. 意义与主张

作者声称，该方法通过将“格式锚点”与“梯度约束”解耦，为标准 KL 正则化方案提供了独特的优势。

克服局限性： 虽然 KL 正则化强制 $\pi_\theta$ 保持接近 $\pi_{\text{sft}}$ （可能继承其推理缺陷），但 logit 平均允许 $\pi_\theta$ 克服参考策略的局限性，同时通过混合策略的结构化耦合保持格式优势。
隐式信任区域： 混合充当隐式信任区域，防止分布漂移远离格式风格，而这往往是纯 RL 在大规模应用时常遇到的问题。
密集先验： 与仅在最终奖励 token 传播信号的 RL 不同，logit 平均在每个解码步骤都从 SFT 锚点引入密集的逐 token 先验。
可扩展性： 该方法自然地扩展到小型语言模型（SLM）的集成，允许系统利用专门的专家（例如用于代码、安全或领域术语），而无需训练一个庞大的单一策略的成本。

本文结论认为，logit 平均提供了一种稳健的 KL 正则化替代方案，成功利用了 SFT 和 RL 之间的互补性，在不牺牲格式质量的情况下提高了推理准确率。