🤖 machine learning

RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation

该论文提出了 RLCSD，一种通过对比正确与错误提示以将学习信号聚焦于任务承载型标记（task-bearing tokens），从而缓解在策略自我蒸馏中存在的“特权诱导风格漂移”问题的创新强化学习方法，使其在数学和逻辑推理任务上的表现优于现有方法。

原作者： Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一名学生如何解决一个复杂的数学问题。你拥有一个“教师”（一个聪明的 AI 模型）和一个“学生”（你正在训练的模型）。

在过去，研究人员尝试了一种叫做**在策略自我蒸馏（On-Policy Self-Distillation, OPSD）*的方法。其核心思想很简单：让学生尝试解决一个问题。然后，给教师一份“小抄”（正确答案），并要求教师针对同一个*问题再次进行解答。随后，学生尝试模仿教师的思考过程。

问题所在：“风格漂移”（The "Style Drift"）

研究发现这种方法存在一个隐藏的缺陷。当教师看到正确答案（小抄）时，它不仅在数学方面变得更聪明，它的性格也会发生变化。

旧方法： 知道答案后的教师变得非常自信且生硬。它不再说“嗯，让我思考一下……”或“等等，也许……”之类的话，而是直接跳到“因此，答案是 5”。
错误之处： 学生试图模仿这种新的、生硬的性格。它学会了停止思考，直接大声喊出答案。它关注的是答案的风格（简短、直接、自信），而不是其中的实际数学逻辑。
结果： 学生感到困惑。有时它开始写极其庞大、混乱的文章（因为它试图表现得过于自信），有时它又把答案缩减到极短，放弃了处理难题所需的深度思考。

作者将这种现象称为**“特权诱导的风格漂移”（Privilege-Induced Style Drift）**。这就像是一个学生为了完美模仿老师的字迹，结果却忘了学习真正的课程内容。

解决方案：RLCSD（“对比式”方法）

为了修复这个问题，作者创建了 RLCSD。他们意识到，无论提示信息是正确还是错误，教师都会表现出这种“生硬”的表现。因为教师只是想表现得很有信心。

因此，他们改变了游戏规则：

设置： 他们同时给教师两份小抄。
- 一份是正确的解法（正确答案）。
- 一份是错误的解法（错误的答案，但格式完全相同）。
比较： 他们询问教师：“当你看到正确答案与错误答案时，你的思考方式有何变化？”
奇迹发生： 因为教师对于正确和错误答案的表现都是“生硬”且“自信”的，所以这种“生硬感”在两者相减时会抵消掉。
- 正确答案上的自信 减去 错误答案上的自信 = 零自信偏差（Zero Confidence Bias）。
- 剩下的部分？只有那些真正关于数学的部分。

这就像是降噪耳机。因为“风格”（噪声）在两只耳朵中都是一样的，所以它会被抵消掉。你清晰听到的只有“任务”（音乐）。

在实践中如何运作

与其仅仅告诉学生“模仿教师”，RLCSD 说的是：

“观察教师对正确答案的反应与对错误答案的反应之间的差异。”
“只学习教师真正关心数学的部分，而不是那些它仅仅是在表现自信的部分。”

他们将此与一个“验证器”（一个检查最终答案是否正确的严格评分员）结合使用。评分员告诉学生应该向哪个方向移动（向上或向下），而这种新的“对比信号”则告诉学生在特定步骤上应该如何发力。

实验结果

研究人员在多个模型（Qwen 和 Olmo）以及数学和逻辑谜题上测试了该方法。

旧方法： 模型要么变得疯狂（编写无意义的长篇大论），要么过早放弃（给出极短、偷懒的答案）。
RLCSD： 模型保持冷静。它们能够持续进行长且详细的推理步骤（这对难题至关重要），并且在测试中的得分显著提高。

总结类比

想象一堂烹饪课。

旧方法： 厨师（教师）尝了汤，看了食谱，然后说：“太完美了！”学生试图模仿厨师的语气。结果学生学会了如何表现得自信，却没学会如何为汤调味。
RLCSD： 厨师先用正确的食谱尝了汤，然后用错误的食谱（加了太多盐）又尝了一遍。厨师的语气在两种情况下都会发生细微变化，但味道的差异是非常明显的。学生学会了只关注味道的差异（盐分），而忽略了厨师的声音。

通过专注于正确与错误之间的差异，而非仅仅是模仿正确，学生学习到了真正的技能，而不会被教师的态度所干扰。

技术摘要：RLCSD – 基于对比式在策略自我蒸馏的强化学习

1. 问题陈述：特权诱导的风格漂移 (Privilege-Induced Style Drift)

本文识别了在策略自我蒸馏 (On-Policy Self-Distillation, OPSD) 中的一个关键病理现象。在这一范式中，单个模型同时充当教师和学生，其中教师被授予访问“特权上下文”（例如，已验证的解题过程）的权限，而学生则无法获取。

尽管现有的 OPSD 方法（如 OPSD、SDPO、SRPO、RLSD）旨在通过最小化学生与特权教师之间的分布差距来提供密集的、Token 级别的监督，但作者证明这种学习信号在本质上是有缺陷的。他们将这种缺陷称为特权诱导的风格漂移。

机制： 将教师条件化为包含验证过的解题过程（特权上下文）会增强其在任务相关 Token（如数学运算符）上的置信度。然而，它同时也诱发了一种系统性的、与正确性正交的生成行为偏移。特权教师倾向于产生更短、更果断的输出，抑制探索性的犹豫词，并将概率质量重新分配给格式化和话语 Token（例如，“Wait”、“Therefore”、“\n\n”）。
后果： 产生的学习信号 ( $e_{c,t}$ ) 被这些风格 Token 所主导，而非决定答案的任务相关 Token。
观察到的病理现象： 这种信号偏斜导致了两种截然不同的训练失效模式：
1. 熵爆炸与不稳定： OPSD 和 SDPO 等方法遭受了无界的熵增长，导致响应长度爆炸和训练崩溃。
2. 过早的长度缩减： RLSD 等方法表现出响应长度的剧烈下降，限制了模型进行长程推理的能力。

2. 方法论：RLCSD

为了解决特权诱导的风格漂移，作者提出了 RLCSD（基于对比式在策略自我蒸馏的强化学习）。其核心洞察是：在相同的提示模板下，特权上下文诱发的风格偏移在正确提示和错误提示中是共享的。通过将正确提示与错误提示进行对比，可以抵消掉共享的风格成分，从而留下集中在任务正确性上的信号。

RLCSD 流水线由三个阶段组成：

第一阶段：采样与划分 (Rollout Sampling and Partitioning)

对于给定的查询 $x$ ，学生策略 $\pi_S$ 采样一组 $G$ 个 Rollout。基于规则的验证器将其划分为正确子集 ( $\mathcal{G}^+$ ) 和错误子集 ( $\mathcal{G}^-$ )。在标准 GRPO 归一化下收益为零的均匀结果组（全对或全错）会被丢弃。

第二阶段：构建对比式 Token 级信号

RLCSD 并非使用单一的特权提示，而是构建了一个对比信号 $e_{ctr,t}$ ：

正向提示 ( $y_c^*$ )： 从 $\mathcal{G}^+$ 中采样。
负向提示 ( $y_{w,k}^*$ )： 从 $\mathcal{G}^-$ 中采样 $K$ 个提示。
对称提示 (Symmetric Prompting)： 两个提示都包裹在相同的提示模板中（问题 + 参考解法 + 答案）。这确保了教师将两者都视为 ground-truth 参考，使得诱发的风格偏移保持一致。
信号计算： 对比信号计算为正确提示下的对数概率差与 $K$ 个负向提示下的平均对数概率差之差：
$e_{ctr,t} = \log \pi_T(y_t | x, y_c^*, y_{<t}) - \log \left( \frac{1}{K} \sum_{k=1}^K \pi_T(y_t | x, y_{w,k}^*, y_{<t}) \right)$
优化细节： 该方法采用针对负向提示的 K-边际化 (K-marginalization) 以使信号对异构错误类型保持稳定，并排除目标 Rollout 本身不在提示池中，以防止教师对自身的生成过度自信。

第三阶段：基于验证器锚定的调制与损失 (Verifier-Anchored Modulation and Loss)

对比信号 $e_{ctr,t}$ 并非作为独立的奖励使用，而是作为来自 GRPO 的结果级优势函数 ( $A_{ORM}$ ) 的调制项。

调制： $e_{ctr,t}$ 通过 $\tanh$ 进行软归一化并重新缩放，以产生 Token 级的调制项 $r_t$ 。
保号夹紧 (Sign-Preserving Clamp)： 调制项被加到 $A_{ORM}$ 上，但结果会被夹紧，以确保更新方向绝不会与验证器的结果信号相矛盾。
双路径损失 (Two-Path Loss)： 最终目标聚合了一个双路径 PPO 式的剪切损失 (clipped loss)：
1. 对于对比信号较弱（噪声）的 Token，使用无调制路径。
2. 对于对比信号较强的 Token，使用调制路径。
  至关重要的是，这些路径在每个 Rollout 内部独立归一化，以防止调制信号被大量的无调制 Token 所稀释。

3. 核心贡献

刻画了特权诱导的风格漂移： 本文识别并量化了 OPSD 中存在的系统性偏差，即特权条件化会导致学习信号向风格 Token 偏移，从而引起训练不稳定或过早的长度缩减。
RLCSD 算法： 提出了一种通过在正确与错误特权提示之间进行对称对比来减轻此类漂移的新方法。它将这种清洗后的信号集成到具有可验证奖励的强化学习 (RLVR) 中，作为基于验证器的 Token 级调制。
对比原则的可推广性： 作者证明了对比式构建是一个与方法无关的组件。它可以被插入现有的 OPSD 基线（如 OPSD 和 RLSD）中以提高其稳定性和性能，表明该原则广泛适用于在策略蒸馏。
扩展至跨模型蒸馏： 本文将这一洞察扩展到跨模型在策略蒸馏 (OPD)，展示了类似的“任务相关”与“表面风格”Token 的分解如何解释为什么风格对齐但能力稍弱的教师有时能超越能力更强但风格迥异的教师。

4. 实验结果

实验在 Qwen3 (1.7B, 4B, 8B) 和 Olmo-3-7B-Think 上针对数学推理 (AMC23, AIME24, AIME25) 和逻辑推理 (Knights & Knaves) 进行。

性能： RLCSD 在所有基准测试中一致优于 GRPO 和之前的 OPSD 方法 (OPSD, SDPO, SRPO, RLSD)。
- 在 Qwen3-8B 上，RLCSD 在 AMC23 上的 mean@12 达到 90.8（GRPO 为 90.1）以及 77.5 (AIME24)。
- 在逻辑推理 (OOD) 上，RLCSD 表现出显著增益，在 Knights & Knaves (4-8 roles) 上达到 81.8 的 pass@1，并在 9-role OOD 分割上达到 79.0，大幅超越 GRPO。
训练稳定性： 与表现出熵爆炸或响应长度缩减的竞争 OPSD 方法不同，RLCSD 在整个训练过程中保持了稳定的熵和响应长度，与 GRPO 相当。
消融实验：
- 去除对比机制（仅使用单侧提示）导致性能下降 3.0–5.4 个百分点，证实了对比的必要性。
- 去除 K-边际化 或允许在提示池中使用自我 Rollout 会降低性能，验证了设计细节的有效性。
- 去除双路径损失聚合（使用单一全局平均）会显著降低性能，证明了隔离调制 Token 的必要性。

5. 意义与主张

本文声称 RLCSD 为困扰在策略自我蒸馏的不稳定性提供了鲁棒的解决方案。通过将“任务相关”信号从特权条件化固有的“风格”噪声中分离出来，RLCSD 实现了无需维护单独教师模型的稳定、高性能推理模型训练。

作者谦虚地指出，对比原则是针对在策略蒸馏的一个通用洞察。它不仅改进了特定的 RLCSD 算法，还为跨模型蒸馏设置中的教师选择提供了诊断工具——在这种情况下，推理风格的对齐可能比原始能力更为关键。这项工作表明，未来的蒸馏方法必须考虑并减轻由特权上下文引起的寄生性风格偏移。