💬 NLP

ROSD: Reflective On-Policy Self-Distillation for Language Model Reasoning across Domains

本文提出了反思性同策略自蒸馏（ROSD）框架，该框架利用自反思器定位错误并引导针对特定错误的蒸馏，从而增强语言模型在跨领域的推理能力，进而克服现有同策略自蒸馏方法过拟合和泛化能力不足的局限性。

原作者： Ziqi Zhao, Xinyu Ma, Liu Yang, Yujie Feng, Daiting Shi, Jingzhou He, Xin Xin, Zhaochun Ren, Xiao-Ming Wu

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziqi Zhao, Xinyu Ma, Liu Yang, Yujie Feng, Daiting Shi, Jingzhou He, Xin Xin, Zhaochun Ren, Xiao-Ming Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生如何解决复杂的数学问题。你拥有一位聪明的老师（即 AI 模型），它正试图通过自主练习来学习。

问题：“照猫画虎”式的老师

过去，当这名学生犯错时，标准的教导方式是展示教科书中的完美最终答案，并说：“看这个！你需要把你的整个答案写得和这个一模一样。”

这篇论文将这种方法称为在线策略自蒸馏（OPSD）。问题在于，学生开始变得像“照猫画虎”的模仿者。

他们记住了风格，而非修正方法：他们不是学习为什么会犯错，而只是机械地模仿老师的具体措辞和格式。
他们破坏了原本正确的部分：如果学生答对了答案的前半部分，但搞砸了后半部分，老师会强迫他们重写整个答案以匹配教科书。这会意外地覆盖掉他们原本已经掌握的正确部分，导致他们忘记自己有效的推理过程。

这种方法在特定的练习题上或许还能奏效，但当学生面对新类型的问题（不同的领域）时，他们就会失败，因为他们只是死记硬背了答案的“样子”，而非其背后的逻辑。

解决方案：ROSD（“反思型导师”）

作者提出了一种新方法，称为ROSD（反思型在线策略自蒸馏）。请将 ROSD 想象成一位手持放大镜的批判性编辑，而不是直接递给你一篇成品文章的老师。

以下是 ROSD 逐步运作的方式：

1. “自我反思者”（侦探）
系统不再仅仅展示完美答案，而是首先扮演侦探的角色。它将学生的错误答案与正确答案并列查看。

它询问：“逻辑究竟是在哪里断裂的？”
它发现：学生偏离正轨的具体句子或步骤。
它生成“修正思路”：一条简短的说明，解释如何修正那个特定的错误（例如：“你在这里忘记转换单位了”，而不是“这是整篇文章”）。

2. “错误引用”（高亮标记）
系统并非凭空猜测，而是物理性地高亮标出学生答案中发生错误的确切文本片段。这就像老师用红笔只圈出错误的句子，而让页面的其余部分保持原样。

3. 针对性修正（手术式修复）
现在，“自我教师”介入。但它不是强迫学生重写整篇文章，而是仅针对高亮标记的错误部分提供指导。

学生保留他们正确的引言和有效的推理步骤（即“有效前缀”）。
他们仅在“修正思路”的引导下，重写出错的部分。

类比：修理一辆坏掉的车

旧方法（OPSD）：你的车轮胎瘪了。机械师把整辆车拆散，扔掉引擎、座椅和车轮，然后完全按照蓝图从零开始建造一辆新车。这确实能行，但你失去了所有原本正常的部件。
ROSD：机械师检查车辆，找到瘪掉的轮胎（错误），然后说：“好吧，引擎和座椅都没问题。我们只需要换掉这一个轮胎，并确保它充气正确。”

结果

该论文在 various“学科”（如物理、化学以及使用计算机工具）上测试了这种方法。

学科表现更佳：学生比以前更好地掌握了学习内容。
新学科表现更佳：因为他们学习的是修正错误的逻辑，而不是死记硬背答案的风格，所以他们在解决从未见过的问题时表现要好得多。
稳定性：旧方法往往随着时间推移而表现变差，因为学生试图模仿过多而感到困惑。ROSD 则保持稳定并持续进步。

简而言之：ROSD 教导 AI 以手术式的方式修正自身的错误，保留其思维中的有效部分，而不是强迫它从头到尾复制一个完美的模型。

技术摘要：反思性在线策略自蒸馏（ROSD）

问题陈述

虽然基于可验证奖励的强化学习（RLVR）已被证明在可验证领域优化大语言模型（LLM）方面行之有效，但 GRPO 等标准算法依赖于稀疏的结果级奖励。这种对中间推理步骤缺乏令牌级监督的情况，限制了模型提升其推理质量的能力。

在线策略自蒸馏（OPSD）通过基于正确解的“自教师”提供密集的令牌级监督来解决这一问题。然而，现有的 OPSD 方法存在两个关键局限性，阻碍了域内稳定性和域外（OOD）泛化能力：

模仿而非修正：将自教师基于已验证的解进行条件设定，会促使学生模仿参考轨迹的具体模式和领域特定表达，而非学习修正其自身的特定错误。
覆盖有效推理：对整个响应应用蒸馏损失，迫使模型在所有令牌上与教师分布对齐。这可能会覆盖有效的推理前缀，并将训练领域的偏好注入到正确的步骤中，导致过拟合和泛化能力差。

方法论：ROSD

作者提出了反思性在线策略自蒸馏（ROSD），这是一个旨在将自蒸馏从参考解模仿转变为针对性推理修正的框架。ROSD 通过两个主要机制运行：

1. 聚焦错误的自我反思

ROSD 不直接使用正确解作为教师的上下文，而是采用一个自我反思器（使用与学生/教师相同的模型权重）来分析学生生成轨迹与正确解之间的差异。

对于错误轨迹：反思器将错误轨迹（ $y^-$ $y^{-}$ ）与同一组中最短的正确轨迹（ $y^*$ $y^{*}$ ）进行比较。它生成两个输出：
- 修正思路（ $e$ ）：解释轨迹失败的原因以及如何修复逻辑。
- 错误引用（ $q$ ）：来自错误轨迹的精确子字符串，标记推理首次出错的跨度。
对于正确轨迹：反思器总结推理的有效性以及正确答案背后的关键思路，避免直接模仿完整解。

2. 引用定位的自蒸馏

自教师基于**修正思路（ $e$ ）**而非完整参考解进行条件设定。这确保教师提供针对特定错误的指导。

定位：将**错误引用（ $q$ ）**对齐回原始学生轨迹，以识别错误的起始令牌索引（ $k$ ）。
选择性损失：对蒸馏损失函数应用掩码。模型仅被训练为从令牌 $k$ 开始（即错误后缀）匹配教师分布。有效的推理前缀（令牌 $< k$ ）被保留并从损失计算中排除。
目标：训练目标是最小化学生与掩码教师分布之间的令牌级 Jensen-Shannon 散度（JSD），确保更新仅限于需要修正的片段。

主要贡献

ROSD 框架：一种新颖的反思性在线策略自蒸馏方法，实现了从模仿参考解到执行选择性推理修正的转变。
双重技术设计：
- 一个聚焦错误的自我反思器，提取修正思路并精确定位第一个错误跨度。
- 错误定位蒸馏，将监督更新限制在从识别出的错误开始的后缀，保留有效的推理前缀。
实证验证：大量实验表明，ROSD 提升了域内推理性能，同时显著缓解了标准 OPSD 方法中观察到的 OOD 泛化崩溃问题。

实验结果

作者在 Qwen3-4B 和 Qwen3-8B 骨干网络上评估了 ROSD，涉及五个数据集：四个科学问答基准（化学、物理、生物、材料科学）和一个工具使用数据集。

域内性能：ROSD 在两个模型规模上均取得了最高的平均分数（4B 为 72.83%，8B 为 73.45%），优于 GRPO 和标准 SDPO 基线。改进在各个领域保持一致，表明在特定领域没有显著的权衡。
域外泛化：与 SDPO 相比，ROSD 表现出显著更好的 OOD 鲁棒性。
- 当训练和测试领域差异显著时（例如，在工具使用上训练，在科学问答上测试），SDPO 遭受严重退化（平均降至约 2.88%），而 ROSD 保持了强劲的性能（约 41.31%）。
- 这表明 ROSD 有效减少了与完整响应蒸馏相关的噪声和过拟合。
训练动态：ROSD 比基线收敛更快，并在整个训练过程中保持性能稳定。相比之下，SDPO 通常表现出早期收益随后性能下降，表明其过拟合了训练领域的解风格。
消融研究：移除反思组件或定位蒸馏机制中的任一项都会导致性能下降，证实了聚焦错误的指导和选择性监督既是必要的，又是互补的。

意义与主张

该论文主张，ROSD 突显了感知错误且选择性应用的监督对于有效推理后训练的重要性。通过修正有缺陷的推理步骤同时保留有效的前缀，ROSD 避免了模仿领域特定参考轨迹的陷阱。

作者将 ROSD 定位为迈向更鲁棒推理模型的一步，这些模型能够跨领域泛化。然而，他们谦逊地指出，虽然 ROSD 在标准 OPSD 之上改善了 OOD 性能，但在所有设置中仍未完全匹配 GRPO 的 OOD 鲁棒性，表明需要进一步进展以全面加强跨领域泛化。该工作强调，强大的推理能力需要严格的对齐以防止潜在滥用。