🤖 machine learning

RASFT: Rollout-Adaptive Supervised Fine-Tuning for Reasoning

该论文提出了 RASFT，一种策略感知的监督微调框架，它能够根据问题的可解性和策略置信度动态调整专家模仿与自我生成推理之间的平衡，从而在数学和代码推理基准测试中取得了优于现有 SFT 和 RL 方法的性能。

原作者： Yongliang Miao, Fengyuan Liu, Wei Shi, Yanguang Liu, Fei Sun, Na Zou, Mengnan Du

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Yongliang Miao, Fengyuan Liu, Wei Shi, Yanguang Liu, Fei Sun, Na Zou, Mengnan Du

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位聪明但有点固执的学生如何解决复杂的谜题，比如高级数学题或编写计算机代码。

旧方法：“照搬大师”

传统上，当我们训练这些人工智能模型（称为大语言模型）时，我们会使用一种叫做**监督微调（SFT）**的方法。这就像是递给学生一份由大师老师写就的完美解法，并对他们说：“记住这条精确的路径。完全按照我做的一字不差地模仿。”

问题在于，推理不仅仅是关于复制。一个谜题通常可以用许多种不同的有效方式来解决。如果学生僵化地复制老师的那条特定路径，他们可能会：

丧失自己的直觉： 他们停止使用自己的脑力，因为他们正忙于模仿老师。
过度拟合表面： 他们学习的是答案的“风格”，而非背后的“逻辑”。
在遇到困难时失败： 如果老师的路径对学生目前的技能水平来说太难，学生只会感到困惑并选择放弃。

新方法：RASFT（“智能教练”）

这篇论文介绍了一种名为 RASFT（展开自适应监督微调）的新方法。它不再是一个僵化的老师，而是一个智能教练，会在决定如何干预之前观察学生的练习过程。

以下是这位教练的工作步骤：

1. “试一试”阶段（展开/Rollouts）

在课程开始前，教练会要求学生尝试独立解决问题几次（这些被称为“展开”）。

如果学生做对了： 教练会说：“做得好！你显然理解了。我不需要强迫你去复制我的解法。让我们来看看你自己的正确答案。”
如果学生失败了： 教练会说：“好吧，这个问题你遇到了困难。我需要介入，展示大师的解法来引导你。”

这就是**自适应（Adaptive）**的部分。教练提供的“教师指导”量会根据学生此时此刻的表现进行变化。

2. “安全网”（反比率）

存在这样一种风险：如果教练过于热心，学生可能会完全忘记自己独特的思考方式，变成一个只知道老师解法的机器人。

为了防止这种情况，RASFT 使用了一个安全网。它会不断检查：“学生是否正在偏离其原始、自然的思考方式？”

如果学生的风格为了匹配老师而发生了剧烈的变化，安全网会温柔地将他们拉回。
这确保了学生在学习新技巧的同时，保留了自己的“推理个性”，而不是用老师的数据覆盖掉他们的脑回路。

为什么它效果更好

论文在数学和编程测试中，将这种“智能教练”模式与旧有的“僵化老师”以及其他方法进行了对比测试。

结果： 接受 RASFT 训练的学生变得更擅长解决问题。他们不仅是在复制，而且学会了将老师的智慧与自身不断增长的技能相结合。
类比： 想象一位音乐家在学习一首乐曲。
- 旧的 SFT： 学生被迫完全按照乐谱演奏，即使他本身是个爵士乐手。他失去了即兴发挥的能力。
- RASFT： 老师听着学生的即兴演奏。如果学生演奏得很好，老师就让他保持自己的爵士风格。如果学生弹错了音，老师会展示乐谱以纠正那个特定的错误。最终，学生成为了一位更优秀、更全面的音乐家。

局限性（代价）

论文承认这种方法并非没有代价。

它需要更多时间： “教练”必须观察学生的练习（生成展开），并在教学前检查他们是否正确。这比直接递出答案解析要慢。
它需要明确的答案标准： 这套方法在数学（答案是一个特定的数字）和编程（代码要么运行，要么报错）中表现出色。但在处理像“写一首诗”这样的开放式问题时，它较难应用，因为很难自动验证一首诗是否“正确”。

总结

RASFT 是一种更聪明的 AI 训练方式。它不再盲目地强迫 AI 复制单一专家，而是会检查 AI 当前的能力。如果 AI 正在挣扎，它会更多地依赖专家；如果 AI 表现良好，它会让 AI 信任自己的推理。这创造了一个既博学又灵活的模型。

技术摘要：RASFT（基于 Rollout 自适应的有监督微调）

1. 问题陈述

有监督微调（SFT）是将大语言模型（LLM）适配到推理任务的标准方法，其核心是通过模仿离线专家演示。然而，作者指出该范式存在一个关键局限性：推理并非简单的路径模仿任务。一个问题往往对应多种有效的解题路径，但标准的 SFT 将单一的离线专家轨迹视为僵化的目标行为。

这种僵化的模仿会导致两个问题：

过度拟合表面形式： 模型可能会记忆特定的演示内容，而非学习底层的推理分布。
抑制潜在能力： 预训练 LLM 通常拥有丰富的潜在推理分布。过度模仿单一专家路径可能会覆盖这些先验知识，从而削弱模型生成多样化、正确推理轨迹的自身能力。

现有的 SFT 变体（如 DFT、ASFT、ProFiT）试图通过缩放学习信号或锚定参考模型来缓解这一问题，但它们在很大程度上仍是“演示内部驱动”的。它们基于离线轨迹内的信号进行优化，而不是根据当前策略解决问题的实际能力来校准监督强度。

2. 方法论：RASFT

作者提出了 基于 Rollout 自适应的有监督微调（RASFT），这是一个策略感知框架，能够根据模型的当前表现，在专家指导与自我生成的推理之间进行动态平衡。

核心组件

局部候选池构建：
对于每个问题提示词 $x_i$ ，RASFT 构建一个包含以下内容的候选池 $G_i$ ：
- 离线专家轨迹 ( $y^e_i$ )。
- 通过在策略（on-policy）Rollout 生成的、经验证正确的当前策略 ( $\pi_\theta$ ) 轨迹。
- 注：错误的 Rollout 会从优化目标中过滤掉，但会被用于估计题目难度。
问题级可解性估计 ( $\zeta_i$ )：
模型针对给定提示词生成 $K$ 个 Rollout。通过特定任务的验证器（例如数学中的最终答案匹配、代码中的断言测试）来确定正确性。可解性指数计算为成功率：
$\zeta_i = \frac{1}{K} \sum_{k=1}^{K} c_{i,k}$
其中 $c_{i,k} \in \{0, 1\}$ 表示正确性。该分数反映了当前策略解决该问题的能力。
自适应权重分配：
RASFT 根据 $\zeta_i$ 为候选池中的轨迹分配权重：
- 专家轨迹权重 ( $W_e$ )： 动态调整。当 $\zeta_i$ 较低（模型表现挣扎）时，专家轨迹获得更高的权重以提供强力的纠偏指导。当 $\zeta_i$ 较高（模型表现可靠）时，减弱该权重，以防止僵化拟合并允许模型自身的推理占据主导地位。
- 自我生成轨迹权重 ( $W_r$ )： 对于经验证正确的 Rollout，该权重是固定的。
策略正则化目标：
为了防止偏离预训练分布过多，RASFT 引入了冻结的参考模型 ( $\pi_{ref}$ ) 与当前策略 ( $\pi_\theta$ ) 之间的截断反比（clipped inverse ratio）。最终损失函数结合了：
- 归一化的轨迹权重 ( $\bar{W}_{i,j}$ )。
- 截断反比 ( $Clip(r_{i,j}(\theta))$ )。
- Token 级置信度 ( $p_{\theta}$ )。
该目标函数最小化加权序列到序列的损失：
$\mathcal{L}(\theta) = -\mathbb{E}_i \left[ \sum_{y_{i,j} \in G_i} \sum_{t=1}^{|y_{i,j}|} \omega_{i,j,t} \log p_{\theta, i,j,t} \right]$
其中 $\omega_{i,j,t}$ 是复合权重。

3. 主要贡献

论文总结了其贡献如下：

识别局限性： 指出现有的 SFT 变体缺乏策略感知能力，无法区分何时需要专家模仿，以及何时模仿会变成僵化的路径拟合。
提出框架： 引入了 RASFT，这是一个 Rollout 自适应的 SFT 框架，它利用经验证的在策略（on-policy）Rollouts 来估计问题的可解性，并在专家指导与自我生成的正确轨迹之间进行动态平衡。
实证验证： 大量实验表明，在数学和代码推理任务中，RASFT 的表现优于标准 SFT、SFT 变体（DFT、ASFT、ProFiT）以及具有代表性的强化学习（RL）方法（GRPO）。

4. 实验结果

实验在六个数学推理基准测试（MATH-500, Minerva, OlympiadBench, AIME 2024/2025, AMC 2023）和两个代码推理基准测试（HumanEval, MBPP）上进行，使用了来自 Qwen2.5 和 Llama-3.2 系列的模型。

性能提升： RASFT 一致地取得了最佳的平均性能。
- 数学： 在 Qwen2.5-Math-1.5B 上，相比于表现最好的基线，它实现了 10.9% 的相对增益（25.00 $\to$ 27.72）。
- 代码： 在 Llama-3.2-3B 上，它实现了 26.9% 的增益（24.93 $\to$ 31.63）。
- 与 RL 的对比： 与 GRPO 相比，RASFT 将平均数学准确率提高了 15.9%（20.25 $\to$ 23.47）。
消融实验：
- 难度自适应性： 去除自适应权重会导致平均得分从 27.72 下降到 25.53，证实了静态平衡是次优的。
- 在策略 Rollouts： 去除 Rollouts（回归为静态专家权重）会导致性能全面下降，凸显了在线反馈的必要性。
- 反比关系： 去除反比关系会导致性能下降，证实了其在防止过度拟合离线数据和保留预训练先验方面的作用。
- 可迁移性： RASFT 在与标准 SFT 和 ProFiT 结合使用时提升了性能，表明它与 Token 级缩放方法具有互补性。
训练动态： 与其他方法相比，RASFT 在后期阶段保持了更稳定的训练目标和更低的模型参数更新密度，这表明它能更好地保留预训练的推理先验。

5. 重要性与主张

论文声称 RASFT 代表了从静态演示拟合向策略自适应监督的转变。其重要性在于：

架起 SFT 与 RL 的桥梁： 它结合了在线探索（Rollouts）和自适应权重分配（常见于 RL 方法）的优点，同时保留了 SFT 框架的稳定性和简洁性。
动态校准： 它成功地根据模型解决特定问题的实际能力来校准专家监督的强度，避免了对模型自身推理分布的抑制。
鲁棒性： 该方法在不同模型规模和任务领域中均表现出鲁棒性，尤其是在那些僵化模仿失效的高难度基准测试（如 AIME, OlympiadBench）上展现了显著收益。

作者承认的局限性：

计算成本： 由于需要定期生成和验证在策略（on-policy）Rollouts，RASFT 比标准 SFT 更昂贵。
对验证器的依赖： 该方法依赖于可靠的自动验证信号（例如数学中的最终答案、代码中的测试用例）。将该方法扩展到缺乏明确正确性信号的开放式推理任务仍然是一个挑战。