💬 NLP

Efficient Reinforcement Finetuning via Adaptive Curriculum Learning

本文介绍了 AdaRFT，这是一种自适应课程学习方法，它通过根据奖励信号动态调整问题难度，显著提升了大型语言模型强化微调的效率与准确性，从而将训练时间缩短了高达 2 倍，并提高了数学推理性能。

原作者： Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人解决复杂的数学问题。你拥有一个巨大的题目库，范围从“2+2等于几？”到“证明一个人类天才花了50年才解开的定理”。

在过去，当研究人员尝试训练这些机器人（大语言模型）使用**强化微调（Reinforcement Finetuning, RFT）**时，他们经常犯一个错误：他们直接把机器人扔进深水区。他们给出的题目混合了太容易（无聊且没用）和太难（不可能完成且令人沮丧）的内容。机器人会把时间浪费在它已经掌握的简单问题上，并卡在它无法破解的难题上，这使得整个训练过程既缓慢又昂贵。

这篇论文介绍了一种名为 ADARFT（自适应课程强化微调）的新方法。你可以把 ADARFT 想象成一个智能、自适应的私人导师，它会实时观察机器人的表现，并据此调整作业的难度。

以下是它的工作原理，我们使用简单的类比来解释：

1. “金发姑娘”区域（适中区间）

核心思想是，学习在任务难度恰到好处时效果最好——既不太容易，也不太难。

太容易： 如果机器人每次都能解决问题（成功率100%），它就没有学到新东西。这就像一个学生一直在做他已经掌握多年的乘法表。
太难： 如果机器人每次都做错（失败率100%），它只是在随机瞎猜。这就像让一个一年级小学生去解决博士级别的物理问题。
恰到好处： 这个“甜点位”是机器人大约能答对 50% 的题目。这就是“建设性挫折”区域，也是大脑（或模型）真正成长的时刻。

2. ADARFT 如何扮演导师角色

ADARFT 并不是遵循一个僵化的、预先写好的进度表（比如“第一周：简单，第二周：中等”），它是动态的。

反馈循环： 在每一批次的练习题结束后，导师会检查机器人的得分。
调整机制：
- 如果机器人表现出色（得分远高于50%），导师会说：“做得好！这里有一些稍微难一点的题目。”
- 如果机器人表现糟糕（得分远低于50%），导师会说：“让我们退后一步。这里有一些更简单的题目来建立你的信心。”
- 如果机器人徘徊在50%左右的水平，导师则保持难度不变。

3. “难度分”

为了实现这一点，系统需要知道每个问题的难度。作者并没有要求人类去为每一个题目打分（那会耗费大量时间）。相反，他们使用了一个“裁判”（另一个 AI 模型）在训练开始前，为每个数学问题给出了一个 0 到 100 的难度评分。

类比： 想象图书馆里的每一本书书脊上都有一个“阅读等级”标签。ADARFT 不需要读完这些书就能知道它们的等级；它只需查看标签，并挑选出符合学生当前阅读能力的图书。

4. 为什么这意义重大

论文声称，这种简单的“导师”方法使训练速度快了一倍，并造就了更聪明的机器人。

效率： 通过避开“太容易”和“太难”的问题，机器人停止了时间的浪费。这就像一名跑步者只以能够锻炼肌肉的配速奔跑，而不是在慢动作慢跑或在力竭前拼命冲刺。
准确性： 因为机器人始终在完美的难度水平下接受挑战，它学得更好，并在高难度的数学竞赛中表现出更高的准确率。
无需重型改造： 最棒的一点是，ADARFT 不需要改变机器人的大脑或游戏规则。它是一个“即插即用”的升级版，可以叠加在现有的训练方法之上。

总结

简而言之，ADARFT 是一种不再将所有训练数据视为一堆平铺的石头的训练方法。相反，它将石头按大小分类，并将它们逐一递交给学习者，确保学习者拿到的重量既足以锻炼力量，又不至于重到根本举不起。这使得训练过程更快、更便宜、也更有效。

技术摘要：通过自适应课程学习实现高效强化微调

问题陈述

强化微调（Reinforcement Finetuning, RFT）已成为使大语言模型（LLMs）与特定任务目标（特别是在数学推理等正确性定义明确的领域）对齐的关键技术。然而，标准的 RFT 方法（如 PPO、GRPO）面临着显著的样本和计算效率问题。它们通常需要涉及重复的采样生成（rollout generation）和策略更新的大量训练，这使得成本高昂且难以扩展。

现有的改进尝试面临着特定的权衡：

算法简化（如 RAFT、ReMax）可能会增加方差或限制稳定性。
以数据为中心的策略（如 LIMO、LIMR）通常依赖于人工策展或静态评分，这些方法可能具有脆弱性、计算量大或具有模型特定性。
先前的课程学习（CL）方法通常使用固定的、人工定义的阶段或在线过滤方案，这些方案需要通过重复采样来剔除数据。这些方法缺乏对模型不断演进的技能水平的真正自适应性，或者会产生显著的计算开销。

因此，需要一种能够动态调整任务难度以匹配模型当前能力的方法，且无需修改底层 RL 算法或进行大规模的人工数据策展。

方法论：ADARFT

作者提出了 ADARFT（Adaptive Curriculum Reinforcement Finetuning，自适应课程强化微调），这是一个轻量级、模型无关的框架，它将自适应课程学习集成到标准的 RFT 流水线中（兼容 PPO、GRPO、REINFORCE++）。

核心机制

ADARFT 通过维护一个目标难度水平（ $T$ ），并根据模型最近的奖励信号动态调整该水平来运作。其核心直觉是：当任务既不太容易也不太难时（即“最近发展区”），学习效果最为显著。

算法流程如下：

离线难度估计： 数据集 $D$ 中的每个问题都预先标注了一个难度分数 $d_i$ 。这些分数可以源自人工标注、基于模型的采样（pass@k）或 LLM 评判器（例如 GPT-4o）。
动态课程采样： 在每个训练步骤中，算法计算每个问题的难度 $d_i$ 与目标难度 $T$ 之间的绝对差值 $\Delta_i = |d_i - T|$ 。它会选择一个包含 $B$ 个问题的批次，这些问题的 $\Delta_i$ 最小，从而确保模型在与其当前能力最接近的任务上进行训练。
策略更新： 所选批次用于使用标准 RL 算法（如 PPO）更新策略 $\pi_\theta$ 。根据响应的正确性计算二元奖励信号（ $R_i \in \{0, 1\}$ ）。
目标难度更新： 根据批次的平均奖励（ $R_{avg}$ $R_{a v g}$ ）更新目标难度 $T$ $T$ 。更新规则定义为：
$T' = \text{clip}(T + \eta \cdot \tanh(\alpha \cdot (R_{avg} - \beta)), d_{min}, d_{max})$
- $\beta$ ：目标奖励水平（设为 0.5），代表期望的成功率。
- $\eta$ ：调整难度的步长。
- $\alpha$ ：敏感度参数。
- $\text{clip}$ ：将 $T$ 约束在有效的难度范围 $[d_{min}, d_{max}]$ 内。

如果模型表现良好（ $R_{avg} > \beta$ ），则 $T$ 增加，使后续问题变得更难。如果表现不佳（ $R_{avg} < \beta$ ），则 $T$ 降低。

理论依据

作者为设置目标奖励 $\beta = 0.5$ 提供了理论依据。在熵正则化 RL 中，策略更新的梯度幅度与奖励方差成正比。对于二元奖励，当成功率为 0.5 时，方差达到最大。因此，在模型成功率约为一半时进行训练，能提供最强的学习信号，避免了因任务过于简单导致的梯度消失，也避免了因任务过难导致的噪声问题。

核心贡献

自适应课程框架： ADARFT 引入了一种动态的、由反馈驱动的课程，根据模型性能实时调整任务难度，消除了对固定进度表或重复采样进行数据过滤的需求。
轻量级且通用： 该方法仅需对标准 RL 算法（PPO、GRPO 等）进行极小的扩展，且不会改变奖励函数或模型架构。它兼容多种 RL 算法和模型规模。
离线难度估计： 该方法依赖于静态的、预计算的难度分数（源自采样或 LLM 评判器），避免了在训练期间在线重新计算难度的计算开销。
全面评估： 该方法在多种数据分布（均匀分布、偏向简单分布、偏向困难分布）以及不同模型规模（Qwen 2.5 1.5B 和 7B）的竞赛级数学基准测试中进行了评估。

结果

在竞赛级数学数据集（AMC、AIME、IMO 风格）上的实验表明，与标准 PPO、带过滤数据的 PPO 以及带固定课程进度的 PPO 相比，ADARFT 显著提高了训练效率和最终推理性能。

训练效率： ADARFT 将训练时间缩短了高达 2 倍。使用 ADARFT 训练的模型达到基准方法性能水平所需的步骤显著减少。例如，在 skew-difficult（偏向困难）分布下，Qwen 2.5 1.5B 模型在第 60 步时达到 ADARFT 的性能水平，而标准 PPO 需要多出 71.7% 的步骤。
最终准确率： ADARFT 始终获得更高的最终准确率。在 skew-difficult 分布下，Qwen 2.5 1.5B 模型从 37.41%（PPO）提升至 40.48%（ADARFT）。在 7B 模型上也观察到了类似的增益（从 44.17% 提升至 46.83%）。
鲁棒性： 该方法在不平衡数据场景（例如 skew-difficult）中特别有效，因为在这些场景下，静态采样往往无法在训练初期提供足够的学习信号。
算法无关性： 消融研究证实，当使用 GRPO 和 REINFORCE++ 进行实例化时，ADARFT 同样能提高收敛速度和准确率，而不仅仅限于 PPO。
难度估计： 论文表明，源自 LLM 评判器（GPT-4o）的难度估计与经验成功率高度相关，为高成本的基于采样的估计提供了一个可扩展的替代方案。

意义与主张

本文声称 ADARFT 为结构化推理任务中更高效的 RFT 提供了一条实用且可扩展的路径。其意义在于：

消除人工策展： 不同于需要手工设计课程或进行大规模数据过滤的方法，ADARFT 能够自动适应模型的学习动态。
优化学习信号： 通过瞄准 50% 的成功率，该方法确保模型始终在“可解但具挑战性”的任务上进行训练，从而最大化每次更新的信息增益。
可扩展性： 该方法轻量且与模型无关，适用于计算资源受限的大规模训练流水线。

作者指出，课程学习的优势在不平衡训练分布以及模型容量有限的情况下最为显著，因为在这些情况下，标准 RFT 难以引导能力的提升。虽然人工策展在理论上可以达到类似的效果，但 ADARFT 提供了一个自动化的、统一的解决方案，能够在无需针对每个新模型进行重新调优的情况下，泛化到各种模型架构和技能水平。