🤖 machine learning

DARE: Difficulty-Adaptive Reinforcement Learning with Co-Evolved Difficulty Estimation

该论文提出了 DARE，这是一个统一框架，通过自归一化重要性采样和自适应计算分配，使难度估计与策略协同演化，从而在不同任务难度下同时提升训练效率、最终性能以及推理简洁性。

原作者： Yang Zhou, Can Jin, Zihan Dong, Zhepeng Wang, Yanting Yang, Shiyu Zhao, Lei Li, Runxue Bao, Yaochen Xie, Dimitris N. Metaxas

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yang Zhou, Can Jin, Zihan Dong, Zhepeng Wang, Yanting Yang, Shiyu Zhao, Lei Li, Runxue Bao, Yaochen Xie, Dimitris N. Metaxas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位非常聪明但费用高昂的学生（人工智能）如何解决数学问题。你拥有一座庞大的题库，其中的问题范围从"2+2 等于几？”到“推导相对论”。

过去，研究人员尝试使用**强化学习（RL）**来教导这位学生。过程是这样的：你给学生一个问题，他们尝试解答，如果答对了，你就给他们一颗金星；如果答错了，你就给他们一张“再试一次”的便条。

问题所在：
旧的方法效率低下。

太简单： 如果你给学生出"2+2"，他们会瞬间解出。这里没有发生任何学习，只是浪费了时间和金钱。
太难： 如果你给他们一个完全无从下手的问题，他们会胡乱猜测，每次都失败。同样，没有产生任何有用的学习，只是浪费了金钱。
“刚刚好”的陷阱： 研究人员意识到，应该只给学生出“中等”难度的问题。但他们遇到了一个新问题：学生会发生变化。 随着学生的学习，昨天“中等”难度的问题今天可能变得“简单”，或者“困难”的问题可能变成“中等”。旧方法使用静态地图来寻找这些问题，但学生是在移动的，所以地图总是错的。

解决方案：DARE
本文的作者提出了一种名为DARE（难度自适应强化学习）的新系统。将 DARE 想象成一位超级智能、动态的导师，它通过做三件具体的事情，让学生变得更聪明、更快速、更高效。

1. “活地图”（协同演化的难度评估）

想象一个实时更新的 GPS。旧方法使用的是不更新的纸质地图。DARE 使用的是一张活地图。

随着学生的学习，导师会不断重新评估题库中的每一个问题。
它使用一种特殊技巧（称为自归一化重要性采样），来观察学生当前的能力，而不是他们过去的能力。
结果： 导师永远不会感到困惑。它确切地知道哪些问题对此刻的学生来说是“刚刚好”的，确保每一堂课都算数。

2. “均衡饮食”（动态数据选择）

旧导师只会给学生喂食“中等”难度的问题，希望能避开简单和困难的问题。但这就像只吃西兰花的饮食——虽然健康，但你可能会忘记如何吃苹果（简单内容），或者在面对牛排（困难内容）时感到吃力。

DARE 采用均衡饮食的方法。它仍然专注于“中等”难度的问题，因为那是学习发生最多的地方。
然而，它也会在菜单上保留一些简单和困难的问题。
结果： 学生不会忘记基础知识（简单内容），并持续受到难题的挑战，从而避免陷入学习瓶颈。

3. “智能工作量”（难度自适应训练）

这是最具创意的部分。DARE 不仅挑选问题，还会根据难度改变学生回答问题的方式。

对于简单问题： 导师说：“这个你懂！快速简洁地给我答案。”
- 比喻： 如果你问一位主厨如何烧开水，他不会写一篇关于蒸汽物理学的十页长文。他直接去做。DARE 教导人工智能停止对简单事物过度解释，从而节省时间和金钱。
对于中等问题： 导师说：“按你的标准流程做。”
对于困难问题： 导师说：“这很难。花点时间，深入思考，尝试几个不同的角度。如果你卡住了，这里有一个来自过去成功的提示。”
- 比喻： 如果你请那位主厨制作一套五道菜的品鉴菜单，他需要时间、食材，也许还需要一本食谱。DARE 为人工智能在困难问题上提供额外的“思考时间”和提示，以免它放弃。

结果

该论文声称，通过使用该系统：

训练更快： 人工智能在更短的时间内、用更少的计算机资源学习了同等数量的知识。
人工智能更聪明： 它更擅长解决最困难的问题，因为它实际上是在正确的支持下练习这些问题。
人工智能更高效： 当你稍后向人工智能提出简单问题时，它会给出简短直接的答复，而不是冗长啰嗦的回答。

简而言之，DARE 停止了对所有问题一视同仁。它像一位明智的教练，知道何时推动运动员，何时让他们休息，以及如何在运动员变得更强时精确地调整训练计划。

技术摘要：DARE（具有协同演化难度估计的难度自适应强化学习）

1. 问题陈述

强化学习（RL）已成为增强大语言模型（LLM）推理能力的主要范式，特别是在数学和编程等领域。然而，标准的强化学习方法（如组相对策略优化 GRPO）存在计算成本高和样本效率低的问题。生成的大量轨迹（rollouts）提供的学习信号微弱：过于简单的提示词会产生近乎完美的回答，优势方差极小；而过于困难的提示词则导致回答普遍错误，同样使梯度信号崩溃。

现有方法试图通过难度感知数据选择来缓解这一问题，优先选择预期梯度信号最大化的“中等”难度提示词。然而，作者指出了当前方法的三个关键局限性：

策略漂移下的估计不准确：随着训练过程中策略的演化，静态或缓慢适应的难度估计器变得不可靠。此前被视为“中等”难度的提示词可能变得过于简单或无法解决，从而削弱选择效率。
最终性能提升有限：仅依赖数据过滤（仅选择中等难度提示词）往往导致最终性能收敛至与标准训练相似的水平，许多高难度任务仍未被解决。
推理效率未得到改善：基于难度过滤训练的模型并未内在地学会调整其推理长度。它们仍会对简单任务生成冗长的思维链（CoT）回答，未能提高推理时的 token 效率。

本文认为，高效的强化学习不仅需要过滤数据，策略还必须学会解决高难度任务，同时学会为简单任务生成简洁的回答。

2. 方法论：DARE 框架

作者提出了DARE（具有协同演化难度估计的难度自适应强化学习），这是一个将准确的难度估计与自适应训练策略相结合的统一框架。

2.1 协同演化难度估计

为解决策略漂移问题，DARE 引入了一种使难度估计器与策略协同演化的机制：

回放缓冲区与冷启动：一个先进先出（FIFO）回放缓冲区存储每个提示词的轨迹 $(o_k, r_k, \log \pi_{\theta_{beh}, k})$ 。对于未见过的提示词，冷启动机制利用其与参考集的嵌入相似度来估计初始难度。
自归一化重要性采样（SNIS）：DARE 不使用直接平均历史奖励（这会因旧策略而产生偏差），而是利用 SNIS 校正策略漂移。它根据当前策略 $\pi_\theta$ 与生成该轨迹的行为策略 $\pi_{\theta_{beh}, k}$ 之间的对数比率计算权重 $w_k$ 。难度估计值 $\hat{d}_q$ 即为加权失败率。这使得系统能够在无需每一步重新生成所有提示词轨迹的情况下，追踪当前策略的性能。
对称 Beta 采样：为了保持难度的多样性覆盖并防止遗忘简单技能，DARE 使用对称 Beta 分布 $p_{DARE}(q) \propto \text{Beta}(\hat{d}_q; \alpha, \alpha)$ 对提示词进行采样。这种采样方式偏向于中等难度（ $\hat{d}_q \approx 0.5$ ），同时保留了对简单和困难提示词的非零选择概率。

2.2 难度自适应策略优化

DARE 根据估计难度（ $\hat{d}_q$ ）将提示词划分为三个层级，并应用定制的训练策略：

简单提示词（ $\hat{d}_q < d_{easy}$ ）：目标是简洁推理。
- 计算：减少轨迹生成数量（ $G_q < G$ ）。
- 奖励塑形：对正确的轨迹应用基于长度的惩罚： $\tilde{r}_i = r_i - \lambda_{easy} w_{easy} \frac{|o_i|}{T_{max}}$ 。这鼓励更短的正确解法。
- 截断：放宽上界截断，以允许对简洁解法进行更强的正向更新。
中等难度提示词（ $d_{easy} \le \hat{d}_q \le d_{hard}$ ）：应用标准的 GRPO 更新，不进行特殊的奖励塑形，作为优化的骨干。
困难提示词（ $\hat{d}_q > d_{hard}$ ）：目标是深入探索和正确性。
- 计算：增加轨迹生成数量（ $G_q > G$ ）。
- 提示增强：利用从回放缓冲区检索到的成功历史轨迹（提示），生成额外的轨迹。
- 奖励塑形：对错误的轨迹增加长度奖励： $\tilde{r}_i = r_i + \lambda_{hard} w_{hard} \frac{|o_i|}{T_{max}}$ 。这鼓励模型投入更多推理努力而非过早放弃，同时确保正确性仍是主导信号。

3. 主要贡献

局限性的实证分析：本文提供了全面的分析，证明现有的难度估计方法在策略漂移下会失效，且仅靠数据过滤无法提高推理效率或在困难任务上的最终准确率。
与策略对齐的难度估计：提出了一种结合 SNIS 与回放缓冲区的协同演化策略，在整个训练过程中保持准确的难度估计，其表现优于静态或基于代理的估计器。
难度自适应训练策略：提出了一个新颖框架，根据难度层级动态分配计算资源并塑形奖励，明确训练模型在简单任务上保持简洁，在困难任务上进行探索。
全面验证：在多个模型规模（1.5B、3B、7B）和领域（数学、代码）上进行了广泛实验，结果显示在训练效率、最终准确率和推理效率方面均有一致的提升。

4. 实验结果

作者在包括 MATH-500、GSM8K、AIME-AMC、Minerva 和 OlympiadBench 在内的基准测试，以及编程基准（HumanEval、MBPP、LiveCodeBench）上评估了 DARE。

训练效率：与 DOTS、EDCO 和 MoPPS 等基线相比，DARE 以更少的训练步数和更短的挂钟时间实现了更高的准确率。例如，在 Qwen2.5-Math-7B 上，DARE 达到目标准确率的速度显著快于随机选择和其他难度感知方法。
最终有效性：DARE 在最终准确率上始终优于所有基线。在 Qwen2.5-Math-1.5B 上，其整体准确率比标准 GRPO 提高了 5.6%，其中 GSM8K 提升了 6.90%，AIME-AMC 提升了 4.82%。
推理效率：与仅过滤的方法不同，DARE 显著减少了简单任务的 token 使用量，同时保持或提高了困难任务的准确率。在 MATH-500 上，DARE 整体平均 token 使用量减少了 4%，其中 Level 1 和 Level 2 问题的减少最为显著，同时 Level 3–5 的准确率有所提升。
消融研究：移除任何单一组件（SNIS、动态选择、简单任务惩罚或困难任务奖励）均导致性能下降，证实了各组件的互补性。仅 SNIS 估计器就在难度估计准确性上提供了最大的单项增益。

5. 意义与主张

本文主张，DARE 代表了从简单的数据过滤向整体难度自适应方法的转变。通过将准确且与策略对齐的估计与自适应计算分配相结合，DARE 解决了当前强化学习训练中的根本性低效问题。

作者指出，他们的方法表明，有效的强化学习需要针对提示词难度同时调整数据选择和训练信号。这种方法不仅加速了训练，还产生了在推理时更高效的模型，使其能够在简单问题上“少思考”，在困难问题上“深思考”。这项工作为大语言模型中强化学习的扩展指明了有前景的方向，使训练过程更加节省资源，并使生成的模型更易于实际部署。作者谦逊地指出，虽然他们的方法提高了获得强大推理者的效率，但并未引入超出强大推理模型本身所固有的新风险。