🤖 AI

How to Allocate, How to Learn? Dynamic Rollout Allocation and Advantage Modulation for Policy Optimization

本文提出了名为 DynaMO 的理论驱动框架，通过基于伯努利方差的序列级动态 rollout 分配和基于梯度的 Token 级优势调制，有效解决了大语言模型强化学习中的资源分配不均及策略优化不稳定问题，从而在数学推理基准上显著提升了性能。

原作者： Yangyi Fang, Jiaye Lin, Xiaoliang Fu, Cong Qin, Haolin Shi, Chaowen Hu, Lu Pan, Ke Zeng, Xunliang Cai

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Yangyi Fang, Jiaye Lin, Xiaoliang Fu, Cong Qin, Haolin Shi, Chaowen Hu, Lu Pan, Ke Zeng, Xunliang Cai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 DynaMO 的新方法，旨在让大型语言模型（LLM）在解决数学推理问题时变得更聪明、更稳定。

想象一下，你正在训练一个天才学生（AI 模型）参加数学奥林匹克竞赛。目前的训练方法（就像传统的教练）存在两个主要问题，而 DynaMO 就是为了解决这两个问题而设计的“超级教练”。

问题一：资源分配不均（“大锅饭”式的训练）

现状：
现在的训练方法就像给每个学生发同样数量的练习题。

对于太简单的题，学生早就做对了，再练也是浪费时间。
对于太难的题，学生完全不会，做再多也是瞎猜，学不到东西。
只有那些难度适中（学生有点会，但经常做错）的题，才是提升的关键。
目前的“大锅饭”做法，把宝贵的时间浪费在了简单和过难的题目上。

DynaMO 的解决方案：动态分配“练习量”
DynaMO 像一个精明的教练，它会观察学生的表现：

如果学生在某类题目上忽对忽错（方差大），说明这里最有“学习潜力”。教练就会加大这类题目的练习量。
如果学生已经稳操胜券或者完全没戏，教练就会减少这类题目的练习。
比喻： 就像给植物浇水。不需要给已经长满水的植物浇水，也不需要给枯死的植物浇水，而是把水精准地浇给那些“渴得刚刚好、喝了就能长高”的植物。

问题二：学习动力失衡（“太自信”和“太激进”的副作用）

现状：
在训练过程中，模型对每个答案都有一个“自信度”。

太自信的正确答案： 当模型非常确定某个答案是正确的（比如 99% 把握），传统的算法会觉得“既然你都这么确定了，那就不需要再改进了”，导致学习信号变弱，模型学不到更深层的东西。
太激进的错误修正： 当模型非常不确定或者犯了大错时，算法可能会给它一个巨大的修正信号，试图一下子改过来。但这就像用力过猛，容易把模型“教坏”，导致训练过程不稳定，甚至前功尽弃。

DynaMO 的解决方案：智能调节“学习力度”
DynaMO 引入了两个机制来平衡这种状态：

给“自信者”加油（梯度补偿）： 即使模型很自信，如果它做对了，DynaMO 也会额外奖励它，告诉它：“你做得很好，但我们要让你更完美，所以再加强一点学习信号。”这防止了模型因为太自信而停止进步。
给“激进者”刹车（更新稳定）： 当模型因为巨大的错误修正而变得“情绪激动”（熵值剧烈变化）时，DynaMO 会踩刹车，把修正力度降下来，防止模型“走火入魔”。

比喻： 就像开车。
- 对于老司机（高自信），教练会鼓励他：“你开得稳，但我们要挑战更完美的路线，所以稍微加点油门（补偿）。”
- 对于新手（高不确定/大错误），教练会提醒：“别急，刚才那个急转弯太猛了，容易翻车，我们慢点开，稳住方向（稳定）。”

总结：DynaMO 是怎么工作的？

DynaMO 就像一位既懂战略又懂战术的超级教练：

战略层面（序列级）： 它不再平均分配时间，而是把 80% 的精力花在那些“最有挑战性、最能提分”的题目上。
战术层面（Token 级）： 它在每一个具体的解题步骤中，精准控制学习的力度。既不让自信的学生“躺平”，也不让犯错的学生“崩溃”。

结果如何？

论文通过在多个数学竞赛数据集（如 AIME、AMC 等）上的测试证明，使用 DynaMO 训练的模型，解题准确率更高，训练过程更平稳。它不仅在 15 亿参数的小模型上有效，在 70 亿甚至 140 亿参数的大模型上效果更明显。

一句话总结：
DynaMO 让 AI 学习数学时，不再“平均用力”，而是“好钢用在刀刃上”；不再“盲目自信”或“鲁莽纠错”，而是“张弛有度，稳扎稳打”。

这是一篇关于大语言模型（LLM）强化学习（RLVR）优化的技术论文总结。论文提出了名为 DynaMO 的框架，旨在解决当前可验证奖励强化学习（RLVR）中存在的资源分配低效和策略优化动力学不稳定两大核心问题。

以下是该论文的详细技术总结：

1. 研究背景与核心问题 (Problem)

尽管基于可验证奖励的强化学习（RLVR）在提升 LLM 推理能力方面取得了显著成效（如 OpenAI o1, DeepSeek-R1），但现有方法（如 GRPO）面临两个关键挑战：

资源分配不均 (Resource Allocation Inefficiency)：
- 现有方法通常对所有训练样本采用均匀的 Rollout 分配（即每个问题生成相同数量的回答）。
- 问题： 忽略了不同问题间梯度信息量的异质性。高方差问题（即模型处于“似懂非懂”状态，成功与失败概率接近 0.5 的问题）包含更丰富的学习信号，但均匀分配导致计算资源浪费在过于简单或过于困难（无法学习）的问题上。
策略优化动力学不稳定 (Policy Optimization Dynamics)：
- 梯度衰减： Softmax 策略结构导致高置信度的正确动作（High-confidence correct actions）产生的梯度幅值天然较小，导致学习信号不足。
- 更新过大： 过度大的梯度更新可能导致训练不稳定。
- 现有方案局限： 现有的截断（Clipping）或重加权方法缺乏统一的理论支撑，且往往无法同时解决梯度衰减和更新过大这两个矛盾问题。

2. 方法论 (Methodology: DynaMO)

DynaMO 是一个**双管齐下（Dual-pronged）的优化框架，分别在序列级（Sequence Level）和Token 级（Token Level）**进行优化。

A. 序列级：动态 Rollout 分配 (Dynamic Rollout Allocation)

理论基础： 将 Rollout 分配问题建模为梯度方差最小化问题。
核心发现： 证明了均匀分配是次优的。根据拉格朗日乘数法推导，最优分配应与问题的梯度标准差 $\sigma_i$ 成正比。
代理指标 (Proxy)： 由于直接计算梯度方差成本高，作者提出使用 Bernoulli 方差 $P_i = p(1-p)$ $P_{i} = p (1 - p)$ 作为梯度信息量的轻量级代理指标。其中 $p$ $p$ 是历史统计中的正确率。
- 当 $p \approx 0.5$ 时，方差最大，代表问题处于“学习区”，应分配更多资源。
- 当 $p \approx 0$ 或 $1$ 时，方差小，代表问题太易或太难，应减少资源。
实现算法： 采用水位分配算法 (Water-Level Allocation)。根据历史成功统计计算每个问题的优先级，在满足最小/最大 Rollout 数量约束的前提下，将总预算按比例分配给高方差问题。

B. Token 级：梯度感知优势调制 (Gradient-Aware Advantage Modulation)

基于理论分析建立的梯度 - 熵关系（Gradient-Entropy Relationship）：

理论推导： 证明了策略更新幅度的上界由策略熵（Entropy）决定。高置信度动作（低熵）导致梯度幅值衰减。
机制设计： 提出了一种集成补偿与稳定机制的优势调制公式 $A_{final} = A \cdot \beta_{comp} \cdot \beta_{stab}$ $A_{f ina l} = A \cdot β_{co m p} \cdot β_{s t ab}$ 。
1. 梯度补偿 (Gradient Compensation, $\beta_{comp}$ )： 针对高置信度的正确动作（优势 $A>0$ 且熵 $H$ 低），引入补偿因子，随熵降低而增大，以增强学习信号，解决梯度衰减问题。
2. 更新幅度稳定 (Update Magnitude Stabilization, $\beta_{stab}$ )： 利用熵的变化量 ( $\Delta H$ ) 作为不稳定性指标。如果某个 Token 的更新导致熵剧烈变化（暗示梯度过大），则通过 Sigmoid 函数衰减其优势值，防止训练震荡。

3. 主要贡献 (Key Contributions)

理论证明与分配策略： 从第一性原理证明了均匀分配的次优性，并推导出了基于方差最小化的动态 Rollout 分配策略，提出了 Bernoulli 方差作为可计算的高效代理。
梯度 - 熵关系与调制机制： 建立了梯度幅值与策略熵之间的理论联系，设计了“补偿 + 稳定”的双重机制，既增强了高置信度正确动作的学习信号，又抑制了过大的更新幅度。
广泛的实证验证： 在 6 个数学推理基准（AIME, AMC, MATH500 等）和 3 种不同规模的 LLM（1.5B, 7B, 14B）上进行了实验，结果一致优于强基线。

4. 实验结果 (Results)

性能提升： 在 Qwen2.5-Math-7B 模型上，DynaMO 在 AIME24 上的 Pass@1 从基线 GRPO 的 28.8% 提升至 34.4%，在 Olympiad 基准上也有显著提升。在 14B 模型上，随着模型规模扩大，DynaMO 的优势进一步扩大。
消融实验： 移除动态分配（DRA）、梯度补偿（GC）或更新稳定（UMS）中的任何组件都会导致性能下降，证明了各组件的独立贡献及协同效应。
训练动力学分析：
- 梯度范数： DynaMO 保持了平滑的梯度范数，而基线方法（GRPO）出现了剧烈的梯度尖峰。
- 策略熵： DynaMO 的熵演化更加平滑，避免了训练过程中的剧烈震荡。
效率： 额外的计算开销（方差估计、水位分配、Token 调制）极小，训练步长时间与基线相当。

5. 意义与影响 (Significance)

理论深度： 该工作为 RLVR 中的资源分配和策略更新提供了坚实的理论基础（方差最小化和梯度 - 熵关系），超越了以往依赖启发式调整（如简单的 Clipping）的方法。
通用性与可扩展性： 方法仅修改算法层面的分配和优势计算，不依赖特定模型架构，具有广泛的迁移潜力。实验表明该方法在更大规模模型（14B+）上效果更佳，解决了大模型训练中优化不稳定的痛点。
资源效率： 通过动态分配，将有限的计算预算集中在“最有价值”的学习样本上，显著提升了样本效率（Sample Efficiency）。

总结： DynaMO 通过“动态分配资源”和“智能调制梯度”两个核心创新，有效解决了 RLVR 训练中的资源浪费和训练不稳定问题，为大语言模型在复杂推理任务上的强化学习优化提供了一套高效、稳定的解决方案。