🤖 machine learning

Staleness-Learning Rate Scaling Laws for Asynchronous RLHF

本文通过推导阶数为 $O(S \cdot \eta)$ 的每步梯度偏差，并建立了一个定义了基于采样延迟与累积学习器漂移的学习率两约束稳定性条件的条件崩溃时间标度律，分析了异步 GRPO 强化学习中陈旧采样（stale rollouts）的影响。

原作者： Jingwei Song, Haofeng Xu, Jie Xiao, Chengke Bao, Jingwei Shi, Pengbin Feng, Weixun Wang, Yuhang Han, Chuan Wu, Linfeng Zhang, Bill Shi

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jingwei Song, Haofeng Xu, Jie Xiao, Chengke Bao, Jingwei Shi, Pengbin Feng, Weixun Wang, Yuhang Han, Chuan Wu, Linfeng Zhang, Bill Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一群学生（AI 模型）如何解决数学问题。你有一个非常高效的系统：一组“跑步者”（Runner）学生外出尝试解决问题，并将答案带回来。与此同时，一名“教师”（Teacher）学生坐在书桌旁，阅读答案并根据所学内容更新教学计划。

在一个理想的世界里，“跑步者”们应该始终根据最新的教学计划来提供答案。但在一个高速、异步的系统中（即每个人都尽可能快地工作），“跑步者”们可能正在使用几分钟前的旧教学计划。他们带回来的答案是“陈旧的”（stale/过时的）。

这篇论文研究了当“教师”试图从这些过时答案中学习时会发生什么。研究人员发现，这种“陈旧性”不仅仅会导致一点点混乱；它在数据的陈旧程度与教师学习速度之间创造了一种特定的数学关系。

以下是使用简单类比对他们发现的详细解读：

1. 两股力量的博弈

该论文识别了两种不同的训练出错方式，具体取决于教师的学习速度和数据的陈旧程度。

“陈旧数据”问题（局部约束）：
想象教师正在批改一名学生的作文。如果学生使用的是昨天的草稿（陈旧数据），而教师试图应用一套全新的规则手册（当前策略），那么建议可能会完全偏离方向。
论文证明，如果数据太旧，教师必须降低其学习速度。具体来说，陈旧度（数据有多旧）与学习率（教师学习有多快）的乘积必须保持在某个限度之下。
- 规则： 如果数据的年龄增加一倍，你必须将学习速度减半才能保持安全。如果你不这样做，教师会被这种不匹配搞糊涂，导致训练崩溃（AI 停止学习）。
“漂移”问题（水平约束）：
现在，想象教师学习得非常快，以至于即使数据很新鲜，他们也在不断改变主意。最终，教师可能会由于改变得太快，而远离最初的起点，导致教学计划不再有意义。
论文发现，如果通过降低学习率控制住了“陈旧数据”问题，训练最终失败的原因将不是因为数据过旧，而是因为教师在一段时间内漂移得太远了。
- 规则： 在这种情况下，数据是稍微旧一点还是稍微新一点并不重要。失败是基于教师进行学习的累计总时间发生的，无论数据的陈旧程度如何。

2. “双重约束”安全规则

研究人员将这两个想法结合成一个单一的安全规则，用于设置此类 AI 系统。为了保持训练稳定，你必须同时满足两个条件：

不要相对于数据的陈旧程度学得太快。（如果数据很旧，你必须学得非常慢）。
不要在没有检查进度的情况下学习太久。（即使数据很新鲜，如果学习速度过快且持续时间过长，你也会在地图上漂移）。

论文解释了一个令人困惑的观察结果：有时，当人们测试这些系统时，他们会发现“最大安全学习速度”似乎并不会随着数据变旧而发生太大变化。论文对此的解释是：“你处于漂移区（Drift Zone）。”

如果你在漂移区，限制是由训练时长决定的，而不是由数据的陈旧程度决定的。因此，让数据变旧似乎并不会改变限制。
然而，如果你进一步推高系统负荷，你就会进入陈旧区（Stale Zone），此时限制会大幅下降。如果你将数据的年龄增加一倍，你必须立即将学习速度减半。

3. “弹道式”行走 vs. “扩散式”行走

论文还研究了 AI 在崩溃时是如何失败的。他们使用了一个走路的比喻：

弹道式行走（崩溃）： 当学习率对于数据的年龄过高时，AI 的更新都会指向同一个错误的方向。这就像一个人沿着直线走向悬崖。他们移动迅速且具有预见性，直奔灾难而去。研究人员可以在数据中看到这一点：在崩溃发生前，AI 的更新具有高度的一致性（高“余弦相似度”）。
扩散式行走（安全区）： 当学习率足够低时，AI 的更新会带有一点随机性，就像醉汉走路一样。他们左右摇晃。因为他们在摇晃，所以即使训练很长时间，他们也不会漂移得太远从而掉下悬崖。

总结

这篇论文为异步 AI 训练提供了一个数学上的“速度限制”。它告诉工程师：

如果你想使用非常旧的数据（高陈旧度）来节省时间，你必须大幅降低你的学习速度。
如果你将学习率保持在足以应对旧数据的水平，系统将会稳定运行很长时间，其限制仅取决于你训练了多久，而不是数据的年龄。
如果你忽视这一点并学得太快，AI 将会沿着一条直线向失败“漂移”，而不是安全地“摇晃”。

这有助于工程师设计更快的 AI 训练系统，而不至于因为让“跑步者”跑得太快而导致“教师”跟不上而意外破坏系统。

技术摘要：异步 RLHF 中的陈旧性–学习率缩放法则

问题陈述

高吞吐量的强化学习从人类反馈中学习（RLHF）系统越来越多地将采样生成（rollout generation）与策略优化解耦，以最大化吞吐量。在异步架构中，学习器使用由潜在陈旧策略（行为策略）生成的采样进行策略更新。虽然异步训练在标准 SGD 中已有深入研究（其中陈旧性被建模为有界延迟），但其与 GRPO 等策略梯度方法中固有的分布偏移之间的相互作用仍不为人所知。

现有的分布式 RL 系统通常依赖于专门的离策校正（如 V-trace）或保持同步以避免陈旧性。然而，现代基于 GRPO 的流水线通常依赖于裁剪后的重要性采样比（clipped importance ratios）和 KL 正则化，而非显式的离策校正。因此，流水线陈旧性（ $S$ ）与学习率（ $\eta$ ）之间的相互作用成为控制训练稳定性的主要杠杆。经验观察表明存在一种两阶段模式：稳定的改进随后是突然的退化，这表明存在结构化的失效机制，而非任意的稳定性问题。

方法论

本文为异步 GRPO 中陈旧性与学习率的相互作用开发了一个局部理论框架。

理论框架

感知行为策略的公式化： 作者在 GRPO 代理目标函数中显式地分离了学习器参数（ $\theta$ ）与采样行为策略（ $\phi$ ）。他们定义了一个代理梯度映射 $H(\theta, \phi)$ ，区分了学习器的更新方向与依赖于分布的目标的全导数。
偏差分解： 随机梯度 $g(\theta_t; B_{\phi_t})$ $g (θ_{t}; B_{ϕ_{t}})$ 被分解为三个部分：
- 在策（on-policy）代理梯度 $H_{on}(\theta_t)$ 。
- 零均值采样噪声 $\xi_t$ 。
- 陈旧性偏差项 $\delta_t = H(\theta_t, \phi_t) - H(\theta_t, \theta_t)$ 。
假设： 分析依赖于三个局部假设：
- 局部有界性： 代理梯度和更新幅度是有界的。
- 局部分布平滑性： 采样分布之间的 KL 散度随策略之间的平方距离按比例缩放。
- 行为策略平滑性： 代理梯度对行为策略变化的敏感度是有界的。

推导出的缩放法则

单步陈旧性偏差： 在所述假设下，由陈旧采样引起的偏差 $\delta_t$ 随 $O(S\eta)$ 缩放，其中 $S$ 是最大采样滞后， $\eta$ 是学习率。这导致了一个单步安全区域约束： $S\eta \lesssim C_{safe}$ 。
条件崩溃时间缩放： 本文区分了两种失效模式：
1. 局部陈旧采样条件： 如果循环内的漂移超过了批次级裁剪半径（ $R_{batch}$ ），则稳定性显式取决于 $S\eta$ 。
2. 时界级漂移（Horizon-Level Drift）： 如果满足局部条件，则当累积学习器漂移（ $T\eta$ ）超过更广泛的代理有效性半径（ $R_{crit}$ ）时发生崩溃。在此机制下，崩溃时界由 $T\eta$ 决定，且在很大程度上与 $S$ 无关。

由此产生一个双约束稳定性规则：
$\eta \ll \min\left\{ \frac{R_{batch}}{S G_{upd}}, \frac{R_{crit}}{T G_{upd}} \right\}$

核心贡献

显式的行为策略公式化： 本文通过引入显式的行为策略参数来形式化 GRPO 代理梯度，避免了将代理梯度与依赖于分布的目标的全导数混淆。
单步陈旧性偏差界限： 证明了在局部平滑条件下，陈旧性引起的偏差随陈旧性与学习率的乘积线性缩放（ $O(S\eta)$ ）。
条件崩溃时间缩放： 通过区分批次级裁剪效应（依赖于 $S$ ）和时界级漂移（依赖于 $T$ ），精细化了对训练崩溃的理解。
双约束稳定性规则： 作者提供了一个实际条件，解释了为什么在某些机制下（时界限制机制），最大稳定学习率表现出对陈旧性的弱依赖性，而在另一些机制下则成反比。

实验结果

作者使用 Llama-3.2 模型（1B 和 3B 参数）在数学推理任务上通过异步 GRPO 进行训练，验证了其理论。

陈旧性–学习率权衡： 通过对 $S \in \{8, 16, 32\}$ 和 $\eta$ 进行参数扫描的实验证实，最大稳定学习率与陈旧性成反比（ $\eta_{max} \propto 1/S$ ）。乘积 $S \cdot \eta_{max}$ 保持近似常数，验证了局部陈旧采样约束。
逃逸时间缩放： 对于发生崩溃的运行，直到崩溃为止的学习器步数（ $t_{collapse}$ ）仅取决于 $\eta$ ，而与 $S$ 无关。就权重同步计数（ $M_{collapse}$ ）而言，关系式 $M_{collapse} \cdot S \cdot \eta \approx \text{const}$ 成立。这证实了在不稳定机制下，崩溃是由累积漂移达到有效性边界驱动的，而非由陈旧性滞后本身驱动。
梯度余弦相似度（漂移机制）：
- 不稳定（弹道式）运行： 表现出持续的高梯度余弦相似度，表明陈旧性偏差 $\delta_t$ 主导了噪声，导致向有效性边界进行相干、线性的漂移。
- 稳定（扩散式）运行： 表现出近乎零的梯度余弦相似度，表明零均值采样噪声 $\xi_t$ 主导。漂移是扩散性的（ $\sim\sqrt{t}\eta$ ），累积速度过慢，无法到达有效性边界，从而允许长时界的稳定训练。

意义与主张

本文声称提供了一个局部理论框架，解释了异步 RLHF 中稳定性的结构化机制。其主要意义在于调和了单步偏差理论界限（ $O(S\eta)$ ）与观察到的学习率阈值似乎与陈旧性无关的经验现象。

作者认为，在某些情况下表现出的对陈旧性的独立性并非普遍保证，而是一个特定的机制（时界限制机制），其中累积漂移约束占主导地位。相反，在局部陈旧采样机制中，陈旧性是一个关键约束。这项工作并未提出新的离策校正方法，而是刻画了现有 GRPO 流水线保持稳定的条件，为异步 RLHF 系统的调优提供了实用的双约束规则。