AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning

本文提出了 AReaL，一种完全异步的大规模强化学习系统，通过解耦生成与训练过程、引入系统级优化及改进的 PPO 算法，在保持甚至提升最终性能的同时，将语言推理任务的训练速度最高提升了 2.77 倍。

要点

这篇文章介绍了一个名为 AReaL 的新系统，它的核心任务是让大型人工智能模型（特别是那些擅长数学和编程的“推理模型”）学得更聪明、更快。

为了让你轻松理解，我们可以把训练一个超级 AI 想象成在一个巨大的厨房里训练一群顶级厨师。

1. 旧模式：笨重的“同步流水线”

在 AReaL 出现之前，训练 AI 就像是一个严格的流水线工厂：

• 场景：你有 100 个厨师（GPU 显卡）在同时做菜（生成答案）。
• 规则：老板规定，必须等所有厨师都做完自己的菜，并且把菜端上来检查（计算奖励）后，大家才能一起停下来，听老板（训练算法）讲下一节课，然后统一更新烹饪技巧。
• 问题：
  • 有人快，有人慢：有的菜（比如简单的数学题）厨师 1 分钟就做好了；有的菜（比如复杂的代码）厨师可能需要 10 分钟。
  • 等待浪费：在那 9 分钟里，做快菜的厨师只能干站着，看着做慢菜的厨师，什么也干不了。
  • 结果：整个厨房的忙碌程度很低，大部分时间都在“等”，效率极低。

2. 新模式：AReaL 的“异步自由流”

AReaL 系统彻底打破了这种死板的规则，它把厨房变成了24 小时不间断的“自由流”模式：

• 核心改变：“做菜”和“上课”彻底分开了。

  • 做菜组（Rollout Workers）：厨师们不再等待。只要手里有题目，他们就立刻开始做，做完一个就立刻把菜端给质检员，然后马上拿下一个新题目继续做。不管别人做得快慢，他们永远在动。
  • 上课组（Trainer Workers）：只要质检员收集到足够多（比如 100 份）的菜品，上课组就立刻开始分析这些菜，更新烹饪技巧（模型参数）。
  • 同步机制：一旦技巧更新完毕，系统会悄悄地把新菜谱发给所有厨师。厨师们不需要停下来，他们会在做下一道菜时，自然地用上最新的技巧。

• 比喻：这就像网约车平台。司机（生成数据）一直在接单跑单，不需要等所有司机都跑完一圈再统一派单；后台（训练）只要积累够一批订单数据，就立刻优化派单算法，然后实时推送给司机。大家互不等待，效率极高。

3. 遇到的挑战与“魔法”解决方案

这种“各干各的”模式虽然快，但有一个大麻烦：数据过时（Staleness）。

• 问题：当后台正在用“旧菜谱”训练时，前台厨师可能已经用“新菜谱”做出了新菜。如果混在一起训练，AI 可能会晕头转向，学乱了。
• AReaL 的魔法：
  1. 智能过滤器：系统会控制，不让“太旧”的数据进入训练池。就像只允许“今天”或“昨天”的菜谱参与讨论，太老的就不用了。
  2. 特殊的“解耦”算法：这是论文最厉害的地方。传统的训练方法要求所有数据必须来自同一个版本的模型。AReaL 发明了一种新的数学公式（Decoupled PPO），它允许把“做菜的人”和“被模仿的榜样”分开。
     • 即使厨师 A 用的是旧菜谱，厨师 B 用的是新菜谱，只要系统知道他们分别是谁，就能把他们的表现都算进去，而不会让 AI 感到困惑。这就像老师教学生时，允许学生参考不同年份的教材，只要老师知道哪本教材是哪年的，就能教得更好。

4. 成果：快得惊人

实验结果显示，AReaL 系统非常强大：

• 速度快：在同样的硬件（显卡）数量下，它的训练速度比旧系统快了 2.77 倍。这意味着以前需要 3 个月才能训练好的模型，现在 1 个月就够了。
• 效果好：不仅快，而且最终训练出来的 AI 在数学和编程考试中的成绩，比旧系统训练的还要好，或者至少一样好。
• 省资源：因为它让显卡几乎 100% 都在工作，没有“干站着”的时间，所以极大地节省了昂贵的算力成本。

总结

AReaL 就像是给 AI 训练系统装上了一个智能交通调度系统。它不再让所有车（显卡）在红绿灯前排队等待，而是让车流（数据生成）和交警指挥（模型训练）并行不悖。通过巧妙的数学方法，它解决了“信息不同步”的难题，让 AI 能够以前所未有的速度进化，同时还能保持极高的智商。

这对于未来开发更聪明、更强大的 AI 助手来说，是一个巨大的加速器。

技术摘要

AReaL：面向语言推理的大规模异步强化学习系统技术总结

1. 研究背景与问题定义

背景：
强化学习（RL）已成为提升大语言模型（LLM）推理能力（如数学解题、代码生成）的关键范式，特别是通过“思维链”（Chain-of-Thought）实现测试时扩展（Test-time Scaling）。然而，有效的 RL 训练需要海量的并行采样（Rollouts）和巨大的训练批次，这对系统效率提出了极高要求。

核心问题：
现有的大规模 LLM RL 系统（如基于 PPO 或 GRPO 的系统）大多采用同步（Synchronous）架构。在这种架构中，生成（Generation）和训练（Training）阶段严格交替进行：

1. 生成阶段：所有 Worker 必须等待当前批次中最长的生成序列完成，才能开始下一轮训练。
2. 资源浪费：由于推理模型（LRM）的输出长度差异巨大（从几百到几万个 Token），导致 GPU 在等待长序列时处于空闲状态，造成严重的算力利用率低下（GPU Underutilization）。
3. 扩展性瓶颈：同步系统难以在大规模 GPU 集群上实现线性扩展，因为生成阶段的 I/O 和显存瓶颈限制了吞吐量。

虽然已有尝试通过“重叠”生成与训练来缓解问题，但通常仍受限于批次内数据必须来自同一模型版本，且无法完全解决长序列导致的等待问题。

2. 方法论：AReaL 系统架构

AReaL (A Large-Scale Asynchronous Reinforcement Learning System) 是一个完全异步的 RL 训练系统，旨在彻底解耦生成与训练过程，同时保证训练稳定性。

2.1 系统架构设计

AReaL 将生成和训练完全分离到不同的 GPU 集群上，包含以下核心组件：

• **可中断的 Rollout Worker **(Interruptible Rollout Worker)：
  • 持续不断地生成响应，无需等待批次完成。
  • 支持动态中断：当新模型权重更新时，Worker 会中断当前的生成任务，丢弃旧的 KV Cache，加载新权重，并基于新权重继续解码未完成的序列。
  • 这种机制允许单个轨迹（Trajectory）由不同版本的模型策略生成片段组成。
• Trainer Worker：
  • 从回放缓冲区（Replay Buffer）中采样数据，一旦收集到足够的训练批次，立即进行模型更新。
  • 更新后的权重会同步给 Rollout Worker。
• Reward Service：
  • 独立运行，负责评估生成结果（如执行单元测试或数学验证），将奖励数据存入缓冲区。
• Rollout Controller：
  • 协调数据流，管理提示词（Prompts）的分配和奖励的收集。

2.2 算法创新：应对异步挑战

异步架构引入了两个主要挑战：数据陈旧性（Data Staleness）和策略版本不一致（Inconsistent Policy Versions）。AReaL 提出了相应的算法解决方案：

1. **陈旧感知的训练控制 **(Staleness-Aware Training)：

   • 引入超参数 $\eta$ 限制训练批次中数据的最旧版本步数。
   • 通过动态控制生成请求的速率，防止缓冲区中积累过多过时的数据，平衡吞吐量与数据新鲜度。

2. **解耦的 PPO 目标函数 **(Decoupled PPO Objective)：

   • 传统 PPO 假设所有数据由同一旧策略 $\pi_{old}$ 生成。在 AReaL 中，由于轨迹可能由多个策略版本拼接而成，直接应用标准 PPO 会导致训练不稳定。
   • 创新点：将行为策略（Behavior Policy, $\pi_{behav}$，即采样轨迹的实际策略）与近端策略（Proximal Policy, $\pi_{prox}$，即用于正则化的参考策略）解耦。
   • 新的目标函数形式为：
     $$J(\theta) = \mathbb{E} \left[ \sum \frac{\pi_{prox}}{\pi_{behav}} \min \left( \frac{\pi_\theta}{\pi_{prox}} \hat{A}_t, \text{clip}(\dots) \hat{A}_t \right) \right]$$
   • 该设计允许使用来自较旧策略版本的数据进行训练，只要这些数据的分布与当前的近端策略 $\pi_{prox}$ 足够接近，从而在保持训练稳定性的同时最大化利用异步数据。

2.3 系统级优化

• **动态微批次分配 **(Dynamic Micro-batching)：针对变长序列，采用无填充（Padding-free）的打包策略，动态平衡微批次间的 Token 数量，最大化显存利用率。
• 可中断生成：允许在生成过程中插入权重更新，避免长序列导致的阻塞。
• 并行奖励服务：将奖励计算（如代码执行）与生成/训练流水线重叠，减少 CPU/GPU 等待时间。

3. 关键贡献

1. 完全异步的 RL 系统架构：首次在大语言模型推理任务中实现了生成与训练的完全解耦，消除了同步等待带来的 GPU 空闲时间。
2. 算法 - 系统协同设计：提出了“解耦 PPO"目标函数，从理论上证明了在策略版本不一致的情况下（即轨迹由不同策略片段组成）仍能保持算法的正确性，解决了异步 RL 在 LLM 长序列场景下的稳定性难题。
3. 可中断生成机制：实现了在推理过程中动态加载新权重并继续解码的技术，显著提升了长序列生成的系统吞吐量。
4. 大规模扩展性验证：在高达 512 张 GPU 的集群上进行了验证，展示了优异的线性扩展能力。

4. 实验结果

作者在数学推理（AIME24, MATH 500 等）和代码生成（LiveCodeBench）任务上，使用 1.5B 到 32B 参数的模型进行了广泛评估。

• 训练速度提升：
  • 与最先进的同步系统（如 verl 框架）相比，AReaL 实现了高达 2.77 倍 的端到端训练加速。
  • 在相同 GPU 数量下，有效吞吐量（Effective Throughput）提升了 2.57 倍。
• 性能表现：
  • 在大幅缩短训练时间的同时，AReaL 的最终模型性能持平甚至优于同步系统。例如，在 1.5B 模型上，AReaL 用 14.8 小时达到了与同步系统 33.6 小时相同的 AIME24 准确率（42.2 vs 43.1，差异在误差范围内）。
  • 在 32B 模型上，训练时间从 51.1 小时缩短至 31.1 小时，准确率保持 61.0%（同步系统为 61.2%）。
• 扩展性：
  • 在 16k 和 32k 的上下文长度下，AReaL 展现出接近理想的线性扩展趋势，而同步系统在增加 GPU 数量时往往因 OOM（显存溢出）或 I/O 瓶颈导致效率下降甚至无法运行。
• 消融实验：
  • 证明了“解耦 PPO 目标”和“陈旧感知的控制”对于在异步环境下保持高性能至关重要。如果没有解耦目标，即使微小的数据陈旧性也会导致性能大幅下降。

5. 意义与影响

• 打破效率瓶颈：AReaL 解决了 LLM 强化学习中因长序列生成导致的严重资源浪费问题，为大规模 RL 训练提供了新的系统范式。
• 推动 LRM 发展：通过显著降低训练成本和时间，使得在更大规模模型和更长上下文上训练推理模型（Large Reasoning Models, LRMs）变得更加可行。
• 开源贡献：AReaL 系统已开源（GitHub: inclusionAI/AReaL），为社区提供了一个高效、可扩展的 RL 训练基础设施，有助于加速 AI 推理能力的研究进展。

总结：AReaL 通过系统架构的彻底重构（完全异步）和算法层面的创新（解耦 PPO），成功解决了大规模 LLM 强化学习中的效率与稳定性矛盾，实现了训练速度的数量级提升，同时未牺牲模型性能，是迈向更高效、更智能 AI 系统的重要一步。