🤖 AI

RollArt: Disaggregated Multi-Task Agentic RL Training at Scale

RollArt 是一个解耦的多任务智能体强化学习系统，它通过将流水线阶段映射到专用硬件、解耦轨迹级交互以消除同步瓶颈，并将采样与训练通过异步权重更新进行重叠，从而优化了训练吞吐量和可扩展性，在大型集群上实现了高达 2.05 倍的训练加速。

原作者： Wei Gao, Yuheng Zhao, Tianyuan Wu, Shaopan Xiong, Weixun Wang, Dakai An, Lunxi Cao, Dilxat Muhtar, Zichen Liu, Haizhou Zhao, Ju Huang, Siran Yang, Yongbin Li, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wei Gao, Yuheng Zhao, Tianyuan Wu, Shaopan Xiong, Weixun Wang, Dakai An, Lunxi Cao, Dilxat Muhtar, Zichen Liu, Haizhou Zhao, Ju Huang, Siran Yang, Yongbin Li, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng, Wei Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个聪明但非常特殊的机器人（一个人工智能）如何解决复杂的问题，比如编写软件代码或浏览网站。为了做到这一点，你不仅仅是给它一本教科书；而是让它在真实的模拟环境中进行练习。这个过程被称为智能体强化学习（Agentic Reinforcement Learning）。

这篇论文介绍了一个名为 ROLLART 的新系统，它充当了这个训练过程中超级高效的“交通指挥官”。以下是它的工作原理，我们使用简单的类比来解释。

问题所在：“一刀切”导致的交通拥堵

想象一个工厂，一个团队的工人必须承担三项完全不同的工作：

思考： 解决难题（需要快速的大脑）。
阅读： 快速阅读长篇书籍（需要敏锐的双眼）。
建造： 组装物理零件（需要强壮的双手）。

在旧有的系统中，所有人都在使用同一种类型的工人。如果你把一个“快脑型”工人分配给“阅读”任务，他们会很慢；如果你把一个“强手型”工人分配给“数学”任务，他们也会很慢。此外，如果一名工人因为修理一个坏掉的玩具而卡住了（即“掉队者”），整个工厂都必须停下来等他，才能进入下一个步骤。这造成了巨大的延误。

解决方案：ROLLART 的专业化流水线

ROLLART 通过将工厂划分为专门的区域，并让不同的团队按自己的速度工作来解决这个问题。

1. 将工人与正确的工具相匹配（硬件亲和性）

该系统意识到，某些任务需要计算能力（如解决数学问题），而另一些任务则需要内存速度（如阅读长文本）。

旧方式： 所有人都在使用同一种昂贵且重型的计算机。
ROLLART 的方式： 它将“数学”任务发送到超快速计算机，将“阅读”任务发送到拥有巨大、快速内存的计算机。这就像是将厨师送到配备了高性能炉灶的厨房，将图书管理员送到拥有庞大且快速索引卡的图书馆。他们能更快地完成工作，因为他们使用了最合适的工具。

2. 让工人按自己的节奏移动（轨迹级异步性）

在旧工厂里，如果一名工人完成任务用了 10 分钟，而其他工人只用了 1 分钟，那么整条生产线都会停顿 10 分钟。

ROLLART 的方式： 它将每一次练习过程（称为“轨迹”）视为一个独立的项目。如果一个机器人卡在一个难题上，其他机器人会继续处理自己的难题。系统不会等待那个慢下的机器人，而是让快速的机器人继续前进。一旦慢下的机器人终于完成任务，它会被评分，随后快速的机器人就会进入新的任务。

3. 为简单任务雇佣“零工”（无服务器卸载）

在机器人完成任务后，需要有人对其进行评分。有时这只是一个简单的检查（例如“门开了吗？”），有时则是另一台 AI 进行的复杂评审。

旧方式： 你保留了一支昂贵的高性能计算机团队，让他们在等待为这些简单任务评分时处于闲置状态。即使在没有工作时，维持这些计算机“待命”也是非常昂贵的。
ROLLART 的方式： 它使用“零工”（无服务器云计算）。你只在实际发生评分时才付费。如果没有人在评分，你就无需支付费用。这释放了昂贵的计算机，让它们能够专注于更困难的工作。

4. 边学边教（有界滞后训练）

通常情况下，老师（训练计算机）和学生（练习中的机器人）是轮流进行的。学生进行练习，然后停止，等待老师更新其知识，然后再次开始。

ROLLART 的方式： 老师和学生同时工作。学生在利用“昨天版本的”老师知识进行练习的同时，老师正在忙于更新“今天的版本”。系统会确保学生不会落后得太远（使用“滞后界限”），但他们永远不需要停下来等待。这就像教练在运动员冲刺时向其喊出新的指令，而不是在教练每次有了新建议时都让运动员回到起跑线重新开始。

结果

该论文在大规模环境下测试了这个系统（使用了阿里巴巴的 3,000 多台计算机）。

速度： 它使训练过程比以往的方法快了 1.3 到 2 倍。
效率： 它停止了在闲置任务上浪费昂贵的计算能力。
稳定性： 它证明了即使出现意外情况（如计算机崩溃或任务耗时过长），系统仍能持续运行而不崩溃。

简而言之，ROLLART 是一个聪明的管理者，它终结了 AI 训练中的“等待游戏”。它将正确的任务分配给正确的计算机，让快速的工人即使在他人滞后时也能继续前进，并利用廉价的、按需提供的帮助来处理琐事，从而实现了一种更快、更便宜的先进 AI 训练方式。

技术摘要：ROLLART

问题陈述

智能体强化学习（Agentic Reinforcement Learning, RL）通过与外部环境的多轮交互来训练大语言模型（LLM）。这种范式引入了一种复杂的、异构的工作负载，其中混合了四个不同的阶段：生成（rollout）（LLM 生成）、环境执行、奖励评估以及训练。

现有系统未能解决这些阶段中固有的根本性资源异构问题：

生成异构性： LLM 生成在计算密集型的预填充（prefill）（在长上下文、多轮任务中占主导）与带宽密集型的解码（decoding）（在短轮次、长思维链任务中占主导）之间交替。现有系统通常将生成任务分配给单一类型的 GPU，忽略了计算优化型 GPU（如 H800）擅长预填充，而带宽优化型 GPU（如 H20）擅长解码。
环境长尾延迟（Stragglers）： 环境是具有状态的、受 CPU 驱动的进程，由于容器初始化（Docker 拉取）、网络争用和可变的交互轮次，容易出现重尾延迟。在批处理执行中，缓慢的环境会阻塞整个流水线。
奖励利用率不足： 奖励计算通常是无状态且爆发式的。将其与生成任务共同部署在专用 GPU 上会导致严重的利用率低下（低至 7.4%），而将其与生成任务耦合则会产生资源竞争。
同步开销： 传统的同步训练迫使生成工作负载在等待跨集群权重同步时处于闲置状态，从而产生了浪费昂贵 GPU 资源的“依赖气泡（dependency bubbles）”。

方法论：ROLLART

ROLLART 是一个专为解构化基础设施上的多任务智能体 RL 设计的分布式系统。它将每个流水线阶段映射到最适合其特定特征的硬件上，并通过解耦各阶段来消除同步瓶颈。

核心设计需求

该系统由四个经验得出的需求驱动：

R1（硬件亲和性映射）： 将特定任务或子阶段绑定到最匹配的硬件。预填充重的任务路由至计算优化型 GPU；解码重的任务路由至带宽优化型 GPU；环境运行在 CPU 集群上；无状态奖励运行在 Serverless 基础设施上。
R2（轨迹级异步）： 在单个轨迹（trajectory）的粒度上解耦生成、环境交互和奖励评分。这确保了缓慢或失败的环境不会阻塞其他轨迹的进展。
R3（Serverless 卸载）： 将无状态奖励计算卸载到 Serverless 平台（如 Function Compute），以消除专门的热备 GPU 并实现弹性扩展。
R4（有界陈旧性训练）： 在独立的 GPU 集群上并发执行训练和生成。一种受陈旧性约束（staleness-bounded）的协议允许训练在稍旧的策略上进行，同时继续进行生成，从而通过重叠权重同步过程来隐藏延迟。

系统架构

ROLLART 由三个平面组成：

资源平面（Resource Plane）： 资源管理器跟踪异构硬件池（H800、H20、CPU、Serverless），并根据用户通过 Python 装饰器声明的硬件亲和性将工作负载绑定到资源。
数据平面（Data Plane）： 使用 Worker 和 Cluster 抽象实现流水线。它封装了执行逻辑（例如使用 vLLM 进行生成，使用 Megatron 进行训练），并处理将无状态任务卸载到 Serverless 端点的工作。
控制平面（Control Plane）： 无需用户干预即可编排工作流。关键组件包括：
- LLMProxy： 按轨迹分发生成请求，实现客户端与推理工作负载的解耦。
- EnvManager： 独立管理单个环境的生命周期，允许并行推进。
- SampleBuffer： 缓冲已评分的轨迹以供训练使用。
- 异步训练协议： 一个六步同步过程（获取批次 → 挂起 → 更新 → 恢复 → 重算 KV → 训练），它将训练与生成重叠。它包含一个陈旧性界限 ( $\alpha$ )，用于中止过于陈旧的轨迹，以确保训练稳定性。

优化措施

冗余环境生成： 启动比严格需要更多的环境，以掩盖故障和长尾延迟；一旦收集到目标批次，正在进行的轨迹将被终止。
预填充-解码（PD）解构： 通过将同一请求的预填充和解码阶段路由到不同类型的硬件（计算型 vs 带宽优化型）来进一步细化 R1。
异步权重传输： 使用基于 Mooncake 的存储库异步推送权重。推理工作负载按需拉取权重，将跨集群传输延迟隐藏在持续进行的生成过程中。

核心贡献

面向智能体 RL 的解构化基础设施： ROLLART 是首个在生产规模下共同解决预填充/解码差异、长尾环境延迟、无状态奖励利用率不足以及跨集群带宽波动问题的系统。
声明式编程模型： 为用户提供统一接口，通过装饰器声明硬件亲和性并卸载无状态任务，从而抽象掉复杂的异构资源管理。
轨迹级解耦： 引入了一种设计，使单个轨迹能够独立地通过生成、环境交互和奖励阶段，消除了批次级的同步障碍。
生产级规模验证： 成功部署在拥有超过 3,000 个 GPU 的阿里巴巴集群上，用于持续一周训练数百亿参数的混合专家（MoE）模型，用于 Qoder 产品。

结果

吞吐量提升： 与强化的同步基准线（Sync+）相比，ROLLART 实现了 2.65–4.58× 的更高吞吐量。
训练时间缩减： 与各种基准线相比，ROLLART 减少了训练时间：
- 比强化的同步基准线（Sync+）快 2.05×。
- 比 One-off 基准线快 1.35×。
- 比 AReaL 快 1.31×。
资源效率： 将奖励卸载到 Serverless 基础设施使奖励 GPU 利用率从 6% 提升至 88%，并将每步生成时间减半。
可扩展性： 在 Qwen3-14B 上展示了卓越的扩展效率，随着集群规模从 64 个增加到 128 个 GPU，其吞吐量比基准线高出 1.33–2.08×。
陈旧性权衡： 研究发现，设置异步界限 $\alpha=1$ 能有效平衡训练速度与模型收敛质量。

意义

本文声称 ROLLART 有效解决了限制智能体 RL 扩展能力的“资源异构性问题”。通过摒弃单体式或粗粒度解耦的架构，ROLLART 证明了细粒度的、具备硬件亲和性的解构对于最大化多任务智能体 RL 吞吐量至关重要。该系统在 3,000+ GPU 集群上维持高吞吐量和容错能力的能力，验证了其在生产环境中的稳定性，为在异构基础设施上训练大规模智能体模型提供了蓝图。