技术摘要：Molt —— 一个用于智能体强化学习的可扩展 PyTorch 原生训练框架

1. 问题陈述

智能体强化学习（Agentic RL）研究的特点是不断的迭代：修改算法、估计器、流水线阶段和采样方案。在主流框架中，这些修改需要追踪跨越复杂层级的训练器、分布式后端和采样胶合代码的变化。这种“超大规模复杂度”往往被那些并不需要超大规模生产级堆栈特定专业化能力的研究人员所继承。因此，理解或修改框架的成本往往超过了表达研究假设本身的成本。

此外，智能体在线强化学习存在“隐性失效模式”。服务引擎和训练参与者在名义上评估相同的策略，但可能在分词（tokenization）、采样变换、多模态渲染、权重版本或混合专家（MoE）路由方面出现差异，且不会引发错误，从而导致偏差或被拒绝的梯度。现有的工具通常拥有上下文管理和控制流的所有权，而训练器则期望框架特定的环境，这与步长粒度的轨迹协议之间存在不匹配。

2. 方法论与系统设计

Molt 是一个精简、高性能、PyTorch 原生的框架，旨在最小化想法与可靠实验之间的距离，同时保留大型策略所需的性能。它的构建基于这样一个论点：复杂度是由于继承了超大规模工程化而产生的一种选择，而非实现强大 RL 基础设施的先决条件。

核心架构

该系统由三个组件和一个异步循环组成（图 1）：

1. 用户智能体（User Agents）： 使用纯 Python 编写。
2. 采样引擎（Rollout Engines）： 后端通过请求路由器连接的 vLLM 实例。
3. 策略参与者（Policy Actor）： 基于 NVIDIA NeMo AutoModel 的单个 FSDP2 策略参与者。
   这些组件通过实现流式池（streaming pool）和部分采样（partial rollout）的 Ray 异步队列进行通信。

设计原则

该框架遵循五个原则：

1. 可读性： 代码库必须能够被人类和 AI 编程助手（如 Claude Code）在单次阅读中理解，禁止不必要的间接性。
2. 最小化后端： Molt 仅支持一种训练后端（AutoModel）和一种推理引擎（vLLM），且均非分支（forked）版本。这确保了上游改进能立即应用，无需重新基准（rebasing）。
3. 性能对等： 精简是以不牺牲吞吐量为前提的。Molt 旨在实现与最先进的基于 Megatron 堆栈统计学上的对等。
4. 算法模块化： 组件与 RL 算法对象（智能体、采样、估计器、损失函数）一一对应，而非对应于基础设施层。
5. 细节正确性： 生成过程与训练过程之间的数值保真度是一项首要保证。系统仅在它生成的 Token 上进行训练，并针对异步使用场景进行了显式修正。

关键技术机制

• 以 Token 为核心的智能体边界： Molt 支持两种智能体形式：
  • 环境（Env）： 框架驱动循环，调用用户的 step() 函数。
  • 对话智能体（ChatAgent）： 用户通过标准的 OpenAI/Anthropic SDK 拥有循环控制权。Molt 启动一个回环对话服务器，捕获作为 Token ID 和对数概率（Log-probabilities）的流量（即 Token-In/Token-Out 或 TITO），消除了重分词（retokenization）带来的漂移。
• 流式池与部分采样： 持久化的提示词组池（prompt-group pool）保持样本处于飞行状态，将训练吞吐量与生成延迟解耦。权重更新不会丢弃正在进行的请求；相反，引擎会暂停，通过 NCCL 广播接收分片，并带着每 Token 的对数概率修正恢复请求。
• 精确 Token 传输： 提示词以 Token ID 进入，补全结果也以带有对数概率的 Token ID 返回。在整个回合（episode）过程中，文本绝不会经过分词器。
• MoE 一致性： 为了防止采样与训练之间的 MoE 路由分歧，Molt 实现了“采样路由重放（rollout routing replay）”，即引擎返回每 Token 的专家选择，随后参与者在训练期间重放它们。
• 作为函数的估计器： 优势估计器（如 REINFORCE++、GRPO、GAE）被实现为通过标志位（flags）选择的纯函数，避免了复杂的继承体系。

3. 核心贡献

本文做出了四个主要贡献：

1. 原则性的框架设计： 采用可读性优先的架构，具有单一入口点、单一智能体模块和局部化机制，其代码库规模显著小于生产级堆栈。
2. 以 Token 为核心的智能体边界： 使使用标准 OpenAI/Anthropic SDK 训练智能体成为可能，通过回环服务器捕获精确的 Token 轨迹。
3. 快速异步 PyTorch 路径： 通过持久化流式传输、直接 NCCL 权重同步、FSDP2 原生并行以及无需改变稠密模型编程模型的优化器卸载，支持多模态 MoE 训练。
4. 开源实现与匹配评估： 提供了一个开源实现，并通过严格评估证明其吞吐量与在匹配协议下的最先进 Megatron 堆栈相当，并在从 4B 稠密模型到 700B MoE 的工作负载上得到了验证。

4. 评估结果

评估测试了“精简”设计是否会牺牲吞吐量。

• 代码足迹： Molt 的完整 RL 路径约为 8.6K 行 Python 代码，相比之下，verl 约为 62K 行，slime 约为 25K 行。
• 吞吐量对等： 在针对 Qwen3-30B-A3B 多模态 MoE 模型、使用 16 个 GPU（8 个训练 + 8 个采样）的头对头基准测试中，Molt 每个优化器步长耗时 119.4 ± 2.3 秒，在统计学上与 slime（Megatron-Core + SGLang）的 109.5 ± 10.3 秒 相当。该差异处于跨运行变异范围内。
• 引擎特性： 由于引擎是组合而非分支实现的，诸如投机采样（Speculative Decoding，将生成时间缩短 5 倍）和前缀缓存（Prefix Caching，0.05s 重预填充）等优化可以通过配置标志直接获得。
• 可扩展性： 同一个异步循环已成功在 700B MoE 模型上端到端运行，专家并行度为 256，证明了规模扩展仅是配置变更，而非设计迁移。

5. 意义与主张

论文声称，Molt 证明了 复杂度并非实现强大 RL 基础设施的代价。通过优先考虑人类和 AI 的可读性，Molt 提供了一个“可黑客化”的研究界面，其中算法编辑（例如添加新的估计器）仅需修改单个函数和标志位，其效果能立即在日志中体现。

其重要性在于，Molt 以比 Megatron 堆栈小得多的代码库，实现了统计学上相当的吞吐量。这使得研究人员可以追踪从智能体调用到策略损失的整个样本过程，而无需重建隐藏的注册表或后端特定的控制流。该框架是为 AI 编程助手参与其中的研究时代而设计的，确保整个算法流足够小，以便能够作为一个整体被阅读和推理。

论文明确指出，其目的不在于提出新的 RL 目标，而是专注于保持这些目标所假设的量值（对齐的 Token、行为对数概率、一致的路由）在单一数据路径中的显式性与正确性。未来的工作涉及利用 NVIDIA GB300 硬件将模型规模进一步推向 3 万亿参数，并依赖于端到端的收敛度量而非重新设计。