🤖 machine learning

Towards Scalable Multi-Task Reinforcement Learning with Large Decision Models

本文介绍了 LDM-v0，这是一种在大规模、多任务 Transformer 策略上进行离线训练的大型模型，该模型通过在来自数千个环境的多样化轨迹上进行训练，证明了单一统一模型可以达到专门化策略在从机器人技术到网络安全等不同领域的性能水平。

原作者： Thibaut Kulak

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Thibaut Kulak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人学会一切：玩电子游戏、驾驶汽车、管理仓库，甚至控制机械臂。传统做法是，你必须为每一项工作聘请不同的专家教练。游戏教练对驾驶一窍不通，而仓库管理员也不知道该如何玩《超级马力欧》。这既缓慢又昂贵，而且每项任务都需要大量的定制化调整。

这篇论文介绍了一种名为 LDM-v0 的新方法，试图通过训练一个**单一的“超级教练”**来解决这个问题，使其能够同时学习完成所有这些不同的工作。

以下是他们实现这一目标的拆解，使用了简单的类比：

1. 问题所在：太多不同的“语言”

强化学习（RL）就像是通过让学生尝试并给予分数（奖励）来教导学生。问题在于，每个环境（如电子游戏或机器人模拟器）所使用的“语言”都不同。

一个环境可能使用数字来描述机器人的手臂。
另一个环境可能使用图像。
还有一个可能使用文本。
关于什么是“好动作”的规则在每个环境中也完全不同。

试图同时在所有这些环境下训练一个模型，就像是试图教一个学生在学习杂耍的同时，还要同时学习说法语、日语和摩斯电码。

2. 解决方案：“通用翻译机”（LDM-v0）

研究人员构建了一个庞大的模型，称为 LDM-v0（大型决策模型）。可以将这个模型看作是一个通用翻译机，它将所有这些不同的“语言”转换为计算机可以理解的单一通用格式。

输入： 他们不是向模型输入原始数据，而是将一切转化为“标记”（Tokens，类似于句子中的单词）。无论是图像、数字还是机器人的位置，都会被转化为标准化的标记。
大脑： 他们使用了一种特定的 AI 架构（基于类似于聊天机器人的“Llama”），这种架构非常擅长记忆长篇故事。在这种情况下，“故事”就是机器人所看到的、所做的以及所获得的得分的历史记录。

3. 他们是如何训练的：“影子模仿”法

你不能只是把模型扔进一个拥有 1,000 个不同游戏的房间里，然后指望它能自行搞定。它需要一位老师。但由于并没有一个人类能完美掌握所有这些游戏，研究人员使用了一个聪明的技巧，叫做自动化参考策略监督。

想象一下，你想学习下棋、踢足球和玩扑克。与其雇佣人类教你，不如雇佣 1,000 个不同的专家机器人。

雇佣专家： 他们训练了数千个专门的 AI 智能体（使用 PPO 或 DQN 等标准算法）来精通特定的环境。
记录大师： 他们记录了这些专家机器人做出的“完美”动作。
影子游戏： 然后，他们将这些录像喂给 LDM-v0。模型的任务并不是去“思考”或“探索”，而仅仅是模仿这些专家机器人。它观察游戏的历史，并预测：“专家下一步会做什么？”

通过这种方式，LDM-v0 学会了在不被明确告知每个环境规则的情况下，模仿不同环境中的最佳策略。

4. 结果：一个模型统治所有？

团队在约 1,000 个不同的环境中测试了这个单一模型，涵盖了：

机器人技术： 控制机械臂和无人机。
驾驶： 在高速公路上模拟驾驶汽车。
商业： 管理库存和股票交易。
游戏： 玩经典街机游戏和《超级马力欧》。

重大胜利：
这个单一的 LDM-v0 模型在约 1,000 个环境中的表现，几乎与那些专门的“专家”机器人一样出色。换句话说，一个通用模型可以胜任 1,000 个不同专业模型的任务。

他们还发现，增加模型的规模（赋予它更多的“脑力”）通常会使其变得更强，直到达到某个临界点。

5. 这意味着什么（以及不意味着什么）

它证明了： 在一个巨大的混合任务集合上训练一个庞大的 AI 模型是可行的，并且可以在所有任务上都表现出色。这表明这些不同的任务之间存在着模型可以学习到的隐藏模式。
它并未声称： 这篇论文并没有说这个模型明天就能驾驶你的汽车或管理你的实际股票投资组合。所有的测试都是在模拟环境（电子游戏和数字孪生）中进行的。
局限性： 该模型非常擅长处理它曾经见过的（或非常类似的）任务。作者承认，他们尚未完全测试该模型是否能处理一个它从未见过的全新类型的任务。它是一个模仿大师，而非真正的发明大师。

总结类比

可以将之前的 AI 模型视为专门的学徒：一个只能做椅子的木匠，或者一个只能修理水槽的水管工。
LDM-v0 则像是一个超级学徒，它看过成千上万关于木匠、水管工、电工和厨师的视频。它虽然还没有亲手建造过房子或烹饪过食物，但如果你展示给它一个新情况，它能立刻回想起：“噢，专家水管工会这样做，”然后正确地执行。

论文表明，这种“超级学徒”的方法效果惊人地好，为未来能够通过单次大规模训练就能学习多种技能的 AI 系统铺平了道路。

技术摘要：迈向大规模决策模型的可扩展多任务强化学习

问题陈述

强化学习（RL）已在游戏、机器人和控制等特定领域取得了显著成功。然而，将 RL 应用于现实世界仍面临挑战，因为这需要大量的环境交互、精细的奖励工程、特定领域的架构以及大量的超参数调优。虽然离线 RL 和离线到在线（offline-to-online）方法缓解了在线交互的成本，但为新环境选择并适配合适的算法仍然非常困难。

与这些挑战并行的是，大规模序列模型改变了自然语言处理和计算机视觉领域。在强化学习领域，类似于决策 Transformer（Decision Transformer）的序列建模方法已经证明，策略可以表示为轨迹上的自回归模型。这引发了一个关键问题：能否将多领域的离线 RL 轨迹整合到一个单一的可扩展 Transformer 策略中，同时在许多领域内保持强大的任务性能？ 主要障碍在于多领域 RL 生态系统是碎片化的、异构的，且难以统一。

方法论

作者介绍了 LDM-v0（Large Decision Model v0），这是一个统一的多任务、多模态 Transformer 策略，是在来自数千个异构环境的轨迹上进行离线训练的。该方法由三个核心部分组成：

1. 自动化参考策略监督

为了在没有手动奖励工程的情况下，跨多样化领域生成高质量的训练数据，作者将数据集构建视为一个 AutoRL 问题：

候选选择： 定义了一个候选算法和配置池（来自 Stable-Baselines3 和 SB3-Contrib，包括 A2C、PPO、SAC、DQN 等）。
排序： 对于每个环境库，在五个环境的子集上训练兼容的候选配置。通过基于单侧 Welch's t 检验的最终性能进行成对比较来对配置进行排序。
数据生成： 将排名靠前的配置训练 300 万次转换（transitions）。记录轨迹，并回放最终训练好的策略以生成参考动作标注。
过滤： 移除低质量的运行结果（即那些没有统计学显著性能提升，或低于最佳策略性能 95% 的运行结果）。
结果： 获得了一个包含约 93 亿次转换、来自约 3,000 个不同环境的数据集，并使用参考策略动作而非探索性动作进行标注。

2. 统一环境基础设施

为了处理 RL 库的碎片化问题（不同的 Python 版本、依赖关系和模拟器），作者开发了一个内部编排框架：

环境被封装在隔离的 Docker 容器中。
提供一个与现代 Gymnasium 接口兼容的统一交互 API。
该流水线集成了 146 个环境库，涵盖了约 15,000 个独立环境。

3. 模型架构与训练

架构： LDM-v0 是一个基于 Llama 架构 从头开始训练的仅解码器（decoder-only）Transformer。
输入处理： 模型接收交互历史（过去的观测、动作、奖励、终止信号）和当前观测。
- 标记化（Tokenization）： 连续输入通过 $\mu$ -law 编码并离散化为 1024 个分箱（bins）。离散输入使用查找表。图像被缩放至 64x64 并通过卷积编码器进行编码。
- 嵌入（Embedding）： 观测、动作、奖励和终止信号被对齐并堆叠成转换级元标记（transition-level meta-tokens）。这种紧凑的表示法相比于逐维度标记化（如 Gato）减少了序列长度，从而在固定的上下文预算内允许更长的历史记录。
训练目标： 模型通过在离散动作分箱上的交叉熵损失进行监督式下一动作预测进行训练。它学习在给定轨迹历史 $(o_i, a_i, r_i, d_i)$ 的条件下预测参考动作 $a_t$ 。
规模： 主模型（LDM-v0）拥有 3.08 亿个参数，包含 12 层，上下文长度为 2048 次转换。它在两个节点、16 块 NVIDIA H200 GPU 上训练了六天。

核心贡献

LDM-v0： 一个大规模、多模态的 Transformer 策略，其训练数据集跨越了 146 个库和约 3,000 个环境。
可扩展基础设施： 一个鲁棒的流水线，用于在高度异构的 RL 生态系统中自动化生成参考策略和环境编排。
紧凑的转换级建模： 一种将观测、动作、奖励和终止信号打包进单个元标记的标记化策略，实现了高效的长程序列建模。
实证验证： 证明了单一的共享参数化可以在不同领域实现具有竞争力的性能，而无需特定任务的微调。

结果

作者在训练环境（分布内）中评估了 LDM-v0，并将其性能与独立训练的特定任务参考策略进行了比较。

性能阈值： LDM-v0 在 超过 1,600 个环境中达到了参考策略性能的 >80%，并在大约 1,000 个环境中达到了与参考策略相当的性能。
领域覆盖： 在以下领域观察到了强劲性能：
- 机器人与控制（例如 gymnasium_robotics, panda-gym）。
- 自动驾驶（highway-env）。
- 金融交易（gym_trading_env）和库存优化。
- 网络安全（cymnasium）。
- 类游戏环境（Atari 风格、procgen、Super Mario Bros）。
缩放法则（Scaling Laws）： 对模型规模从 32M 到 736M 参数进行的实验表明，从 32M 到 308M 存在显著的性能提升。增益在 308M 到 736M 之间趋于平缓，这表明虽然更大的容量有所帮助，但 308M 的模型已经捕捉到了显著的统计规律。

意义与主张

本文声称证明了利用单一 Transformer 策略在异构强化学习环境中进行大规模离线预训练的可行性。

统一表示： 结果表明，尽管在观测模态、动作空间、奖励尺度和时间跨度方面存在巨大的异构性，大型序列模型仍能利用不同环境子集之间共享的统计规律。
自动化： 这项工作强调了自动化、统一的流水线在克服当前 RL 生态系统碎片化方面的潜力，从而减少了对专家知识和特定任务设计的依赖。
未来方向： 作者将 LDM-v0 视为迈向可扩展、预训练强化学习系统的一步。他们明确指出，其主要目标并非研究分布外（out-of-distribution）泛化，而是调查单一策略是否能在规模化水平上共同建模多样化的 RL 行为。

作者对泛化能力保持谦逊，承认评估主要是在训练分布内的环境中进行的。他们指出，理解可迁移的决策策略以及提高对未知环境的泛化能力（通过上下文适配或微调）是未来工作的重要课题。