🤖 AI

Scalable Option Learning in High-Throughput Environments

原作者： Mikael Henaff, Scott Fujimoto, Michael Matthews, Michael Rabbat

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Mikael Henaff, Scott Fujimoto, Michael Matthews, Michael Rabbat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人在一个充满怪物、陷阱和宝藏的巨大而复杂的迷宫中导航。这是**强化学习（RL）**中的一个经典问题，智能体通过试错进行学习。

问题在于迷宫太过庞大。如果你告诉机器人“先迈左脚，再迈右脚，然后转头”，它会感到不知所措。这就像试图通过决定每一页的每一个像素来写一部小说；机器人会陷入局部循环（比如原地打转），永远无法掌握全局。

**分层强化学习（HRL）**的核心思想是将任务分解为不同层级来解决这个问题。机器人不再直接控制双脚，而是拥有一个“管理者”发出“去战斗”的指令，而一个“执行者”则负责具体规划如何移动双脚来执行该指令。

然而，直到目前为止，这些“管理者 - 执行者”系统既缓慢又笨拙。它们无法处理学习真正复杂任务所需的海量数据。它们就像一家试图为整个城市烤面包的小面包房；根本无法实现规模化。

解决方案：可扩展选项学习（SOL）

本文的作者构建了一个名为**可扩展选项学习（Scalable Option Learning, SOL）**的新系统。你可以将 SOL 想象成将那个小面包房升级为一个巨大的、自动化的工业工厂。

以下是他们如何利用简单的类比来实现这一点的：

1. “通用大脑”（架构）

旧的分层系统就像是为管理者配备一个独立的大脑，为每一个执行者都配备一个独立的大脑。当你有 100 个执行者时，你就需要 101 个大脑，而且它们必须不断地相互通信。这既缓慢又混乱。

SOL 的秘诀：他们构建了一个单一的大脑，既可以充当管理者，也可以充当任何一个执行者。

**类比：**想象一把瑞士军刀。它是一件工具，但取决于你翻转哪个“标志”（一个微小的开关），它可以变成螺丝刀、刀具或开瓶器。
在 SOL 中，神经网络（大脑）是相同的，但一个微小的“索引”会告诉它：“现在，你是正在决定下一步行动的管理者”，或者“现在，你是正在移动双脚的‘战斗’执行者”。这使得计算机能够同时处理数千种场景，极大地加快了速度。

2. “灵活切换”（自适应长度）

在旧系统中，执行者可能会被指示“战斗整整 10 步，然后停止”。但如果战斗在 3 步内就结束了怎么办？或者如果需要 50 步呢？僵化会导致问题。

*SOL 的秘诀：*管理者不仅决定做什么*，还决定做多久*。

**类比：**想象一位建筑工头。工头不再说“砌这面墙 10 分钟”，而是看着墙说“直到墙砌好为止，或者最多 5 分钟，以先到者为准”。
SOL 学会在短促爆发（如检查角落）和长时段（如探索整个房间）之间进行选择，并根据情况自动调整。

3. “即时反馈”循环（自举）

通常，在这些系统中，执行者会感到困惑，因为它直到一天结束时管理者给出最终评分，才知道自己做得好不好。这就像学生参加考试，却要到学期末才能看到成绩。

**SOL 的秘诀：**他们创造了一种方法，让执行者在完成特定任务后立即获得“练习成绩”，即使整个回合尚未结束。

**类比：**这就像电子游戏，你在击败敌人后立即获得“连击分数”，而不是等到击败最终 Boss 后才看到自己是否表现出色。这有助于执行者更快地学习。

结果：速度与智能

作者在NetHack上测试了 SOL，这是一款以难度著称的复古电子游戏，本质上是一个巨大的、随机生成的迷宫。它极其复杂，即使是顶尖的 AI 模型也对其感到棘手。

速度：SOL 比之前的分层方法快35 到 580 倍。它能够以与“扁平”（非分层）智能体相当的速度处理数据，而这对于此类系统来说以前是不可能的。
规模：他们在300 亿帧的经验上训练了 SOL。为了说明这一点，大多数之前的分层智能体仅在数百万帧上进行训练。这之间的区别就像阅读一本书的几页与阅读整个国会图书馆的藏书。
**性能：**SOL 的表现显著优于“扁平”智能体（试图一次性学习所有内容的机器人）以及其他分层方法。
- 在一项名为ZombieHorde的测试中，智能体必须与僵尸战斗并撤退治疗，SOL 学会了“战斗直到受伤，然后逃跑治疗”的策略。而扁平智能体则一直战斗直到死亡。
- 在TreasureDash中，智能体必须在抓取金币和前往出口之间做出选择，SOL 学会了在收集金币和适时离开之间取得完美平衡。

为什么这很重要（根据论文）

论文声称，长期以来，分层强化学习一直停留在“小数据”时代。这是一个有前景的想法，但它无法处理现代 AI 所需的巨大规模。

SOL 证明了分层学习可以实现规模化。通过将智能的“单一大脑”架构与灵活的时间安排和更好的反馈循环相结合，他们解锁了在数十亿个示例上训练复杂、多层智能体的能力。

**简而言之：**他们将一个试图管理团队、缓慢而笨拙的系统，转变成了一个高速、自动化的工厂，能够通过阅读数十亿页的经验来学习复杂策略，同时保持“管理者”和“执行者”角色的区分和高效。

技术摘要：高吞吐量环境中的可扩展选项学习

问题陈述

分层强化学习（HRL）通过将问题分解为由高级控制器管理的子任务（选项），为解决跨越长时程的决策任务提供了一个有前景的框架。然而，现有的分层方法在很大程度上未能实现大规模训练带来的收益，而大规模训练正是推动扁平强化学习（Flat RL）和其他机器学习领域进步的关键。虽然扁平智能体和视觉模型 routinely 在数十亿样本上进行训练，但分层智能体通常受限于数百万样本，这是由于存在显著的计算瓶颈。

扩展 HRL 的主要挑战在于分层执行的并行化困难。在一批轨迹片段中，不同的时间步往往对应不同的策略（控制器或各种选项），每个策略具有不同的奖励函数和终止条件。这种异质性阻碍了高吞吐量强化学习库（例如 IMPALA、Sample Factory）的直接应用，因为这些库依赖于统一的批量处理。因此，当前的分层方法通常按顺序处理单条轨迹，限制了其吞吐量，并使其无法利用在其他人工智能领域观察到的“缩放定律”。

方法论：可扩展选项学习（Scalable Option Learning, SOL）

作者提出了可扩展选项学习（SOL），这是一种旨在同时优化性能和计算吞吐量的分层策略梯度算法。SOL 通过特定的算法和系统级创新解决了扩展瓶颈。

1. 算法贡献

结合价值自举的联合优化：SOL 联合优化控制器和所有选项的演员 - 评论家（actor-critic）目标。一项关键创新是在选项切换时对选项价值函数进行自举（bootstrapping）。算法不再等待选项自然终止来计算回报，而是利用 $K$ 步回报加上切换点（ $s_{t+K+1}$ ）处的自举价值估计，来近似状态 $s_t$ 处选项 $\omega$ 的价值。这使得选项策略即使在由混合行为策略生成的轨迹上进行训练时，也能优化独立的内在奖励（ $R_\omega$ ）。
自适应选项长度：控制器不仅选择下一个选项 $\omega$ ，还从指数间隔的值集合（ $L = \{2^i\}$ ）中输出执行长度 $l$ 。这是通过与选项选择头一起训练的 softmax 头来实现的。该机制允许智能体根据当前观察动态调整子任务的时间抽象，避免了“选项退化”问题，即控制器退化为仅选择长度为 1 的选项。
降低非平稳性：目标函数的设计使得特定选项的优势函数和价值函数仅依赖于其自身的奖励以及系统诱导的状态分布，而不依赖于该选项终止后其他选项或控制器的具体策略。这限制了相互依赖性，并减少了训练过程中的非平稳性。

2. 系统级贡献

为了实现高吞吐量，SOL 重构了训练流程，以在 GPU 上实现大规模并行化：

统一神经网络：单个神经网络表示所有策略（控制器和所有选项）。该网络接收观测值和一个指示活跃策略的 one-hot 向量作为输入。它输出环境动作、选项和选项长度的分布。这允许对所有策略同时进行批量前向传播。
环境包装器（Environment Wrapper）：执行器侧的包装器跟踪活跃策略索引，根据终止条件处理策略切换，并计算特定于选项的奖励。当调用控制器时，它会复制观测值，以确保所选选项接收到正确的状态输入。
并行化回报计算：学习器工作进程使用张量化操作同时计算所有策略的优势函数和价值目标。通过沿时间维度向后迭代并利用策略索引来路由奖励，系统可以在单次遍历中计算混合策略批次的回报。应用 V-trace 校正以处理来自异步执行器的离线策略（off-policy）数据。

关键结果

作者在三个环境中评估了 SOL：MiniHack、NetHack 和 Mujoco（PointMaze）。

吞吐量：在 NetHack 学习环境（NLE）上，SOL 实现了 43,000 步/秒 的吞吐量，与现有的分层方法（HIRO、Option-Critic、MOC、Hierarchical RLLib）相比，速度提升了 35 倍至 580 倍。它保留了扁平 APPO 智能体 86% 的吞吐量。
NetHack 性能：在 300 亿帧 的训练数据上，SOL 显著优于扁平智能体（APPO）和其他分层基线。
- 在 NetHackScore 环境中，SOL 稳步提升并超越了扁平智能体。
- 当与 Motif（一种基于大语言模型的内在奖励合成器）结合时，SOL+Motif 在 NetHackScore 上创造了新的最先进水平。
- 消融实验证实，分层结构和特定的选项奖励都是必要的；仅在任务奖励上训练的分层智能体（SOL+HiPPO）未能超越扁平基线。
MiniHack 信用分配：在 ZombieHorde（需要权衡治疗与战斗）和 TreasureDash（需要平衡收集金币与逃脱）中，扁平智能体以及带有选项奖励的扁平智能体均未能跳出局部最优。SOL 成功学会了协调不同的选项（例如，用于治疗的“健康”选项和用于战斗的“分数”选项），以实现接近最优的性能。
连续控制：在一个定制的 G-maze（PointMaze）上，由于具有欺骗性的奖励景观，该迷宫旨在将智能体困在局部最优中，SOL 是唯一取得进展的方法（实现了约 70% 的成功率），而扁平智能体和其他分层方法的成功率仍为零。
自动奖励发现：论文表明 SOL 与 DIAYN 等自动奖励合成方法兼容。SOL+DIAYN 在没有硬编码选项奖励的情况下学习到了有效的策略，尽管其收敛速度略慢于使用手工设计奖励的版本。

意义与主张

该论文声称提出了首个能够扩展到数十亿样本的在线分层强化学习算法。其意义在于弥合了分层的理论优势与现代大规模训练的实际需求之间的差距。

可扩展性：这项工作证明，分层强化学习可以在计算效率上达到与扁平强化学习在吞吐量方面竞争的水平，从而使得在比 HRL 以前可能的大得多的数据集（数量级更大）上训练智能体成为可能。
分层 + 奖励的必要性：实验表明，对于困难的信用分配问题，仅靠分层是不够的；必须将其与有用的内在奖励（无论是手工设计的还是学习到的）相结合，才能释放性能提升。
通用适用性：该方法被证明在离散、开放式环境（NetHack）和连续控制任务（Mujoco）中均有效，表明其作为长时程决策通用框架的潜力。

作者指出，虽然该系统针对样本丰富环境（如视频游戏和模拟器）中的计算效率进行了优化，但目前并未针对数据稀缺环境中的样本效率进行优化。未来的工作建议探索学习选项奖励的通用方法，并可能将这些可扩展设计集成到基于模型的强化学习框架中。