🤖 machine learning

Finding the Time to Think: Learning Planning Budgets in Real-Time RL

本文引入了变延迟实时强化学习，其中智能体必须随着环境的进展选择思考时间，并提出通过训练一种轻量级门控策略来动态选择与状态相关的规划预算，在多种实时游戏中超越了固定和启发式基准。

原作者： Aneesh Muppidi, Firas Darwish, Dylan Cope, João F. Henriques, Jakob Nicolaus Foerster

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Aneesh Muppidi, Firas Darwish, Dylan Cope, João F. Henriques, Jakob Nicolaus Foerster

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在玩一款像《吃豆人》（Pac-Man）或《俄罗斯方块》（Tetris）这样节奏极快的电子游戏。在正常的游戏中，当你思考“嗯，我是该往左走还是往右走？”时，世界会暂停。你可以花任意长的时间来做出完美的决策。

但在**实时（real-time）**环境下，世界并不会等待。即使你在盯着屏幕思考，幽灵仍在移动，方块仍在落下，时钟也在不停滴答作响。如果你在权衡决策时耗时过久，你可能会错过行动的最佳时机；而一个快速做出的“足够好”的动作，往往比一个“太迟了”的完美动作更有效。

这篇论文探讨了一个特定的问题：你如何决定何时该深入思考，何时该直接反应？

核心理念：“思考预算”

作者引入了一个系统，让 AI 智能体必须为每一个决策选择自己的“思考预算”。

选项 A： 立即反应（花费 0 秒思考）。
选项 B： 花一点时间思考（比如 1 秒）。
选项 C： 花大量时间思考（比如 4 秒）。

问题的关键在于？当 AI 在“思考”（选项 B 或 C）时，游戏世界仍在向前推进。如果它思考了 4 秒，游戏已经前进 4 步了。AI 可能会在这 4 秒钟内错过某个关键的机会。

解决方案：“守门员”（The Gatekeeper）

研究人员构建了一个由两部分组成的团队：

规划者（大脑）： 一个强大且思考缓慢的 AI（基于 AlphaZero），只要给予足够的时间，它就能计算出最佳动作。它就像一位国际象棋大师。
守门员（管理者）： 一个微小且反应极快的 AI，它观察当前的情况并决定：“我们需要让‘规划者’思考 4 秒钟，还是仅仅靠快速的反射动作就够了？”

守门员充当了交通控制员的角色。它本身并不玩游戏，它只是告诉规划者：“嘿，这个情况很危险，请花 4 秒钟思考！”或者“这个情况很无聊，直接动手就行！”

类比：带着时钟的棋手

想象一位快棋选手。他们在整场比赛中拥有有限的棋钟时间。

如果棋局很简单，他们会在 2 秒内走棋。
如果棋局是一个复杂的陷阱，他们可能会花 2 分钟进行分析。

这篇论文中的 AI 也在做同样的事情，但它能自动学习这项技能。它学会了：

在**《吃豆人》**中，如果幽灵离得很远，可以多思考一会儿。如果幽灵就在身后，你必须立即反应。
在**《俄罗斯方块》**中，如果棋盘是空的，你不需要思考。如果棋盘是一片混乱的方块堆，你需要花额外的时间来计算最佳的匹配方式。

他们是如何测试的

他们将这个“守门员”测试在五种不同的游戏中：

《吃豆人》、《俄罗斯方块》和《贪吃蛇》： 这些是“承诺行动”（committed action）类游戏。当 AI 在思考时，一个“反射型”版本的 AI 会保持游戏运行，以免世界冻结。
《速度六角棋》（Speed Hex）和《速度围棋》（Speed Go）： 这些是“时钟”类游戏。棋盘本身不会移动，但 AI 个人的时钟会随着思考时间的增加而流逝。

结果：
带有“守门员”的 AI 打败了所有其他版本的自己。

它打败了那个总是以固定时间进行思考的版本（要么太慢，要么太快）。
它打败了使用人类设计规则（例如“在游戏中期思考更久”）的版本。
即使他们将“思考”部分放在一台电脑上，而将“游戏”部分放在另一台完全不同的电脑上，它依然有效，这证明了它在现实世界、复杂的硬件设置中也是行之有效的。

为什么这很重要

这篇论文表明，知道何时思考与知道如何思考同样重要。

通过训练一个微小的“管理者”来决定每次动作分配多少时间，AI 变得更加高效。它不再在简单的决策上浪费时间，而是将重度思考留给那些真正关键的时刻。这防止了 AI 因过度思考而陷入“瘫痪”，确保它在永不停歇的世界中依然能保持足够的反应速度以生存下来。

技术摘要：寻找思考的时间：实时强化学习中的规划预算

问题定义：变延迟实时强化学习 (Variable-Delay Real-Time RL)

标准的强化学习 (RL) 和马尔可夫决策过程 (MDP) 建立在一个假设之上，即环境会无限期地等待智能体计算动作；因此，深思熟虑（deliberation）不产生任何成本。在实时设置中，这一假设失效了：无论智能体的计算时间长短，环境都会持续推进。一个执行过晚的完美动作往往不如一个及时的次优动作。

虽然之前的研究（Ramstedt & Pal, 2019）将实时强化学习形式化为固定延迟（例如，计算时间恰好为一个时间步），但本文引入了变延迟实时强化学习框架。在该框架下，智能体不是一个静态函数，而是一个随时间运行的过程。智能体必须决定在每个决策点上如何分配思考时间。思考的成本表现为环境的进展（或棋类游戏中时钟的消耗）。这创造了一个元推理（meta-reasoning）挑战：智能体必须权衡规划动作的质量与因规划时间所导致的当前状态退化之间的关系。天真地去规划“如何进行规划”可能会导致一个悖论，即元决策本身也会产生与它试图优化的规划相同的实时成本。

方法论

作者提出了一种基于预算化选项 (budgeted options) 的半马尔可夫决策过程 (SMDP) 解决方案，将规划算法与“规划多少”的决策解耦。

架构组件：
- 反射策略 ( $\pi_{reflex}$ )： 一个快速、轻量级的策略（例如，去掉 MCTS 的 AlphaZero 模型策略头），其运行时间远低于一帧。它在规划器后台运行时，为环境提供即时动作。
- 随时行动优化计算 ( $\{c_k\}$ )： 一组由离散时长 $k$ 索引的有限计算集合。在本研究中，这些被实例化为运行 $k$ 帧的蒙特卡洛树搜索 (MCTS)。更长的运行时间 ( $c_k$ ) 会产生更高质量的动作，但耗时更长。
- 预算化选项 ( $o_k$ )： 每个选项 $o_k$ 封装了一个计算过程 $c_k$ 。一旦启动，智能体将承诺在 $c_k$ 运行期间执行 $k-1$ 个由 $\pi_{reflex}$ 抽取的动作。在第 $k$ 帧时，执行来自 $c_k$ 的优化后的动作。
- 门控策略 ( $\pi_{gate}$ )： 一个通过近端策略优化 (PPO) 训练的轻量级神经网络，充当元策略。它观察当前状态（游戏观测、规划器特征和价值估计），并选择下一个元步骤的预算 $k$ （即选项的持续时间）。
训练协议：
- 两阶段训练： 首先，针对特定环境训练基础的 AlphaZero 式规划器。随后，这些规划器被冻结。其次，在冻结的规划器之上训练门控策略。
- 元 MDP 公式化： 门控策略解决一个离散控制问题，其动作是选择预算化选项。奖励是 $k$ 帧内的累积回报，并由 $\gamma^k$ 进行折扣。
- 适配的 GAE： 由于元步骤具有可变时长 ( $k$ )，作者对广义优势估计 (GAE) 进行了适配，使每一步元步骤的折扣因子 $\gamma^k$ 能够贯穿整个优势计算过程。
环境实例化：
- 承诺动作环境 (Pac-Man, Real-Time Tetris, Snake)： 环境持续推进。智能体在规划期间执行 $k-1$ 个反射动作。规划的成本是计算期间世界状态的变化。
- 时钟环境 (Speed Hex, Speed Go)： 棋盘是静态的，但共享的时钟会随思考时间而减少。反射策略在规划窗口内发出“无操作 (no-ops)”指令。成本是剩余时间预算的减少。

核心贡献

变延迟实时强化学习框架： 它是固定延迟框架的一种泛化，其中智能体可以自主选择其深思程度，将延迟选择视为一个可学习的问题，而非系统强加的约束。
规划权衡的实证表征： 作者确立了规划质量与推理延迟随 MCTS 模拟次数同步缩放的关系。这种联合缩放特性说明了采用自适应分配而非固定预算的必要性。
基于冻结规划器的自适应门控： 一种在冻结的 AlphaZero 规划器之上，利用轻量级门控策略学习状态相关规划预算的方法。这避免了“关于规划的规划”这一悖论，因为单次门控前向传播的计算开销比 MCTS 展开要低几个数量级。
真实硬件验证： 该方法在真实的异步双 GPU 部署（一个 GPU 负责环境/反射，另一个负责 MCTS）中得到了验证，无需进行架构更改或重新训练，证明了在模拟中训练的策略能有效地迁移到分离硬件执行的场景。

结果

门控策略在五个环境中进行了评估：Pac-Man、Real-Time Tetis、Snake、Speed Hex 和 Speed Go。

性能对比基准： 自适应门控策略一致优于以下模型：
- 固定预算策略： 受限于单一 $k$ 值（例如，始终规划 1, 2, 3 或 4 帧）的智能体。
- 启发式基准： 包括“贪婪型”（始终使用最大模拟次数）和游戏引擎中常见的“中峰型 (Midpeak)”（钟形曲线分配）。
- 随机基准： 随机选择预算的表现显著较差，证实了“何时”分配计算资源与“分配多少”同样重要。
具体收益：
- Pac-Man： 比最佳固定预算提升了 10.3%。
- Real-Time Tetris： 比最佳固定预算提升了 65%。
- Snake： 提升了 10.9%。
- Speed Hex/Go： 在不同的时钟约束下，门控策略取得了比固定预算和启发式方法更高的预期得分。
行为分析： 门控策略学会了在高风险或受限状态下（如 Pac-Man 中幽灵靠近、Tetris 中棋盘密集、Snake 中可达性降低）分配更深的规划（高 $k$ ），并在安全或开放状态下快速反应（低 $k$ ）。它还展示了在不同时钟预算下无需重新训练即可泛化到 Speed Hex/Go 的能力。
硬件迁移： 在双 GPU 异步设置（H100, A100, A40）中，策略从模拟顺利迁移到真实硬件。延迟保持在预算内（H100 和 A100），且回报与模拟对应值高度吻合。

意义与主张

本文声称解决了标准强化学习与实时交互之间存在的根本失配问题，通过将深思时间形式化为一种必须动态管理的资源。其意义在于：

逃避元推理悖论： 通过在冻结的规划器上使用轻量级门控，系统避免了“关于如何规划的规划”所带来的计算开销，使该方法在实时部署中具有可行性。
状态相关的资源分配： 结果表明，单一的固定规划预算是次优的；计算的价值是高度依赖于状态的。
对异步硬件的可扩展性： “承诺动作”训练协议成功模拟了异步执行的动力学，使得在模拟中训练的策略可以在不修改的情况下，部署到分离的硬件（环境 vs. 规划器）上。

承认的局限性：

该框架假设对于承诺步骤存在完美的环境模拟器（即 MCTS 必须准确预测 $k-1$ 个反射动作）。
门控策略是在冻结的规划器上训练的；规划器与门控的联合优化是未来的研究方向。
预算集 $\mathcal{K}$ 是人工校准且离散的；连续或更丰富的计算词汇表被建议作为未来的扩展方向。