🤖 AI

When to Plan: Learning to Select Between Reactive Control and Deliberative Planning

本文介绍了一种强化学习方法，用于训练一种元推理策略，该策略通过使用反应式策略不确定性评分来预测何时需要规划，从而在快速反应控制与较慢的审慎规划之间动态分配计算资源，以此在优化导航任务性能的同时，适应反应式策略的改进。

原作者： Adam Labiosa, Josiah P. Hanna

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Adam Labiosa, Josiah P. Hanna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解开一个谜题。有时，你只需扫一眼碎片，就能瞬间把它们拼凑在一起，因为你已经见过这种模式成千上万次了。那是你大脑的“快车道”。但在其他时候，谜题变得很奇怪，或者碎片缺失，或者图案倒过来了。在那些时刻，你的快车道撞上了墙，你必须停下来，深入思考，甚至可能在采取行动前先画一张地图。那就是“慢车道”。

这篇论文存在于人工智能的世界中，具体来说是一个叫做**元推理（meta-reasoning）**的领域。把元推理想象成大脑的管理者。它不负责实际的工作；相反，它决定工作将如何进行。研究人员一直提出的核心问题是：我们如何教会一个机器人或计算机程序，知道何时使用其快速、本能的反射，以及何时放慢速度进行艰难、缓慢的思考？我们之所以关心这一点，是因为如果一个机器人总是思考缓慢，它会太迟钝而无法接住球或躲避汽车。但如果它总是行动迅速，它可能会撞上那些它并不理解的东西。目标是构建一个能够准确知道何时切换档位的智能体。

这篇论文的作者 Adam Labiosa 和 Josiah P. Hanna 决定教给 AI 智能体这项技能。他们创建了一个“元智能体”（meta-agent），充当计算机大脑的交通警察。这个智能体在其工具箱中有两个主要工具：反应策略（Reactive Policy）和规划器（Planner）。

反应策略就像是一种反射。它是一个超快速的神经网络，观察情况并立即说：“做这个！”因为它不需要停下来思考，所以速度极快。然而，它有一个盲点：它只知道如何处理以前见过的场景。如果你把它放在一个全新的、奇怪的房间里，它可能会陷入恐慌并做出糟糕的举动。

另一方面，规划器则像是一位谨慎的建筑师。它需要时间来模拟不同的路径，向前展望，并计算出完美的动作序列。它在面对新情况或棘手情况时要可靠得多，但它很慢。使用规划器会消耗“时间”，就像在回答问题前花费额外的几分钟去思考一样。

这篇论文的主要发现是一种教导元智能体如何在两者之间进行选择的巧妙方法。元智能体并不是靠猜测，而是观察一个特定的信号：不确定性（uncertainty）。反应策略是由几个协同工作的神经网络组成的团队。如果所有的网络对于该做什么达成一致，不确定性就很低，元智能体就会说：“前进吧，使用快速反射！”但如果这些网络开始互相争论，不确定性就会升高。这告诉元智能体：“喔，这看起来很奇怪。快速反射可能会搞砸。让我们停下来，使用慢速规划器。”

研究人员在各种类似视频游戏的场景中测试了这个想法，从在网格中推动箱子到引导机械臂穿过障碍物。他们发现，这种聪明的自适应智能体比那些被迫始终快速或始终缓慢的智能体更能有效地达成目标。事实上，在一些棘手的场景中，他们的智能体比“始终规划”的机器人快了多达 2.5 倍，并且比“始终反应”的机器人成功率更高。

其中一个最酷的发现是，这个系统具有自我改进的能力。研究人员设定了一个场景，让“快速反射”智能体通过向“慢速规划器”学习，随着时间的推移变得更好。随着反射智能体学到的知识越来越多且变得越来越自信，元智能体注意到了不确定性信号的下降。因此，元智能体开始更加信任反射，最终转向几乎完全由快速的反应式控制。这就像一个学生，起初每做一道数学题都要向老师寻求帮助，但随着他们变得越来越聪明，他们意识到自己可以独立解决大部分问题，于是就不再寻求帮助了。

论文还探讨了不同因素如何改变智能体的行为。他们发现，如果“思考的成本”（进行规划所需的时间）上升，智能体会自然而然地变得更加“懒惰”，更多地依赖其反射。他们还发现，如果环境变得非常混乱和嘈é，智能体会停止使用长而复杂的计划，因为那些计划很容易被噪声干扰，转而使用较短的计划或快速的反射。

简而言之，这篇论文表明，通过赋予 AI 一种衡量自身困惑（不确定性）的简单方法，我们可以教会它在快速反射与深思熟虑的规划之间达到完美的平衡。它不仅仅适用于某一种特定的游戏；这种方法似乎能适应不同类型的挑战，证明了哪怕是一点点自我意识，也能让人工智能智能体变得更聪明、更高效。

技术摘要：何时进行规划：学习在反应式控制与审慎式规划之间进行选择

问题陈述

人工智能代理经常面临反应式控制（快速、无模型策略，直接将状态映射到动作）与审慎式规划（较慢、基于模型的决策时规划，能产生更高质量的动作但会产生计算延迟）之间的权衡。虽然反应式策略在训练分布内效率很高，但在分布外（OOD）状态下的泛化能力通常较差。相反，规划器在更广泛的状态空间中具有鲁棒性，但引入的时间延迟可能会降低时间敏感型任务的性能。

目前的系统通常在测试时致力于一种固定的策略（始终反应式或始终规划）。本文解决了元推理（meta-reasoning）问题：如何学习一种自适应策略，动态地在快速、受分布约束的反应式策略与缓慢、可靠的规划器之间进行选择，以在考虑时间成本的情况下最大化任务回报。核心挑战在于确定反应式策略何时可能失效（需要规划）以及何时“足够好”（允许立即执行）。

方法论

1. 问题形式化

作者在元马尔可夫决策过程（Meta-MDP）中，利用选项框架（options framework, Sutton et al., 1999）对问题进行了形式化：

元状态 ( $\tilde{S}$ ): 代理的内部状态，区别于世界环境状态。
选项 ( $O$ ): 一组选择，包括反应式选项 ( $\pi_r$ ) 和多个具有不同步长 $k$ 的规划选项 ( $\pi_k$ )。
成本模型: 目标是最小化到达目标的时间。
- 反应式选项: 不产生规划成本 ( $c_p=0$ ) 并执行一步 ( $c_a=-1$ )。
- 规划选项: 产生的成本与搜索深度成正比 ( $c_p(k) = -\alpha k$ )，外加计划步骤的执行成本。
- 奖励: $\tilde{r} = c_p(k) + k \cdot c_a$ 。

2. 元策略架构

元策略 ( $\pi_\Omega$ ) 通过强化学习 (PPO) 进行训练，根据内部观测向量 $\tilde{s}_t$ 选择选项。至关重要的是，元观测并不包含原始环境状态，以避免面临反应式策略所遇到的分布偏移问题。相反，它依赖于：

不确定性得分 ( $\tilde{u}_t$ ): 源自代表反应式策略的 $M$ $M$ 个神经网络组成的集成。
- 对于连续动作：集成均值的方差。
- 对于离散动作：平均分类分布的熵。
- 高不确定性表示规划可能更有益的 OOD 状态。
距离目标的距离 ( $\tilde{d}_t$ ): 一个指示进度的任务特征。
前一元动作 ( $\tilde{a}_{t-1}$ ): 上一次决策的上下文。
历史记录: 最近 $n$ 个观测值的序列，用于追踪不确定性和进度的趋势。

3. 执行循环

在每个元步骤中：

反应式策略生成一个动作和一个不确定性得分。
元策略构建观测值 $\tilde{s}_t$ 并选择一个选项（反应式或特定的规划步长）。
如果选择反应式，则执行一个动作并进行一步。
如果选择规划，则计算一个步长为 $k$ 的计划（使用带有完美世界模型的 A* 规划器）并进行 $k$ 步开环执行。
循环在选项终止时重复。

4. 训练策略

反应式策略: 通过行为克隆（behavior cloning）在由规划器生成的分布内轨迹上进行预训练。
元策略: 通过 PPO 进行训练，以最大化折扣回报（最小化时间成本）。
联合训练（可选）: 在某些实验中，反应式策略通过在元策略训练期间对规划器展开的轨迹进行行为克隆来进行微调，从而使系统能够随着反应式策略的改进而进行调整。

核心贡献

基于强化学习的元推理用于计算分配: 本文引入了一种方法，通过学习一个元策略来仲裁快速且可能不可靠的反应式策略与缓慢且可靠的规划器之间的关系。不同于以往研究关注内部计算或重复动作，本方法将两者之间的选择视为跨越整个任务回合的序列决策问题。
环境自适应策略: 作者证明了学习到的元策略能够根据环境特征（包括规划延迟 $\alpha$ 、反应式策略的能力以及环境随机性）成功平衡规划与反应。
以不确定性为条件的自适应: 研究表明，以反应式不确定性为条件可以使元策略追踪反应式策略的改进。随着反应式策略的学习及其不确定性的降低，元策略会自然地转向完全的反应式控制，从而在不牺牲性能的前提下优化速度。

实验结果

该方法在五个运动规划和导航环境（Box Push, DoorKey, Fetch, Maze, Navigation）中进行了评估，这些环境具有不同的状态空间（离散/连续）和任务结构。

性能对比基准: 自适应元策略在总回合回报（时间成本）方面始终优于固定计算量的基准模型（始终反应式、始终短程规划、始终中程规划、始终长程规划）。
- Box Push: 通过避免在错误无法挽回的状态下进行反应式控制，元智能体实现了比基准模型近 2 倍的提升。
- Fetch: 实现了 2.5 倍的提升，既利用反应式控制处理具有泛化性的部分任务，又通过规划处理复杂的 7 自由度机械臂操作。
消融实验:
- 不确定性与历史记录: 移除不确定性得分或观测历史会导致性能显著下降（例如在 Box Push 中性能下降 4.5 倍），证实了它们是有效分配计算资源最关键的组成部分。
- 距离与前一动作: 虽然有所帮助，但在大多数领域中，其移除带来的影响小于不确定性和历史记录。
敏感性分析:
- 规划成本: 随着规划成本 ( $\alpha$ ) 的增加，元策略向反应式控制转移。
- 随机性: 在多噪声环境中，元策略减少了对长程计划（容易累积误差）的依赖，但保持了反应式与短/中程规划相结合的混合策略。
- 分布内覆盖率: 随着分布内任务比例的增加，元策略正确地转向了完全反应式控制。
联合训练: 在反应式策略随时间改进的设置中，元策略成功检测到了降低的不确定性，并收敛到排他的反应式控制，从而实现了效率最大化。

意义与主张

本文声称为人工智能代理提供了一种实用的自适应计算机制。其意义在于：

使元推理操作化: 超越了人类双过程理论（系统 1 与系统 2）的描述性模型，为 AI 代理提供了一种可训练的机制，用于分配认知资源。
高效且不牺牲性能: 证明了智能体可以通过动态地在快速启发式方法与缓慢规划之间切换，而不是承诺于单一的次优策略，从而实现接近最优的性能。
可扩展性: 利用源自反应式策略自身的确定性信号，使得系统能够在不需要元策略直接理解原始环境状态的情况下，泛化到 OOD 状态。

作者指出了局限性，特别是假设规划器拥有完美的模型，以及使用了手工设计的特征进行元观测。他们建议未来的工作应结合带有不确定性的学习世界模型，并探索用于高维输入的更具表达力的观测表示。