🤖 AI

The Surprising Difficulty of Search in Model-Based Reinforcement Learning

本文挑战了模型精度是模型强化学习中主要障碍的传统观点，转而证明通过集成价值函数来缓解高估偏差才是实现有效搜索并取得最先进性能的关键。

原作者： Wei-Di Chang, Mikael Henaff, Brandon Amos, Gregory Dudek, Scott Fujimoto

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Wei-Di Chang, Mikael Henaff, Brandon Amos, Gregory Dudek, Scott Fujimoto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《基于模型的强化学习中搜索的惊人难度》的解释，将其拆解为简单概念并辅以日常类比。

核心思想：为何“未雨绸缪”有时会适得其反

想象你正在教一个机器人走路。你有两种主要方法：

试错法（无模型）： 机器人只是尝试走路，摔倒，从摔倒中学习，然后再次尝试。这很慢，但很安全。
模拟与规划（有模型）： 你给机器人一个“造梦机”（世界模型）。机器人闭上眼睛，在脑海中模拟成千上万种走路方式，选出最好的一种，然后执行。这被称为搜索。

旧有的信念：
长期以来，科学家们认为“造梦机”方法失败的唯一原因是梦境不够准确。他们认为：“如果我们只是让机器人的想象力变得更完美，它就会成为天才规划师。”

论文的惊人发现：
这篇论文说：“且慢。”
作者发现，即使你给机器人一个完美的想象力（完美的世界模型），仅仅添加“搜索”（提前规划）实际上会让机器人的表现比单纯通过试错学习更差。

这就像给一位棋手一个能显示未来的完美水晶球，却告诉他：“不要相信你的直觉；试着计算接下来 100 步的所有可能走法。”棋手可能会因为可能性的数量过于庞大而感到困惑，以至于忘记了如何下棋。

他们发现的三个主要问题

1. “大海捞针”问题

概念： 当你试图规划得太远时，可能的路径数量会呈爆炸式增长。
类比： 想象你在一座巨大的森林（搜索空间）中，试图寻找一个隐藏的宝藏（完美路径）。

如果森林很小（短期规划），你可以轻松找到宝藏。
如果森林巨大（长期规划），即使你有一张完美的地图，随机猜测路径也就像试图在沙滩上找到一粒特定的沙子。你几乎肯定会选错路径，不是因为你的地图不好，而是因为概率对你不利。
发现： 论文从数学上证明，在长期规划视野下，即使拥有完美模型，随机搜索也几乎 100% 会失败。

2. “过度自信的乐观主义者”问题

概念： 这是论文的核心发现。当机器人使用搜索来选择动作时，它开始选择那些它从未真正练习过的动作。
类比： 想象一个学生用一本特定的教科书（训练数据）备考。

场景 A： 老师问那本教科书里的问题。学生表现很好。
场景 B： 老师使用“搜索”方法，从另一本书中挑选最困难、最不寻常的问题。学生试图用教科书知识来回答这些问题。
错误： 因为学生从未见过这些奇怪的问题，他们胡乱猜测。但由于他们在猜测，有时会碰巧猜对。学生的大脑（价值函数）开始想：“哇，我是个天才！我什么都能回答！”
结果： 学生变得过度自信。他们认为自己比实际更优秀。当他们面对真正的考试时，就会崩溃，因为他们的自信是基于幸运的猜测，而非真正的技能。
发现： 论文表明，添加搜索会造成“分布偏移”。机器人尝试了它未受训过的事情，而其内部记分牌（价值函数）对它撒谎，说那些疯狂的举动很棒。这种过度自信破坏了性能。

3. 准确性并非答案

概念： 你可能会想：“如果机器人过度自信，我们就让模型更准确。”
发现： 作者测试了这一点。他们在一个已经非常准确的方法（MR.Q）上添加了搜索。尽管模型是准确的，但由于过度自信问题，性能下降了。相反，另一种方法（TD-MPC2）的模型准确性稍低，但更好地处理了搜索。
教训： 无论你的地图有多完美，如果你的指南针（价值函数）因为你在看未曾造访的地方而对你撒谎，你就会迷路。

解决方案：“悲观”机器人

作者构建了一种名为 MRS.Q 的新算法来解决这个问题。他们是如何修复“过度自信的乐观主义者”的？

修复方法： 与其信任机器人大脑的平均意见，不如让它相信最坏的情况。

类比：
想象一个由 10 位专家（价值函数集成）组成的委员会，试图预测一个新动作的效果。

旧方法： 他们取 10 位专家的平均值。如果 9 位说“很棒！”而 1 位说“糟糕透顶”，平均值就是“相当不错”。机器人变得过度自信。
MRS.Q 方法： 机器人看着所有 10 位专家说：“好吧，你们中有一位认为这很糟糕。我要听你的。”它取所有专家的最小值（最低分）。

为什么这有效：
通过始终假设新尝试的动作会产生最坏的可能结果，机器人停止了过度自信。它变得“悲观”。只有当所有人（甚至是最怀疑的专家）都同意它是安全的时，它才会尝试新动作。这防止了机器人被自己的幸运猜测所迷惑。

结果

当他们测试这种“悲观”方法时：

它的表现优于现有的最佳方法（如 TD-MPC2）。
它的表现优于没有搜索的原始方法。
它在 50 多种不同的复杂任务（如行走、跑步和平衡）中都有效。

一句话总结

这篇论文证明，在 AI 规划中，仅仅拥有完美的模型是不够的；你还必须教导 AI 在尝试新事物时对自己的预测保持谦逊和怀疑，否则它会高估自己的能力并失败。

技术摘要：基于模型的强化学习中搜索的意外难度

问题陈述

基于模型的强化学习（MBRL）传统上被视为一种具有前景的范式，用于实现样本高效的决策，其依赖于学习到的动力学模型来模拟未来轨迹并进行前瞻规划。该领域普遍假设，MBRL 性能的主要障碍是模型精度以及长视界下的误差累积。因此，大量研究集中于改进动力学模型和不确定性估计。

然而，本文挑战了“更好的模型自动带来更好的规划”这一假设。作者调查了搜索（特别是模型预测控制，MPC）作为学习策略的即插即用替代方案的有效性。他们假设，MBRL 中搜索的困难不仅源于模型缺陷，更源于搜索与价值学习交互方式中的根本性问题，具体涉及分布偏移和高估偏差。

方法论

理论与实证调查

作者首先确立，即使拥有完美模型，搜索也可能失败。利用“吸收态 N 链”马尔可夫决策过程（MDP），他们证明了在均匀随机搜索下，随着规划视界增加，找到高价值轨迹的概率呈指数级衰减，使得在大型动作空间中进行穷举搜索变得不可行。

为了将搜索效果与模型质量隔离开来，作者比较了两种架构相似的算法：

MR.Q：一种最先进的方法，纯粹利用基于模型的目标进行表征学习，不使用搜索。
TD-MPC2：一种领先的基于搜索的 MBRL 方法，使用潜在世界模型进行 MPC。

实验表明，将 MPC 生硬地添加到 MR.Q 中会降低性能，尽管 MR.Q 学习到的动力学模型精度与（或优于）TD-MPC2 相当。反之，从 TD-MPC2 中移除 MPC 也会改变其性能特征。这种不对称性证实，仅凭模型精度并不能决定搜索的成功。

根本原因分析：高估偏差

作者确定高估偏差是主要瓶颈。在标准 MBRL 设置中：

价值函数是使用来自学习策略网络（ $\pi$ ）的轨迹展开（rollouts）进行训练的。
在执行过程中，搜索（MPC）基于价值函数选择动作（ $\pi_{MPC}$ ）。
这造成了分布偏移：价值函数在动作（ $\pi_{MPC}$ ）上进行查询，而这些动作与其训练时的分布（ $\pi$ ）不同。
这种不匹配导致价值函数高估了搜索所选动作的回报，特别是对于分布外（OOD）动作，从而降低了整体性能。

proposed 解决方案：MRS.Q

基于这些见解，作者提出了MRS.Q（用于搜索和 Q 学习的基于模型的表征）。MRS.Q 修改了 MR.Q，通过直接解决高估偏差而非仅仅提高模型精度，来实现有效的搜索。关键修改包括：

基于搜索的动作选择：MRS.Q 使用模型预测路径积分（MPPI）控制进行动作选择，视界较短（3 步），类似于 TD-MPC2。
集成上的激进最小化：为了缓解高估偏差，MRS.Q 采用包含10 个价值函数的集成。关键在于，它在以下两个阶段均取整个集成中的最小值：
- 价值目标计算（贝尔曼更新）。
- MPC 期间的轨迹评估（选择最佳动作序列）。
  这与 TD-MPC2 形成对比，后者随机采样一对价值函数进行更新，并在 MPC 评估中使用平均值。
超参数调整：
- 移除探索噪声：由于 MPC 本身会诱导动作变化，因此移除了加性高斯探索噪声。
- 单纯形嵌入（SEM）：应用于状态编码器和动力学模型输出，以稳定多步轨迹展开。
- 增加终端损失权重：以提高 episode 终止预测的准确性，这对价值估计至关重要。

主要贡献

挑战“更好模型”的教条：本文证明，即使拥有高度准确或完美的动力学模型，搜索也可能失败。搜索的有效性更多取决于搜索与价值学习之间的交互，而非仅凭模型保真度。
识别分布偏移为瓶颈：作者表明，当使用搜索收集的数据来训练在非搜索数据上训练的价值函数时，由此产生的分布偏移会导致严重的高估偏差。
MRS.Q 算法：他们引入了 MRS.Q，通过使用带有激进最小化的价值函数集成，将搜索整合到表征学习框架中。这种方法有效地缓解了高估偏差。
最先进性能：与无模型和基于模型的基线（包括 TD-MPC2 及其近期扩展 TD-M(PC)2、BMPC、BOOM）相比，MRS.Q 在多个基准测试中实现了更优越的性能。

结果

作者在三个基准领域（Gym、DeepMind Control Suite (DMC) 和 HumanoidBench）的 50 多个任务上评估了 MRS.Q。

性能：MRS.Q 在四个基准子集中的三个（Gym、HumanoidBench-No Hand、HumanoidBench-Hand）上优于所有基线，并在 DMC 上保持竞争力。
与 TD-MPC2 的比较：尽管使用相同的搜索过程（MPPI），MRS.Q 显著优于 TD-MPC2，特别是在高维任务（例如带手部特征的 HumanoidBench）和 Gym 环境中。
消融研究：
- 集成大小：随着集成大小增加到 10 个价值函数，性能提升；仅使用 2 个（如标准 Double Q-learning）不足以缓解偏差。
- 最小化策略：在 MPC 轨迹评估期间对整个集成取最小值至关重要。使用平均值（如 TD-MPC2 所做）会导致性能较低。
- 探索噪声：移除加性探索噪声提高了性能，证实 MPC 提供了足够的探索。
计算成本：MRS.Q 的计算成本高于 MR.Q（在 HalfCheetah 上 100 万步约为 53 小时对比 10 小时），这主要是由于 MPC 搜索过程而非价值函数集成所致。

意义与主张

本文主张，MBRL 的瓶颈不仅在于动力学模型的质量，还在于模型的使用方式。作者认为，MBRL 的进步需要理解并管理价值学习与搜索之间的根本张力。

范式转变：这项工作表明，仅仅构建更好的模型是不够的。相反，解决搜索与训练之间分布偏移所引入的高估偏差，是解锁搜索效益的关键。
可泛化性：使用集成最小值来缓解搜索引起的高估的技术，不仅被证明对 MRS.Q 有效，而且应用于 TD-MPC2 时也能提升其性能。
实际影响：通过实现更有效地利用学习到的模型，MRS.Q 为更样本高效的强化学习提供了一条路径，这对于数据收集成本高昂或涉及安全关键的机器人和自主系统应用至关重要。

作者在局限性方面保持谦逊，指出维护 10 个价值函数并运行 MPC 的计算成本巨大，且激进的最小化策略在具有密集奖励且无早期终止的任务（如 DMC）上收益较小，这表明该方法在高估偏差严重的情况下最为有益。