💻 computer science

Generative-Model Predictive Planning for Navigation in Partially Observable Environments

本文介绍了 BeliefDiffusion，这是一个结合了用于捕捉多模态信念分布的扩散模型与用于长期规划的模型预测控制的新型框架，与现有基准相比，显著提高了在部分可观测环境中的导航成功率和效率。

原作者： Thomas Quilter, Yifan Zhu, Guorui Quan, Mingfei Sun, Samuel Kaski

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Quilter, Yifan Zhu, Guorui Quan, Mingfei Sun, Samuel Kaski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一栋巨大的、漆黑一片的建筑中寻找一间特定的房间。你只能看清前方几英尺范围内的景象，而且手里没有地图。每当你走一步，都可能撞到墙壁或者看到一条走廊，但你无法看到全貌。这就是部分可观测环境中的导航所面临的挑战。

大多数机器人或 AI 智能体试图通过猜测前方房间最可能的单一布局来解决这个问题。但如果存在两种同样可能的可能性呢？比如，左边是一扇门，或者是一堵实墙。如果 AI 猜是“门”，而实际是“墙”，它就会撞上去；如果 AI 猜是“墙”，而实际是“门”，它就会错过捷径。

这篇论文介绍了一种名为 BeliefDiffusion 的新系统，它通过改变 AI 的“思考方式”来解决这个问题。它不再押注于某一个猜测，而是同时想象出几种可能的各种世界版本。

以下是它的工作原理，分为几个简单的步骤：

1. “白日梦”阶段（扩散模型）

把 AI 想象成一位艺术家，目前只看到了房间的一个微小草图。它并不试图画出一幅完美、完整的成品图，而是使用一种叫做**扩散模型（Diffusion Model）**的特殊工具来进行“白日梦”。

工作原理： 它获取它所看到的微小草图（观测结果），并生成多个关于房间其余部分可能样貌的合理版本。
类比： 想象你正走在一条雾气弥漫的街道上，看到一个影子看起来像辆车。普通的 AI 可能会说：“那肯定是一辆车。”而 BeliefDiffusion 会说：“好吧，让我们想象三种场景：场景 A 是一辆车，场景 B 是一个大垃圾桶，场景 C 是一辆停着的摩托车。”它创造了一个可能现实的“束”。

2. “安全检查”阶段（模型预测控制）

一旦 AI 拥有了这束可能的地图，它并不会直接选择其中一个并跑起来。它会使用一种叫做**模型预测控制（Model Predictive Control, MPC）**的规划工具。

工作原理： AI 会针对所有想象出来的地图，同时测试几种不同的动作（比如“左转”或“直行”）。
类比： 想象一个 GPS，每当你转过一个弯时都会重新计算路线。但它不仅仅是显示一条路线，而是显示三条路线：一条是路面畅通时的，一条是遇到交通拥堵时的，还有一条是遇到绕行时的。然后，它会选择那个无论上述三种场景中哪一个成为现实，都能让你保持安全并继续前进的单一动作。
结果： 如果“左转”会导致在任何一个想象出的地图中发生碰撞，AI 就不会执行这个动作。它会选择在整个可能性束中表现最好的动作。

3. 循环

随着机器人的移动和观察到新事物，那层“雾”会逐渐散去。AI 会更新它的白日梦，剔除那些不可能的地图，并生成新的地图。它不断重复这个“先想象，后规划”的循环，就像人类在黑暗的房间里摸索前进并调整路径一样。

为什么这种方法更好？

论文将 BeliefDiffusion 与另外两种常见方法进行了对比：

“赌徒”（标准 AI）： 这些智能体试图通过试错来学习一种完美的策略。它们需要撞墙数千次才能学会规则。论文显示 BeliefDiffusion 的学习速度快得多（它需要的训练数据少 500 倍）。
“单向猜测者”（确定性模型）： 这些智能体试图精确预测未来的单一状态。当环境变得模糊不清时，它们会失败，因为它们无法处理不确定性。

核心结论

作者在 2D 网格模拟世界（类似于视频游戏地图）中测试了该系统。他们发现 BeliefDiffusion 在到达目标方面表现得更好，既不会被困住，也不会发生碰撞。

成功率： 它比其他方法更容易到达目标。
效率： 它的路径更短、更聪明。
数据效率： 它仅使用传统学习方法所需极小部分的数据，就能学会如何导航。

简而言之，BeliefDiffusion 之所以成功，是因为它承认自己并非无所不知。它不再假装了解地图，而是想象出几种版本的地图，规划出一条适用于所有版本的路径，并且只有在确定路径安全时才会移动。这与盲目在迷宫中猜测，与手持一把能同时照亮三条可能路径、并挑选出那条绝不会撞墙的路径之手，有着本质的区别。

技术摘要：用于部分可观测环境下导航的 BeliefDiffusion

问题陈述

在部分可观测环境（POEs）中的自主导航面临着一个根本性的挑战：智能体必须在没有先验全局地图知识的情况下，仅依靠有限的局部感知信息到达目标点。传统方法通常依赖于部分可观测马尔可夫决策过程（POMDPs）来维护一个“信念状态”（belief state），该状态代表了可能环境状态的概率分布。然而，现有的基于信念的方法经常将这些分布简化为单峰点估计（例如，最可能的单一状态）。这种简化无法捕捉信念空间中固有的多模态性（multimodality），特别是在存在感知歧义（perceptual aliasing，即不同位置看起来完全相同）和高维状态空间的场景中。因此，智能体可能会做出次优决策，即仅仅赌在一个单一的猜测上，而不是对多种可能的现实进行对冲。

虽然生成模型提供了一种建模复杂状态分布的方法，但它们通常需要大量的专家演示或离线轨迹，并且往往缺乏显式的长期规划机制。相反，模型预测控制（MPC）在规划方面非常有效，但传统上需要显式的转移模型，而这类模型在未知环境中难以获取。

方法论：BeliefDiffusion

作者提出了 BeliefDiffusion，一个将扩散模型的生成能力与模型预测控制（MPC）的规划严谨性相结合的框架。该系统运行在一个两步走的“先想象后规划”循环之上：

1. 通过扩散模型进行信念生成

该框架并非预测单一地图，而是使用扩散模型来显式地刻画各种合理的环境配置（局部地图）的多模态分布，这些配置是以智能体的观测历史为条件的。

输入： 智能体的观测历史 ( $\tau$ )，包括局部观测和相对目标坐标。
嵌入： 为了处理可变长度的历史，模型使用多头注意力机制（multi-head attention）为每个网格单元聚合过去的观测。这创建了条件嵌入，使模型能够针对特定的地图位置关注相关的历史数据。
训练： 使用去噪扩散概率模型（DDPM）训练 U-Net 骨干网络。与标准的噪声预测不同，该模型被训练为直接从带噪声的输入预测原始二值地图 ( $m_0$ )。
条件化： 模型采用无分类器指导（Classifier-Free Guidance, CFG）来控制生成过程，使其能够采样出与智能体部分观测一致的、多样且合理的地图布局。

2. 通过模型预测控制（MPC）进行规划

一旦扩散模型生成了一组 $N$ 个合理的地图样本，这些样本就会被集成到 MPC 框架中以确定最优动作。

聚合动力学： 为了估计转移函数，系统将 $N$ 个采样的地图聚合为一个单一的“共识”地图 ( $m_{agg}$ )。只有当一个单元在较高比例（ $\ge N \cdot \lambda_p$ ）的样本中都被标记为障碍物时，它才会在 $m_{agg}$ 中被标记为障碍物。这确保了规划器会避开那些在任何合理的假设下都可能被阻挡的路径。
动作提议： 系统针对每个单独的采样地图生成候选路径（使用 A* 搜索算法）。
选择： 所有候选路径都会根据聚合动力学模型 ( $m_{agg}$ ) 进行评估。违反共识地图的路径将获得零奖励。在所有假设集中，选择具有最高奖励的路径作为最终计划。
执行： 智能体执行所选路径的第一步动作，观察新环境，并重复生成-规划循环。

核心贡献

多模态信念建模： 一种新型的基于扩散的方法，它显式地对导航中的多模态信念状态进行建模，超越了单峰点估计，从而捕捉完整的合理环境分布。
集成规划框架： 一个基于信念空间的 MPC 框架，它利用生成的地图布局进行鲁棒决策，有效地结合了生成与规划。
样本效率： 实证证据表明，与无模型强化学习（RL）方法和单峰生成方法相比，该方法在实现卓越性能的同时，所需的训练数据显著减少。

实验结果

作者在合成的 2D 网格环境（64x64 地图）中将 BeliefDiffusion 与几种基准方法进行了对比评估：

基准方法：
- LSTM-PPO： 一个使用近端策略优化（PPO）训练的强力无模型 RL 基准。
- 确定性预测： 一个预测单一最可能地图的监督学习模型（U-Net）。
- 轨迹扩散： 一个直接预测未来轨迹的 Transformer 类模型。
- 目标跟随者（Goal-Follower）： 一个直接向目标直线移动的简单基准。
指标： 成功率（SR）和路径长度加权成功率（SPL）。
发现：
- 性能： 在 10M 步训练步数下，BeliefDiffusion 实现了 47.3% 的成功率和 37.0% 的 SPL。这优于表现最好的 LSTM-PPO 智能体（45.5% SR, 35.5% SPL），后者需要 5 亿 次交互步才能达到类似性能。
- 数据效率： 所提方法达到高性能时所需的数据集规模仅为表现最好的 LSTM-PPO 基准的 1/500。
- 生成式 vs. 确定性： 基于扩散的方法显著优于确定性预测模型（20.4% SR）和轨迹扩散基准（9.4% SR），这突显了建模地图布局分布而非仅仅预测轨迹或单一状态的必要性。
- 超参数： 研究发现，8x8 的推理地图尺寸和 $N=10$ 的样本数量是最优的。当 $N$ 超过 10 时，收益递减；而更大的地图尺寸虽然增加了计算成本，但并未带来显著的性能提升。

意义与主张

论文声称，将多模态信念表示显式纳入规划是实现部分可观测环境下鲁棒导航的关键。通过“想象”出几种可能的现实世界版本，并规划在这一系列可能性中都能表现良好的动作，智能体能够增强对感知歧义的鲁棒性，并降低灾难性失败（例如，因为单一假设错误而撞墙）的风险。

作者强调，该方法不需要强化学习典型的海量训练数据。相反，它利用扩散模型的生成能力来创建一个结构化的可能世界潜空间，从而实现对未知复杂环境的知情决策。这项工作表明，将地图布局推断视为一个条件生成问题，比依赖单峰近似或直接轨迹预测是更有效的导航策略。