🤖 machine learning

Bayesian Optimization for Learning Nonlinear MPC in Autonomous Agent Navigation

本文提出了一种无需地图的自主导航框架，该框架将基于激光雷达（LiDAR）的反应式规划与非线性模型预测控制相结合，并利用离线贝叶斯优化来调节控制器参数，从而使四足机器人在仿真及真实世界的动态环境中实现鲁棒且高性能的部署。

原作者： Lorenzo Ortolani, Gabriel Voss, Gabriele Beltrami, Francesco Dorati, Tommaso Felice Banfi

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Lorenzo Ortolani, Gabriel Voss, Gabriele Beltrami, Francesco Dorati, Tommaso Felice Banfi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一只四足机器人狗（具体是一款 Unitree Go2）如何在没有地图的情况下，在拥挤且陌生的房间里导航。挑战在于，房间里充满了移动的人群、家具和狭窄的缝隙。如果机器人移动得太快，它会撞车；如果它移动得过于谨慎，它就会被困住。如果你尝试通过手动编程来教它，你必须去猜测它应该有多“勇敢”或多“谨慎”，这是一种乏味的试错游戏，而且在新的环境中很难奏效。

这篇论文提出了一种更聪明的方法来教导机器人：让机器人在模拟数千种场景后，先学会最完美的设置，然后再让它实战。

以下是他们的系统是如何运作的，通过简单的概念进行拆解：

1. 机器人的“眼睛”与“大脑”（框架）

机器人并没有构建一个永久的世界地图（因为世界一直在变化，这很难实现），而是利用其 LiDAR（激光扫描仪）来创建一个关于它面前即时情况的、带有“雾感”的临时图像。

地图： 可以把这想象成一个网格化的方块。如果一束激光击中了椅子，该方块就变为“被占用”状态。如果是空的，则该方块是安全的。
规划器 (A)：* 这就像是一个 GPS。它观察这个带有“雾感”的网格，并画出一条通往目标的粗略路线。它擅长找到一条路径，但它并不了解机器人实际是如何移动的（例如，狗是如何转身或停止的）。
驾驶员 (Nonlinear MPC)： 这是实际控制机器人转向的“大脑”。它接收来自 GPS 的粗略路线，并计算出精确的腿部动作，以平滑地跟随路线而不至于绊倒。它会不断检查：“如果我这样移动，2秒后我会撞到那把椅子吗？”

2. 问题所在：调节“旋钮”

这个“驾驶员”大脑拥有许多控制其性格的“旋钮”（参数）。

一个旋钮说：“我有多在意撞到目标？”
另一个旋钮说：“我有多在意不撞到障碍物？”
还有一个旋钮说：“我的动作应该有多平滑？”

如果你通过手动调节这些旋钮（“基准”方法），你可能会得到一个在空旷走廊表现出色但在杂乱办公室表现糟糕的机器人。这就像是通过猜测该转动哪个螺丝来调校汽车引擎一样。

3. 解决方案：“虚拟教练”（贝叶斯优化）

作者使用了一种称为 贝叶斯优化（具体使用了被称为“树状 Parzen 估计器”或 TPE 的技术）的方法。你可以把它想象成一个超级聪明的虚拟教练。

模拟： 他们将机器人放入一个名为 Gazebo 的视频游戏中，其中包含三个不同的等级：一个空房间、一个杂乱的办公室和一个狭窄的仓库。
试错： 教练让机器人跑完这些等级 120 次。每次运行时，它都会稍微改变一下“旋钮”（参数）。
评分： 每次运行结束后，教练会根据以下标准给机器人评分：它是否到达了目标？路径是否简短？是否发生了碰撞？动作是否平滑？
学习： 教练利用一种数学技巧（高斯过程）来观察结果，并进行推测：“好吧，把‘平滑度’旋钮调高一点，把‘谨慎度’旋钮调低一点，似乎效果更好。”

它不仅仅是在随机猜测；它通过从错误中学习，以找到在所有不同等级下都能表现良好的完美旋钮组合。

4. 结果：从模拟到现实

一旦教练在视频游戏中找到了最佳设置，他们就将这些完全相同的设置上传到了真实的机器人身上。

无需重新调优： 他们没有触碰真实机器人上的任何一个旋钮。他们只是使用了教练在模拟中找到的设置。
结果：
- 成功率： 机器人在现实世界的测试中成功率达到了 90%（高于手动调优设置时的 50%）。
- 效率： 到达目标所需的时间减少了 53%。
- 平滑度： 路径变得更加简短且平滑。
- 泛化能力： 即使当他们在一个教练从未见过的“仓库”环境中测试机器人时，机器人的表现依然非常出色。

5. 这项研究的特别之处

论文强调了这种方法的几个关键“超能力”：

机器人无关性： 该系统旨在设计为理论上可以应用于任何机器人，而不仅仅是这款特定的狗。
无需地图： 机器人不需要预先记忆建筑，它会对当前所见做出反应。
鲁棒性： “虚拟教练”找到的设置对环境变化不太敏感，这意味着如果环境与预期略有不同，机器人也不太容易发生碰撞。

总结

简而言之，作者为机器人狗构建了一个不需要依赖人类猜测的导航系统。相反，他们利用计算机模拟，让一个 AI“教练”来确定机器人的最佳驾驶风格。当他们将这些设置应用到真实的机器人上时，机器人比使用人类调优设置的机器人更快、更平滑、更成功地在复杂的现实世界房间中导航。

注意局限性： 论文承认，目前该系统将机器人视为在平面地面上滑动（2D）。如果机器人遇到陡坡或台阶，系统需要升级才能处理 3D 运动。此外，“虚拟教练”只能调节它被允许接触的旋钮；如果完美的设置需要一个它们未包含的旋钮，它就无法找到。

技术摘要：用于学习非线性 MPC 导航自主智能体的贝叶斯优化

问题陈述
在动态、未知环境中实现实时自主导航仍然是移动机器人领域的一个基本挑战，特别是对于需要平滑且符合动力学一致性运动的复杂接触动力学的足式平台而言。传统的解耦架构（将全局规划与底层控制分离）往往无法捕捉规划与动力学可行性之间的耦合关系，从而导致执行过程出现抖动且泛化能力较差。此外，模型预测控制（MPC）的部署在历史上受到两个因素的阻碍：一是需要计算高效的环境表示，二是手动调节代价函数权重（cost-function weights）的困难。手动调优既耗时又依赖于特定环境，且往往无法在不同任务和设置之间实现泛化。

方法论
作者提出了一种无需地图（map-free）、层次化的导航框架，该框架将反应式滚动时界（rolling-horizon）规划与非线性 MPC 紧密集成。该系统具有机器人无关性，并在 Unitree Go2 四足机器人上进行了验证。该架构由五个相互连接的模块组成：

制图与感知： 在每个控制周期根据当前点云构建基于 LiDAR 的高斯占据网格（Gaussian occupancy grid）。单元格根据到 LiDAR 返回点的最小欧几里得距离来编码占据概率。此外，一个持久的拓扑导航图（受 WildOS 启发）编码了已访问区域之间的高层连通性，以支持全局规划。
滚动时界路径规划： 采用从全局到局部的策略。拓扑图提供路标点（waypoints）给在占据网格上运行的局部 A* 规划器。A* 规划器利用针对阈值以下单元格的软障碍惩罚和针对占据单元格的硬约束来生成无碰撞轨迹。生成的路径经过重采样和光滑处理，以消除网格伪影。
非线性 MPC 追踪器： A* 生成的参考轨迹由在 CasADi 中构建并使用 IPOPT 求解的非线性 MPC 进行追踪。MPC 在 5 秒的时界内（在 10 Hz 下为 50 步）运行，使用全向运动学模型。至关重要的是，通过在最近的 LiDAR 返回点上评估平滑且可微的 Sigmoid 障碍函数来实现避障，从而保持了非线性规划问题的稀疏性。
贝叶斯优化（BO）流水线： 为了解决参数敏感性问题，引入了一种离线贝叶斯优化方案。该系统在系列仿真环境中对一个 11 维参数向量 $\theta$ $θ$ 进行调优（包括追踪权重、控制量、加加速度正则化和障碍物屏障参数）。
- 采集策略： 框架使用树状 Parzen 估计器（TPE）根据复合性能评分来识别近优配置。该评分聚合了诸如目标进度、路径效率、控制平滑度（加加速度/jerk）、避障能力和时间效率等指标。
- 敏感性分析： 使用高斯过程（GP）代理模型拟合优化结果，以分析参数敏感性并可视化优化景观。

核心贡献

集成框架： 一个模块化的、无需地图的导航栈，结合了高斯占据映射、拓扑图规划、A* 局部规划以及可微非线性 MPC。
自动化参数调优： 引入了使用 TPE 的离线 BO 流水线，用于在多种仿真场景下优化 MPC 超参数，消除了手动进行环境特定调优的需求。
从仿真到现实（Sim-to-Real）验证： 通过广泛的实验验证，证明了在仿真中调优的参数可以有效地迁移到物理硬件，而无需额外的在线调优。
可微避障： 在 MPC 代价函数中实现了平滑的 Sigmoid 屏障，在保持安全约束的同时，实现了高效的 NLP 求解。

结果
系统在三个仿真环境（开放环境、室内办公室和留出的仓库环境）中进行了评估，并在物理 Unitree Go2 机器人在真实的实验室房间内进行了部署。

性能提升： 与手工调优的基准相比，经 BO 调优的配置在仿真环境中实现了平均 3able 38.7% 的路径长度缩减和 25.3% 的 MPC 求解时间缩减。
效率： 在受限的室内办公室环境中，路径长度减少了 32.3%，求解时间减少了 49.2%。在未见过的仓库环境中，路径长度下降了 44.5%，展示了强大的分布外泛化能力。
成功率： 使用仿真调优的参数，该系统在物理机器人上实现了 90.0% 的导航成功率（10 次试验中 8 次成功），相比之下，基准方案的成功率为 50%（10 次试验中 5 次成功），这是一个显著的提升。
参数敏感性： 通过 GP 代理模型进行的敏感性分析表明，动态正则化（加加速度/jerk）和控制量权重是最具决定性的参数，而追踪权重对敏感度较低。BO 过程降低了平均参数敏感性 42.3%，从而产生了一个更平滑的优化景观。

意义与主张
论文声称该框架为足式机器人的 MPC 调优中的“从仿真到现实（sim-to-real）”差距提供了一个原则性的解决方案。通过利用贝叶斯优化进行自动化调优，作者证明了可以从仿真中推导出单一的参数集，使其在不同环境复杂度下均能稳健运行，并能直接迁移到物理硬件。这项工作强调，通过优化具有不同难度的环境，所获得的参数配置不仅更高效，而且比手动调优的基准更具鲁棒性，能够应对分布偏移。作者将其定位为迈向通用型、无需地图的导航栈的重要一步，此类导航栈可以部署在各种机器人平台上，而无需大量的干预。