Safe Navigation of Bipedal Robots via Koopman Operator-Based Model Predictive Control

本文提出了一种基于 Koopman 算子理论的安全双足机器人导航框架，该方法结合深度强化学习策略与高维线性化动力学模型，通过模型预测控制在复杂密集环境中实现了比基线方法更精准的轨迹预测和更高的导航成功率。

要点

这篇论文讲述了一个关于如何让双足机器人（像人一样的机器人）在复杂环境中安全行走的故事。

想象一下，你让一个机器人去穿过一个堆满杂物的狭窄走廊，或者在一个迷宫里找路。这听起来很简单，但对机器人来说，这就像让一个喝醉了的人走钢丝——它的腿、关节和地面的接触非常复杂，稍微走错一步就会摔倒或撞墙。

这篇论文提出了一种聪明的新方法，结合了**“深度学习”和“数学魔法”**，让机器人变得既聪明又听话。

以下是用通俗易懂的比喻来解释的核心内容：

1. 核心难题：机器人太“非线性”了

传统的控制方法就像是在教机器人走直线。但双足机器人走路时，身体会摇晃、脚会交替落地，这种运动非常复杂（论文称之为“非线性”）。

• 比喻：这就好比你想预测一辆车在冰面上的轨迹。如果路面是平的，你很容易预测；但如果路面有坑、有冰、车还在打滑，传统的数学公式就失效了，算不准它下一秒会滑到哪里。

2. 解决方案：科普曼算子（Koopman Operator）——“升维打击”

作者没有试图直接去解那个复杂的“醉汉走路”方程，而是用了一种叫科普曼算子的数学技巧。

• 比喻：想象你在看一个二维的投影（比如墙上的影子），影子在乱动，很难预测。但如果你把视角拉高，看到三维的真人，你会发现他的动作其实是有规律的。
• 具体做法：作者把机器人原本复杂的运动状态，“投影”到了一个更高维度的空间里。在这个高维空间里，原本乱糟糟的非线性运动，突然变得像直线一样简单、有规律了！
• 效果：原本需要超级计算机才能算的复杂曲线，现在变成了简单的直线方程，计算速度飞快。

3. 训练过程：先学走路，再学预测

整个系统分三步走：

1. 第一步（教走路）：先用强化学习（就像教小狗做动作，做对了给奖励）训练一个底层控制器，让机器人学会如何保持平衡、迈开腿。这就像给机器人装上了一个“肌肉记忆”。
2. 第二步（学规律）：让机器人到处乱跑，收集它的数据。然后，作者用刚才提到的“升维魔法”，从这些数据里提炼出一个简化的线性模型。
   • 关键点：作者发现，如果加上**“步态相位”**（比如机器人现在是左脚着地还是右脚着地，就像时钟的指针）作为额外信息，预测会准得惊人。
3. 第三步（导航规划）：当机器人需要过迷宫时，高层大脑（模型预测控制器 MPC）利用这个简化后的线性模型来规划路线。因为它现在是线性的，所以能瞬间算出“怎么走才不会撞墙”。

4. 实验结果：为什么它更厉害？

作者在仿真和真实的 Unitree G1 机器人上做了测试，对比了传统方法：

• 预测更准：在预测机器人未来 6 秒（12 步）会走到哪里时，他们的方法比传统线性方法准确率高了 50%。
  • 比喻：传统方法预测机器人会撞到墙，而新方法准确预测出机器人能灵巧地绕过。
• 更安全：在狭窄的走廊和复杂的迷宫里，传统方法经常因为算不准转弯而撞墙或卡住。新方法的成功率高达96%。
  • 比喻：就像老司机在窄巷里能精准地一把掉头，而新手司机（传统方法）总是蹭到墙。
• 速度更快：因为模型是线性的，计算速度极快，机器人可以实时反应，不会“思考”太久导致摔倒。

5. 总结

这篇论文的核心思想就是：不要试图用复杂的公式去硬算机器人的复杂动作，而是先让机器人学会走路，然后把它复杂的动作“翻译”成简单的直线规律，最后用这个简单的规律来指挥机器人安全地穿过迷宫。

这就好比，你不需要知道足球运动员每一块肌肉如何收缩才能踢出弧线球，你只需要知道“如果我想让球往左飞，我就往左踢”这个简单的规律，就能指挥他进球。

一句话总结：通过数学魔法把复杂的机器人运动变简单，让双足机器人在狭窄拥挤的地方也能像老练的舞者一样，优雅、安全地穿针引线。

技术摘要

这是一份关于论文《Safe Navigation of Bipedal Robots via Koopman Operator-Based Model Predictive Control》（基于 Koopman 算子模型预测控制的双足机器人安全导航）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心挑战：双足机器人的动力学具有高度非线性和混合特性（复杂的全身运动与离散接触），这使得传统的基于模型的预测控制（MPC）难以准确建模，而基于强化学习（RL）的方法虽然在低层控制上表现优异，但在未见过的环境中泛化能力差，且缺乏可解释性和安全性保证。
• 现有方法的局限性：
  • 纯模型方法：难以精确建模复杂的非线性动力学，计算成本高。
  • 纯强化学习方法：需要大量训练数据，且在未见环境中容易因不可预测的行为导致碰撞或摔倒。
  • 现有混合方法：如 Li 等人 [13] 的工作，虽然尝试识别低维线性模型，但往往忽略了高层行为中的非线性特征，难以在复杂场景（如狭窄通道、频繁转向）中保证安全。
• 具体痛点：在密集障碍物和狭窄通道（如迷宫、窄走廊）中，由于机器人需要频繁转向和精确避障，预测误差的累积会导致规划失败、碰撞甚至机器人摔倒。

2. 方法论 (Methodology)

该论文提出了一种基于 Koopman 算子理论的安全导航框架，旨在将非线性动力学转化为高维提升空间（Lifted Space）中的线性动力学，从而结合 MPC 的高效性与安全性。

核心流程：

1. 底层策略训练 (Low-level Policy)：

   • 使用深度强化学习（PPO 算法）训练一个鲁棒的底层步态控制器（Locomotion Policy）。
   • 该策略接收本体感知观测（关节位置、速度、重力、指令速度等），输出关节力矩，实现速度跟踪。
   • 此策略作为“黑盒”，高层控制器只需关注其产生的基座运动（Base-level dynamics）。

2. Koopman 动力学学习 (Koopman Dynamics Learning)：

   • 数据收集：在仿真环境中收集底层策略执行不同速度指令时的状态轨迹数据。
   • 状态提升 (Lifting)：利用扩展动态模态分解（EDMD）将非线性状态 $x_t$ 映射到高维提升空间 $\phi(x_t)$。
   • 关键创新 - 相位增强 (Phase Augmentation)：考虑到双足运动的周期性，将步态相位时钟（Gait phase clock, $\sin(2\pi c_t), \cos(2\pi c_t)$）作为额外特征加入状态向量，构建 8 维输入（6 维基座状态 + 2 维相位），以捕捉周期性非线性特征。
   • 线性化：在提升空间中，系统动力学被近似为线性形式：$\phi(x_{t+1}) = A\phi(x_t) + Bu_t$。通过最小二乘法求解矩阵 $A$ 和 $B$。
   • 稳定性保证：对矩阵 $A$ 进行谱裁剪（Spectral Clipping），将模态大于 1 的特征值截断为 1，确保长期预测的稳定性。

3. 基于 MPC 的安全导航 (Safe Navigation with MPC)：

   • 优化问题：在提升空间中构建 MPC 优化问题。目标函数为跟踪期望轨迹（二次型），约束条件包括线性动力学约束和避障约束（控制屏障函数 CBF 或距离约束）。
   • 优势：由于动力学约束在提升空间中是线性的，MPC 优化问题变为凸优化（或易于求解的二次规划），避免了处理非线性神经网络（MLP）带来的非凸性和计算困难。
   • 执行：MPC 输出高层速度指令，底层 RL 策略执行具体的关节控制。

3. 主要贡献 (Key Contributions)

1. 提出新框架：首次将 Koopman 算子理论与 MPC 结合，用于双足机器人在密集环境中的安全导航。该框架利用学习到的线性 Koopman 动力学，实现了计算高效且安全的规划。
2. 全面的动力学模型评估：系统性地比较了多种前向动力学模型（积分器、分量线性模型、普通线性模型、MLP 以及不同提升函数的 Koopman 模型）。
3. 引入相位增强：证明了在 Koopman 提升函数中引入步态相位信息（Phase Augmentation）能显著提高对双足机器人周期性运动的预测精度。
4. 硬件验证：在真实的 Unitree G1 人形机器人上成功部署了该框架，验证了其在物理世界中的可行性。

4. 实验结果 (Results)

实验在仿真（IsaacGym）和真实硬件（Unitree G1）上进行，对比了 Integrator、Linear、MLP 和 Koopman 模型。

• 预测精度：
  • 长期预测：在 12 步（6 秒）的滚动预测中，Koopman 模型的位置误差（RMSE）为 0.188m，比线性基线（0.374m）降低了 50%，比 MLP 基线降低了 72%。
  • 相位增强效果：带相位增强的 Koopman 模型（Koopman-PA）比不带相位的模型在物理状态误差上降低了约 5%，速度误差降低了 23%。
• 路径跟踪：
  • 在开放空间路径跟踪任务中，Koopman MPC 的跟踪误差最低（方形路径 0.050m，圆形路径 0.048m）。
  • 计算效率：Koopman MPC 的求解时间远快于 MLP-MPC（后者因非线性约束导致求解器难以收敛或耗时极长）。Koopman 模型每步求解仅需约 0.05 秒，而 MLP 模型往往超过 1.2 秒甚至不可行。
• 安全导航性能：
  • 成功率：在四个测试环境（窄走廊、迷宫）中，Koopman 框架的总成功率为 96%，显著优于线性基线（86%）和积分器（60%）。特别是在需要频繁转向的迷宫环境中，Koopman 达到了 100% 的成功率。
  • 避障能力：Koopman 模型将最大违规深度（Peak violation depth）降低了 47.5%，表明其能更紧密地保持安全距离，减少碰撞风险。
• 硬件验证：在 Unitree G1 上成功完成了狭窄通道穿越任务，证明了该框架在真实物理系统中的有效性。

5. 意义与影响 (Significance)

• 解决非线性与实时性的矛盾：该工作成功地将双足机器人复杂的非线性动力学转化为线性形式，使得原本计算昂贵的非线性 MPC 问题变得高效可解，同时保持了高精度。
• 提升安全性：通过更准确的长期预测，机器人能够在狭窄和复杂环境中更自信地规划路径，显著降低了碰撞和摔倒的风险，这对于双足机器人在现实世界（如家庭、灾难现场）的部署至关重要。
• 通用性与可扩展性：该框架解耦了底层控制器和高层规划器，底层可以是任何黑盒 RL 策略，高层只需学习其动力学。这为未来结合更复杂的全身控制（Loco-manipulation）提供了可扩展的基础。
• 方法论启示：证明了在机器人控制中，利用 Koopman 算子结合相位信息等物理先验知识，是解决周期性非线性系统控制问题的有效途径。

总结：这篇论文通过结合深度强化学习、Koopman 算子理论和模型预测控制，提出了一种高效、安全且高精度的双足机器人导航方案，有效克服了传统方法在复杂动态环境中的局限性，并在仿真和真实硬件上取得了显著的性能提升。