Learning Agile Gate Traversal via Analytical Optimal Policy Gradient

本文提出了一种结合离线训练神经网络与在线模型预测控制（MPC）的混合框架，通过解析策略梯度高效优化 MPC 参数及门框检测模块，实现了在极端加速度和强扰动下的高敏捷、高精度四旋翼无人机穿门飞行。

要点

这篇文章介绍了一种让无人机（四旋翼飞行器）能够像杂技演员一样灵活、精准地穿过狭窄门框的新方法。

为了让你更容易理解，我们可以把这项技术想象成教一个新手飞行员（无人机）如何穿过一个不断旋转、角度刁钻的“生死门”。

1. 过去的难题：要么太死板，要么太笨拙

在以前，让无人机穿门主要有两种流派，但都有缺点：

• 流派一：传统的“模块化”飞行（像老式汽车司机）
  • 做法：把任务拆成几步：先规划路线，再画轨迹，最后控制方向。
  • 缺点：这就像开车时，导航、油门、方向盘都是分开调的。如果门突然歪了，或者风突然大了，司机得手动重新调参数，反应太慢，容易撞。
• 流派二：纯人工智能的“端到端”学习（像凭直觉开车的醉汉）
  • 做法：直接让神经网络（AI）看门，然后直接输出控制指令。
  • 缺点：虽然学得快，但像个“黑盒”。AI 不知道物理定律，经常需要撞墙几千次才能学会。而且一旦遇到没见过的风（干扰），它可能直接失控，因为它没有“刹车”和“安全网”的概念。

2. 这篇论文的解决方案：给 AI 配了一个“超级副驾驶”

作者提出了一种混合框架，把“老派司机”的严谨（模型预测控制，MPC）和“新派 AI"的灵活（神经网络，NN）结合在了一起。

我们可以用**“老练的赛车手 + 天才导航员”**的比喻来理解：

• MPC（模型预测控制）是“老练的赛车手”：
  • 他非常懂物理，知道车怎么转弯、怎么刹车最稳。他手里有一张**“安全网”**，能确保无人机不会撞墙或撞天花板。
  • 但是，这个赛车手有点死板，如果门的角度变了，他需要有人告诉他“现在该往哪开，该用多大的力”。
• NN（神经网络）是“天才导航员”：
  • 他站在高处，一眼就能看出门的角度、风的大小。
  • 他的工作不是直接踩油门，而是给赛车手提供“实时指令”：
    1. 参考姿态：告诉赛车手“现在门是歪的，我们要侧着身子飞过去”。
    2. 调整权重：告诉赛车手“现在风大，我们要更重视稳定性，少重视速度”或者“现在离门很近了，我们要更重视精准度”。

3. 核心技术：如何训练这个“导航员”？（解析最优策略梯度）

这是这篇论文最厉害的地方。

• 以前的训练：就像让导航员猜指令，赛车手试飞，撞了就骂一句，不撞就夸一句。这样效率极低，而且指令是“猜”出来的，不够精准。
• 现在的训练（解析最优策略梯度）：
  • 作者发明了一种**“数学显微镜”**。
  • 当无人机飞的时候，这个显微镜能精确地算出：如果导航员把指令稍微改一点点，结果会好多少？
  • 这就像是在教学生做题，不是让他“蒙”，而是直接告诉他：“你这道题的解题思路（权重）在这里偏了 0.1 度，导致结果错了，请修正。”
  • 因为能精确计算每一步的改进方向，所以训练速度极快，而且学出来的策略非常稳健。

4. 实验结果：真的有多强？

作者在真实的无人机上做了实验，效果惊人：

• 穿越难度：门的角度从 30 度变到 70 度（非常斜），无人机都能丝滑穿过。
• 速度极快：无人机在穿过门时，加速度达到了 30 m/s²（相当于每秒速度增加 30 米，比很多跑车起步还猛）。
• 抗干扰能力：这是最酷的。如果在飞行中，有人突然把无人机猛推一下（模拟强风或撞击，转速瞬间超过 1146 度/秒），普通的无人机早就翻车了。但他们的无人机能在 0.85 秒 内自己稳住，重新飞好。
  • 比喻：就像你在走钢丝，突然被人猛推了一把，你不仅没掉下去，还在不到一秒内调整姿势，继续稳稳地走。

5. 总结

这篇论文的核心思想就是：不要试图让 AI 从零开始发明物理定律，也不要让死板的程序去应对所有变化。

他们让AI 去“调教”物理控制器，并且发明了一种**极其高效的“数学老师”**来教 AI 怎么调。结果就是，无人机既拥有了 AI 的灵活应变能力，又保留了物理控制的绝对安全和精准，最终实现了像杂技演员一样在狭窄空间里“穿针引线”的壮举。

一句话总结：这是一个让无人机学会“看风使舵”且“稳如泰山”的聪明大脑，它通过数学上的“完美计算”来训练，让无人机在极度危险和狭窄的环境中也能如鱼得水。

技术摘要

1. 研究背景与问题 (Problem)

核心挑战：
四旋翼无人机在狭窄空间（如穿过狭窄的门）进行敏捷飞行是一个极具挑战性的任务。这要求无人机具备高度的敏捷性、精确的姿态控制以及严格遵循时空约束的能力。

现有方法的局限性：

• 传统模块化方法： 通常采用分层架构（路径规划 -> 轨迹生成 -> 跟踪控制）。虽然开发方便，但需要大量的人工参数整定（如固定权重），且难以快速适应模型不确定性或环境变化（如门的角度变化、外部扰动）。
• 端到端强化学习 (RL)： 虽然能直接映射观测到控制，但存在样本效率低、缺乏可解释性、且难以在框架中施加硬约束的问题。其鲁棒性通常依赖于离线训练时的域随机化，在面对未见过的极端扰动时表现不佳。
• 现有的混合方法 (MPC + NN)： 虽然结合了模型预测控制 (MPC) 和神经网络 (NN)，但大多依赖数值梯度近似（如高斯策略搜索、有限差分、无模型 RL 采样）。这导致训练效率低、梯度估计方差大、计算成本高。

本文目标：
开发一种高效的混合框架，利用解析最优策略梯度 (Analytical Optimal Policy Gradient) 在线微调 MPC 参数，实现敏捷、精确且鲁棒的门穿越飞行，同时保持高训练效率和可解释性。

---

2. 方法论 (Methodology)

本文提出了一种完全可微分的 NN-MPC 混合框架。该框架将狭窄门穿越任务建模为参考姿态跟踪问题，利用神经网络实时预测参考姿态和 MPC 代价函数的权重。

2.1 核心架构

• 神经网络 (NN)： 输入为门角坐标、目标位置和当前无人机状态。输出包括：
  • 参考姿态 $T_{ref}$（位置和姿态）。
  • MPC 代价函数中的时变权重（位置跟踪权重、目标到达权重、姿态跟踪权重等）。
• 模型预测控制 (MPC)： 基于 NN 输出的参考姿态和权重，在有限时域内求解最优控制问题，生成轨迹并输出控制量（总推力和角速度）。
• 可微分碰撞检测： 将门碰撞检测建模为可微分的锥优化问题（Conic Optimization），将二元的碰撞事件转化为连续的缩放因子 $\alpha^*$，从而构建可微的损失函数。

2.2 关键技术创新

1. 解析最优策略梯度 (Analytical Optimal Policy Gradient)：

   • 不同于以往方法使用数值近似，本文推导了通过MPC 模块和碰撞检测模块的解析梯度。
   • MPC 梯度： 利用 Safe-PDP 框架，通过离散时间 Pontryagin 最小值原理 (PMP) 和向后 Riccati 递归，计算决策变量对 MPC 状态的梯度。
   • 碰撞检测梯度： 利用包络定理 (Envelope Theorem)，通过 KKT 条件将隐式导数转化为显式导数，实现通过锥优化问题的反向传播。
   • 这使得整个训练过程（从损失函数到 NN 参数）完全可微，显著提高了训练效率和稳定性。

2. 姿态误差表示 (Attitude Error Representation)：

   • 为了避免旋转表示（如罗德里格斯参数）中的不连续性和奇点问题，MPC 代价函数中的姿态跟踪误差采用无约束的 $3\times3$ 矩阵表示。
   • 通过 SVD 分解将该矩阵投影到最近的旋转矩阵，确保了梯度的连续性和数值稳定性，适用于大角度误差。

3. 分层损失函数与 bilevel 优化：

   • 总损失 $L$ 包含三部分：门穿越损失（基于碰撞检测的缩放因子）、目标到达损失、控制平滑度损失。
   • 构建双层优化问题：外层优化 NN 参数 $\varpi$，内层通过 MPC 求解最优轨迹 $\xi$。

---

3. 主要贡献 (Key Contributions)

1. 全可微分 NN-MPC 框架： 提出了一个具有可学习时变代价权重和单一参考姿态的框架，支持敏捷、精确的狭窄空间穿越。实现了自适应的目标强调，并可通过解析梯度进行高效离线训练。
2. 零样本 Sim-to-Real 迁移与鲁棒性： 框架保留了 MPC 的在线优化特性，无需针对真实环境重新调整参数即可实现零样本迁移，并在面对极端扰动时表现出优异的抗干扰能力。
3. 实验验证与性能突破：
   • 在仿真和真实硬件实验中验证了该方法。
   • 实现了峰值加速度达 30 m/s² 的敏捷穿越。
   • 在遭受超过 1146 deg/s (约 20 rad/s) 的极端机体角速度扰动后，能在 0.85 秒 内恢复稳定飞行。
   • 相比传统 RL 和其他混合方法，训练样本效率显著提升。

---

4. 实验结果 (Results)

4.1 仿真结果

• 成功率提升： 在 128 次测试中，未经微调的固定权重 MPC 成功率仅为 9.38%；而经过本文方法训练（73.6 万步）后，成功率提升至 80.46%。
• 训练效率对比：
  • 相比 Wang et al. [13]（有限差分）和 Actor-Critic MPC [12]（采样法），本文方法的策略梯度计算时间最短（0.16 秒 vs 0.22-0.58 秒）。
  • 相比 PPO 强化学习，本文方法仅需 73.6k 步即可收敛（PPO 需 2 亿步），尽管由于 MPC 求解器在 CPU 上运行导致总训练时间略长，但样本效率极高。

4.2 真实世界部署 (Real-world Deployment)

• 硬件平台： 定制无人机（25cm 轴距，0.26kg），搭载 Radxa ZERO 2 pro 机载计算机。MPC 和 NN 均在机载端以 100Hz 运行。
• 飞行表现：
  • 成功穿越角度从 30° 到 70° 不等的狭窄门（门尺寸 0.6m x 0.25m）。
  • 最小安全间隙保持在 7.5 cm。
  • 在受限空间（水平 3.6m，垂直 2m）内实现了高动态飞行。
• 抗扰动能力：
  • 在一次因定位误差导致的严重碰撞中，无人机受到超过 20 rad/s 的角速度冲击。
  • 得益于在线优化和自适应权重，无人机在 0.85 秒 内恢复稳定。
  • 对比实验显示，训练后的 MPC 在扰动恢复时间（0.89s）上显著优于未训练 MPC（2.18s）和 PPO 策略（1.30s）。

4.3 定性分析

• 可解释性： 神经网络输出的高维决策变量（参考姿态、权重）具有物理意义。例如，NN 能根据无人机状态自动调整参考姿态以补偿偏差，并动态调整权重（在接近门时优先姿态跟踪，通过后优先目标到达），这是传统人工整定难以实现的。

---

5. 意义与总结 (Significance)

本文提出了一种基于解析最优策略梯度的混合控制框架，成功解决了敏捷飞行中模型精度、样本效率和鲁棒性之间的权衡问题。

• 理论价值： 证明了通过解析方法对包含 MPC 和复杂优化约束（如碰撞检测）的混合系统进行端到端训练的可行性，为可微分控制理论提供了新的思路。
• 应用价值： 该方法无需大量真实数据微调即可实现高性能的 Sim-to-Real 迁移，特别适用于需要在复杂、动态且受限环境中执行高动态任务的无人机应用（如竞速、搜救、室内导航）。
• 未来展望： 作者计划开发并行化优化求解器以进一步加速训练，并引入视觉感知模块，使框架能在非结构化环境中进行更智能的决策。

总的来说，这项工作展示了将深度学习与经典优化控制（MPC）深度融合的巨大潜力，通过解析梯度技术克服了传统混合方法训练效率低和鲁棒性差的瓶颈。