🤖 AI

Safe and Generalizable Hierarchical Multi-Agent RL via Constraint Manifold Control

本文提出了一种分层多智能体强化学习框架，该框架通过在底层通过约束流形强制执行硬约束，同时通过高层策略学习实现有效的协同，从而确保了理论上的安全性保证和稳定的训练，最终实现了一种在不同智能体和障碍物配置下均能取得具有竞争力的性能、近乎完美的安全性率以及强泛化能力的算法。

原作者： Zihao Guo, Jianing Zhao, Ling Li, Hao Liang, Giuseppe Loianno, Yali Du

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zihao Guo, Jianing Zhao, Ling Li, Hao Liang, Giuseppe Loianno, Yali Du

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个繁忙的仓库，里面挤满了数十个送货机器人。它们的工作是抓取包裹并将其送到特定的地点。它们需要高效地协作，但有一个不可逾越的原则：它们绝不能互相碰撞，也不能撞到货架上。

这正是这篇论文所解决的问题。这是一个在两个竞争目标之间寻找平衡的过程：

变得聪明： 学习如何高效、协同地移动（这通常需要通过试错来完成，就像人类学习舞蹈一样）。
保持安全： 保证它们永远不会发生碰撞，即使是在学习阶段（这通常需要僵化且缓慢的规则）。

现有的方法通常迫使你在两者之间做出选择：要么得到聪明但冒险的机器人，要么得到安全但笨拙的机器人（动作迟缓得像是在泥泞中跋涉）。

这篇论文介绍了一种名为 HMM（分层流形多智能体 PPO） 的新系统。你可以把它想象成一个两层的管理系统，兼具了两者的优点。

这个两层系统：“大脑”与“反射”

作者将机器人的决策过程分为两个层面，就像 CEO 和保镖的关系。

1. 高层“大脑”（CEO）

它做什么： 这是负责学习的部分。它观察大局并决定：“好的，机器人 A，你应该向那个角落移动。机器人 B，你去那边。”它负责构思策略并实现团队协作。
它如何学习： 它使用标准的 AI 学习方法（强化学习）来随着时间的推移不断提升工作能力。在这里，它被允许犯错，只要不违反安全规则即可。
类比： 想象一位舞蹈教练告诉一群舞者下一步该如何移动。教练正在学习如何编排出最精彩的舞蹈动作。

2. 低层“反射”（保镖）

它做什么： 这是负责安全的部分。它不进行学习；它是一个固定的数学规则。它的唯一任务就是接收“大脑”的指令，并确保这些指令在物理执行上是可行且不会发生碰撞的。
它是如何工作的： 论文使用了**“约束流形”（Constraint Manifold）**的概念。
- 隐喻： 想象机器人的安全空间是一张漂浮在空中的光滑、透明的玻璃片。如果“大脑”试图将机器人推离玻璃片（导致碰撞），“反射”就会立即发挥作用。它就像一根磁性轨道：如果“大脑”试图让机器人脱离玻璃面，这个“反射”会瞬间将机器人的运动轨迹拉回到玻璃面上。
- 它通过将机器人的运动投影到“切空间”（tangent space，即玻璃的表面）来实现这一点。这就像在冰面上滑动冰壶：冰壶可以在冰面上任何地方移动，但绝不会掉下冰面。
结果： 无论“大脑”在学习过程中变得多么疯狂，“反射”都能确保机器人始终保持在安全路径上。

为什么这意义重大

论文声称这种方法解决了其他方法面临的三个主要难题：

1. “安全性 vs. 速度”的权衡

旧方法： 为了保证安全，机器人通常必须在每一秒钟都解决一个复杂的数学难题（称为二次规划问题）。这非常缓慢，导致机器人的动作显得迟钝。
新方法： 由于“反射”使用的是一个简单的、预先计算好的公式（“闭式解”），它的运行速度极快。论文指出，他们的系统训练速度比旧方法快了 14 倍。这就像是从每秒钟都要解一道数独题，变成了只需扫一眼地图。

2. “学习不稳定”问题

旧方法： 在许多 AI 系统中，随着机器人的学习，游戏的规则也在发生变化，导致很难学到稳定的东西。这就像是在尝试学习骑自行车，但地面一直在移动。
新方法： 因为“反射”（安全规则）永远不会改变，所以“大脑”始终在一个稳定的环境中学习。论文声称，这带来了更平滑、更可靠的训练过程。

3. “扩展性”问题

旧方法： 如果你训练了一个包含 3 个机器人的系统，当你增加到 20 个机器人时，系统往往会失效。因为复杂度变得太高了。
新方法： 作者通过仅用 3 个机器人和 3 个障碍物进行训练，然后将其投入到一个拥有 21 个机器人和 21 个障碍物 的房间中进行测试。
结果： 该系统不仅生存了下来，而且保持了近乎完美的安全性（接近 100% 安全），并且表现得越来越好。它具有良好的泛化能力，因为“反射”处理的是每个机器人各自的局部安全性，因此增加机器人数量并不会破坏整个系统。

核心总结

这篇论文展示了一个框架：由一个学习型 AI 处理策略和团队协作，而由一个数学安全网处理不发生碰撞的物理逻辑。

安全性： 它通过将机器人保持在“安全曲面”上，保证了机器人不会发生碰撞（在理论和实践中均成立）。
高效性： 它的训练速度极快，因为它不需要在每一步都去解决沉重的数学难题。
可扩展性： 无论是处理小型机器人团队还是大规模集群，它的表现同样出色。

简而言之，他们构建了一个系统，让机器人可以在无需担心破坏安全规则的前提下，学习成为一台高效运转的精密机器，因为规则已经硬编码进了它们的运动逻辑之中。

技术摘要：通过约束流形控制实现安全且泛化的分层多智能体强化学习

问题陈述

多智能体系统（MAS）在仓库机器人、自动驾驶汽车和无人机集群等安全至关重要的应用场景中具有核心地位。这些场景要求智能体在遵守严格安全约束（如碰撞规避）的同时进行高效协作。现有方法面临着一个根本性的权衡：

基于学习的方法（例如，约束马尔可夫决策过程，CMDPs）取得了强大的经验性能，但缺乏形式化的安全保证，且往往存在训练不稳定问题。
基于控制理论的方法（例如，控制障碍函数，CBFs）提供了安全保证，但往往导致行为过于保守、路径选择次优以及陷入死锁。此外，许多基于 CBF 的方法需要在每个时间步求解二次规划（QP），这引入了显著的计算开销，阻碍了训练效率。
分层方法试图将协调与安全解耦，但往往会继承分层强化学习中的非平稳性问题或 QP 求解器的计算成本。

核心挑战在于开发一个能够同时确保理论安全性、训练效率（避免每步求解 QP）以及复杂多智能体环境下可扩展协调性的框架。

方法论：分层流形多智能体 PPO (HMM)

作者提出了 HMM，这是一个将协作与安全在两个层面进行解耦的分层强化学习框架：

1. 高层：协作子目标规划

架构： 采用基于多智能体 PPO (MAPPO) 的中心化训练、分布式执行 (CTDT) 范式。
功能： 在每个决策周期（每 $\tau$ 个时间步）内，高层策略为每个智能体生成一个子目标（目标位置）。
协调： 该策略利用带有注意力机制消息传递的图神经网络 (GNN) 来聚合来自邻近智能体和障碍物的信息。这确保了置换不变性以及在不同智能体和障碍物数量下的泛化能力。
目标： 在处理由底层处理的安全硬约束的同时，最大化半马尔可夫决策过程 (CSMDP) 上的期望折扣回报。

2. 低层：约束流形安全控制器

机制： 该低层控制器不通过求解 QP，而是通过将标称动作投影到约束流形上来实现安全性。
约束公式化： 安全约束（如碰撞规避）被定义为不等式约束 $h(s) \leq 0$ 。通过使用松弛变量 $\mu$ ，这些约束被转换为等式约束 $c(s, \mu) = h(s) + \mu = 0$ ，从而在增广状态空间中定义了一个流形 $\mathcal{M}$ 。
控制律： 控制器通过将动作限制在流形的切空间内，确保系统状态保持在 $\mathcal{M}$ $M$ 上。控制输入 $u_s$ $u_{s}$ 通过闭式解计算：
$u_s = \underbrace{-J_u^\dagger \psi}_{\text{漂移补偿}} - \underbrace{\lambda J_u^\dagger c}_{\text{流形收缩}} + \underbrace{B_u u_{\text{ref}}}_{\text{切向动作}}$
- 漂移补偿： 取消系统的自然漂移。
- 流形收缩： 如果发生数值误差，将状态拉回流形。
- 切向动作： 允许智能体在安全的切空间内自由跟随高层子目标 ( $u_{\text{ref}}$ )。
效率： 该方法使用高效的切空间投影（利用伪逆）取代了迭代式的 QP 求解器。

核心贡献

新颖框架： 引入了 HMM，这是一个将可学习的高层协调策略与基于模型的底层约束流形控制器相结合的分层 MARL 框架。
理论安全保证： 论文提供了形式化证明，表明在温和的假设下，所有智能体的联合轨迹在训练和执行过程中的每个时间步都保持在全局安全集内。
平稳学习动力学： 通过将安全性交给固定的底层控制器，该框架消除了分层强化学习中通常由演化的底层策略引起的非平稳性。这使得问题简化为一个平稳的高层 MDP，从而确保了稳定的收敛。
计算效率： 该方法避免了每时间步的 QP 求解，转而使用高效的闭式投影。

实验结果

作者在六个基于 LiDAR 的环境（2D 和 3D）中评估了 HMM，包括具有不同动力学特性的导航任务（质点、自行车、四旋翼）。

性能与安全性： HMM 在所有环境中均实现了接近完美的安全性（通常 >99%），显著优于 DGPPO、InforMARL 和 MAPPO-Lagrangian 等基准方法。与在训练早期经常违反安全性的学习型基准不同，HMM 在整个训练过程中都保持了安全性。
成功率： HMM 展示了卓越的任务成功率，表明高层规划器能有效协调智能体以避免死锁和次优路径，这与缺乏高层协调的“标称 + 流形 (Nominal + Manifold)”变体形成了对比。
计算效率： 在 NVIDIA H200 GPU 上，HMM 的训练吞吐量比基于 CBF 的 QP 基准方法快了 14.4 倍。原本需要约 5 天完成的 CBF 基准训练任务，通过 HMM 在 8–10 小时内即可完成。
泛化能力： 使用 3 个智能体和 3 个障碍物训练的策略，可以有效地泛化到包含多达 21 个智能体或障碍物的场景。当智能体/障碍物数量增加时，基准方法的安全性与成功率显著下降，而 HMM 则保持了高性能。

重要性与主张

论文声称 HMM 弥合了基于学习的方法的经验成功与控制理论方法的严谨安全性之间的鸿沟。通过将基于学习的协调与基于控制理论的安全性机制相结合，该框架为多智能体系统提供了一种可扩展且可靠的解决方案。

作者强调，其方法：

在不增加 QP 求解器计算负担的情况下，提供了形式化的安全保证。
通过诱导平稳学习动力学，实现了稳定的训练。
展示了强大的泛化能力，能够适应不同的任务规模，使其适用于环境复杂度可能发生变化的现实世界部署。

论文也承认了一个局限性：底层策略依赖于控制理论机制，这可能不太适用于涉及复杂物理交互（如富接触操作或物体搬运）的任务，因为在这些任务中，安全约束难以通过解析方式定义。