🤖 AI

M $^{2}$ GRPO: Mamba-based Multi-Agent Group Relative Policy Optimization for Biomimetic Underwater Robots Pursuit

本文提出了一种基于 Mamba 架构的多智能体组相对策略优化（M²GRPO）框架，通过结合选择性状态空间模型与组相对优势机制，有效解决了仿生水下机器人在长时程决策、部分可观测及多机协同中的挑战，并在仿真与实机实验中展现出优于现有方法的追捕成功率与效率。

原作者： Yukai Feng, Zhiheng Wu, Zhengxing Wu, Junwen Gu, Junzhi Yu

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yukai Feng, Zhiheng Wu, Zhengxing Wu, Junwen Gu, Junzhi Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让仿生机器鱼（像真鱼一样游动的机器人）学会如何团队合作追捕逃跑目标的新方法。

为了让你更容易理解，我们可以把这项技术想象成训练一支**“水下特种部队”，而这篇论文就是他们的新“战术手册”**。

以下是用大白话和生动比喻对这篇论文核心内容的解读：

1. 背景：为什么要训练机器鱼？

想象一下，你有一群像真鲨鱼一样的机器鱼。它们游起来很灵活、很安静，非常适合在水下做侦察或救援。

任务：让它们组成小队，去追捕一个跑得飞快的“逃犯”（可能是另一只机器鱼，或者一个移动的目标）。
难点：
- 水下很复杂：水流会干扰，而且水下视野不好（只能看到眼前，看不到全局）。
- 时间很长：追捕不是一秒钟的事，需要像下棋一样，想好几步之后的事（长程决策）。
- 配合难：如果两只鱼各跑各的，很容易撞车或者让逃犯溜走。

2. 核心创新：M2GRPO（新战术手册）

以前的方法要么太笨（记不住过去发生的事），要么太乱（配合不好）。这篇论文提出了一个叫 M2GRPO 的新框架，它由两个主要部分组成：

第一部分：Mamba 大脑（拥有“超级记忆力”和“读心术”）

以前的机器鱼大脑（神经网络）像是一个**“短视眼”**，只能看到眼前这一秒，记不住刚才发生了什么。

Mamba 是什么？ 它像是一个拥有“超级记忆力”的侦探。
- 时间记忆：它能记住过去几十秒甚至几分钟内逃犯是怎么跑的、水流怎么变的。就像侦探能根据脚印推断出嫌疑人刚才去了哪里，而不是只看眼前。
- 读心术（关系建模）：它能同时观察队友。就像在球场上，前锋不仅能看球，还能用余光看到后卫的位置，知道“我现在该往左跑，因为队友会往右包抄”。
比喻：以前的机器鱼像是一个只会盯着眼前苍蝇打的大头娃娃；现在的机器鱼像是一个经验丰富的老猎手，既记得住猎物过去的轨迹，又时刻和队友眼神交流，配合默契。

第二部分：MAGRPO（“团队评分”机制）

训练这些机器鱼很难，因为有时候抓到了，不知道是谁的功劳；有时候没抓到，不知道是谁的锅。

传统方法：通常需要给每个机器鱼单独发“工资”（价值函数），这很复杂，而且容易算错，导致训练不稳定。
MAGRPO 的做法：它采用了一种**“小组 PK"**的模式。
- 比喻：想象教练把机器鱼分成几个小组，每组都在模拟训练。训练结束后，教练不看谁抓到了，而是看**“这一组整体表现怎么样”**。
- 如果这一组整体表现好，大家都加分；如果表现差，大家都反思。
- 好处：不需要给每个鱼单独算复杂的账本（省去了昂贵的计算资源），而且大家为了团队荣誉（整体奖励）会更努力地配合，训练起来更稳、更快。

3. 实验结果：真的好用吗？

作者不仅用电脑模拟了，还真的把机器鱼放到了真实的水池里测试。

模拟测试：
- 面对随机乱跑的逃犯，或者很聪明的逃犯（用 AI 训练的），M2GRPO 的抓捕成功率都碾压了其他旧方法（比如 MAPPO）。
- 抓捕速度更快，用的步数更少（就像猎人更精准，不用追半天）。
- 即使增加机器鱼的数量（从 2 条加到 6 条），配合依然很默契，不会乱套。
真实水池测试：
- 在 4 米 x4 米的水池里，两条机器鱼成功围堵并抓住了逃跑的目标。
- 精彩瞬间：一开始它们直追，发现追不上；后来它们灵机一动，一只鱼去堵角，另一只鱼包抄，像**“包饺子”一样把逃犯困在角落里抓住了。这证明了它们真的学会了战术配合**，而不是死板地追。

4. 总结：这技术意味着什么？

这篇论文就像给机器鱼装上了**“智慧大脑”和“团队灵魂”**。

以前：机器鱼像无头苍蝇，记性差，配合乱。
现在：它们能记住历史、看懂队友、快速决策，而且训练起来不费钱、不费电。

未来应用：这项技术不仅能让机器鱼抓“逃犯”，未来还能用于：

水下搜救：一群机器鱼快速搜索失踪人员。
管道检查：像鱼群一样灵活地检查海底管道。
军事防御：保护重要设施，自动拦截入侵的水下目标。

简单来说，这就是让机器鱼从**“单兵作战的笨蛋”进化成了“配合默契的特种部队”**。

以下是对论文《M2GRPO: Mamba-based Multi-Agent Group Relative Policy Optimization for Biomimetic Underwater Robots Pursuit》的详细技术总结：

1. 研究背景与问题定义 (Problem)

背景：
仿生水下机器人（如仿生鲨鱼）因其高机动性、低噪音和隐蔽性，在水下资源勘探、搜救及生态监测等领域具有广泛应用。多机器人协同（Swarm）能显著提升任务效率，其中**追捕 - 逃逸（Pursuit-Evasion, PE）**任务是评估多智能体协作能力的典型基准。

核心挑战：
在仿生水下机器人的协同追捕任务中，传统策略学习方法面临以下根本性挑战：

长时程决策与部分可观测性： 水下环境复杂，智能体只能获取局部观测，且追捕过程往往需要长时程的规划，传统多层感知机（MLP）难以有效整合历史观测信息，导致决策短视。
智能体间动态交互： 追捕者与逃逸者、追捕者之间的拓扑关系动态变化，现有模型难以捕捉复杂的智能体间交互特征。
训练稳定性与资源消耗： 现有的多智能体强化学习（MARL）算法（如 MAPPO）通常依赖价值网络（Critic），在部分可观测和长序列任务中训练不稳定，且计算资源需求大。

2. 方法论 (Methodology)

论文提出了一种名为 M2GRPO 的新框架，结合了基于 Mamba 的策略网络与多智能体组相对策略优化（MAGRPO），采用集中训练、分散执行（CTDE）范式。

A. Mamba 策略网络 (Mamba-based Policy)

为了解决长时程依赖和交互建模问题，设计了基于选择性状态空间模型（SSM）的 Mamba 策略网络：

输入处理： 接收当前局部观测（自身状态、逃逸者信息、邻居相对状态）及历史观测序列。
时序建模 (Temporal Modeling)： 利用 Mamba2 模块处理历史观测序列。通过输入依赖的门控机制和分段递归，以线性时间复杂度高效捕捉长程时序依赖，提取时序特征 $F_{t,tem}$ 。
关系建模 (Relational Modeling)： 利用 BiMamba2（双向 Mamba）处理当前观测中的自身、目标和集体特征，提取智能体间的交互特征 $F_{t,rel}$ 。
特征融合： 通过 多头注意力机制 (Multi-Head Attention) 将时序特征与关系特征融合。关系特征作为 Query，时序特征作为 Key-Value，生成统一的潜在表示。
动作输出： 融合后的特征通过全连接层输出高斯分布的均值和方差，经采样和截断生成连续的仿生控制动作。

B. 多智能体组相对策略优化 (MAGRPO)

为了在不牺牲稳定性的前提下提高训练效率并消除对显式价值网络的依赖，提出了 MAGRPO 算法：

组相对优势估计 (Group-Relative Advantage)： 在 $G$ 个并行环境中，对每个智能体 $i$ 在不同环境 $j$ 中的回合回报 $R^i_j$ 进行组内归一化。
$A^i_j = \frac{R^i_j - \bar{R}^i}{\text{Std}_i(R) + \tau}$
其中 $\bar{R}^i$ 是该智能体在 $G$ 个环境中的平均回报。这种方法消除了对全局价值函数（Value Function）和复杂基线的需求。
优化目标： 结合 PPO-clip 机制，最大化组归一化优势下的策略目标函数，确保策略更新在信任区域内，维持训练稳定性。
优势： 显著降低了计算复杂度，无需训练额外的 Critic 网络，同时实现了稳定的信用分配。

C. 奖励设计

奖励函数由三部分组成：

捕获奖励 ( $r_{cap}$ )： 当距离小于捕获半径时给予固定奖励。
辅助奖励 ( $r_{aux}$ )： 鼓励追捕者向逃逸者靠近（负距离惩罚）。
安全奖励 ( $r_{safe}$ )： 惩罚越界行为，防止机器人冲出训练区域。

3. 主要贡献 (Key Contributions)

Mamba 策略网络架构： 首次将选择性状态空间模型引入水下多机器人协同任务。该网络能够同时从局部历史观测中提取长时程时序依赖，并通过注意力机制编码动态的交互特征，解决了部分可观测环境下的长时程信用分配难题。
MAGRPO 算法扩展： 将组相对策略优化（GRPO）从大语言模型领域扩展至多智能体强化学习。通过组归一化优势估计，去除了显式价值网络，大幅降低了训练资源需求，同时保持了 PPO 的稳定性。
虚实结合验证： 在仿真和真实水下环境（4m×4m 水池）中进行了广泛实验。使用了 3 台仿生鲨鱼机器人原型，验证了算法在真实物理约束下的有效性和泛化能力。

4. 实验结果 (Results)

实验在仿真和真实世界两个层面进行，对比了 MAPPO、HAPPO、MASAC 等主流基线算法。

有效性 (Effectiveness)：
- 在面对随机逃逸和智能学习逃逸两种策略时，M2GRPO 的捕获成功率分别达到 97% 和 93%，显著优于所有基线算法（HAPPO 次之，约为 89%）。
- 归因于其强大的时序和关系建模能力，追捕者能更准确地预测逃逸者意图并协同围堵。
效率 (Efficiency)：
- M2GRPO 在平均捕获步数上表现最优，表明其具备更前瞻性的规划能力，决策效率更高。
可扩展性 (Scalability)：
- 随着追捕者数量从 2 增加到 6，M2GRPO 保持了最高的成功率。相比之下，MASAC 因信用分配困难导致性能下降，MHPPO（非共享参数）因训练开销过大表现不佳。
消融实验：
- 移除交互编码导致成功率下降 11%，移除时序建模下降 6%，将 Mamba 替换为 MLP 导致下降 26%。证明了时序建模、关系编码及 Mamba 骨干网络的关键作用。
真实世界实验：
- 在真实水池中，M2GRPO 成功演示了从直接追逐到侧面包抄的战术调整，最终成功捕获高机动性的逃逸者，验证了策略在动态环境中的适应性。

5. 意义与展望 (Significance)

理论意义： 提出了一种无需价值网络的高效多智能体训练范式，证明了 SSM（Mamba）架构在处理长序列、部分可观测 MARL 任务中的优越性，解决了传统 Transformer 计算复杂度高和 MLP 记忆能力弱的问题。
应用价值： 为仿生水下机器人的协同作业（如水下巡检、环境探索、紧急救援）提供了可扩展、高稳定性的决策框架。
未来工作： 计划将算法扩展至全三维水下环境，结合机载感知与通信实现端到端学习，并探索基于世界模型的强化学习以进一步提升样本效率。

总结： M2GRPO 通过融合 Mamba 的长序列建模能力与 GRPO 的高效优化机制，成功解决了仿生水下机器人在复杂动态环境下的协同追捕难题，实现了高成功率、高效率和强可扩展性的统一。