💻 computer science

OGR-MARL: Option-Guided Residual Multi-Agent Reinforcement Learning for Heterogeneous USV Cooperative Pursuit in Constrained Port Waterways

本文提出了 OGR-MARL，一种解耦的选项引导残差多智能体强化学习框架，通过使规则引导型智能体能够学习修正动作，增强了受限港口航道中异构无人艇（USV）的协同追逐能力，从而实现了高捕获率以及在各种 MARL 骨干网络上的零样本泛化。

原作者： Mao Jiayang, Wang Lanfeng, Peng Zhao-Han

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Mao Jiayang, Wang Lanfeng, Peng Zhao-Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：机器人不再仅仅通过遵循僵化的说明书来学习思考和行动，而是通过玩游戏、尝试各种方法并从错误中学习。这就是**多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）**的核心。把它想象成一群朋友在一起学习如何打一场复杂的团队运动。不是由一位教练在每一秒都精确地告诉每个人该做什么，而是每个球员都在观察比赛，弄清楚队友在做什么，并通过试错来学习最佳动作。“多智能体”部分仅仅意味着有一个由这些学习型机器人组成的完整团队在共同协作，而不是一只孤独的孤狼。

现在，想象一下把这支学习型机器人队伍带入一个非常棘手、拥挤的环境：一个繁忙的港口。这就是事情变得混乱的地方。在开阔的海面上，机器人有足够的空间移动。但在港口里，它们必须躲避其他船只、避免撞向岸边、遵循严格的交通航道，并协同工作以捕捉一个快速移动的“逃逸者”（试图逃跑的小船）。这是一场高风险的捉迷藏游戏，规则严苛，空间狭窄，而且对手也非常聪明。科学家们之所以关注这一点，是因为如果我们能教会机器人在这些拥挤、危险的水域中安全且有效地导航，我们就可以将它们用于现实世界的任务，如安全巡逻、环境监测或搜救任务，而无需冒人类生命的危险。

论文的核心思想：“教练”与“球员”

这篇论文介绍了一种新的方法，旨在教导这些机器人团队如何在繁忙的港口中玩好“捕捉逃逸者”这款游戏。作者们将他们的新系统称为 OGR-MARL。为了理解它的特别之处，让我们用一个类比。

想象你正在教一群新的足球运动员如何在一个狭小、拥挤的后院里打球。如果你只是告诉他们：“去踢球！”然后让他们自己摸索（这正是标准 AI 学习通常的做法），他们可能会花好几个小时撞在篱笆上、互相绊倒，或者把球踢到邻居的院子里。他们可能永远学不会这项运动，因为规则太复杂，且失误的代价太高。

另一方面，如果你给他们一个严格的教练，告诉他们确切在哪里奔跑以及何时踢球，他们会完美地遵守规则。但问题在于：如果另一支队伍（逃逸者）突然改变策略或朝奇怪的方向奔跑，严格教练的计划可能会失败，因为它无法快速适应。

OGR-MARL 是两者的完美结合。它就像有一个聪明的教练，既给球员们一个总体的比赛计划（“选项引导”，Option Guidance），又让球员们利用自己的大脑进行细微、快速的调整（“残差学习”，Residual Learning）。

它是如何运作的：机器人团队

在这项研究中，机器人团队由不同类型的船只组成，被称为 USV（无人船）。它们并不完全相同；它们是一个“异构”团队，这意味着它们拥有不同的“超能力”：

侦察兵（The Scouts）： 这些船速度较慢，但拥有巨大的眼睛（极大的感知半径）。它们的任务是从远处发现逃逸者并追踪其位置。
拦截者（The Interceptors）： 这些是速度很快但眼睛较小的船。它们看不远，但它们是唯一足够快能真正抓住逃逸者的。

目标是在逃逸者逃出港口之前抓住它，同时必须遵守严格的规则：不要撞到岸边，不要撞到其他货船，并且留在正确的交通航道内。

秘诀所在：选项引导的残差学习

论文的主要创新点在于如何结合“教练”与“球员”。

教练（选项引导）： 系统使用一种简单的基于规则的算法（类似于基础地图和一套交通法规）来建议一个高层目标。例如，教练可能会说：“侦察兵，去寻找目标，”或者“拦截者，移动到出口处进行拦截。”这为机器人提供了一个安全的起点，这样它们就不会浪费时间撞墙。
球员（残差学习）： 这是 AI 发挥魔力的地方。机器人并不仅仅盲目地跟随教练。它们拥有一个“残差”大脑，学习进行微小的、纠正性的调整。如果教练说“向左走”，但逃逸者突然向右冲刺，机器人的大脑会说：“好吧，我主要向左走，但我会稍微向右微调角度来捕捉它。”

这种“残差”部分至关重要。它允许机器人学习复杂的协作行为——比如侦察兵保持对目标的视线，同时拦截者悄悄接近进行抓捕——而无需在混乱的环境中从零开始学习一切。

研究发现：结果

研究人员在一个模拟港口（基于中国真实的夏至门港）中测试了他们的 OGR-MARL 系统。他们将新系统与旧方法进行了对比，并发现了一些令人兴奋的结果：

旧方法表现挣扎： 当他们仅使用严格规则时，机器人的捕捉成功率仅为 35%。当他们尝试在没有教练帮助的情况下仅使用 AI 学习时，成功率非常糟糕（有时低至 1% 或 2%）。AI 迷失了方向、发生碰撞或选择了放弃。
新方法大获成功： 当他们将教练与 AI 结合时，成功率大幅飙升。他们系统中表现最好的版本，称为 OGR-MASAC，成功捕捉逃逸者的概率达到了 75%。
它遵守规则： 不仅捕捉逃逸者的次数更多，而且它们比其他方法更严格地遵守了港口规则。它们撞向岸边或撞向其他船只的频率也比其他方法低得多。
它能在真实地图上运行（无需重新训练）： 最令人印象深刻的部分是，研究人员将一个在简单、抽象地图上训练好的系统，直接应用到了一个详细的、真实的港口地图上（使用了真实的船舶流量数据）。他们完全没有对机器人进行重新训练。即使在这种“零样本”（zero-shot）迁移中，系统仍能捕捉到逃逸者约 66.7% 的次数。这表明该系统足够聪明，能够处理现实世界的复杂性，而无需再次学习。

为什么这很重要

论文指出，通过给 AI 机器人提供一个规则和高层目标的“安全网”，我们可以更快、更可靠地教它们解决极其困难的团队协作问题。这不仅仅是为了制造能捕捉船只的机器人，更是为了创建一个框架，让不同类型的机器人能够在像繁忙港口这样复杂的现实环境中协同工作。

尽管这些结果是基于模拟实验（且现实世界的测试仍是使用真实数据的模拟），但作者们展示了这种方法是一个充满前景的进步。它架起了刚性、基于规则的安全性和灵活、智能的 AI 之间的桥梁，证明了有时教导机器人的最佳方式是给予它一点引导，然后让剩余的学习过程在实战中自然发生。

技术摘要：面向异构 USV 协同追逐的 OGR-MARL 方法

1. 问题建模

本文研究了在受限港口航道内进行异构多无人艇（Multi-USV）协同追逐的挑战。与开阔海域场景不同，港口环境施加了严格的航行约束，包括狭窄航道、锚地区域、缓冲区以及双向交通流。

具体问题涉及一组由四艘异构追击者组成的团队，任务是拦截试图向东边界逃逸的规避者。该团队由以下组成：

拦截者 ( $P_1, P_2$ )：具备捕获能力的高速 USV，但感知半径有限。
侦察者 ( $P_3, P_4$ )：速度较慢但具有大感知半径的 USV，负责维持对目标的可见性并更新共享信念状态。

规避者被建模为一个质点，利用 A* 全局规划器和人工势场（APF）局部避障模块来绕过岸线、货轮及追击者进行导航。环境是部分可观测的；只有侦察者能在远距离检测到规避者，这要求团队必须维护一个随时间衰减（若未及时更新）的共享信念状态。

核心难点在于如何在规则合规性（避免碰撞岸线、违反交通规则或侵入锚地）与任务有效性（捕捉具有战术规避和重新规划能力的规避者）之间取得平衡，同时应对部分可观测性和异构动力学特性。

2. 方法论：OGR-MARL

作者提出了 OGR-MARL（选项引导的残差多智能体强化学习），这是一个算法无关的框架，旨在将规则引导的行为与学习过程解耦。该框架在**中心化训练、分布式执行（CTDE）**范式下运行。

核心架构组件：

选项引导层 (Option Guidance Layer)：
- 一个轻量级的基于规则的模块，根据智能体的角色、信念置信度和规则合规状态为其分配高层“选项”（模式）。
- 选项：{搜索 (search), 追踪 (track), 拦截 (intercept), 阻截 (block), 恢复 (recover)}。
- 功能：侦察者选择 search 或 track 以维持覆盖范围；拦截者选择 intercept 或 block 以形成钳形攻势；recover 则引导智能体远离违规区域。
- 该层生成一个几何目标和高层动作 ( $a^{opt}$ )，该动作独立于所使用的特定 MARL 算法。
残差策略学习 (Residual Policy Learning)：
- 一个通用的 MARL 主干网络（如 MADDPG, MATD3, MAPPO, MASAC）学习以局部观测为条件的残差动作 ( $a^{rl}$ )。
- 最终执行的动作 $a_i$ 是规则引导的选项动作与学习到的残差动作之间的有界混合：
  $a_i = \text{clip}((1 - \beta_i)a^{rl}_i + \beta_i a^{opt}_i, -1, 1)$
- 这使得 MARL 智能体能够在安全且符合规则的先验知识之上，学习修正动作（如时机控制、局部运动调整、协同配合），而不是从零开始探索受限环境。
结构化奖励与课程学习 (Structured Reward and Curriculum Learning)：
- 奖励塑造：奖励函数 ( $r_{ind}$ $r_{in d}$ ) 被分解为：
  - 任务进度：鼓励离开港口、追踪目标及形成钳形阵型。
  - 规则合规：惩罚侵入岸线/锚地及违反交通规则的行为。
  - 异构角色：促进互补行为（侦察者追踪，拦截者逼近）。
  - 终止奖励：捕获成功给予奖励，逃逸或超时给予惩罚。
- 课程学习：训练通过五个阶段（ $S_0$ 到 $S_4$ ）进行，逐步增加规避者速度、收紧捕获半径并加强规则惩罚，从而引导智能体从基础行为过渡到精确且合规的协同。

3. 主要贡献

本文概述了三个主要贡献：

基准场景：建立了一个真实的、受限的港口航道场景（抽象化的 Xiazhimen 港），其特征包括异构 USV、移动交通、锚地区域及部分可观测性。
OGR-MARL 框架：提出了一个算法无关的框架，该框架集成了共享规避者信念、基于角色的选项目标、自适应规则惩罚以及残差策略学习。它允许不同的 MARL 主干网络在规则引导的行为之上学习修正动作。
全面评估：进行了严谨的评估，包括主干网络对比、奖励消融研究，以及向基于 QGIS 和 AIS（自动识别系统）数据的真实世界地图进行的零样本迁移（zero-shot transfer）。

4. 实验结果

实验在 1000x400 的抽象域中进行，并无须重新训练即可迁移至真实地图。

性能对比：
- 纯规则控制器实现的捕获率为 35.0%。
- 纯 MARL 基准（无选项引导）表现不佳（捕获率仅为 1.0% – 16.0%），难以应对稀疏奖励和规则违规问题。
- OGR-MARL 变体显著优于其纯对照组。
- OGR-MASAC（以 Soft Actor-Critic 为实例的 OGR）表现最优，捕获率达到 75.0%，平均任务时间成本最低（121.94s），且异构协同得分最高（HCS: 0.6802）。
- OGR-MATD3 也表现出显著提升，从 1.0% 上升至 59.0%。
消融研究：
- 移除规则奖励或角色奖励会导致性能显著下降（例如，不含规则奖励的 OGR-MASAC 成功率降至 31.0%），证实了在受限环境中结构化奖励的必要性。
零样本迁移：
- 当迁移到基于 QGIS/AIS 的真实 Xiazhimen 地图且无需重训时，OGR-MASAC 实现了 66.67% 的捕获率。
- 虽然低于抽象模拟环境，但这证明了尽管存在曲折海岸线和不规则交通模式等挑战，该方法仍具有泛化潜力。
失败分析：
- 失败主要归因于终端近距离拦截效率不足，而非完全失去目标可见性。成功案例中，拦截者与规避者的平均距离为 4.17，而失败案例中为 8.19。

5. 意义与主张

本文声称 OGR-MARL 有效地弥合了基于规则的方法的可解释性与强化学习的适应性之间的鸿沟。通过将 MARL 算法与特定控制逻辑解耦，该框架使智能体能够：

在安全、规则引导的行为之上学习修正动作，避免了从零开始探索受限环境的低效性。
实现异构协同，使侦察者和拦截者能够有效地执行互补角色。
通过零样本迁移实现对复杂、真实港口场景的泛化，表明该框架在无需重新训练的情况下对环境变化具有鲁棒性。

作者总结道，虽然该方法展现了良好的前景，但未来的工作应侧重于利用世界模型提高样本效率，并在更具真实感或物理性的海洋环境中进行验证。