Sim2Sea: Sim-to-Real Policy Transfer for Maritime Vessel Navigation in Congested Waters

本文提出了 Sim2Sea 框架，通过 GPU 加速并行仿真、双流时空策略结合速度障碍引导的动作掩码机制以及针对性的域随机化方案，成功解决了复杂拥挤水域中自主船舶导航的仿真到现实迁移难题，实现了纯仿真训练策略在真实无人船上的零样本部署。

要点

这篇论文介绍了一个名为 Sim2Sea（从模拟到海洋）的项目，它的核心目标是教会一艘无人驾驶船如何在拥挤、复杂的海面上安全航行，而且不需要在真实海面上“试错”就能直接上手。

想象一下，你想教一个从未见过大海的孩子开船。如果直接把他扔进波涛汹涌、船只乱窜的真实港口，他大概率会撞船或者翻船。传统的做法是让他先在游泳池里练，但游泳池的水流太简单，到了大海里根本不管用。

Sim2Sea 就是为了解决这个“游泳池 vs 大海”的差距而设计的。它通过三个“魔法步骤”让这艘船学会了真本事：

1. 打造了一个“超级加速”的虚拟大海（GPU 并行模拟器）

• 通俗解释：以前的模拟器就像是一个人在慢慢画地图，画完一艘船再画下一艘，效率太低。Sim2Sea 则像是一个拥有成千上万个分身的超级画家。
• 创意比喻：想象一下，普通的模拟器是单线程的“老式打字机”，一次只能打一个字；而 Sim2Sea 是一台拥有 6 万多个键盘的“超级打字机”，它可以在同一秒钟内模拟 6 万多个不同的场景。
• 作用：这让 AI 能在极短的时间内“经历”几百万次航行，从各种可能的事故中学习，就像让船长在虚拟世界里坐了一辈子的“飞行模拟器”，把该踩的坑都踩完了。

2. 给 AI 装上了“透视眼”和“时间机器”（双流时空策略）

• 通俗解释：光有地图不够，船还得知道“现在周围有什么”以及“刚才发生了什么”。
  • 透视眼（鸟瞰图 BEV）：AI 不再只看眼前的雷达点，而是像上帝视角一样，把周围的海面、船只、海岸线变成一张清晰的“上帝视角地图”。这就像玩《星际争霸》或《王者荣耀》时，你看到的不是第一人称的模糊画面，而是清晰的全局小地图。
  • 时间机器（Transformer 编码器）：船是有惯性的，就像一辆大卡车，不能像自行车那样瞬间急转弯。AI 需要记住过去几秒发生了什么（比如水流怎么推船），才能预测下一秒船会去哪。这就像老练的司机不仅看红绿灯，还能凭感觉知道前面那辆车的刹车灯亮起后，它大概会滑行多远。
• 作用：这让 AI 不仅能看清现状，还能预判未来，理解船的“脾气”（惯性）。

3. 戴上了“安全紧箍咒”（速度障碍引导的动作屏蔽）

• 通俗解释：在训练初期，AI 可能会乱试，比如直接朝大石头撞过去。如果全靠奖励机制（撞了扣分），它可能要在海里撞很多次才能学会。
• 创意比喻：Sim2Sea 给 AI 戴了一个智能“紧箍咒”。在 AI 决定下一步怎么走之前，这个紧箍咒会先算一下：“如果你往左转，3 秒后会不会撞船？如果是，直接禁止你往左转，你只能从剩下的安全方向里选。”
• 作用：这就像教小孩骑车时，家长在后面扶着车把，只允许他往安全的地方转。这样 AI 就不需要去体验“撞墙”的痛苦，学习效率极高，而且从一开始就是安全的。

4. 最后的“魔鬼训练”：随机化（Domain Randomization）

• 通俗解释：虚拟世界再完美，和真实世界也有细微差别（比如真实海风更乱，传感器有噪音）。
• 创意比喻：为了让 AI 适应真实世界，训练时，研究人员故意在虚拟环境里制造“混乱”：今天水流方向随机变，明天传感器数据加点噪点，后天船的动力忽大忽小。
• 作用：这就像让运动员在刮风、下雨、甚至穿着不合脚的鞋的情况下训练。当它真正穿上“标准装备”上场比赛（真实大海）时，会觉得“这太简单了”，从而能从容应对各种意外。

实验结果：真的能行吗？

最酷的部分来了：研究人员把在虚拟世界里训练好的 AI，直接（零样本，Zero-shot） 装上了一艘17 吨重的真实无人船。

• 结果：这艘船在真实的拥挤水域里，没有经过任何额外的实地训练，就成功完成了避障和航行任务。
• 对比：
  • 没有“随机化训练”的船：在真实海里像喝醉了一样，左右摇摆，因为太依赖完美的虚拟环境。
  • 没有“时间机器”的船：完全失控，因为它不懂船的惯性，像一辆没有刹车的卡车。
  • Sim2Sea 的船：像一位经验丰富的老船长，平稳、安全地穿过了障碍。

总结

这篇论文就像是在说：我们造了一个超级逼真的虚拟大海，给 AI 戴上了“安全紧箍咒”，并故意在训练时制造各种混乱，最终让这艘 AI 控制的巨轮，在第一次出海时就能像老司机一样，在拥挤的港口里游刃有余地穿梭。

这不仅是技术的突破，更是让无人驾驶船舶真正走向现实世界的关键一步。

技术摘要

Sim2Sea：面向拥挤水域的船舶自主导航“仿真到现实”策略迁移技术总结

1. 研究背景与问题定义 (Problem)

随着全球海上贸易的加剧和近岸拥挤水域活动的扩展，船舶自主导航对于提升安全性和运营效率至关重要。然而，在拥挤、异构且环境不确定性高的水域（如港口、沿海航道）实现自主导航仍面临巨大挑战。

主要痛点包括：

• 仿真与现实的差距 (Sim-to-Real Gap)： 现有的强化学习（RL）方法在仿真中训练后，往往因动力学模型不精确、传感器噪声、执行延迟以及环境不确定性（如洋流），导致在真实船舶上部署失败。
• 缺乏高性能仿真器： 现有的开源仿真器多针对水下机器人或视觉任务，缺乏针对水面船舶复杂动力学（如惯性、欠驱动特性）的高保真、大规模并行仿真环境。
• 感知与决策的复杂性： 船舶需处理多模态、异步数据（AIS、雷达、海图），且需应对复杂的时空动态。纯反应式策略难以处理动量效应，而基于规则的方法（如 COLREGs）在多船相遇时往往过于保守或犹豫不决。
• 安全性探索： 在真实环境中进行试错探索风险极高，需要一种机制确保在训练和部署过程中的安全性。

目标： 开发一种能够完全在仿真中训练，并实现“零样本”（Zero-shot）直接迁移到真实 17 吨无人船上的自主导航框架，以在拥挤水域中实现安全、高效的避障和路径规划。

2. 方法论 (Methodology)

作者提出了 Sim2Sea 框架，该框架由三个核心支柱组成：

2.1 高性能并行船舶仿真器 (High-Performance Parallel Simulator)

• 架构设计： 基于 Taichi 语言构建，支持 CPU/GPU 原生并行执行。采用“以智能体为中心”的并行策略，在大规模环境（如 1024 个环境，每个环境 64 个智能体）中实现高吞吐量。
• 动力学建模： 支持多种船舶运动模型，包括高精度的 3 自由度 MMG (Maneuvering Modeling Group) 模型、Nomoto 模型和非线性运动学模型。
• 安全机制： 引入连续时间碰撞检测 (CCD)，检查离散步长之间的完整扫掠路径，避免漏检碰撞。
• 交互模拟： 支持圆形障碍物（代表其他船只）和多段线障碍物（代表海岸线、防波堤），利用哈希网格加速碰撞检测。

2.2 双流时空策略网络 (Dual-Stream Spatiotemporal Policy)

该策略网络旨在处理动态障碍物数量变化和复杂海岸几何形状：

• 时间编码 (Temporal Encoder)： 使用 Transformer 编码器处理过去 $k$ 步的历史观测序列。这使智能体能够捕捉船舶在洋流干扰下的长期依赖关系和潜在环境动力学，弥补单步观测的不足。
• 空间感知 (Spatial Encoder)： 利用 鸟瞰图 (BEV) 表示编码空间上下文。BEV 通过融合雷达、AIS 和海图数据生成，避免了多传感器融合的复杂性，直接提供周围船只位置和地理特征。使用轻量级 CNN 处理 BEV 图像。
• 融合与解码： 将时间特征和空间特征融合，通过 MLP 解码器输出动作 logits。

2.3 速度障碍引导的主动动作掩码 (VO-Guided Active Action Masking)

• 机制： 为了在复杂几何环境中确保探索安全，引入显式的动作掩码机制。
• 原理： 基于扩展的 速度障碍 (Velocity Obstacles, VO) 方法。对于每个候选动作（期望航向），实时计算其与圆形障碍物（计算 TTC，碰撞时间）和多段线障碍物（预测轨迹与线段相交性）的冲突。
• 执行： 在 Softmax 操作前，将预测为不安全（TTC 小于安全视界或发生几何相交）的动作概率置零。
• 优势： 显著提高了样本效率（收敛步数减少约 50%），并大幅降低了训练和部署中的碰撞率。

2.4 针对性域随机化 (Targeted Domain Randomization)

• 策略： 为了弥合仿真与现实的差距，在仿真中引入受控的随机性。
• 关键随机化： 重点对 洋流模型 进行随机化。将洋流建模为低频主导流向和高频随机扰动的组合，并在每个训练回合随机化主方向 $d_{main}$ 和振幅 $A$。
• 目的： 迫使策略学习对未建模动力学（如真实洋流）具有不变性的特征，增强智能体在真实环境中的适应性。

3. 主要贡献 (Key Contributions)

1. 专用并行仿真器： 开发了一个专为大规模 RL 训练设计的高速并行海上仿真器，支持高保真船舶动力学（MMG）和连续时间碰撞检测，填补了该领域开源工具的空白。
2. 创新策略架构： 提出了一种结合“时空策略（Transformer+BEV）”与“主动动作掩码（VO-guided Masking）”的智能体架构。实验证明，这种显式的安全约束比隐式的奖励塑形更有效，能实现更稳定、安全的训练。
3. 首次实船零样本部署： 在针对性域随机化方案的辅助下，该策略在纯仿真环境中训练后，成功实现了在 17 吨无人船 上的零样本部署。这是已知首个在如此规模船舶上成功实现拥挤水域自主导航的案例。

4. 实验结果 (Results)

4.1 仿真性能评估

• 并行效率： 在 A100 GPU 上，Sim2Sea 的并行仿真速度比基于 CPU 的逐智能体并行策略快 700 倍 以上，验证了其大规模训练的能力。
• 对比基线： 在“迷你海岸线 (Mini Coastline)"和“迷你港口 (Mini Port)"两个拥挤场景中，Sim2Sea 与以下基线对比：
  • VO-RL / COLREG-RL： 基于奖励塑形的强化学习方法。
  • VO： 纯速度障碍控制器。
• 结果： Sim2Sea 取得了最高的成功率（Mini Coastline: 93%, Mini Port: 90%），最短的平均不安全动作数，且收敛速度最快。消融实验表明，移除动作掩码、BEV 输入或时间序列编码器均会导致性能显著下降。

4.2 仿真到现实 (Sim-to-Real) 部署

• 实验平台： 17 吨无人水面艇，配备 GNSS、AIS、雷达和摄像头，运行在嵌入式 Linux 服务器上。
• 零样本迁移： 使用在仿真中训练的最佳策略，直接在真实海域进行测试，无需任何真实数据微调。
• 对比分析：
  • Sim2Sea (完整模型)： 轨迹平滑，成功避障，无碰撞到达目标。
  • 无域随机化 (w/o Randomization)： 轨迹出现高频振荡，表明策略过拟合了理想仿真动力学，无法适应真实扰动。
  • 无时间序列 (w/o Sequence)： 出现灾难性失败，由于缺乏对惯性的预测能力，反应式策略导致失控和碰撞。
• 结论： 成功的迁移依赖于时间编码器（学习内部动力学模型）和域随机化（适应未建模外部力）的协同作用。

5. 意义与展望 (Significance)

• 技术突破： Sim2Sea 证明了通过结合高保真并行仿真、先进的时空感知架构以及显式的安全约束机制，可以解决强化学习在复杂物理系统（如船舶）中“仿真到现实”迁移的难题。
• 实际应用价值： 该方法为大型无人船在拥挤、动态水域的自主作业提供了可行的技术路径，具有极高的工程应用价值。
• 未来方向： 基于该框架的高并发仿真能力，未来可进一步探索多智能体协同、更复杂的多船交互场景以及更广泛的真实世界部署。

总结： Sim2Sea 不仅是一个算法框架，更是一个完整的工程解决方案，它通过系统性的设计（从底层仿真到上层策略再到迁移策略），成功打通了从虚拟训练到真实 17 吨船舶自主导航的最后一公里。