💻 computer science

Cross domain Persistent Monitoring for Hybrid Aerial Underwater Vehicles

本文提出了一种结合深度强化学习与迁移学习的框架，通过共享基于激光雷达和声纳数据的统一策略，实现了混合空水无人飞行器在跨域环境下的自适应持久监控。

原作者： Ricardo B. Grando, Victor A. Kich, Alisson H. Kolling, Junior C. D. Jesus, Rodrigo S. Guerra, Paulo L. J. Drews-Jr

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Ricardo B. Grando, Victor A. Kich, Alisson H. Kolling, Junior C. D. Jesus, Rodrigo S. Guerra, Paulo L. J. Drews-Jr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种非常酷的“两栖机器人”（既能飞又能潜水）的新技术，让它能像一位不知疲倦的“全能侦探”，在天上和海底同时执行监控任务。

为了让你更容易理解，我们可以把这项技术想象成训练一位“超级特工”。

1. 主角：两栖机器人（HUAUV）

想象一下，你有一个机器人，它平时像无人机一样在天上飞，遇到需要潜入水底的任务时，它又能像潜水艇一样下潜。

挑战：天上和海底完全是两个世界。天上风大，海底水流急，而且机器人“看”东西的方式也不一样（天上用激光雷达，海底用声呐）。通常，我们需要分别训练两个大脑来控制它，这既费时又费钱。
目标：让这一个机器人，只用一个大脑，就能在天上和海底都干得漂亮。

2. 核心任务：不知疲倦的“巡逻侦探”

这个机器人的任务是**“持续监控”**。

场景：想象有三个调皮的小偷（移动目标）在操场上乱跑。
规则：机器人必须不停地盯着他们。如果机器人离小偷太近，就能看清他，小偷的“行踪不明度”（不确定性）就归零；如果机器人离得远，小偷就会躲起来，行踪不明度就会随着时间慢慢增加。
目标：机器人要尽可能快地找到小偷，把他们的“行踪不明度”降下来，防止他们溜走。

3. 绝招：深度强化学习 + “举一反三”（迁移学习）

这是这篇论文最厉害的地方。作者没有让机器人分别学习“天上版”和“海底版”，而是用了一种**“举一反三”**的魔法：

第一步：在“陆地”上练级（空中训练）
作者先让机器人在空中（模拟环境）疯狂训练。它用激光雷达（像蝙蝠的声纳，但用光）看东西，学习如何躲避障碍物、如何追踪移动的小偷。这时候，它就像在一个没有水的游泳池里学游泳。
- 比喻：就像让一个运动员在陆地上练习跑步，学习如何快速转弯、如何保持平衡。
第二步：直接下水（零样本迁移）
训练好后，作者直接把这个在陆地上练成的“大脑”装进机器人，把它扔进水里。
- 神奇之处：虽然水里的阻力大、动作慢，而且机器人现在用的是声呐（像蝙蝠一样听声音）而不是激光雷达，但这个机器人不需要重新学习，直接就能下水干活！
- 比喻：就像那个在陆地上练好跑步的运动员，直接跳进海里，虽然水流阻力大，但他依然知道怎么调整步伐去追小偷。这就是**“迁移学习”**——把在一个环境学到的经验，直接用到另一个完全不同的环境里。

4. 为什么用“距离传感器”而不是“摄像头”？

你可能会问，为什么不用眼睛（摄像头）看呢？

原因：在海底，水很浑浊，光线照不进去，摄像头很容易“瞎”；在天上，如果雾太大，摄像头也看不清。
解决方案：作者让机器人只用**“距离感”**（激光雷达和声呐）。这就好比盲人摸象，虽然看不见脸，但能感觉到“前面有个东西，离我 5 米”。这种方法在空气和水中都很管用，不受光线和浑浊度影响。

5. 实验结果：它比老方法强在哪？

作者把这种新方法和一种传统的、死板的“老派导航法”（叫 Bug2 算法，就像一只只会沿着墙根走的蚂蚁）做了对比：

老方法：遇到障碍物就绕路，经常转圈圈，效率低，有时候甚至忘了去追小偷。
新机器人（AI 版）：
- 更聪明：它能预判小偷的路线，主动拦截，而不是傻追。
- 更稳定：即使在水下，它也能保持很高的效率，把小偷的“行踪不明度”压得很低。
- 更全能：它证明了同一个大脑，既能飞又能潜，不需要为每个环境单独造一个大脑。

总结

这篇论文就像是在说：我们成功训练了一位**“两栖特工”**。它先在天上练好了身手，然后直接跳进海里，依然能完美地执行“抓小偷”的任务。

这对未来意味着什么？
这意味着未来我们可以用更少的成本、更简单的系统，去执行那些极其复杂的任务，比如：

检查海上石油平台（既要看上面的结构，又要看水下的管道）。
在灾难现场搜救（既能飞越废墟，又能潜入水下寻找幸存者）。

这就好比我们不再需要分别雇佣一个“空中警察”和一个“水下警察”，现在只需要一个**“全能警察”**，就能搞定所有事情！

论文技术总结：基于深度强化学习与迁移学习的混合空水无人机跨域持久监控

1. 研究背景与问题定义 (Problem)

背景：
混合无人空中水下飞行器（HUAUVs）能够在空中和水下两种截然不同的环境中运行，适用于石油平台检查、水下设施测绘以及搜救等任务。然而，由于空气动力学和水动力学特性（如风、水流、湍流、阻力）的巨大差异，以及传感器特性（空中用激光雷达，水下用声呐）的不同，开发能够在这两个域中自主执行复杂任务的通用控制策略极具挑战性。

核心问题：
现有的持久监控（Persistent Monitoring）任务通常针对单一环境（如地面机器人或纯无人机）。对于 HUAUV 而言，如何设计一种**跨域（Cross-domain）**的自主控制策略，使其能够：

在空中和水下环境中独立或连续地执行任务。
有效管理多个移动目标的不确定性（Uncertainty）。
避免依赖视觉或 GPS 等在不同介质中受限的信息，转而使用测距传感器（LiDAR/声呐）。
解决从一种环境（训练域）迁移到另一种环境（目标域）时的**域偏移（Domain Shift）**问题。

2. 方法论 (Methodology)

本文提出了一种结合**深度强化学习（DRL）与迁移学习（Transfer Learning）**的框架，旨在实现单一策略在空水双域的部署。

2.1 问题建模

任务目标： 在二维有界场景中，控制单个 HUAUV 减少并管理 $N$ 个移动目标的不确定性。
目标运动： 目标沿预设的利萨茹曲线（Lissajous curve）移动，其不确定性 $\sigma$ 随时间线性增长，当车辆进入感知半径 $r_{sense}$ 时重置为 0。
状态与动作：
- 状态 $s_t$ ：车辆 2D 位置 $[x_t, y_t]$ 及目标估计位置。
- 动作 $a_t$ ：线速度 $v_t$ 和角速度 $\omega_t$ 的设定值。
- 感知输入： 仅使用测距传感器数据（空中为 LiDAR，水下为声呐），不依赖视觉或绝对位置信息。
奖励函数： 当车辆成功重置目标不确定性时给予正奖励，鼓励高效、频繁地访问目标。

2.2 核心算法：分布式软演员 - 评论家 (DSAC)

算法选择： 采用 Distributional Soft Actor-Critic (DSAC)。与传统的标量 Q 值学习不同，DSAC 学习回报（Return）的完整分布（使用分类分布建模）。
优势： 能够更有效地捕捉价值估计中的不确定性，减少过估计偏差，提高策略梯度的稳定性，特别适用于连续控制任务。
网络架构： 包含一个随机策略（Actor，高斯分布）和一对分布式评论家（Critic，输出回报的分位数）。

2.3 迁移学习策略 (Zero-Shot Transfer)

训练阶段： 仅在空中域（使用 LiDAR 模拟）进行训练。空中环境动力学较快，阻力较小。
部署阶段： 将空中训练好的策略直接部署到水下域（使用声呐模拟），不进行任何微调（Zero-shot）。
挑战应对： 尽管状态和动作空间相同，但底层动力学函数 $f_{air}$ 和 $f_{water}$ 不同（水下存在流体阻力、加速度较慢）。该方法证明了单一策略可以适应这种动力学差异。

2.4 仿真环境

平台： 基于 Gazebo + ROS，集成 RotorS（空中）和 UUV Simulator（水下）。
场景设置：
- Env 1： 10m x 10m 无障碍区域（基线）。
- Env 2： 包含四个圆柱体障碍物（模拟钻井 risers），测试避障能力。
传感器模拟： 空中模拟 Hokuyo UST-10LX LiDAR，水下模拟前视声呐（FLS）。

3. 主要贡献 (Key Contributions)

跨域持久监控方法论： 首次提出并验证了基于 DRL 和迁移学习的 HUAUV 持久监控方案。证明了单一策略可利用 LiDAR 和声呐测距数据，在空水两个域中无缝切换。
分布式并行训练架构： 提出了一种分布式并行 DRL 训练设置（5 个并行仿真器），加速了策略学习，并展示了其在处理多目标不确定性方面的优越性。
零样本迁移性能验证： 在仿真中证明，仅在空中训练的策略，在直接迁移到水下环境后，仍能保持高效的监控能力，优于传统的基于行为（Bug2 算法）的基线。
系统性分析： 在简化的 2D 设置中，结合真实的车辆动力学和传感器噪声，系统分析了跨域动态对策略的影响，并指出了向 3D 复杂场景扩展的方向。

4. 实验结果 (Results)

实验在 100 次测试中进行了评估，对比了提出的 DSAC 策略与传统的 Bug2 行为基线算法。

不确定性管理：
- DSAC 策略能更频繁地重置目标不确定性，且峰值更低。
- 在无障碍环境（Env 1）中，DSAC 在水下的平均不确定性（约 23-27）显著低于 Bug2（约 35-42）。
- 在有障碍环境（Env 2）中，DSAC 展现了更强的鲁棒性，即使在复杂地形下，其平均不确定性也优于 Bug2。
访问效率（时间）：
- 在 Env 1 中，DSAC 在水下的平均首次访问时间（97.95s）优于 Bug2（127.43s）。
- 在 Env 2 中，Bug2 因避障策略僵化，访问时间大幅增加（155.73s），而 DSAC 保持了相对较好的效率（133.67s），尽管受水下动力学影响时间有所增加，但表现依然稳健。
跨域适应性：
- 仅在空中训练的策略，直接应用于水下，成功管理了三个移动目标的不确定性，证明了“零样本”迁移的有效性。

5. 意义与未来展望 (Significance & Future Work)

意义：

技术突破： 解决了 HUAUV 在跨介质操作中动力学差异巨大的难题，提供了一种无需重新训练即可适应新环境的通用控制方案。
应用价值： 为石油平台检查、水下设施测绘及搜救任务提供了可扩展、高效的自主监控解决方案，降低了对特定环境先验知识的依赖。
传感器鲁棒性： 证明了仅依靠测距传感器（LiDAR/声呐）即可实现复杂监控任务，避免了视觉在水下浑浊环境或空中强光下的局限性。

局限性与未来工作：

当前局限： 目前基于 2D 简化模型，未考虑全 3D 运动、传感器噪声、遮挡以及更复杂的覆盖目标。不确定性模型较为简单（线性局部增长）。
未来方向：
- 扩展至 3D 混合运动，增加高度/深度状态和垂直推力控制。
- 引入更丰富的感知模态和更真实的传感器噪声模型。
- 研究 多智能体协同 策略，以应对大规模监控任务。
- 在真实的 HUAUV 硬件平台上进行实地部署测试。

总结： 该论文通过结合 DSAC 算法与迁移学习，成功构建了一个能够在空中和水下环境中自主执行持久监控任务的 HUAUV 控制框架。实验结果表明，该方法在跨域适应性和任务效率上均优于传统算法，为未来混合无人系统的智能化发展奠定了坚实基础。