⚡ electrical engineering

Multi-AUV Trajectory Learning for Sustainable Underwater IoT with Acoustic Energy Transfer

该论文提出了一种基于集中式深度强化学习（PPO）的多自主水下航行器（AUV）协同框架，通过联合优化轨迹控制与声学能量传输，有效解决了水下物联网在能耗、信息时效性及安全性方面的挑战，显著提升了数据收集效率与网络公平性。

原作者： Mohamed Afouene Melki, Mohammad Shehab, Mohamed-Slim Alouini

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohamed Afouene Melki, Mohammad Shehab, Mohamed-Slim Alouini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“如何让海底的传感器网络既聪明又长寿”**的故事。

想象一下，海底就像一片巨大的、黑暗的深海森林。在这片森林里，住着成千上万个**“海底小哨兵”**（也就是物联网传感器节点）。它们负责监测水温、酸碱度，或者检查海底电缆是否安全。

但是，这些“小哨兵”面临两个巨大的难题：

它们没电了：在深海换电池就像让潜水员去几千米深的海底给手表换电池一样，既贵又危险，几乎不可能。
它们很“健忘”：如果它们很久没发数据，上面的世界就不知道海底发生了什么，数据就“过期”了（论文里叫“信息年龄”AoI）。

为了解决这些问题，科学家们派出了**“海底快递员”**（也就是 AUV，自主水下航行器）。这些快递员会游到传感器旁边，做两件事：

送外卖（充电）：利用声波（就像超声波）给传感器无线充电，让它们“满血复活”。
收快递（取数据）：把传感器收集到的数据带回来。

这篇论文的核心创新点是什么？

以前的研究通常只派一个快递员，或者让快递员像无头苍蝇一样乱跑。这篇论文提出了一个更聪明的方案：“多快递员协同作战 + 深度学习大脑”。

我们可以用几个生动的比喻来理解它的运作方式：

1. 从“单人单车”到“快递车队”

以前可能只派一辆车去送快递，路远且慢。现在，论文设计了一个多车协同系统。

比喻：想象一下，以前是一个快递员要跑遍整个城市，累得半死还送不完。现在，派出了两个快递员，他们像训练有素的警察搭档一样，互相配合。一个负责左边街区，一个负责右边街区，谁离谁近谁就负责谁，而且他们还会互相避让，不会撞车。

2. 给快递员装上“超级大脑”（深度强化学习）

这些快递员不是按死板的地图跑的，它们有一个AI 大脑（基于 PPO 算法）。

比喻：这个大脑就像一个经验丰富的老练司机。
- 它知道：如果我去 A 点充电，B 点的电池可能就要耗尽了，所以我得先去 B 点。
- 它知道：如果我现在跑得飞快，虽然快到了，但油耗（电能）太高，不划算；如果慢慢游，虽然慢，但省下的电可以充给更多传感器。
- 它甚至知道：如果两个快递员靠得太近，就会像两辆车在窄路上差点撞车，必须赶紧调整方向。
- 关键点：这个大脑是通过“试错”学会的。它会在模拟的海里跑成千上万次，发现“哦，原来这样跑数据更新最快，而且大家都不饿肚子”，然后把这个经验记下来。

3. 用“声波”当“无线充电宝”

这是最酷的技术点。

比喻：想象你在家里用无线充电器给手机充电。这篇论文说，在水下，我们不用电线，而是用声波（就像蝙蝠发出的声音，但经过特殊处理）来传递能量。快递员游到传感器旁边，发出声波，传感器就能像吃“能量饮料”一样把电存起来。

4. 追求“公平”与“新鲜”

论文不仅关心“送了多少数据”，还关心“谁被冷落”。

比喻：如果快递员只去那些离得近、容易去的传感器，那些住在“偏远山区”的传感器就会饿死（没电）或者很久没更新数据。
这个 AI 系统有一个**“公平原则”**：它强迫快递员不能只顾着容易的，必须雨露均沾，确保每个传感器都能定期得到充电和数据更新，不让任何一家“掉队”。

结果怎么样？

实验结果显示，这套**“多车协同 + AI 大脑 + 声波充电”**的方案，比传统的“死板路线”或“只去最近的”方案要厉害得多：

数据更新更快：海底世界的情况能更及时地传回地面。
更公平：没有传感器被遗忘。
更省电：虽然快递员游得稍微复杂一点，但整体效率更高，能服务更多的传感器。

总结

简单来说，这篇论文就是给海底的物联网设计了一套**“智能调度系统”。它让一群水下机器人像训练有素的蜂群一样，利用声波**互相“投喂”能量，并聪明地规划路线，确保海底的每一个“小哨兵”都能吃饱饭、勤汇报，从而让我们能长期、稳定地监测海洋环境。

这不仅是技术的进步，更是让海洋监测变得可持续（不用频繁换电池）和智能化的关键一步。

这是一份关于论文《Multi-AUV Trajectory Learning for Sustainable Underwater IoT with Acoustic Energy Transfer》（基于声能传输的多 AUV 轨迹学习以实现可持续水下物联网）的详细技术总结。

1. 研究背景与问题定义 (Problem)

背景：
水下物联网（IoUT）在环境监测、海洋基础设施检查和灾害管理中至关重要。然而，水下通信面临带宽受限、信号衰减严重和高延迟的挑战。此外，水下传感器节点受限于有限的 onboard 能量，电池更换或回收成本高昂且往往不可行。

核心问题：
如何设计一种多自主水下航行器（Multi-AUV）的协同框架，以解决以下相互耦合的难题：

轨迹控制与通信协同： AUV 需要规划路径以收集数据并维持传感器节点的通信。
能量可持续性： 利用**声能传输（Acoustic Energy Transfer, AET）**技术，通过声波无线为传感器节点充电，实现无电池或免维护运行。
信息时效性（AoI）： 最小化信息年龄（Age of Information），确保数据的实时性。
多智能体约束： 在满足碰撞避免、安全距离、推进能耗以及最终停靠（Docking）约束的前提下，协调多个 AUV 的行动。

该问题被建模为一个具有时间耦合和多智能体耦合的混合整数非线性规划（MINLP）问题，传统优化方法难以求解，因此需要引入深度强化学习（DRL）。

2. 方法论 (Methodology)

论文提出了一种基于**集中式近端策略优化（Centralized PPO）**的深度强化学习框架。

A. 系统模型

场景： $N$ 个 AUV 和 $K$ 个静态传感器节点部署在二维区域。
声信道模型： 使用声纳方程计算接收电平（RL），考虑了传播损失（球面扩散 + 频率相关吸收）和环境噪声。
能量模型：
- AET（充电）： 计算节点可收集的声能。
- 通信能耗： 计算节点上行传输所需的最小功率。
- AUV 能耗： 建立了考虑推进效率、流体阻力（与速度立方成正比）和酒店负载（Hotel load）的推进能耗模型。
信息年龄（AoI）： 定义了一个服务计数器，只有在连续 $K_{reset}$ 次成功传输后才重置 AoI，以鼓励可靠传输。

B. 马尔可夫决策过程 (MDP) 构建

状态空间 ( $S$ )： 包含所有 AUV 的位置、航向、速度，所有传感器的 AoI 和剩余能量，以及 AUV 与传感器之间的相对距离。
动作空间 ( $A$ )： 集中式策略输出所有 AUV 的联合动作。每个 AUV 的动作包括：
- 航向角增量 ( $\Delta \theta$ ) 和速度增量 ( $\Delta v$ ) 的离散化控制。
- 选择哪个节点进行声能传输（WET）。
- 选择哪个节点进行数据上行传输（Data Uplink）。
奖励函数 ( $R$ )： 设计为多目标加权函数，旨在：
- 最大化向停靠点（Docking zone）的接近度。
- 最小化平均 AoI。
- 最大化 Jain 公平性指数（确保所有节点被公平服务）。
- 惩罚边界越界、停滞、AUV 间碰撞（基于高斯距离惩罚）以及能量不可行的传输。
- 提供停靠奖励。

C. 算法实现

采用**集中式训练与执行（CTDE）**架构。虽然动作是联合输出的，但训练过程利用 PPO 的截断代理目标（Clipped Surrogate Objective）和广义优势估计（GAE），能够稳定地处理多智能体间的耦合（如共享的 AoI 动态和能量演化）。

3. 主要贡献 (Key Contributions)

多 AUV 协同框架扩展： 将之前的单 AUV 轨迹学习扩展至多 AUV 场景，并集成了真实的移动感知能量模型（包含推进能耗、阻力效应和电池演化）。
连续运动控制建模： 采用连续 2D 运动控制公式（航向和速度演化），相比离散方向移动，生成了更符合物理规律的轨迹。
联合优化设计： 在一个统一的 DRL 框架中，同时优化了 AUV 的轨迹控制、声能传输决策和数据收集策略，并显式考虑了碰撞避免和停靠约束。
性能评估指标： 不仅关注数据收集量，还重点评估了 AoI 最小化、Jain 公平性指数以及网络规模扩展时的性能增益。

4. 实验结果 (Results)

实验在包含 7 个 IoUT 节点的不同网络规模下，对比了提出的 PPO 方法与贪婪启发式基线（Greedy Baseline）。

AoI 与公平性：
- 在单 AUV 和多 AUV（2 个）场景下，PPO 方法均显著降低了平均 AoI，并保持了更高的 Jain 公平性指数。
- 随着节点数量增加，贪婪策略因仅依赖瞬时几何准则，导致服务不平衡和 AoI 急剧上升；而 PPO 学习到了协调的访问模式，能更好地调节 AoI 增长。
轨迹与数据收集：
- 轨迹行为： PPO 控制的 AUV 会主动靠近多个节点进行服务，然后再前往停靠区，轨迹更加平滑且适应节点分布。贪婪策略则倾向于固定航向，导致服务不均。
- 多 AUV 优势： 在双 AUV 配置中，学习到的策略隐式地将环境划分为不同区域，每个 AUV 负责特定区域，减少了重访延迟，显著提高了数据收集效率。
能耗权衡： 虽然贪婪策略因机动较少而消耗更少的推进能量，但这以牺牲信息时效性、公平性和总数据收集量为代价。PPO 在能量消耗和信息质量之间取得了更好的平衡。

5. 意义与结论 (Significance)

可持续性突破： 该研究证明了结合声能传输（AET）与智能轨迹规划是实现长期、免维护水下物联网运行的可行方案。
可扩展性： 结果表明，随着网络规模扩大，协同多 AUV 控制带来的性能增益更加显著，展示了该框架在大规模部署中的潜力。
技术价值： 提出了一种将物理约束（流体力学、声传播）、通信约束（AoI、能量）和运动规划统一在深度强化学习框架下的解决方案，为未来水下智能体集群的自主协同提供了重要的理论依据和工程参考。

总结： 本文通过引入基于 PPO 的集中式深度强化学习，成功解决了多 AUV 在水下环境中协同进行声能传输和数据收集的复杂优化问题，实现了信息新鲜度、公平性和数据收集效率的显著提升，为可持续水下物联网的发展提供了新的技术路径。