⚡ electrical engineering

Two-Layer Reinforcement Learning-Assisted Joint Beamforming and Trajectory Optimization for Multi-UAV Downlink Communications

该论文提出了一种结合图神经网络与多智能体强化学习的分层解耦框架，通过拓扑感知波束赋形和去中心化轨迹规划，有效解决了多无人机下行通信中波束赋形与轨迹设计的耦合优化难题，显著提升了系统总速率、收敛速度及泛化能力。

原作者： Ruiqi Wang, Essra M. Ghoura, Omar Alhussein, Yuzhi Yang, Jing Ren, Shizhong Xu, Sami Muhaidat

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruiqi Wang, Essra M. Ghoura, Omar Alhussein, Yuzhi Yang, Jing Ren, Shizhong Xu, Sami Muhaidat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种让无人机群（UAV）更高效地提供无线网络服务的新方法。你可以把它想象成是在教一群“空中快递员”如何一边飞得聪明，一边送得精准。

为了让你更容易理解，我们把这篇论文的核心内容拆解成几个生动的场景：

1. 核心难题：既要飞，又要送，还要不撞车

想象一下，你有一群无人机（UAV），它们的任务是飞越城市，给地面上的用户（比如正在刷视频的人）发送信号。

挑战一（飞得难）： 无人机不能乱飞，它们要避开彼此（不能撞车），还要在电池耗尽前飞到目的地。
挑战二（送得难）： 无人机飞的位置变了，信号强弱也会变。如果飞得太远，信号就弱；如果飞得太近，好几台无人机可能会互相干扰，就像几个人同时在大声说话，谁也听不清。
传统方法的困境： 以前的方法要么像“老学究”一样，每次都要拿纸笔算半天（计算太慢，来不及反应）；要么像“死记硬背”的学生，遇到稍微不一样的情况就懵了（泛化能力差）。

2. 解决方案：把大任务拆成“快”和“慢”两层

这篇论文提出了一个**“双层大脑”**系统，把复杂的任务拆成了两个时间尺度的任务：

🚀 第一层：快大脑（图神经网络 GNN）—— 瞬间的信号调节师

比喻： 想象无人机群里的每一台无人机都有一个**“超级调音师”**。
做什么： 当无人机飞过时，地面用户的位置和干扰情况每毫秒都在变。这个“调音师”不需要思考怎么飞，它只需要在极短的时间内（毫秒级），根据当前的干扰情况，瞬间调整信号发射的方向和力度（波束成形）。
创新点： 以前的调音师是“盲人摸象”，不管用户怎么分布，都用同一种方法。而这个新系统（GNN）像是一个**“社交网络观察员”**。它能看清谁和谁在干扰谁（就像看清社交网络中谁和谁关系好、谁在吵架），然后精准地让信号避开干扰，只对准目标用户。
效果： 反应极快，而且不管用户是 10 个还是 100 个，它都能灵活应对，不需要重新学习。

🗺️ 第二层：慢大脑（多智能体强化学习 MAPPO）—— 全局的飞行指挥官

比喻： 想象有一个**“空中交警队长”，它不关心每一毫秒的信号细节，它关心的是整个航程**怎么飞最划算。
做什么： 它指挥无人机群决定下一分钟往哪飞。它的目标是：既要让大家都能收到好信号，又要避免撞车，还要确保所有无人机都能按时飞到终点。
创新点：
- 集体训练，独立执行： 所有无人机在“训练场”里一起听队长的指挥（集中训练），但在“实战”中，每架无人机只根据自己的眼睛看到的（局部观察）独立飞行，不需要时刻互相打电话汇报，这样效率最高。
- 防迷路奖励机制： 以前无人机可能飞着飞着就发现“哎呀，时间不够了，到不了终点了”。这个新系统给无人机加了一个**“可达性检查”**：如果它发现现在的飞法会导致无法按时到达，就会立刻受到惩罚。这就像给无人机装了一个“导航预警”，强迫它时刻保持在能到达终点的路线上。

3. 它们怎么配合？（闭环系统）

这两个大脑是手牵手工作的：

慢大脑（指挥官）决定无人机往哪飞。
无人机飞到了新位置，快大脑（调音师）立刻根据新位置调整信号，算出能传输多少数据。
这个“传输了多少数据”的结果，变成了奖励分，反馈给指挥官。
指挥官根据分数，决定下次飞得更好一点。

结果： 无人机学会了**“为了大局牺牲小我”**。比如，为了覆盖更多用户，它可能会故意绕一点远路（虽然飞得慢了点，但大家收到的信号更好了，总分更高）。

4. 实验结果：为什么它很厉害？

作者做了很多模拟实验，发现这套系统：

比传统算法快得多： 传统方法算一次要几十秒（像蜗牛），这套系统只要几十毫秒（像闪电），完全能满足实时飞行的需求。
比简单的 AI 更聪明： 简单的 AI 在用户多了之后就会“变傻”，信号质量下降；而这个系统随着用户变多，反而能更好地协调，信号质量甚至更好。
飞得更稳： 无人机学会了像鸟群一样协作，既没有撞车，又完美覆盖了所有用户。

总结

这篇论文就像是在教一群无人机**“如何像一支训练有素的交响乐团”**一样工作：

快大脑负责每一瞬间的乐器调音（信号优化），确保声音清晰。
慢大脑负责指挥整个乐章的走向（飞行轨迹），确保大家配合默契，不跑调、不撞车。

最终，这套系统让未来的 6G 网络中，无人机群能更智能、更高效地为我们提供无处不在的无线信号。

这是一份关于论文《Two-Layer Reinforcement Learning-Assisted Joint Beamforming and Trajectory Optimization for Multi-UAV Downlink Communications》（双层强化学习辅助的多无人机下行通信联合波束成形与轨迹优化）的详细技术总结。

1. 研究背景与问题定义 (Problem)

背景：
无人机（UAV）是未来 6G 非地面网络的关键组件，能够提供灵活的三维覆盖。然而，UAV 的高移动性导致信道拓扑动态变化，使得**波束成形（Beamforming）与轨迹规划（Trajectory Optimization）**之间存在强耦合关系。

核心挑战：

计算复杂度高： 传统的数值优化方法（如迭代算法）在处理高维、非凸的耦合问题时，计算延迟过高，难以满足动态环境下的实时性要求。
结构感知缺失： 现有的深度学习方法通常将无线环境视为欧几里得空间，忽略了用户关联和干扰的图结构拓扑，导致泛化能力差。
时间尺度不匹配： 信道衰落发生在毫秒级，而 UAV 的机械移动发生在秒级。将两者同步优化会导致动作空间维度爆炸，难以高效求解。
多智能体协同难点： 在多 UAV 场景下，存在稀疏奖励（仅在任务结束时反馈）和异步终止（不同 UAV 到达时间不同）的问题，导致多智能体强化学习（MARL）训练不稳定。

目标：
在满足 UAV 移动约束（避障、边界、续航）的前提下，联合优化波束成形向量和 UAV 轨迹，以最大化整个任务期间的长期平均系统总速率（Sum Rate）。

2. 方法论 (Methodology)

论文提出了一种分层解耦框架，将联合优化问题分解为两个时间尺度的子问题：

A. 快速时间尺度：基于图神经网络（GNN）的波束成形

建模： 将动态的 UAV-用户系统建模为时变异构图（Time-varying Heterogeneous Graph）。节点代表 UAV 和用户，边代表通信链路和簇内干扰关系。
架构： 设计了一种拓扑感知 GNN 波束成形器。
- 输入：瞬时信道状态信息（CSI）。
- 机制：利用图神经网络的消息传递机制（Message Passing），显式学习簇内干扰的耦合模式。
- 创新点：引入GraphNorm（图归一化）替代传统的 BatchNorm，使其能够适应不同簇大小（用户数量变化）的图实例，提高鲁棒性。
- 输出：直接映射 CSI 到波束成形向量，并通过缩放层满足功率约束。
优势： 相比传统迭代算法，推理延迟极低（毫秒级），且具备跨不同网络密度的泛化能力。

B. 慢速时间尺度：基于 MAPPO 的轨迹规划

建模： 将轨迹规划建模为去中心化部分可观测马尔可夫决策过程（Dec-POMDP）。
算法： 采用**集中训练去中心化执行（CTDE）范式下的多智能体近端策略优化（MAPPO）**算法。
- Actor（执行者）： 仅基于局部观测（自身位置、相对用户/目标位置、历史动作）进行决策，无需实时全局信息。
- Critic（评论家）： 在训练阶段利用全局状态（所有 UAV 和用户位置）进行价值评估，解决非平稳性问题。
关键创新（奖励机制）：
- 可达性感知奖励（Reachability-aware Reward）： 设计了一个可行性指示器 $\Phi_n[t]$ 。如果 UAV 偏离导致在剩余时间内无法到达目的地，则给予惩罚；反之给予奖励。这提供了稠密的、逐步的监督信号，解决了稀疏奖励问题。
- 到达掩码（Arrival Masking）： 针对 UAV 异步到达终点的问题，设计掩码机制，过滤掉已完成任务 UAV 的无效梯度，防止训练不稳定。
闭环交互： GNN 波束成形器作为环境的一部分，为 MAPPO 提供即时的系统总速率作为奖励信号，指导 UAV 学习协同飞行策略。

3. 主要贡献 (Key Contributions)

分层解耦框架： 首次提出将联合优化分解为“瞬时波束成形”和“长期轨迹规划”两个子问题，有效解决了信道动态与 UAV 移动性之间的时间尺度失配问题。
拓扑感知 GNN 波束成形器： 设计了基于异构图和 GraphNorm 的模型，能够显式捕捉动态干扰拓扑，实现了可扩展的干扰管理，且推理速度比传统优化方法快约 2000 倍。
改进的 MAPPO 算法： 针对多 UAV 任务中的稀疏奖励和异步终止问题，提出了可达性感知奖励机制和到达掩码方案，显著提升了训练稳定性和协同学习效率。
统一的闭环系统： 构建了 GNN 与 MAPPO 的闭环架构，使 UAV 能够根据实时通信性能反馈自适应地平衡移动约束与通信性能。

4. 实验结果 (Results)

仿真在 200x200 平方米的区域进行，包含多个 UAV 和随机分布的用户。

波束成形性能：
- 总速率： 提出的 GNN 方法在总速率上显著优于 DeepSets 和 MS-PointNet 等基线，在高信噪比和高干扰下接近遗传算法（GA）的最优解，但计算速度快 3 个数量级。
- 泛化性： 在训练集（3 UAV, 12 用户）上训练后，直接应用于不同规模（更多 UAV 或用户）的测试场景，性能下降极小，证明了其强大的泛化能力。
- 延迟： 单次决策推理时间约为 30-45ms，满足高移动性 A2G 信道的相干时间要求。
轨迹规划性能：
- 收敛性： MAPPO 在长期奖励和总速率上均优于独立 PPO（IPPO）、VDN 和 QMIX。IPPO 容易陷入局部最优，而 MAPPO 能学习到复杂的协同避障和负载均衡策略。
- 长期性能： MAPPO 最终稳定在约 65.5 bps/Hz 的总速率，优于贪婪策略（Greedy）和随机策略。
- 轨迹可视化： 在用户密集场景下，UAV 会主动偏离最短路径，绕行至用户密集区以建立更高质量的视距（LoS）链路，体现了“服务感知”的机动能力。

5. 意义与影响 (Significance)

实时性突破： 该框架解决了传统优化方法无法在动态 UAV 网络中实时部署的痛点，实现了毫秒级的波束成形决策。
可扩展性： 通过图神经网络和去中心化执行，系统能够适应网络规模（用户数、UAV 数）的动态变化，无需重新训练即可适应新拓扑。
协同智能： 证明了在部分可观测条件下，通过改进的 CTDE 强化学习，多 UAV 系统可以自发形成高效的协同飞行策略，平衡了移动成本与通信收益。
未来方向： 为 6G 非地面网络中复杂的资源管理与移动性控制提供了新的范式，未来可进一步扩展至簇间干扰处理和更复杂的 UAV 动力学模型。

总结： 本文通过结合图神经网络（处理空间拓扑干扰）和分层强化学习（处理时间尺度与协同决策），成功解决了一个极具挑战性的多 UAV 联合优化问题，在性能、效率和泛化性上均取得了显著突破。