⚡ electrical engineering

DQN Based Joint UAV Trajectory and Association Planning in NTN Assisted Networks

该论文提出了一种基于深度 Q 网络（DQN）的联合无人机轨迹与关联规划算法，旨在通过构建集成地球静止轨道（GEO）卫星与地面网络的架构，解决先进空中交通（AAM）中因网络动态性和无人机能量受限导致的覆盖不足问题，从而有效降低能耗、切换频率及连接中断。

原作者： Afsoon Alidadi Shamsabadi, Cosmas Mwaba, Thomas Nugent, Jie Gao, Pablo Madoery, Halim Yanikomeroglu, Subhadeep Pal

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Afsoon Alidadi Shamsabadi, Cosmas Mwaba, Thomas Nugent, Jie Gao, Pablo Madoery, Halim Yanikomeroglu, Subhadeep Pal

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让无人机（UAV）飞得更聪明、更省电、更不容易“断网”的故事。

想象一下，未来的城市里充满了像出租车一样运送乘客或快递的无人机。这些无人机需要时刻和地面的控制中心“聊天”（通信），才能安全飞行。但是，现在的通信网络就像是一个只有地面路灯的城市：

地面基站（MBS）的局限：就像路灯，它们主要照向地面。无人机飞高了，信号就像被路灯“低头”照不到一样，变得很弱。而且在农村或偏远地区，根本没有路灯（基站），无人机飞过去就会“失联”。
卫星（GEO）的优势：就像天上的太阳，无论你在哪里，它都能照到你。但是，卫星信号虽然覆盖广，但切换起来比较麻烦，而且有时候为了省电，无人机也不想一直盯着太阳看。

这篇论文的核心问题就是： 无人机在从 A 点飞到 B 点的过程中，如何决定走哪条路（轨迹）以及什么时候连地面基站、什么时候连卫星，才能既省电，又少切换信号（避免像手机换基站时那样卡顿），还不掉线？

🚀 论文提出的解决方案：给无人机装上“超级大脑”

作者没有让无人机死板地按地图飞，而是给它装了一个基于人工智能（AI）的“超级大脑”，具体叫深度 Q 网络（DQN）。

我们可以把这个过程想象成教一个新手司机开车：

环境（地图）：
- 地面有 10 个信号塔（路灯），有的信号强，有的弱。
- 天上有一颗卫星（太阳），信号稳定但切换成本高。
- 有些区域是“盲区”（没有路灯也没有太阳），飞进去就会断网。
任务（驾驶）：
- 司机（无人机）要从起点开到终点。
- 目标：
  1. 省油（少飞冤枉路，少做无用功）。
  2. 少换挡（减少在基站和卫星之间频繁切换，避免“晕车”和信号中断）。
  3. 不掉链子（绝对不能飞进盲区）。
学习方法（DQN 算法）：
- 刚开始，这个“新手司机”是乱开的（随机探索）。
- 每开一步，系统都会给它打分（奖励或惩罚）：
  - 飞得直、省油？👍 加分。
  - 频繁切换信号？👎 扣分。
  - 飞进盲区断网了？❌ 大扣分！
- 经过成千上万次的模拟练习（就像在驾校练车），这个 AI 司机学会了：“哦，原来在这个区域连卫星最稳，在那个区域连地面基站最省电，而且为了避开前面的盲区，我应该稍微绕一点点路。”

🌟 论文发现了什么？（实验结果）

作者通过电脑模拟了各种飞行场景，发现这个“超级大脑”非常厉害：

混合网络更香：
- 如果只靠地面基站（没有卫星），无人机经常被迫绕路去蹭信号，或者飞进盲区断网。
- 如果结合卫星和地面基站，无人机可以走更直的路线，遇到地面信号不好的地方，就立刻“抬头”连卫星，飞过去后再“低头”连地面。
- 比喻：就像开车，平时走地面小路（基站），遇到堵车或没路了，直接开上高架桥（卫星）绕过去，既快又稳。
灵活调整策略：
- 如果你告诉 AI：“我最在乎省电"，它就会选最短的路，哪怕多切换几次信号也没关系。
- 如果你告诉 AI：“我最在乎别频繁切换"，它就会尽量赖在一个信号源上，哪怕多飞点路也要保持连接稳定。
- 比喻：这就像你导航时可以选择“时间最短”或“少红绿灯”模式，AI 能根据你的需求自动调整路线。

💡 总结

这篇论文就像是在教无人机如何做一个聪明的“老练司机”。

在复杂的未来交通网络中，无人机不再需要死记硬背地图，而是通过人工智能，实时判断是连“地面路灯”还是“天上太阳”，从而在省电、稳定、不迷路这三个目标中找到完美的平衡点。这不仅能让无人机飞得更远、更久，也为未来我们坐“空中出租车”或收“无人机快递”提供了坚实的技术保障。

以下是基于论文《DQN–Based Joint UAV Trajectory and Association Planning in NTN-Assisted Networks》（基于 DQN 的 NTN 辅助网络中无人机轨迹与关联联合规划）的详细技术总结：

1. 研究背景与问题定义 (Problem)

背景：
先进空中交通（AAM）是下一代交通系统的核心，依赖于无人机（UAV）与控制中心之间稳定、高效的通信链路。然而，现有的地面网络（Terrestrial Networks）存在局限性：

覆盖盲区： 地面基站（MBS）天线通常下倾以覆盖地面用户，导致对空中 UAV 的信号弱，且在农村或偏远地区部署成本高，存在覆盖空洞。
频繁切换与中断： UAV 在高速移动中频繁切换基站会导致“乒乓效应”和链路中断。
能源限制： UAV 机载能源有限，需要高效的轨迹规划以延长续航。

非地面网络（NTN）的作用：
地球静止轨道（GEO）卫星可提供广域覆盖，作为地面网络的补充，确保 UAV 在覆盖盲区或远距离飞行时的连通性。

核心问题：
本文提出并形式化了联合 UAV 轨迹与关联规划（JUTAP）问题。目标是在集成 GEO 卫星与地面 MBS 的网络架构下，设计 UAV 的飞行路径（轨迹 $T$ ）和网络关联策略（关联序列 $C$ ），以最小化以下三个指标的加权和：

能量消耗（Energy Consumption）：飞行距离和速度带来的能耗。
切换成本（Handover Frequency/Cost）：减少在地面基站间或卫星与地面间不必要的切换。
断开连接（Disconnectivity）：避免进入信号低于阈值的覆盖空洞。

该问题被建模为一个混合整数非凸优化问题，由于状态空间巨大（网格数量多、关联选项多），传统方法难以求解。

2. 方法论 (Methodology)

为了解决高维状态空间下的序贯决策问题，作者提出了一种基于**深度 Q 网络（DQN）**的算法。

系统模型：

环境： 一个 $A \times A$ 的地理区域，包含 $N_B$ 个三扇区地面基站和一个 GEO 卫星。
UAV 运动： UAV 在 3D 空间中从起点飞行至终点，高度固定（<300m），路径被离散化为网格。
信道模型：
- 地面链路： 考虑概率视距（LoS）、多径衰落、天线下倾角及同频干扰。
- 卫星链路： 假设高概率 LoS，考虑自由空间损耗、大气损耗等。
关联策略简化： 为了降低动作空间维度，将关联决策简化为二元变量 $\hat{c}_t$ $\overset{c}{^}_{t}$ ：
- $\hat{c}_t = 0$ ：关联地面网络（自动选择当前网格 SINR 最高的 MBS）。
- $\hat{c}_t = 1$ ：关联 GEO 卫星。

DQN 算法设计：

状态空间 ( $S$ )： $s_t = [x_t, y_t, \hat{c}_t]$ ，包含 UAV 的归一化坐标和当前的关联模式。
动作空间 ( $A$ )： $a_t = (m_t, \hat{c}_{t+1})$ ，其中 $m_t$ 是 8 个可能的移动方向， $\hat{c}_{t+1}$ 是下一时刻的关联模式。总动作数为 $8 \times 2 = 16$ 。
奖励函数 ( $R$ )： 设计为负向成本函数，旨在最小化总代价：
$r_t = -w_1 \xi - w_2 \eta - w_3 \delta$
- $\xi$ ：能量相关项（与剩余距离和移动方向有关）。
- $\eta$ ：切换成本（MBS 间切换成本低，MBS 到卫星切换成本高，卫星保持连接成本低，覆盖空洞后重连有奖励）。
- $\delta$ ：断开连接惩罚（若进入覆盖空洞则惩罚）。
- $w_1, w_2, w_3$ ：权重系数，用于平衡能耗、切换和连通性。
训练机制： 采用 $\epsilon$ -greedy 策略探索，使用经验回放（Experience Replay）和软更新的目标网络（Target Network）来稳定训练。

3. 主要贡献 (Key Contributions)

集成架构提出： 构建了一个 GEO 卫星与地面基站协同工作的集成网络架构，专门针对 UAV 通信中的覆盖和切换问题。
联合优化问题建模： 首次（在特定场景下）将 UAV 的轨迹规划与网络关联（地面 vs. 卫星）联合建模，同时考虑能耗、切换频率和连通性三个关键指标。
DQN 算法创新： 提出了一种高效的 DQN 算法，通过简化关联决策（二元化）和离散化轨迹，解决了传统 Q-learning 在大规模状态空间下的“维数灾难”问题，实现了在复杂动态环境下的策略学习。
权衡机制： 设计了可调节的奖励权重，允许网络运营商根据实际需求（如优先节能或优先减少切换）动态调整 UAV 的行为策略。

4. 仿真结果 (Results)

作者在 $3km \times 3km$ 的区域（ $25 \times 25$ 网格），部署 10 个地面基站和 1 个 GEO 卫星进行了仿真验证：

收敛性： 算法在约 400 个训练回合后收敛，总奖励趋于稳定，证明模型成功学习了网络动态和最优策略。
集成网络 vs. 纯地面网络：
- 路径长度： 集成网络下的 UAV 路径更短（4,072.94 米 vs. 4,354.1 米）。
- 覆盖空洞： 集成网络仅经历 1 次覆盖空洞，而纯地面网络经历了 5 次。
- 连通性： 集成网络利用卫星填补了地面覆盖盲区，显著减少了断开连接事件。
权重敏感性分析：
- 优先减少切换 ( $w_2$ 高)： UAV 倾向于保持在地面网络，避免切换到卫星（因为切换成本高），导致路径变长，能耗增加。
- 优先节能 ( $w_1$ 高)： UAV 选择最短路径，并频繁利用卫星链路避开覆盖空洞，虽然切换次数略增，但总能耗最低。
结论： 集成 GEO-地面网络方案在减少能耗、降低断开连接风险方面表现显著优于纯地面网络。

5. 意义与展望 (Significance)

技术价值： 证明了人工智能（特别是深度强化学习）在解决复杂的空天地一体化网络资源管理问题中的有效性。
应用前景： 为 AAM 系统（如城市空中交通、无人机物流）提供了可靠的通信保障方案，特别是在地面基础设施不足的区域。
未来方向： 该框架可扩展至多 UAV 协同场景，或结合更复杂的动态环境（如移动卫星、动态干扰）进行优化。

总结： 该论文通过引入 DQN 算法，成功解决了 UAV 在混合网络环境下的轨迹与关联联合优化问题，显著提升了 UAV 通信的能效、可靠性和连续性，为未来 6G 及 NTN 网络中的无人机应用奠定了理论与技术基础。