💻 computer science

WDQAR:A Weighted Double Q-Learning Based Adaptive Routing Protocol for Flying Ad Hoc Networks

本文提出了 WDQAR，这是一种用于飞行自组网（Flying Ad Hoc Networks）的自适应路由协议，该协议利用加权双 Q 学习框架结合动态邻居发现和基于扇区的过滤技术，旨在减轻高度移动无人机环境中的 Q 值估计偏差并优化路由性能。

原作者： Qingzhong Ni, Yijie Bai, Daojie Yu, Qi Zhang, Fan Meng

发布于 2026-09-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qingzhong Ni, Yijie Bai, Daojie Yu, Qi Zhang, Fan Meng

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在灾区、战场或偏远荒野的上空，被称为无人驾驶航空器（UAV）的小型飞行机器人正越来越多地以集群（swarms）的形式协同工作。这些机器并不依赖地面基站或固定的互联网电缆；相反，它们直接彼此通信，形成一个在空中漂浮的临时自组织网络。这种类型的网络被称为飞行自组网（Flying Ad Hoc Network）。这些集群面临的挑战在于，空气是一个混沌之地。无人机移动迅速，它们的位置每秒都在变化，而连接它们的无形无线电链路也可能像形成一样快地断裂。为了让信息从一个无人机传递到下一个，直到到达地面站，网络需要一种路由系统，能够对该信任哪个邻居进行下一跳决策做出瞬时判断。传统方法往往难以应对这种情况，要么对变化反应过慢，要么因为不断向每个邻居大声广播更新信息而浪费宝贵的电池电量。

来自解放军信息工程大学的一个研究小组提出了一种解决此问题的新方法，称为 WDQAR。他们将路径规划问题视为一个学习过程，而非绘制静态地图。想象一下，一架从未飞过这条特定航线的无人机；它必须学习哪些邻居是可靠的，哪些链路容易断开，以及哪个方向能最有效地通往目标。研究人员使用了人工智能领域中称为“强化学习”的技术，在这种技术中，智能体通过试错来学习，为好的选择获得奖励，为错误的选择受到惩罚。然而，标准的学习方法有时会过于乐观，猜测一条路径比实际情况更好。为了解决这个问题，该团队引入了一种“加权双重”（weighted double）学习方法。该系统维护着两份关于其所学知识的独立内部记录。通过比较并融合这两份记录的预测结果，该系统避免了过度自信的陷阱，从而在快速移动的空中做出更稳定、更准确的决策。

该协议主要分为两个阶段。首先，无人机必须了解周围的环境。在快速移动的网络中，发送“你好”（hello）消息来宣布自身存在，发送得太频繁会浪费能量，但发送得太少则意味着无人机可能无法意识到邻居已经漂移出了通信范围。WDQAR 系统通过使这些消息的定时具有适应性来解决这个问题。如果一架无人机与朝相同方向移动的邻居一起进行稳定的飞行模式，它会降低“你好”消息的频率。如果风力或机动导致链路变得不稳定，它会加快消息频率以保持更新。这种动态调整确保了网络在不让无线电波被不必要的杂讯淹没的情况下，仍能感知其不断变化的形态。

一旦无人机知道了其邻居，它就必须决定下一跳将数据包发往何处。该系统并非询问每一个邻居，而是首先根据地理位置对列表进行过滤。它创建一个指向目的地的圆锥形区域，并且只考虑该圆锥区域内的邻居。这缩小了选择范围，使学习算法能够专注于最有希望的路径。至于选择哪个邻居的决策，则由一个权衡四个特定因素的奖励系统来引导：邻居剩余的电池电量、预计的连接持续时间、该邻居距离最终目的地有多近，以及该邻居拥有多少其他可靠的邻居。通过平衡这些因素，系统可以避免将数据发送给即将耗尽电量的无人机，或者正在走向死胡同的无人机。

为了让这种学习过程更快，研究人员给了无人机一个“起跑优势”。系统不是从零知识开始，而是根据每个邻居相对于目的地的位置为其分配一个初始值。物理位置上更接近目标的邻居会获得更高的初始评分。这防止了无人机在过程初期浪费时间去探索无用的路径。此外，系统还会根据网络的稳定性来调整自身的学习速度。如果链路缓慢或不可靠，系统会从这种失败中快速学习。如果连接稳定，它则学习得更慢，更加信任过去的经验。这种灵活性使网络能够针对速度或方向的突然变化做出即时调整。

研究人员使用了一个模拟高达一百架无人机在三维空间内飞行的灾害监测场景计算机模拟实验来测试他们的想法。他们将这种新协议与同样使用学习算法的其他现有方法进行了对比。结果显示，WDQAR 系统明显更加有效。它交付给地面站的数据包比例更高，即使在无人机数量增加的情况下，平均成功率也能达到 92% 以上。它还实现了更快的数据传输，平均延迟比排名第二的竞争对手低了近 40%。或许对集群寿命最重要的意义在于，新协议消耗的能量更少，产生的控制流量也更小。通过发送更少的“你好”消息并选择更高效的路径，无人机得以节省电池寿命，并保持网络的平稳运行。

这项研究证实，通过结合一种聪明的邻居过滤方式和一种更谨慎的经验学习方法，可以创造出一种足以应对飞行不可预测性的鲁棒路由系统。虽然这些发现来自于模拟而非实飞测试，但数据表明，这种方法可以使未来的无人机集群在缺乏或损坏通信基础设施的现实世界场景中更加可靠。这项工作强调，在一个充满变动的世界里，最好的策略不仅是做出反应，而是去学习、仔细权衡选项，并持续适应环境。

技术摘要：WDQAR - 一种基于加权双重 Q 学习的 FANET 自适应路由协议

1. 问题陈述

由无人机（UAV）组成的飞行自组网（FANETs）在维持可靠路由方面面临着重大挑战，其原因在于节点的快速移动性、频繁的拓扑变化以及不稳定的通信链路。虽然现有的移动自组网（MANETs）和车载自组网（VANETs）路由协议已经存在，但由于高控制开销、对位置不准确性的敏感性以及无法从动态条件下进行学习，它们往往无法满足 FANET 的需求。

具体而言，基于 Q 学习的路由协议虽然具有自适应性，但在该背景下存在三个主要局限性：

Q 值估计偏差： 传统的 Q 学习由于使用同一个 Q 表进行动作选择和价值评估，往往会高估未来价值。
收敛缓慢： Q 值的随机或零初始化导致早期探索效率低下，且难以快速适应当前网络环境。
高控制开销： 静态的 HELLO 消息间隔会导致拓扑信息要么过时（如果间隔过长），要么产生过多的控制流量（如果间隔过短），无法适应变化的链路持续时间和节点速度。

2. 方法论：WDQAR

本文提出了 WDQAR（基于加权双重 Q 学习的自适应路由），这是一种旨在解决上述问题的两阶段协议。该协议运行于一个 3D 灾害监测场景中，其中无人机与地面控制站（GCS）进行通信。

2.1 自适应邻居发现

为了高效管理拓扑变化，WDQAR 引入了一种动态 HELLO 消息广播间隔调整机制。

机制： 广播周期（ $HP_i^t$ ）不再是固定值，而是根据预测的**链路持续时间（ $LD_{ij}$ ）和节点间速度向量的余弦相似度（ $CS_i^t$ ）**进行计算。
逻辑： 如果节点正在快速分离（低链路持续时间）或具有发散的速度，则缩短间隔以快速更新邻居表。如果拓扑结构稳定，则延长间隔以减少控制开销。
边界： 间隔被限制在 $[HP_{min}, HP_{max}]$ 范围内，以防止出现极端值。

2.2 路由决策模块

路由阶段采用了一个带有若干特定优化的强化学习框架。

A. 候选邻居过滤

为了缩小动作空间并加速收敛，协议通过基于扇区的机制对潜在的下一跳进行过滤。

定义一个以当前节点为中心、以 GCS 为中心轴、半锥角为 $\phi \approx 60^\circ$ 的球形扇区。
只有位于该扇区内的邻居才会被视为主要候选者。如果扇区内不存在邻居，协议将退回到贪婪候选集（即距离 GCS 更近的节点）。

B. Q 值初始化

为了避免低效的早期探索，WDQAR 使用了基于位置的初始化策略，而非随机或零初始化。

初始 Q 值（ $Q_{init}$ ）根据候选邻居到目的地的距离与当前节点到目的地的距离之比进行分配。
距离目的地更近的邻居会获得更高的初始 Q 值，从而为智能体提供关于转发能力的先验知识。

C. 奖励函数设计

奖励函数（ $r_i^t$ ）是四个归一化指标的加权和，其权重通过信息熵动态确定：

剩余能量（ $E_j$ ）： 防止特定节点能量耗尽。
链路持续时间（ $LD_{ij}$ ）： 优先考虑稳定的链路。
地理进展（ $F_{ij}$ ）： 鼓励向目的地方向推进，同时最小化偏差角度。
有效邻居比例（ $VNR_{ij}$ ）：反映了后续跳数中可靠邻居的密度，降低了出现路由空洞的风险。

D. 加权双重 Q 学习更新

为了减轻标准 Q 学习的过估计偏差以及双重 Q 学习可能存在的低估问题，WDQAR 采用了加权双重 Q 学习方法。

双表机制： 每架无人机维护两个独立的 Q 表（ $Q_1$ 和 $Q_2$ ）。
更新过程： 随机选择一个表进行更新，而使用另一个表来评估动作价值。
自适应加权： 根据两个估计器在最佳动作和最差动作之间的数值差异计算自适应权重（ $\beta$ ）。该权重平衡了单重和双重估计器，从而产生更准确的未来价值估计（ $Q_W$ ）并增强稳定性。

E. 动态学习参数

学习率（ $\alpha$ ）和折扣因子（ $\gamma$ ）也会进行自适应调整：

学习率： 当下一跳延迟高于平均水平（表明不稳定）时，学习率增加以更快更新数值；当链路稳定时，学习率降低以依赖历史经验。
折扣因子： 根据连续时间步之间邻居集合的稳定性进行调整，在拓扑变化剧烈时减少对未来奖励的依赖。

3. 主要贡献

本文概述了四项主要贡献：

自适应 HELLO 机制： 基于链路持续时间和速度相似度动态调整广播间隔，以平衡及时的拓扑更新与控制开销的减少。
加权双重 Q 学习框架： 一种分布式路由协议，通过维护两个 Q 表及自适应加权机制，减少估计偏差并提高在高度动态环境中的稳定性。
综合奖励函数： 一个包含剩余能量、链路持续时间、地理进展和有效邻居比例的多指标奖励函数，其权重通过信息熵动态确定。
优化策略： 集成了基于位置的 Q 值初始化和自适应学习参数，以加速收敛并提高自适应能力。

4. 仿真结果

该协议在 NS-3 中进行了评估，场景为 40–100 架无人机以 10–30 m/s 速度移动的 3D 灾害监测场景。WDQAR 与 QFANET 和 QGEO 进行了对比。

Q 值稳定性： 与单重 Q 学习相比，加权双重 Q 学习将 Q 值波动降低了约 45.62%，总变动量降低了 33.03%。
数据包交付率 (PDR)： WDQAR 实现了最高的 PDR，平均为 92.62%（比 QFANET 高约 3.42%，比 QGEO 高约 6.50%）。它在不同的节点密度和无人机速度下均保持了卓越的性能。
端到端延迟： WDQAR 展示了最低的平均延迟（16.80 ms），相比 QFANET 降低了 40.93%，相比 QGEO 降低了 44.30%。
能量消耗： 通过平衡负载并减少不必要的重传，该协议降低了平均能量消耗：比 QFANET 降低了 12.34%，比 QGEO 降低了 6.86%。
路由开销： 由于采用了自适应 HELLO 间隔，WDQAR 实现了最低的开销（9.94%），相比对比协议分别降低了 29.43% 和 34.80%。

5. 重要性与主张

作者声称，WDQAR 显著增强了高度动态 FANET 环境中的路由可靠性和学习稳定性。通过解决现有 Q 学习方法的特定局限性——即估计偏差、收敛缓慢和静态控制开销——该协议为在资源受限、高移动性场景下运行的无人机集群提供了鲁棒的解决方案。

论文得出结论，结合自适应邻居发现、基于扇区的过滤以及加权双重 Q 学习，使得网络能够比当前的先进协议更精确地识别最优路径，并更有效地适应拓扑变化。未来的工作包括将该协议扩展到更大、更复杂的场景，并通过硬件在环（hardware-in-the-loop）和真实的无人机实验进行验证。