Energy-Efficient Routing Protocol in Vehicular Opportunistic Networks: A Dynamic Cluster-based Routing Using Deep Reinforcement Learning

这是一份关于论文《Energy-Efficient Routing Protocol in Vehicular Opportunistic Networks: A Dynamic Cluster-based Routing Using Deep Reinforcement Learning》（基于深度强化学习的车辆机会网络能效路由协议：一种动态簇路由方法）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
随着智能城市的发展，车联网（VANETs）作为移动自组织网络（MANETs）的一种，面临着高动态性和频繁拓扑变化的挑战。由于车辆移动性高，网络连接往往是间歇性的，这类网络被称为机会网络（OppNets）或延迟容忍网络（DTNs）。其核心通信范式是“存储 - 携带 - 转发”（SCF）。

主要挑战：
现有的路由协议在机会网络中面临以下关键问题：

• 动态拓扑与不可预测的接触模式： 导致路由性能下降，交付率降低，延迟增加。
• 资源约束： 节点能量和缓冲区容量有限。传统的泛洪（Flooding）策略开销大，而限制副本数量又会导致交付率下降。
• 现有簇路由的局限性：
  • 现有的基于簇的方法难以适应快速变化的网络环境。
  • 簇头（Cluster Head, CH）选择机制僵化（如基于固定距离），导致负载不平衡（同一节点频繁当选簇头而耗尽能量）。
  • 缺乏自适应机制来调整簇的重叠度，导致在稀疏或高密度区域连接效率低下。
  • 难以与标准的 TCP/IP 协议兼容，因为机会网络缺乏稳定的物理基础设施。

2. 方法论 (Methodology)

论文提出了一种名为 CR-DRL（基于深度强化学习的簇路由）的新协议。该方法结合了 Actor-Critic (AC) 深度强化学习框架和启发式函数，旨在实现实时的最优中继选择和动态簇调整。

A. 系统模型

• 网络架构： 车辆节点配备 GPS 和 Wi-Fi 模块，无物理基础设施（如 RSU）。
• 通信模式： 节点间通过 SCF 机制通信。网络被划分为多个簇（Clusters），簇头负责数据聚合和转发。
• 虚拟网络段： 提出了一种中间件架构，将动态簇映射为虚拟网络段，簇头作为网关，共享节点（Common Members）作为中继，从而在机会网络上实现 TCP/IP 兼容性。

B. 核心算法：Actor-Critic (AC) 框架

CR-DRL 将路由问题建模为马尔可夫决策过程（MDP）：

• 状态空间 (State, $s$)： 包含三个关键实时指标：
  1. 相遇率 (Encounter Rate, $\phi$)： 反映节点连接其他节点的能力（基于历史相遇和当前窗口计算）。
  2. 剩余能量 (Residual Energy, $\Psi$)： 节点电池电量（仅当能量 > 初始能量 25% 时才有资格当选簇头）。
  3. 缓冲区大小 (Buffer Size, $\eta$)： 节点当前存储消息的能力。
• 动作 (Action, $a$)： 选择最优的簇头节点。
• 奖励函数 (Reward, $R$)： 归一化后的综合指标，旨在最大化交付率 ($\hat{\mu}$) 和吞吐量 ($\hat{\eth}$)，同时最小化端到端延迟 ($\hat{D}$)。
  $$R = M_1 \cdot \hat{\mu} + M_2 \cdot \hat{\eth} - M_3 \cdot \hat{D}$$
• 优化策略： 使用熵正则化（Entropy Regularization）平衡探索与利用，结合经验回放（Experience Replay）和自适应学习率，确保在动态环境下的收敛稳定性。

C. 动态簇重叠调整：自适应距离阈值 (ADT)

为了解决固定距离聚类的问题，CR-DRL 引入了启发式函数 ADT (Adaptive Distance Threshold)：

• 原理： 根据节点密度 ($H$) 动态调整簇形成的最大允许距离 ($\varrho_d$)。
  $$\varrho_d = \Delta \cdot \frac{1}{\sqrt{H}}$$
• 机制：
  • 低密度区域： 增大 $\varrho_d$，允许簇覆盖更广范围，连接稀疏节点。
  • 高密度区域： 减小 $\varrho_d$，防止簇过大导致内部通信开销过高。
• 参数优化： 通过仿真确定缩放因子 $\Delta = 1.5$ 为最佳值，能在簇大小、簇内/簇间通信成本和消息投递成功率之间取得最佳平衡。

D. 路由过程

1. 簇内通信： 普通节点将数据发送给簇头。
2. 簇间通信： 簇头通过“共享节点”（Common Members，即同时属于多个簇的节点）将数据转发给其他簇的簇头，最终到达目的地。
3. 防环机制： 记录访问过的簇，设置 TTL（300 秒）和跳数限制（10 跳），防止数据包循环。

3. 主要贡献 (Key Contributions)

1. 首创 DRL 驱动的簇路由： 首次将深度强化学习（特别是 AC 框架）应用于机会网络的簇路由，实现了基于实时参数（能量、相遇率、缓冲区）的智能簇头选择，解决了传统方法负载不均的问题。
2. 动态簇重叠机制： 提出了 ADT 启发式函数，根据节点密度动态调整簇的重叠度，显著提升了网络的可扩展性和连通性，克服了固定距离聚类的缺陷。
3. TCP/IP 兼容性架构： 设计了一种中间件架构，将动态簇转化为虚拟网络段，利用簇头和共享节点构建稳定的逻辑路径，使得机会网络能够兼容标准的 TCP/IP 协议，无需依赖物理基础设施。
4. 综合性能优化： 同时优化了能量效率、交付率、延迟和吞吐量，解决了现有协议在单一指标优化上的局限性。

4. 实验结果 (Results)

研究在 ONE (Opportunistic Network Environment) 模拟器中进行了验证，对比了 CR-DRL 与现有基准协议（如 EEHCHR, ECRDP, Mobility Adaptive, RLProph 等）。

关键性能指标提升：

• 能效与寿命：
  • 节点寿命延长高达 21%。
  • 整体能耗降低 17%。
  • 节点保持活跃的时间延长了 15%。
  • 在 EEHCHR 对比中，CR-DRL 显著推迟了“第一个节点死亡”（FND）和“一半节点死亡”（HND）的时间。
• 通信性能：
  • 交付率 (Delivery Ratio)： 提高高达 10%（特别是在高密度场景下）。
  • 端到端延迟 (E2E Delay)： 降低高达 28.5%。
  • 吞吐量 (Throughput)： 提高 7%。
  • 跳数 (Hop Count)： 传输所需的跳数减少 30%，表明路径更短、效率更高。
• 网络稳定性：
  • 网络分区（Partitioning）数量比传统 SCF 架构减少了 85%。
  • 在 50 秒仿真结束时，CR-DRL 实现了近 100% 的网络连通性，而 SCF 架构仅为 58%。
  • 簇头变更率显著降低，表明簇结构更加稳定。

5. 意义与结论 (Significance)

• 理论意义： 证明了深度强化学习在处理高动态、资源受限的机会网络路由问题上的有效性，特别是通过 AC 框架解决状态空间复杂和奖励稀疏的问题。
• 实际应用价值：
  • 延长网络寿命： 通过智能能量管理，显著减少了因节点耗尽能量导致的网络断裂。
  • 提升服务质量： 大幅降低延迟和提高交付率，使其更适用于对实时性有要求的智能交通系统（ITS）。
  • 基础设施无关性： 提出的虚拟网络段架构使得机会网络无需依赖昂贵的路边单元（RSU）即可实现类 TCP/IP 的稳定通信，降低了部署成本。
• 未来展望： 论文建议未来结合生成式 AI 生成合成移动模式，并利用联邦学习在 6G 边缘计算环境中进一步优化路由。

总结： CR-DRL 协议通过深度强化学习和动态聚类机制，成功解决了车辆机会网络中路由效率低、能耗高和连接不稳定的核心痛点，为构建高效、节能且兼容现有互联网协议的未来智能交通网络提供了强有力的解决方案。