⚡ electrical engineering

Predictive Fidelity-Aware Routing and Adaptive Scheduling in Distributed NISQ Quantum Networks via Actor–Critic Reinforcement Learning

本文提出了一种基于深度强化学习的框架（DRL-QCOF），该框架通过集成 Bi-LSTM 保真度预测器与 Actor-Critic 调度智能体，对分布式 NISQ 量子网络中的路由与调度进行联合优化，在动态条件下，其在链路保真度、延迟和资源利用率方面显著优于现有方法。

原作者： Prabu Pachiyannan

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Prabu Pachiyannan

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个庞大且高速的交付网络，但运送的不是披萨，而是由一群隐形的“量子快递员”在由光与原子构成的城市中穿梭。这些快递员携带的是极其脆弱的东西：纠缠——即驱动未来量子计算机的这种奇妙连接。问题在于？它们行驶的道路颠簸不平，天气瞬息万变，而快递员很容易感到疲劳（退相干）或丢失包裹（噪声）。

长期以来，这个量子城市的交通管理员一直使用过时的规则手册。他们查看地图，看到路况良好，然后就派出快递员。但如果突然遭遇暴风雨或桥梁拥堵，这些规则手册反应太慢了。他们会继续让快递员走在破损的路上，导致包裹丢失和客户不满。

于是，一个名为 DRL-QCOF 的全新、超智能交通系统诞生了。你可以把它想象成一组协同工作的两个天才 AI 助手，共同管理着这项量子交付服务。

水晶球与交警

第一个助手是量子保真度预测网络 (QFPN)。想象一下，这个助手拥有一个由数学构成的水晶球。它不仅仅是观察当前的路况，还会观察过去几分钟内道路的波动、噪声和交通拥堵情况。通过使用一种特殊的脑结构——Bi-LSTM（这是一种既能记住过去也能预见未来的记忆机制），它能预测未来几秒钟内道路的情况。它会告诉系统：“嘿，那条路 5 秒钟后就会变得颠簸；先别把快递员往那里送！”

第二个助手是 DRAQS-Agent，即实际的交通警察。这个代理人使用一种“演员-评论家”（Actor-Critic）系统。演员（Actor）是决策者，负责选择路径和行驶速度。评论家（Critic）则是观察者，它盯着演员并根据计分卡说：“选得好！”或“选得不好！”。这个计分卡会根据代理人保持包裹安全（高保真度）、到达速度快（低延迟）以及不阻塞道路（良好的资源利用率）的表现来给予奖励。

它们不仅是在对交通做出反应，更是在预测交通。如果水晶球显示某条路即将变得嘈杂，交通警察会在噪声发生之前就为快递员重新规划路线。

与旧规则的竞赛

作者们在一个巨大的量子城市计算机模拟中（使用 NetSquid 和 OMNeT++ 等工具）测试了这个新系统。他们将这个全新的 AI 与旧有的规则手册进行了对决，例如仅根据过去历史进行权衡的 HWFR，以及试图平衡优先级但在混乱面前手足无措的 DMPQS。

以下是模拟实验的结果：

保护包裹的安全： 旧方法仅能在约 0.78 到 0.86 的时间内保持量子连接强度。然而，这个新 AI 能将连接强度保持在高达 0.88 的水平。这听起来数字不大，但在脆弱的量子物理世界中，这是一个巨大的可靠性飞跃。
提升速度： 旧系统完成一次交付大约需要 104 毫秒。而新 AI 将这一时间缩短到了 83 毫秒。其他方法则仍停留在 110 毫秒 以上。
减少丢包： 由于道路状况太差，旧系统不得不拒绝约 7% 的交付请求。而新 AI 仅拒绝了 3% 的请求，这意味着它的成功交付率达到了 97%。
提高道路利用率： 新系统保持了量子道路的高效运转，利用了 71% 到 83% 的可用容量，而旧系统要么过于保守，要么过于混乱，始终在 67% 左右徘徊。

学习曲线

最令人兴奋的部分是 AI 的学习速度。旧方法需要很长时间才能摸索出最佳路径，通常需要数百次练习才能趋于稳定。然而，这个新 AI 仅用了 300 个训练回合 就掌握了完美策略。当它完成训练时，它能稳定地每秒交付超过 121 对 纠缠对，而旧方法只能达到每秒 87 到 93 对。

这意味着什么（以及并不意味着什么）

作者明确指出：这并不是一个能解决今天现实世界问题的“魔杖”。他们并没有在实验室里搭建物理量子网络并在真实硬件上运行。相反，他们构建了一个高度精细的模拟系统，旨在模仿当前“NISQ”（含噪声中等规模量子）设备那种混乱且多噪的现实情况。

在这个模拟世界中，新系统证明了它能比旧规则更好地应对混乱。这表明，如果我们未来真的要构建大规模的量子互联网，我们不应该依赖静态的规则手册。相反，我们需要一个能够预测噪声并能实时调整路由策略的系统，就像这个 AI 所做的那样。

所以，虽然我们现在还无法订购“量子披萨外卖”，但这项研究表明，量子互联网的未来将属于那些能够洞察先机、在风暴来临前就预见到变化的“交通警察”。

技术摘要：通过基于 Actor–Critic 强化学习的预测保真度感知路由与自适应调度优化分布式 NISQ 量子网络

1. 问题陈述

分布式嘈杂中型规模量子（NISQ）系统依赖量子通信来运行；然而，实际部署受到链路波动、有限量子资源以及纠缠退化的阻碍。这些因素为可靠的路由和调度带来了显著挑战，尤其是在大规模、动态变化的场景中。

现有的经典方法，如历史加权保真度路由（HWFR）和动态多优先级量子调度（DMPQS），仅在网络条件稳定时表现良好。当纠缠成功率发生变化或中继节点变得拥塞时，它们的性能会显著下降。当前文献的一个主要局限在于路由与调度的优化是孤立的，往往未能明确考虑未来的保真度变化。这种碎片化导致了资源利用效率低下、端到端延迟增加，并无法在随时间变化的条件下维持稳定的链路保真度。此外，许多基于学习的策略在面对不规则流量变化的复杂环境时，难以实现泛化，且面临收敛速度慢的问题。

2. 方法论

为了应对这些挑战，作者提出了深度强化学习量子通信优化框架（DRL-QCOF）。该框架通过两个相互关联的组件共同优化路由与调度：

A. 量子保真度预测网络 (QFPN)

QFPN 作为预测骨干，用于估计未来链路保真度 ( $F_{pred}(t)$ )，以实现主动决策。

架构： 它利用双向长短期记忆网络（Bi-LSTM）结合时间自注意力机制（Temporal Self-Attention）。
输入： 该网络处理链路特征的时间序列数据，包括链路长度、噪声系数、纠缠成功概率和中继利用率。
机制： Bi-LSTM 在正向和反向两个方向捕捉时间依赖性，而注意力机制则为特定的时间步（例如突发的噪声峰值）分配重要性权重。带有 Sigmoid 激活函数的回归层输出一个介于 0 到 1 之间的预测保真度。
输出： 一个用于指导路由代理的标量预测保真度值。

B. 深度强化学习自适应量子调度代理 (DRAQS-Agent)

DRAQS-Agent 作为决策核心，利用 Actor–Critic 架构来学习用于路由和调度的自适应策略。

状态表示： 状态向量 ( $S_t$ ) 集成了 QFPN 预测的保真度、当前队列长度、中继利用率、延迟估计以及跳数可用性。
动作空间： 代理选择离散动作，包括路由路径选择、调度优先级分配，或基于资源稀缺性的请求延迟/拒绝。
奖励函数： 连续奖励公式引导代理在最大化链路保真度的同时，最小化延迟、队列长度和中继过载。奖励定义为：
$R_t = \alpha F_{eff} - \beta L_t - \gamma Q_t - \delta U_t$
其中 $F_{eff}$ 是有效多跳保真度， $L_t$ 是延迟， $Q_t$ 是队列长度， $U_t$ 是利用率。
训练： 代理使用带有梯度裁剪和熵正则化的时序差分（TD）学习进行训练以确保稳定性。Actor 网络更新策略，而 Critic 网络估计价值函数。

3. 核心贡献

本文概述了三个主要贡献：

统一控制策略： 提出了一种基于强化学习的控制策略，通过在长训练周期内共同优化路由和资源决策，展示了随着系统演进而产生的持续性能提升。
多指标奖励结构： 设计了一个奖励函数，使学习过程与实际操作目标保持一致，同时优化链路保真度、延迟、阻断率和吞吐量。
自适应状态构建： 引入了一种能够捕捉瞬态和累积网络动态的状态表示，并由 QFPN 的预测能力提供支持，以促进更准确、更稳定的决策模式。

4. 实验结果

该框架在结合了 NetSquid（用于量子网络动力学）和 OMNeT++（用于经典控制与流量）的协同仿真环境中进行了评估。模拟基于 25 个节点的 NISQ 拓扑（基于 NSFNET），共进行 1,000 个控制周期，包含 30 个随机种子。

性能对比：
将提出的 DRL-QCOF 与 HWFR、DMPQS、净化感知路由（Purification-Aware routing）、DRL-RRA、多目标路由（Multi-Objective routing）以及 TQD-安全路由（TQD-Secure routing）进行了基准测试。

链路保真度： 所提方法实现了 0.88 的最大平均链路保真度，优于现有方法（范围在 0.78 至 0.86 之间）。
延迟： 端到端延迟从初始的 104 ms 降低至收敛时的 83 ms。在类似条件下，基准方案仍保持在 110 ms 以上。
响应时间： 平均请求响应时间降低至约 147 ms，较基准方案（如 HWFR 的 217 ms）有显著改善。
资源利用率： 该框架实现了 71–83% 的利用率，而现有方案为 67–81%。
成功率： 成功率从 93% 提高到 97%，同时阻断率降至低至 0.04。
吞吐量： 系统实现了 118–121 对纠缠对/秒 的吞吐量。
收敛性： 累积奖励在约 16.0 处趋于稳定，并在 300 个训练回合 内观察到收敛，明显快于竞争方法。

5. 重要性与主张

论文声称 DRL-QCOF 框架为 NISQ 网络具有动态性和不确定性的本质提供了鲁棒的解决方案。通过将预测性保真度建模与自适应强化学习相结合，该系统克服了无法预见链路退化的静态或半自适应策略的局限性。

这项工作的意义在于其统一的多指标优化方法。该框架并非优先考虑单一指标，而是通过稳定性驱动的奖励塑造机制，平衡了相互依存的网络属性（保真度、延迟、吞吐量）。作者断言，这种方法使得网络即使在波动的流量负载和环境噪声下，也能保持高可靠性和高效率。结果表明，该方法在动态场景下非常有效，且比现有的基于学习或启发式的方案收敛更快，为构建可靠、高效且具有适应性的分布式计算网络控制方案提供了切实可行的方向。