💻 computer science

ER-Curriculum-DDQN for Critical Task Offloading in UAV-MEC via Transparent LEO Relays

本文提出了 ER-Curriculum-DDQN，这是一种深度强化学习框架，该框架通过整合可行性掩码、关键任务压力特征以及预留引导的课程学习，来优化通过透明低轨卫星中继的无人机-边缘计算（UAV-MEC）系统中的在线任务卸载，从而在严格的服务窗口约束下最大化关键任务的完成率。

原作者： Ziang Zhang, Zhenjiang Zhang, Jiaxing Du, Zhaoyuan Liu, Yujie Wang

发布于 2026-09-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziang Zhang, Zhenjiang Zhang, Jiaxing Du, Zhaoyuan Liu, Yujie Wang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在地面基础设施逐渐消逝的广袤、寂静的天空之中，一种新型网络正在成形。想象一下，一群无人机（即无人飞行器）正盘旋在灾区或偏远的山脉上空，承载着来自传感器和摄像头的沉重数据。这些无人机就像是飞行的计算机，但它们也有极限。为了解决复杂的问题，它们需要将沉重的数据发送到地面或云端的强大服务器中。当地面距离过远或道路被阻断时，这些无人机会仰望星空寻求帮助。它们连接到低轨卫星，这些卫星充当透明的镜子，仅仅是在无人机与遥远网关之间反射信号，而不会在传输过程中停止处理信息。这创造了一个转瞬即逝的桥梁，一个无人机、卫星和地面站三者对齐的短暂窗口。挑战在于，这个窗口既短促又难以捉握。如果无人机试图通过这个桥梁发送一个巨大的非紧急文件，它可能会在整个交易期间锁死整个连接。如果一个关键的紧急消息在桥梁被占用时到达，它无法在任务完成前发送，从而可能错过挽救生命的最后期限。科学家们面临的核心问题是：如何管理这种稀缺且受时间限制的连接，以确保最重要的任务始终能够通过，即使在系统拥挤的情况下也是如此。

北京交通大学和解放军陆军工程大学的研究人员通过设计一种针对这些飞行网络的智能决策系统，解决了这一问题。他们专注于一个场景：二十架无人机协同工作，共享两个地面计算中心和两条卫星路径。系统必须在每个新任务到达的瞬间决定：是在无人机本地进行处理，是发送到附近的地面服务器，还是通过卫星进行转发。难点在于，卫星路径遵循严格的“先到先服务”规则，一旦开始便无法中断。如果一个常规任务被准许进入卫星路径，它会为自己的旅程预留整个连接，从而阻塞任何其他任务（无论多么紧急），直到往返行程结束。研究人员需要一种方法，能够在不知道未来会发生什么任务的情况下，预测何时应该对一个常规任务说“不”，从而为未来的紧急情况保留卫星路径。

为了解决这个问题，团队开发了一种名为 ER-Curriculum-DDQN 的新方法。这是一种通过试错来学习的人工智能，但它拥有一套特定的规则以保持其符合现实。该系统使用一个“可行性掩码”（feasibility mask），它像一个过滤器一样，能瞬间剔除任何不可能的选择。例如，如果卫星窗口已关闭或无人机本地内存已满，系统就根本无法考虑这些选项。这防止了人工智能在因物理约束而注定失败的操作上浪费时间。除了了解什么是可能的之外，系统还会追踪一个“压力”特征。这是衡量近期关键任务对卫星路径需求程度的一个指标。如果系统感知到关键任务频繁到达，它会对让常规任务使用卫星变得更加谨慎，从而有效地为可能到来的紧急情况保留这座桥梁。

学习过程本身由一个“课程”（curriculum）引导，这是一种从简单到困难的教学策略。在训练的早期阶段，AI 被明确告知：如果它允许常规任务使用卫星从而增加了系统的压力，它就会受到惩罚。这教会了 AI 留存资源的价值。随着训练的推进，这种显式的惩罚被逐渐淡化，迫使 AI 内化这一教训，并基于它所学到的模式而非简单的规则来做出正确的决策。目标不仅是完成任务，还要确保最关键的任务能按时完成。

研究人员通过广泛的计算机模拟测试了他们的系统，将其与其他已知方法及简单的基于规则的方法进行对比。他们改变了变量，包括每秒到达的任务数量、卫星窗口持续时间以及任务中关键紧急任务的比例。在每种情况下，尤其是在系统负载沉重或卫星窗口非常短暂的情况下，新方法都优于其他方法。它实现了最高的关键任务按时完成率。例如，当输入任务量很高且卫星窗口很窄时，新系统能完成关键任务的比例约为 69%，而其他方法表现则显著较低。结果表明，通过结合一个针对不可能动作的严格过滤器和一个对未来需求的习得感，系统可以在不需要预知未来的情况下保护最重要的数据。

这项研究证实，在这些高风险、对时间敏感的环境中，最佳策略不仅仅是对现状做出反应，而是要理解连接本身的稀缺性。研究人员发现，仅仅通过给予关键任务更高的权重来优先处理它们是不够的；系统必须理解使用常规任务占用卫星路径的代价。通过使用一种尊重网络物理限制并从历史需求中学习的学习方法，无人机可以做出更明智的选择。这项工作并不声称解决了空间通信中的所有问题，也不承诺能在所有可能的未来场景中奏效，但它展示了一种清晰且有效的方法，用于在时间是最宝贵资源的网络中，平衡常规工作与紧急需求之间的微妙关系。

技术摘要：用于通过透明 LEO 中继进行关键任务卸载的 ER-Curriculum-DDQN

问题陈述
本研究解决了由透明低轨（LEO）中继辅助的无人机（UAV）移动边缘计算（UAV-MEC）系统中在线任务卸载的挑战。在地面边缘覆盖有限的场景下，透明 LEO 中继将无人机连接到远程云资源。然而，这些连接受限于中继与网关之间短暂且随时间变化的联合服务窗口。

核心难点在于这些服务窗口的原子性和非抢占性。一旦被接纳至卫星（SAT）路径的任务，必须在单个连续窗口内完成完整的请求-响应事务（包括传输、转发、远程处理、结果返回及保护间隔）。一旦非关键任务被接纳，它将根据先进先出（FIFO）语义锁定路径并预留必要的连续容量。这产生了一个关键的权衡：接纳一个非关键任务可能会消耗掉未来时间敏感型**关键任务（Critical task）**所需的有限服务容量，而后者无法抢占现有的预留。系统在不确定性下运行，既没有未来任务到达的先验知识，也没有窗口可用性的先验知识，因此需要一种在线决策策略，在不依赖未来预测的情况下优先保证关键任务的及时完成。

方法论：ER-Curriculum-DDQN
作者提出了 ER-Curriculum-DDQN，这是一个旨在解决此类掩码马尔可夫决策过程（MDP）的强化学习框架。该方法集成了四个关键组件：

路径锁定 FIFO 预留模型：系统通过硬可行性条件对卫星服务进行建模。只有当能够保证完整的事务在当前联合窗口关闭前完成，并考虑到现有预留的“尾部”时，任务才会被接纳至 SAT 路径。
状态表示与可行性掩码：状态向量包括任务属性、无人机局部状态、共享 MEC 队列状态、SAT 窗口/预留状态以及一种新型的关键 SAT 需求压力特征。系统对动作空间（LOCAL、两个 MEC 选项、两个 SAT 路径、DROP）应用了原子可行性掩码。该掩码仅基于当前的因果状态从结构上消除了不可行的动作（例如，如果窗口太短无法完成事务，则排除选择该 SAT 路径的动作），确保智能体永远不会选择物理上不可能实现的动作。
关键需求压力特征：为了在不预测未来的情况下预判资源稀缺性，智能体利用压力特征 ( $q_s$ )。该指标通过估算预期关键任务需求（基于历史到达强度和事务持续时间）与当前 SAT 路径上可用连续容量的比率，来衡量资源状况。这使得智能体能够学习接纳非关键任务的“机会成本”。
预留引导课程学习：训练过程采用了课程学习策略。在训练初期，会对增加 SAT 路径压力的非关键任务施加惩罚项。该系数在训练回合中逐渐退火（逐渐减小）。这引导 Double DQN 在初期学习接纳非关键任务与保护未来关键任务容量之间的权衡，最终依赖于学习到的 Q 值和因果状态特征进行决策。

该算法利用 Double DQN 主干网络来减轻价值高估问题，其中在线网络选择动作，目标网络评估动作，并受到可行性掩码的约束。

主要贡献
本文概述了三项主要贡献：

系统建模：开发了一种用于透明 LEO 中继卸载的路径锁定 FIFO 预留模型，将覆盖范围、队列容量和完整的事务履行视为硬可行性约束。
算法设计：提出了 ER-Curriculum-DDQN 算法，该算法独特地结合了原子可行性掩码、因果关键需求压力特征以及用于保护未来关键服务的退火预留课程。
性能验证：通过广泛的仿真证明，与基准方法相比，所提方法在关键任务完成率（Critical-TCR）方面取得了最优或并列最优的表现，特别是在高负载、短窗口和高关键度场景下。

实验结果
研究针对多种基准方法进行了评估，包括 ER-Curriculum-PPO、Masked DDQN-Base 以及基于规则的方法（WRAO、EFT-Greedy），涵盖了不同的任务到达率（8–24 tasks/s）、联合服务窗口时长（2.5–6.0 s）和关键任务比例（0.05–0.35）。

关键任务 TCR 性能：ER-Curriculum-DDQN 在所有测试条件下均一致实现了最高或并列最高的 Critical-TCR。例如，在 24 tasks/s 的高到达率下，它保持了约 0.69 的 Critical-TCR，优于其他方法。
鲁棒性：与基于 PPO 和基于规则的方法相比，该方法在高负载和短窗口场景下表现出对关键任务更强的保护能力。
消融研究洞察：结果表明，Double DQN 主干结合可行性掩码提供了主要的性能提升，而压力感知设计和课程学习则增加了鲁棒性。
权衡：虽然该方法在关键任务满足方面表现出色，但论文指出，其整体 TCR（所有任务类型的完成情况）可能低于某些优先考虑总吞吐量的规则类方法。

意义与范围
本文声称其意义在于解决了透明中继辅助的 UAV-MEC 中的特定约束，即在请求-响应事务的原子性约束下，由于联合窗口内的资源竞争问题，这与标准的边缘计算或机载计算场景截然不同。

作者保持了审慎的学术范围，明确指出：

改进是针对关键任务截止日期满足率的，而非必然针对所有任务类型的整体吞吐量、延迟或能量效率。
该方案依赖于因果性的、在线的信息，并不预测未来的任务到达或窗口可用性。
当前评估局限于受控的联合窗口和固定的离散动作空间。
有必要在未来工作中解决现实的可见性轨迹、多中继/多云系统、连续资源分配以及任务拆分等问题。

研究结论认为，在动态空地网络中，将结构化可行性掩码与压力感知课程集成到 Double DQN 框架中，能有效学习接纳非关键任务与为关键服务预留容量之间的长期权衡。

类似论文