Joint Scheduling and Resource Allocation in Heterogeneous Queuing Systems with Bursty Traffic: A Constrained Soft Actor-Critic Approach
本文提出了一种约束软行动者-评论家（CSAC）方法，该方法将严格的延迟约束与奖励函数解耦，并采用两阶段映射机制，旨在有效最大化具有突发流量的异构队列系统的吞吐量效用，同时最小化延迟违规，其性能优于无约束学习和启发式基准方法。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代通信的隐形高速公路上，数据以数据包的形式旅行，排队等待穿越一座共享的桥梁。这座桥梁，即网络链路，对于在任何单一时刻能承载的数据量都有限制。当过多的数据包同时到达时，它们必须排队，如果队伍过长或等待时间过久，数据就会变得毫无价值。这就是网络调度（network scheduling）的根本问题：当多条队伍竞争空间时，如何决定哪个数据包可以优先穿越桥梁。当流量难以预测、出现突然爆发，且不同类型的数据具有不同的需求时，挑战会进一步加剧。某些数据，如实时视频通话或紧急警报，无法容忍哪怕片刻的延迟；而其他数据，如文件下载，则可以稍作等待。网络工程师的目标是让桥梁既保持足够的繁忙以保证效率，又足够有序，以确保最紧急的消息永远不会被困在长队中。
桂林电子科技大学的研究人员通过设计一种管理这些竞争性数据流的新方法，解决了这一问题。他们专注于一个由多个具有各自优先级队列组成、并共享单个输出链路的系统。在他们的设置中，一个队列承载着一种特殊的流量，这种流量以不可预测的爆发形式到达，并遵循一条严格的规则：其数据包的等待时间不得超过特定时长。其他队列承载着不太紧急的流量，虽然可以等待较长时间，但系统仍需保持其流动。难点在于链路容量在不断变化，且爆发式流量可能会在瞬间使系统过载。依赖固定规则的传统方法往往无法对这些突发变化做出足够快速的反应。与此同时，使用人工智能来学习如何管理流量的新型方法通常会做出一种危险的权衡：它们可能会为了维持整体系统的运行速度，而让紧急数据包等待过久。
为了解决这个问题，该团队开发了一种基于被称为“约束软演员-评论家”（constrained soft actor-critic）的人工智能类型的新方法。他们并没有简单地告诉人工智能要最大化发送数据的总量，而是为紧急队列违反其时间限制的情况设定了一个严格的、独立的预算。这可以想象成给一名司机设定了一条关于可以违反红灯规则多少次的严格规定，这与他快速到达目的地这一目标是分开的。人工智能学习如何在速度需求与延迟硬限制之间取得平衡。他们设计的关键部分是一个两步过程，将人工智能连续、流动的决策转化为具体的、整数个数据包的发送量。这确保了系统能够实际执行计划，而不会陷入理论计算中。研究人员在一个模拟真实世界条件的仿真环境中测试了这种方法，其中包括一个具有爆发性流量的高优先级队列和两个具有稳定流量的低优先级队列。
结果显示，这种新方法具有明显的优势。在他们的模拟实验中，传统的固定规则方法未能保护紧急流量，导致一种方法中违反延迟限制的情况接近 18%，而另一种方法则超过了 34%。即使是不带严格约束的标准人工智能方法，也会在近 8% 的情况下违反规则。相比之下，这种新的约束方法将紧急队列的违规率降至极低的水平，平均仅为 0.05%，且在不同测试运行之间的波动极小。至关重要的是，这种严格的保护并未以牺牲其他流量为代价。该系统保持了极高的效率，发送的数据量与其它方法几乎持平，并且实际上减少了因队列过满而导致的数据包丢失数量。低优先级队列的等待时间也比标准人工智能方法更短。
这项研究表明，通过将严格的安全规则与效率这一通用目标分离，人工智能系统可以比以往的方法更有效地管理复杂且不可预测的流量。研究人员发现，他们的方法成功地防止了最关键的数据发生延迟，同时保持了整个系统的平稳运行。这表明，对于处理混合流量（其中某些数据关乎生命安全，而另一些则不然）的网络，使用约束学习模型是一个可行的发展方向。这项工作证实，只要系统设计得当，将安全限制视为一个独立的、不可逾越的预算而非仅仅是另一个需要平衡的因素，那么实现高速度与高可靠性的并存是完全可能的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。