Deft Scheduling of Dynamic Cloud Workflows with Varying Deadlines via Mixture-of-Experts
本文介绍了 DEFT，这是一种新型的深度强化学习调度器，它采用图自适应混合专家架构来动态分配具有不同截止日期的云工作流，与最先进的基准方案相比，显著降低了执行成本并减少了截止日期违规。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位规模宏大、混乱不堪的厨房经理。每隔几分钟，就会有一个新订单进来（一个工作流）。每个订单都是一个包含许多步骤的复杂食谱，且这些步骤必须按特定顺序进行（一个 DAG 或图）。有些订单非常紧急：“这道菜必须在 5 分钟内上桌！”有些则比较从容：“只要在晚餐前做完就行。”
你拥有一群厨师（虚拟机或 VM）。有些厨师手脚麻利但雇佣成本高；有些则动作缓慢但价格便宜。难点在于，你不知道会有多少订单，而且厨师的可用性也在不断变化。你的目标很简单：在不错过截止日期的情况下完成所有食物，同时尽可能减少支付给厨师的工资支出。
这就是动态云工作流调度问题。
旧方法：“一刀切”的厨师
以前，试图解决这个问题的计算机程序就像是一个单一、僵化的厨师。他们只有一套规则，并将其应用于每一种情况。
- 如果来了个急单，这位厨师可能会惊慌失措，并雇佣最快、最贵的帮手。
- 如果是个慢单，这位厨师可能为了保险起见，仍然雇佣昂贵的帮手，从而浪费资金。
- 或者，他们可能会为了省钱而在急单上缩减开支，结果导致错过截止日期并受到罚款。
问题在于，单一的规则无法应对极其多样化的局面。这就像是试图用一把单功能的螺丝刀去修理手表、汽车和房子。
新方案：DEFT（“专家团队”）
论文作者引入了 DEFT（截止日期感知型混合专家模型）。DEFT 不再是一个僵化的单一厨师，而是雇佣了一个由专业专家组成的团队，每位专家都针对特定的紧迫程度进行了训练。
你可以把它想象成一家高端餐厅，拥有一位主厨（门控网络）和一组专职厨师（专家）：
专职厨师（专家）：
- “恐慌”厨师： 仅针对极度紧迫的截止日期进行训练。他们的唯一目标是速度，哪怕代价昂贵。
- “预算”厨师： 仅针对宽松的截止日期进行训练。他们的唯一目标是节省成本，哪怕耗时较长。
- “平衡”厨师： 针对中等强度的截止日期进行训练，以寻找完美的中间地带。
- 在论文中，这些是针对不同截止日期压力水平专门训练的神经网络。
主厨（图自适应门控网络）：
- 这是一个聪明的管理者。当新订单到达时，主厨会观察全局情况：
- 截止日期有多紧迫？
- 食谱看起来如何（是否复杂）？
- 目前有多少厨师正在忙碌？
- 基于这些信息，主厨会瞬间挑选出最适合处理该特定订单的单一专职厨师。
- 如果是一个急单，他们会召唤“恐慌”厨师。如果是一个闲暇时段，他们会召唤“预算”厨师。
- 这是一个聪明的管理者。当新订单到达时，主厨会观察全局情况：
为什么这意义重大
论文声称，这是首次将这种“混合专家”（Mixture-of-Experts）的思想应用于这种特定类型的云调度问题。
- 灵活性： 与旧有的“单一规则”系统不同，DEFT 可以瞬间切换策略。它不必始终保持“快速”或“廉价”；它可以是在需要时快速，在安全时廉价。
- 更明智的决策： 主厨使用一种特殊工具（称为交叉注意力机制/Cross-Attention）来观察全局——包括食谱结构和繁忙的厨房状况——然后再挑选专家。这确保了在正确的时间选择正确的专家。
- 更好的结果： 在他们的测试中（模拟了数千个订单和厨师），DEFT 比现有最优秀的方法节省了更多资金，且错过的截止日期也更少。它能更好地处理大规模、复杂的订单，而旧系统在工作量增长时往往会表现不佳或造成浪费。
核心结论
DEFT 就像是从一个固执的单人劳动力升级到了一个动态、智能的团队。通过拥有针对不同情况的专家，以及一个负责分配合适人员处理合适工作的聪明管理者，该系统在速度（满足截止日期）与成本（节省资金）之间的权衡变得更加出色。
论文证明，当工作量难以预测且截止日期变化剧烈时，这种方法比当前的方法效果更好。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。