Hybrid Quantum and Classical Workload Management with Graph-based Scheduling
本文介绍了 Fluence,这是一个利用基于图的连带调度(gang scheduling)来解决混合量子-经典工作负载中独特的双队列编排挑战的 Kubernetes 调度器插件,通过实现智能的、感知队列的设备选择,显著减少了工作节点闲置时间、消除了浪费的节点资源并降低了成本。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正在经营着一家规模宏大、高科技的厨房,厨师们(经典计算机)正在准备复杂的菜肴。通常情况下,他们只需要从储藏室获取食材即可。但现在,你增加了一个神奇的远程烤箱(量子计算机),它位于另一个城市。这个烤箱非常出色,但它有一个限制:你不能直接走进去使用它。你必须向一排等待使用它的神秘人群发送请求。
这创造了一个**“双队列问题”**。你既有你自己的厨房队列,也有远程烤箱的队列。问题在于,你的厨师们并不知道远程烤箱的队伍排了有多长。他们可能会在等待烤箱空闲的过程中就开始切菜和准备锅具(消耗了你厨房的空间和时间)。如果烤箱要忙一个小时,你的厨师们就只是在空切空气,白白浪费能量和空间。
本文作者 Vanessa Sochat 和 Daniel Milroy 构建了一个新的厨房经理——Fluence。你可以把 Fluence 想象成一位超级聪明的总厨,他拒绝让准备工作小组在远程烤箱真正准备好之前就开始干活。
魔法技巧:“全有或全无”
在旧的方法中(使用默认调度器),如果你要求一组厨师协同工作,厨房可能会让团队中的一半人开始烹饪,而另一半人则在等待烤箱。这就像是在披萨还没烤好之前,就让送餐员站在门口等候。这既浪费时间又浪费空间。
Fluence 使用了一种称为**“帮组调度”(gang scheduling)**的策略。它将整个团队视为一个单一的单元。它会说:“在远程烤箱 100% 准备就绪且整个团队可以在同一时刻开展工作之前,谁也不准开始切菜,谁也不准开始准备。”
在测试中,当尝试运行 4 名厨师的组合时,旧的管理模式会让团队部分启动,导致他们在等待烤箱移动的过程中浪费了大约 133 个节点-秒(一种衡量浪费时间的单位)。而 Fluence 将这种浪费的时间几乎降到了零。这就像是交通拥堵中车辆缓慢挪动,与红绿灯保持红灯直到整个路口清空后才让所有人同时疾驰通过之间的区别。
“双队列”同步
最大的难题是远程烤箱的队列是不可预测的。有时它是空的;有时则要排队数小时。
- 旧的方法: 厨师们立即开始工作。如果烤箱队列很长,他们就会闲置。
- Fluence 的方法: 一名厨师(“生产者”)去远程烤箱的队列查看状态。其余的厨师(“消费者”)被告知“在侧翼等待”(一种被称为 gated 的状态)。在生产者说“烤箱空闲了!”之前,他们不会占用任何厨房空间或电力。
在实验中,这个简单的技巧节省了大量时间。当烤箱队列较短时,Fluce 减少了厨师闲置时间约 5 倍。但当他们在真实的量子设备上进行测试,且队列长达数小时时,Fluence 节省的时间达到了数量级的提升。在一个特定的 8 名厨师组测试中,旧方法在某个模拟器上让他们等待了 223 秒,而 Fluence 让他们在仅 32 秒内就开始工作。在另一个 2.66 小时的队列案例中,旧方法浪费了 19,160 个节点-秒,而 Fluence 的工作人员直到最后一秒才开始工作,从而完全避免了这种浪费。
选择最好的烤箱
Fluence 还能帮你选择使用哪一个远程烤箱。不同的烤箱(模拟器和真实的量子设备)有着不同的价格和等待时间。
- 随机选择: 如果你只是随机挑选一个烤箱,你可能会选到一个极其昂贵的,或者排队极长的烤箱。
- Fluence 的选择: Fluence 可以查看菜单并说:“让我们选最便宜的一个”或者“让我们选排队最短的一个”。
在测试中,当被指示选择最便宜的选项时,Fluence 比起随机选择,将平均每次运行的成本降低了约 70 倍。它还通过选择排队最短的烤箱,帮助更快地完成了工作。
Fluence 不是什么
作者明确说明了 Fluence 不具备的功能。
- 它并不会神奇地让远程烤箱变得更快。它只是更好地管理了等待时间。
- 它不需要将密码存储在厨房经理的主办公室里(这存在安全风险)。相反,它允许用户在本地处理凭据。
- 它并不适用于每一种类型的量子任务。例如,如果你想让 8 名不同的厨师同时去 8 个不同的烤箱,Fluence 不需要进行协调,因为他们并不需要互相等待。Fluence 特指当一个厨师团队需要协作完成一个依赖于单个远程烤箱的任务时。
总结
论文表明,通过在厨房经理中加入这种“等待就绪”的逻辑,你可以停止在等待远程烤箱时浪费昂贵的厨房空间。他们通过模拟以及使用 AWS Braket 和其他量子供应商的真实测试证明了这一点。
他们发现,如果没有这种智能协调,你会损失大量的资源和金钱。有了 Fluence,厨师们能保持新鲜状态,厨房保持高效,而且团队只有在整顿饭菜可以同时上桌时才会开始烹饪。这是一种在不改变厨师所用食谱的情况下,让未来的量子计算与我们现有的计算机顺畅协作的方法。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。