⚛️ quantum physics

Three ways to share a QPU: Scheduling strategies for hybrid Quantum-HPC applications

该论文针对混合量子 - 高性能计算（HPC-QC）环境中的资源调度挑战，通过在生产集群和真实量子硬件上的实验验证，提出了时间复用、动态资源管理和工作流分解三种策略，并证明了它们能根据经典与量子工作负载的平衡程度显著优化资源利用率并减少执行时间。

原作者： Marco Cipollini, Simone Rizzo, Sergio Iserte, Paolo Viviani, Giacomo Vitali, Matteo Barbieri, Gabriella Bettonte, Elisabetta Boella, Fulvio Ganz, Roberto Rocco, Orazio Spina, Antonio J. Peña, Petter S

发布于 2026-04-17

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Marco Cipollini, Simone Rizzo, Sergio Iserte, Paolo Viviani, Giacomo Vitali, Matteo Barbieri, Gabriella Bettonte, Elisabetta Boella, Fulvio Ganz, Roberto Rocco, Orazio Spina, Antonio J. Peña, Petter Sandås, Iacopo Colonnelli, Alberto Scionti, Chiara Vercellino, Emanuele Dri, Jonathan Frassineti, Sara Marzella, Andrea Muratori, Daniele Ottaviani, Olivier Terzo, Bartolomeo Montrucchio, Daniele Gregori

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章主要探讨了如何解决一个非常现实的问题：当超级计算机（HPC）和量子计算机（QC）联手工作时，如何高效地管理那个极其稀缺、昂贵的“量子处理器”（QPU）？

想象一下，你经营着一家超级繁忙的高级餐厅（HPC 集群）。这家餐厅拥有成千上万个普通的厨师（经典 CPU），他们做饭速度很快，能处理海量的订单。但是，餐厅里只有一位传说中的“魔法大厨”（量子 QPU）。这位魔法大厨能做出普通厨师永远做不出来的绝世美味（解决复杂问题），但他：

非常稀缺：整个餐厅只有一位。
脾气古怪：他做菜速度极快（量子计算只需几秒），但做完一道菜后，他需要很长时间休息、整理厨房，或者等待普通厨师把食材准备好（经典计算部分）。
容易闲置：如果普通厨师把食材准备好后，魔法大厨在发呆，或者魔法大厨做完菜后普通厨师还在切菜，这位珍贵的魔法大厨就会处于“闲置”状态，这是巨大的浪费。

这篇文章提出了三种让这位“魔法大厨”更忙碌、让餐厅更高效的方法：

方法一：时间切片共享（vQPUs）—— “轮流坐庄”

核心概念： 让多个订单同时排队，魔法大厨做完一个，马上做下一个，中间不休息。

通俗比喻：
想象魔法大厨一次只能给一位客人做菜。如果采用传统的“独占模式”，客人 A 来了，魔法大厨给他做 1 分钟，然后客人 A 的普通厨师团队要花 10 分钟切菜。在这 10 分钟里，魔法大厨只能干坐着等。客人 B 来了，只能等客人 A 全部做完才能开始。
vQPUs 策略就像是给魔法大厨装了一个“智能调度器”。客人 A 的普通厨师在切菜时，魔法大厨立刻转头去给客人 B 做那 1 分钟的魔法菜。客人 C 的普通厨师在备料时，魔法大厨又去给客人 C 做菜。
效果： 魔法大厨几乎从不闲着，整个餐厅的出餐速度（集群总效率）大大提升。
代价： 对于单个客人来说，因为要排队等魔法大厨，他的总等待时间可能会稍微变长一点点，但整体来看，大家都吃得更快了。
适用场景： 适合那些“普通工作多、魔法工作少”的任务（比如超导量子计算机，计算极快但需要大量经典预处理）。

方法二：动态资源调整（Malleability）—— “随叫随到的临时工”

核心概念： 当魔法大厨在忙时，普通厨师团队可以暂时解散或减少人数，等魔法大厨忙完了再重新召集。

通俗比喻：
在传统的模式下，客人 A 点菜后，餐厅会立刻给他分配 100 个普通厨师，无论这 100 个人是在切菜、炒菜，还是在等魔法大厨出结果，这 100 个人都要一直占着位置，哪怕他们在发呆。
动态调整策略（使用 DMR 框架）就像是：当客人 A 的普通厨师团队把食材准备好，需要等魔法大厨出结果时，系统会告诉这 100 个厨师：“你们先回家休息，或者去帮客人 B 干活！”一旦魔法大厨把结果给出来了，系统立刻把厨师们叫回来继续工作。
效果： 极大地节省了普通厨师（经典计算资源）的浪费。餐厅不需要为等待中的任务预留那么多座位。
代价： 厨师们来回跑动、重新集结需要一点点时间（重配置开销），但在资源紧张时，这非常划算。
适用场景： 适合那些需要大量并行计算，但中间穿插了短暂量子计算的现有程序。

方法三：工作流分解（Workflow）—— “流水线式的外包”

核心概念： 把一个大任务拆成很多小步骤，每一步只申请它当时需要的资源，做完一步就释放资源。

通俗比喻：
传统的做法是：客人点了一个大菜，餐厅直接包下整个厨房直到菜做完。
工作流策略（使用 StreamFlow 系统）就像是把做菜过程拆成了“切菜”、“腌制”、“魔法烹饪”、“摆盘”四个独立步骤。
- “切菜”阶段：只申请几个普通厨师。
- “魔法烹饪”阶段：只申请魔法大厨（此时普通厨师全释放去干别的）。
- “摆盘”阶段：再申请几个普通厨师。
  系统像一个智能管家，精确控制每一步需要什么资源，什么时候用，用完立刻释放。
  效果： 这是最节省资源的方法。普通厨师几乎从不闲置，魔法大厨也从不排队。
  代价： 需要重新设计菜谱（应用程序），不能直接套用旧菜单。而且因为步骤多，管家调度需要时间，如果厨房不忙，可能反而比直接包场慢一点。
  适用场景： 适合那些“魔法计算时间很长”（比如中性原子量子计算机）或者全新设计的复杂任务。

总结：哪种方法最好？

文章通过真实的超级计算机和量子计算机实验发现，没有一种“万能药”，要看具体情况：

如果你的量子计算像“闪电”一样快（超导量子），但经典计算很慢：
👉 选 方法一（时间切片/vQPUs）。让魔法大厨不停地接小单，效率最高，而且不需要改动现有的菜谱。
如果你的任务既有大量经典计算，又需要动态调整：
👉 选 方法二（动态调整/Malleability）。让普通厨师在等待时能去干别的，节省资源，且改动代码很少。
如果你的任务中，量子计算部分本身就很耗时，或者你正在设计新系统：
👉 选 方法三（工作流分解/Workflow）。这是最精细的管理方式，能最大程度节省资源（实验显示能节省高达 64% 的经典资源），特别适合那些“等待时间长”的场景。

一句话总结：
这篇文章告诉我们要根据“魔法大厨”（量子计算机）和“普通厨师”（经典计算机）的工作节奏，灵活选择是让大厨轮流干活、让厨师灵活请假，还是把任务拆成流水线。只有这样，昂贵的量子计算机才能真正发挥价值，而不是成为昂贵的摆设。

这是一份关于论文《Three ways to share a QPU: Scheduling strategies for hybrid Quantum-HPC applications》（共享量子处理单元的三种方式：混合量子 - 高性能计算应用的调度策略）的详细技术总结。

1. 研究背景与问题 (Problem)

随着量子计算（QC）技术的成熟，将其集成到现有的高性能计算（HPC）基础设施中已成为下一代计算系统的核心目标。然而，构建高效的混合 HPC-QC 平台面临以下关键挑战：

资源稀缺性：量子处理单元（QPU）极其稀缺，而经典计算资源相对丰富。
工作负载不平衡：典型的混合应用通常包含长时间的经典计算阶段和极短的量子计算阶段（特别是超导量子计算机）。
调度不匹配：传统的 HPC 调度机制（如静态分配）无法有效处理这种异构且受限的资源。如果采用传统的独占式调度（Co-scheduling），即一个作业独占 QPU 直到完成，会导致 QPU 在大部分经典计算时间内处于空闲状态，造成稀缺资源的严重浪费。
集成复杂性：量子与经典编程模型差异巨大，缺乏统一标准，且现有的 HPC 软件栈（如 Slurm）需要适应新的资源管理需求，而无需彻底推翻现有架构。

核心问题：如何设计调度策略，以在现有的 HPC 基础设施上高效管理稀缺的 QPU 资源，同时最小化对现有应用代码的修改，并优化整体集群的资源利用率？

2. 方法论 (Methodology)

论文提出了三种互补的调度策略，分别针对软件栈的不同层级（基础设施层、调度/运行时层、编排层），并沿两个正交轴（时间粒度、编程模型透明度）进行定位：

A. 虚拟 QPU 时间复用 (Virtual QPUs / Time-based Multiplexing)

层级：基础设施层 (Infrastructure Level)。
原理：将单个物理 QPU 虚拟化为多个虚拟 QPU (vQPUs)。通过时间片轮转（Time-slicing），允许多个混合作业并发提交量子任务，物理 QPU 根据内部 FIFO 队列顺序执行这些任务。
特点：
- 零代码修改：用户无需修改应用程序，只需像请求普通 HPC 资源一样请求 vQPU（例如通过 Slurm 的 --gres 参数）。
- 适用场景：适用于经典计算时间远长于量子计算时间的场景（如超导量子计算机）。
- 权衡：牺牲少量经典资源的优化（可能因等待量子任务而轻微延迟），换取稀缺 QPU 利用率的显著提升。

B. 动态资源管理 (Dynamic Resource Management / Malleability)

层级：调度器/运行时层 (Scheduler/Runtime Level)。
原理：利用 MPI 可变形性（Malleability），允许正在运行的作业在运行时动态调整其资源分配。
机制：
- 当作业进入量子计算阶段（Offloading）时，自动释放不再需要的经典计算节点。
- 当量子计算完成返回经典阶段时，重新获取资源。
- 使用了 DMR (Dynamic Resource Management) 框架，通过同步点协调资源释放与重新分配。
特点：
- 低侵入性：只需少量代码修改（无需重构应用结构）。
- 适用场景：适用于现有的 MPI 并行应用，特别是在资源争用激烈的环境中。

C. 工作流分解 (Workflow Decomposition)

层级：编排层 (Orchestration Level)。
原理：将复杂应用分解为有向无环图（DAG）中的独立任务。使用工作流管理系统（WMS，如 StreamFlow）来管理任务的依赖关系和资源分配。
机制：
- 仅在任务实际执行时才为其分配资源（经典或量子）。
- 在等待量子资源时，不占用经典计算节点。
- 支持异构环境（HPC、云、本地）的统一编排。
特点：
- 高灵活性：适合新开发的混合应用，可处理复杂的依赖关系。
- 资源效率：理论上资源利用率最高，因为避免了任何空闲等待时间。

3. 实验设置 (Experimental Setup)

研究在三个平台上进行了广泛的实验验证：

Lagrange：意大利都灵理工大学托管的 5 量子比特超导量子计算机（IQM），用于验证 vQPU 策略。
Qluster：专用的 Slurm 测试床和模拟集群，用于验证动态资源管理和工作流策略（使用模拟退火模拟量子求解器）。
Leonardo：欧洲 EuroHPC Tier-0 级生产系统（CINECA），用于在生产环境中验证动态资源管理和工作流策略。

测试用例：

图着色问题 (Graph Coloring)：基于 BBQ-MIS 算法，结合 QAOA 量子算法，用于评估 vQPU 在真实硬件上的表现。
聚类聚合 (Clustering Aggregation)：结合 k-means、DBSCAN 等经典算法和 MIS 求解器，用于评估资源释放策略。

4. 关键结果 (Key Results)

A. 虚拟 QPU (vQPUs) 的结果

QPU 利用率：显著提高了 QPU 的占用率（Quantum Occupancy）。随着并发作业数量增加，QPU 利用率上升并趋于饱和。
集群级执行时间：相比独占式调度（Co-scheduling），总执行时间大幅减少。
工作负载不平衡的影响：当经典计算时间远长于量子计算时间（高 $R$ 值）时，vQPU 策略的优势最为明显。
代价：个别作业的执行时间可能因共享 QPU 而略有增加（排队延迟），但整体集群吞吐量显著提升。

B. 动态资源管理 (Malleability) 与工作流 (Workflow) 的结果

资源消耗：
- Malleability (DMR)：相比静态基线，经典资源消耗减少了 45.7%。
- Workflow (StreamFlow)：相比静态基线，经典资源消耗减少了 64%，且资源使用的方差最小。
执行时间 (Wall Time)：
- 在资源争用环境下，Malleability 和 Workflow 均能显著缩短总执行时间。
- Workflow 由于需要频繁请求资源，在无争用环境下可能因调度开销导致时间略长，但在生产环境（Leonardo）中表现优异。
- Malleability 在重新配置时有轻微开销（约 5% 的时间增加），但平衡了效率与时间。
生产环境验证：在 Leonardo 超算上的实验证实，这些策略在真实的多租户环境中依然有效，能够应对集群负载波动。

5. 主要贡献 (Key Contributions)

概念框架整合：系统性地提出并澄清了三种混合 HPC-QC 调度策略（vQPUs, Malleability, Workflow），明确了它们在时间粒度和编程模型透明度上的定位。
实证验证：首次在真实生产级 HPC 集群（Leonardo）和真实量子硬件（Lagrange）上对这些策略进行了实验验证，填补了理论分析与实际部署之间的空白。
最佳实践指南：
- vQPUs：最适合超导量子计算机（短量子脉冲），无需修改应用代码，最大化集群级 QPU 利用率。
- Malleability：适合现有的 MPI 应用，以最小的代码改动实现资源动态调整。
- Workflow：适合新开发的复杂混合应用，提供最高的资源效率和灵活性，但需要工作流编排支持。
互补性分析：证明了这三种策略并非互斥，而是可以组合使用（例如，在 vQPU 共享的 QPU 上运行可变形的工作流作业）。

6. 意义与展望 (Significance & Future Work)

实际可行性：该研究证明了无需彻底重构现有 HPC 基础设施，即可通过软件层面的创新策略有效集成稀缺的量子资源。
资源优化：显著降低了混合计算任务对经典计算资源的浪费，对于解决 QPU 稀缺问题具有关键意义。
未来方向：
- 深入研究 vQPU 在大规模生产环境中的计费、授权和配额管理。
- 探索 DMR 与通信效率的协同优化。
- 将工作流策略扩展到真实量子硬件，并研究不同量子技术（如中性原子、离子阱）对调度策略的影响。

总结：这篇论文为构建下一代量子加速设施提供了一套成熟、可落地的调度解决方案，强调了根据工作负载特征（经典/量子时间比例、应用成熟度）选择合适的调度策略的重要性。