💻 computer science

RubriQ: Rubric-Guided Group Relative Policy Optimization for Constraint-Aware Quantum Circuit Synthesis

RubriQ 是一个可扩展的、由高性能计算（HPC）驱动的框架，它利用基于准则引导的组相对策略优化（GRPO），实现量子电路合成的自动化，从而同时满足算法正确性、表面码成本最小化以及近期待用硬件约束。

原作者： Ziqing Guo, Ziwen Pan

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziqing Guo, Ziwen Pan

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图制造一台能够解决当今任何计算机都无法完成的任务的机器。这台机器是量子计算机，它利用微观粒子的奇特规则进行极速运算。但问题在于：这些机器极其脆弱。为了让它们发挥作用，我们需要将宏大、复杂的想法转化为一种非常特定的、底层的“门”（gates，即开关）语言，因为这才是机器能理解的语言。

问题在于，这种转化简直是一场噩梦。如果你只是让一台标准计算机来做这件事，数学规模会变得巨大无比，导致系统崩溃。如果你试图用现有的技术来构建它，它又太嘈杂且容易出错。因此，科学家们陷入了一个中间地带：他们需要设计出既能满足未来超级机器的完美要求，又能足够简单、能在当今不稳定的原型机上运行的电路。这就像是在尝试编写一份五星级宴会的食谱，但要求一个蹒跚学步的孩子也能在不烧毁厨房的前提下把它做出来。

于是，RubriQ 诞生了，它是一个全新的工具，充当了这些量子食谱的超级聪明且不知疲倦的编辑。RubriQ 并不只是盲目地猜测和尝试，它使用一个巨大的 AI，通过同时尝试数千种变体来进行学习，并由一套严格的“评分标准”（rubric，即评分表）进行引导，这套标准会明确告诉它如何改进。它不仅仅是在寻找“足够好”的方案，而是在寻找数学上的完美无瑕与在现有硬件上运行的实用性之间的完美平衡。

RubriQ 的故事：教导 AI 成为量子架构师

把设计量子电路想象成要求一名学生写故事。在过去，如果你要求计算机编写一个量子程序，就像是给学生一个模糊的提示词，比如“写点酷的东西”，然后寄希望于他们不会胡编乱造。如果他们写错了，你只会说“不对，再试一次”，却完全不知道错在哪里。这就是旧方法所做的：它们提供的是“稀疏奖励”（sparse reward），这意味着只有当答案 100% 完美时，AI 才会得到一分，除此之外任何情况都得零分。这使得学习过程极其缓慢且令人沮丧，就像在黑暗中练习骑自行车一样。

RubriQ 改变了游戏规则，它扮演着一位拥有详细评分标准的严厉但乐于助人的老师。它不再只是简单地说“通过”或“失败”，而是将评分细分为五个特定类别：

它奏效了吗？（故事逻辑通顺）。
它高效吗？（是否用了太多词？在量子术语中，这是关于减少“T 门”的问题，T 门是那些昂贵且耗资源的组成部分）。
它的 Clifford 占比如何？（是包含了太多难以制造的高级动作，还是大部分都是简单的动作？）。
它能在今天的机器上运行吗？（是否符合特定硬件的形状，就像把方榫头塞进圆孔里那样？）。
它快吗？（需要多少步？）。

该论文介绍了一种称为组相对策略优化（GRPO）的方法。想象一下，AI 是一位正在发明新菜肴的大厨。与其做出一道菜然后等待评价，RubriQ 要求大厨同时做出八个不同版本的菜肴。然后，它会对这些版本进行相互比较。如果其中一个版本比其他版本稍好一些，AI 就会学习制作更多这类菜肴。如果某个版本是一场灾难，它就会学习避开那条路径。这种“组内”比较比等待单个完美答案要快得多，也更稳定。

他们是如何制造这台机器的

为了实现这一目标，研究人员必须构建一个庞大的引擎。他们不能只在笔记本电脑上运行这个程序；它需要 NERSC Perlmutter 的动力，那是位于劳伦斯伯克利国家实验室的一个超级计算机集群。他们使用了 8 张 NVIDIA A100 GPU（用于 AI 的重型显卡）来运行模拟。

其中的巧妙之处在于：AI 并不只是瞎猜。它使用了一种程序化评分标准。这意味着“老师”不是一个可能会感到困惑的黑盒神经网络，而是一套硬编码的规则，能够瞬间检查数学逻辑、成本和硬件限制。如果 AI 生成的电路看起来很酷但在数学上失败了，评分标准会立即给它零分。如果它生成的电路虽然有效但使用了过多的昂贵“T 门”，评分标准会给出一个较低的分数，从而促使它变得更加高效。

他们还解决了一个主要的瓶颈问题：模拟速度。检查一个量子电路是否有效通常需要模拟整个过程，随着增加更多量子比特（qubits），这会呈指数级变得困难。RubriQ 集成了 CUDA-Q，这是一个允许他们在 GPU 上直接运行这些模拟的工具，这使得处理过程比在标准 CPU 上运行快了数千倍。

他们的发现

研究结果令人振奋，尽管作者在描述时非常谨慎，将其定位为迈出的重要一步而非万能灵药。

它比旧方法效果更好： 在对 1,500 个不同的量子任务进行测试时，RubriQ 实现了 96% 的正确率。这意味着几乎每次尝试，它都能生成执行正确数学运算的电路。
它更加高效： 量子计算机最重要的指标是“T 计数”（T-count，即昂贵门的数量）。与那些仅仅是“正确”但未经过优化的电路相比，RubriQ 平均将这些门的数量压缩了 3.31 倍。这意义重大，因为更少的 T 门意味着计算机需要更少的资源和更短的时间来运行。
它学习得更快： 由于它使用这些详细的评分标准而不是等待完美分数，RubriQ 的收敛速度（即掌握任务的速度）比其他依赖稀疏奖励的强化学习方法快了 2 到 3 倍。
它已准备好适配真实硬件： 团队并没有止步于模拟。他们将 RubriQ 生成的最佳电路在 IBM 和 IonQ 的真实量子计算机上进行了运行。他们发现，这些电路与这些机器是兼容的，硬件约束的违规率低于 1%。

这意味着什么

论文指出，通过将量子电路综合视为一种受严格的多维评分标准引导的代码生成任务，我们可以实现高质量量子程序的自动化创建。它反对认为我们需要复杂的、通过学习得到的“评论家”网络来评判 AI 作品的观点；相反，一个清晰的、基于规则的评分系统效果更好，且运行成本更低。

虽然论文并未声称已经解决了量子计算的所有问题，但它展示了一条可行的前进路径。通过将大语言模型（LLMs）的创造力与程序化评分标准的严谨纪律相结合，RubriQ 提供了一种设计电路的方法，这些电路不仅在数学上是可靠的，而且在面对如今嘈杂、不完美的机器时也具有实用性，同时也为未来的容错型量子巨头做好了准备。它是连接当前混乱的硬件现实与纯净的未来量子计算世界的一座桥梁。

技术摘要：RubriQ —— 用于约束感知量子电路合成的标尺引导组相对策略优化

1. 问题陈述

向可扩展量子计算的过渡受限于经典编译问题：即将高层算法转化为既能满足容错量子计算（FTQC）资源约束，又能满足近期硬件可执行性的低层门序列。

FTQC 约束： 在表面码架构中，非 Clifford 操作（特别是 $T$ 门）需要昂贵的魔术态制备（magic-state distillation），其消耗的物理资源比 Clifford 门高出几个数量级。最小化 $T$ 计数（ $T$ -count）和 $T$ 深度（ $T$ -depth）对于降低经典计算预算和调度复杂度至关重要。
近期约束： 当前的噪声中规模量子（NISQ）设备（例如 IBM 的 heavy-hex 拓扑结构、IonQ 的全连接拓扑）对原生门集、量子比特连通性和电路深度有着严格限制。
现有方法的局限性： 主流编译器（如 Qiskit、TKET）依赖于静态启发式规则，缺乏发现新颖代数简化的生成能力。之前的强化学习（RL）方法通常受到稀疏终端奖励、高方差梯度以及狭窄动作空间（门插入/删除）的困扰，这阻碍了结构性新颖电路的发现。此外，在大规模量子合成中训练 RL 智能体由于 $O(4^{n_q})$ 的保真度模拟复杂度而导致计算成本极高。

2. 方法论：RubriQ 框架

RubriQ 将量子电路合成重新定义为一个大语言模型（LLM）代码生成任务，并通过无需学习价值函数评论家（value-function critic）的组相对策略优化（GRPO）进行优化。

2.1 LLM 作为合成器

该系统将 OpenQASM 或 Qiskit Python 代码的合成视为一个条件生成任务。

基座模型： 一个 70 亿参数的指令微调代码生成 LLM（Qwen2.5-Coder-7B）作为策略 $\pi_\theta$ 。
参数效率： 模型使用秩为 64 的低秩自适应（LoRA）进行微调，使可训练参数保持在总参数量的约 0.4%，从而能够在 4–8 块 NVIDIA A100 GPU 上部署。
生成： 对于每个提示词（算法的自然语言规范），模型自回归地采样 $N=8$ 个候选电路。

2.2 标尺引导的奖励引擎

RubriQ 没有采用神经评论家，而是采用了一种**程序化的、多维度的标尺（rubric）**来生成稠密且确定性的奖励。奖励函数 $R(y)$ 是五个有界分量得分（ $S_d \in [0, 1]$ ）的加权和，并由一个硬性正确性条件进行门控：
$R(y) = g(c) \cdot [w_F S_F + w_C S_C + w_T S_T + w_H S_H + w_E S_E]$
其中 $g(c)$ 是一个硬门，如果平均门保真度 $F_{avg} < 0.99$ ，则将奖励设为零。

五个维度包括：

功能保真度 ( $S_F$ )： 通过与目标幺正矩阵的希尔伯特-施密特内积进行测量。
Clifford 占比 ( $S_C$ )： Clifford 门占总操作门的比例，旨在鼓励以 Clifford 门为主的电路。
$T$ 计数减少 ( $S_T$ )： 基于总等效 $T$ 门计数（考虑了 Toffoli 和任意旋转的分解）的指数衰减得分。
近期硬件验证 ( $S_H$ )： 评估与特定后端（IBM Eagle/Heron、IonQ Forte/Aria）的兼容性，惩罚非原生门和 SWAP 路由开销。
电路效率 ( $S_E$ )： 一种深度归一化的紧凑性指标。

2.3 GRPO 训练循环

该框架利用组相对策略优化（GRPO），它消除了对独立评论家网络的需求。

优势估计： 对于从同一个提示词中采样的 $N$ 个完成结果，通过在组内归一化奖励来计算优势 $\hat{A}_i$ ： $\hat{A}_i = (R_i - \mu_R) / (\sigma_R + \epsilon)$ 。
可扩展性： 与稀疏奖励相比，这种方法降低了梯度估计的方差，并避免了在分布式 GPU 上维护数十亿参数评论家所带来的内存和通信瓶颈。
HPC 集成： 训练循环直接集成 GPU 加速的 CUDA-Q 模拟到 RL 循环中，以实现高吞吐量的保真度评估。该系统部署在 NERSC Perlmutter 上，利用 DeepSpeed ZeRO-2 进行分布式梯度和优化器状态分区。

3. 核心贡献

LLM-as-Synthesizer 形式化： 首次将数十亿参数的指令微调 LLM 应用于基于 RL 后训练的门级量子合成，超越了小型 Transformer 模型或静态启发式方法。
多目标标尺奖励引擎： 一个具有领域知识的评分系统，将 FTQC 代价指标（Clifford+T）与近期硬件验证解耦，用可解释的、确定性的标尺取代了神经评论家。
可扩展的 HPC 系统架构： 在 NERSC Perlmutter 上实现的完整训练流水线，在 8 块 A100 GPU 上实现了 >85% 的强扩展效率，利用 DeepSpeed ZeRO-2 和 CUDA-Q 来管理 $O(4^{n_q})$ 模拟的计算成本。
近期硬件验证： 一个自动化的流水线，可在物理 IBM Heron-3 和 IonQ Forte 处理器上验证合成的电路，证明了其超越模拟的可执行性。
经验性能： 证明了与稀疏奖励基线和传统编译器相比，在合成质量和收敛速度方面具有显著改进。

4. 实验结果

在 2–8 个量子比特的 1,500 个基准电路（QFT、QPE、哈密顿量模拟、数据编码）上进行评估：

正确性： 实现每个数据集至少 96% 的正确性通过率。
$T$ 门压缩： 在正确电路基础上实现了 3.31 $\times$ 的平均 $T$ 门压缩，显著优于仅限正确路径的稀疏奖励 RL 基线（2.05 $\times$ ）和传统工具（TKET、Qiskit）。
收敛性： 标尺引导的方法比稀疏奖励基线收敛速度快 2–3 $\times$ ，减少了所需的总训练轮数。
约束违反： 将近期硬件约束违反率维持在 1% 以下。
硬件验证： 成功在 IBM Heron-3 和 IonQ Forte 上部署了 Top-k 电路，证实了该流水线生成硬件感知代码的能力。
计算效率： 稠密标尺塑造使得模拟调用次数比稀疏奖励方法减少了 2–3 $\times$ ，这转化为显著的 GPU 小时节省（例如，对于 8 量子比特任务，从 24.2 降至 9.2 GPU 小时）。

5. 重要性与主张

论文指出，RubriQ 通过将 LLM 生成能力与严格的领域特定约束相结合，为自动化量子电路合成建立了新的范式。

关注点分离： 通过显式地将 FTFC 代价指标与近期硬件验证分离，RubriQ 解决了未来容错系统与当前 NISQ 设备之间相互冲突的需求。
消除评论家： 该工作表明，对于像量子合成这样确定性的、可通过程序计算的任务，不需要学习价值函数的评论家；结合了 GRPO 的稠密、基于标尺的奖励足以提供有效的策略优化信号。
HPC 驱动的流水线： 本研究强调了为训练 AI 驱动的量子工具使用高性能计算（HPC）资源的必要性，为将 RL 驱动的合成扩展到经典模拟变得难以处理的更大量子比特数提供了蓝图。
鲁棒性： 该框架被证明在不同的算法族和量子比特数下都是鲁棒的，避免了对特定电路模板的过拟合。

作者总结道，RubriQ 提供了一个自动化的、高性能的流水线，用于生成表面码代价感知的电路，架起了理论算法设计与实际硬件执行之间的桥梁。