Adaptive directional gradients for parameterised quantum circuits

本文引入了一种用于参数化量子电路的前向梯度框架，该框架统一了现有的梯度估计方法，并使 QUIVER 自适应优化器能够实现比参数移位规则和其他最先进优化器更高效的训练，同时降低测量成本。

要点

想象一下，你正在试图教一个非常复杂的机器人（一个参数化量子电路）如何解决一个问题，比如识别一张猫的照片，或者寻找货运卡车的最佳路线。为了教它，你需要向它展示它应该移动的“方向”。用数学术语来说，这叫做计算梯度。

问题在于，在目前的量子计算机上，计算这个方向的成本极其高昂。这就像是通过走遍每一条街道来绘制一座巨大的城市地图。如果你的机器人有 1,000 个旋钮（参数）可以调节，旧的方法需要你走 1,000 条不同的路径才能确定前进的方向。这会消耗大量的时间和能量（称为“测量次数”或 measurement shots），使得训练规模较大的机器人变得不可能。

这篇论文介绍了一种更聪明的新方法来寻找这个方向，叫做前向梯度（Forward Gradients），以及一个用于管理这个过程的智能教练，叫做 QUIVER。

旧的方法：“走遍每条街道”的问题

标准方法（称为参数位移规则 Parameter-Shift Rule）就像是一个一丝不苟的测量员。为了知道特定位置的地势坡度，他们必须向左走一步、测量一次，再向右走一步、测量一次，并对机器人的 1,000 个旋钮中的每一个都重复这个过程。

• 代价： 如果你有 1,000 个旋钮，你就必须进行 2,000 次单独的行程。随着机器人的规模增大，成本也会线性增长。这太慢了。

新的方法：“指南针”策略（前向梯度）

作者提出了一种不同的方法。与其检查每一条街道，不如想象你站在城市的中心，然后朝一个随机方向投掷一支飞镖。你沿着那个方向走几步，观察坡度，然后再朝另一个不同的随机方向投掷一支飞镖。

如果你这样做几次（比如 10 次或 20 次）并平均这些结果，你就能得到一个关于整体前进方向的相当不错的估计，而无需走遍每一条街道。

• 神奇之处： 你可以自由选择检查多少个方向。
  • 如果你只检查 1 个方向，它就像旧的“SPSA”方法（速度快但噪声大）。
  • 如果你检查所有 1,000 个方向，它就是旧的“参数位移规则”方法（完美但缓慢）。
  • 这个新方法让你可以选择一个“金发姑娘原则”（Goldilocks）下的理想数量（比如 20 个方向）。它比检查全部 1,000 个方向要快得多，但比只检查 1 个方向要准确得多。

智能教练：QUIVER

仅仅随机投掷飞镖是不够的；你需要知道要投掷多少支飞镖，以及观察每一支飞镖时要多么仔细。这就是 QUIVER 发挥作用的地方。

把 QUIVER 想象成一个观察机器人训练过程的智能教练：

1. 训练初期： 机器人距离目标解还很远，路径很混乱。教练说：“让我们快速查看许多不同的方向，以获得一个大致的方向感。”（高方向数量，低单次观察投入）。
2. 训练后期： 机器人已经接近目标解。教练说：“我们不再需要看那么多方向了，但我们需要对正在观察的方向进行非常精确的测量。”（较少方向，高单次观察投入）。

QUIVER 会根据它观察到的噪声实时调整这种平衡，确保机器人在学习过程中尽可能高效，而不会浪费能量。

这篇论文的研究发现

作者在四种不同类型的问题上测试了这一想法：

1. 分类心律（ECG 心电图数据）。
2. 识别手写数字（MNIST 图像）。
3. 寻找量子系统的最低能量状态（VQE）。
4. 解决优化谜题（MaxCut）。

结果：

• 速度： 使用这种新方法，我们可以训练拥有高达 60 个量子比特和 1,770 个参数的机器人。
• 效率： 他们达到了与旧有的“缓慢”方法相同的准确度水平，但使用的能量（测量次数）仅为一小部分。在某些情况下，其效率高出好几个数量级。
• 对比： 他们的这种方法击败了其他流行的“快速”方法（如 SPSA 和 RCD），甚至击败了那些通过巧妙选择观察位置来节省能量的智能“自适应”方法（iCANS/gCANS）。

核心结论

这篇论文并不声称已经解决了量子计算中的所有问题。相反，它提供了一个全新的、灵活的工具包。它用一种可调节的策略取代了僵化且昂贵的规则，你可以根据具体情况调高或调低该策略。它证明了你不需要检查每一条路径来找到正确的路；有时，检查一些聪明的随机路径就足以快速完成任务。

简而言之： 他们找到了一种方法，通过使用在数学上被证明有效的“捷径”，让量子计算机学习得更快，从而节省了大量的资源和时间。

技术摘要

技术摘要：参数化量子电路的自适应方向梯度法

问题陈述
在近期的量子硬件上训练参数化量子电路（PQC）目前受限于梯度估计的测量成本。在标准的参数移位规则（parameter-shift rule）下，估计全梯度在每一步需要 $O(N)$ 次电路评估，其中 $N$ 是可训练参数的数量。随着量子模型规模的扩大并受益于过度参数化，这种线性缩放占据了总采样预算（shot budget）的主导地位，使得基于梯度的训练变得低效。虽然像同时摄动随机逼近（SPSA）和随机坐标下降（RCD）这样的近似估计器降低了单步成本，但它们分别在估计器方差或收敛速率上引入了 $O(N)$ 的惩罚。此外，现有的自适应采样分配方法（例如 iCANS、gCANS）依赖于参数移位规则，并假设不同参数之间的测量方差存在显著差异，而这一假设在随机方向估计器中可能并不成立。

方法论
作者提出了一个基于**前向梯度（forward gradients）**的统一框架，该框架源自自动微分的前向模式。该框架通过平均 $V$ 个随机方向导数来重建全梯度，其中 $V$ 是一个与 $N$ 无关的可调参数。

1. 前向梯度估计器：
   梯度估计为：
   $$\hat{\nabla}^F f(\theta) = \frac{1}{V} \sum_{\ell=1}^V (\nabla_{v_\ell} f) v_\ell$$
   其中 $v_\ell$ 是随机方向（通常为 Rademacher 向量）。方向导数 $\nabla_{v_\ell} f$ 使用步长为 $\epsilon$ 的中心有限差分近似进行计算，每个方向仅需两次电路评估。

   • 统一性： 该框架将 SPSA（$V=1$，Rademacher）、RCD（$V=1$，基向量）和参数移位规则（$V=N$，基向量）作为极限情况进行恢复。
   • 成本： 每步成本随 $O(V)$ 缩放，而非 $O(N)$，总测量成本为每步 $2VM$ 次采样。

2. 收敛性分析：
   论文建立了使用该估计器进行随机梯度下降的收敛界限。论文证明了一个“无免费午餐”的结果：对于凸损失函数，每步成本的 $V$ 倍缩减会被达到目标精度所需的步数增加的 $V$ 倍精确补偿。总采样预算与 $V$ 无关。然而，分析指出有限差分步长 $\epsilon$ 是主导超参数，它决定了由噪声放大效应引起的偏差-方差权衡，其中采样噪声随 $1/\epsilon^2$ 被放大。

3. QUIVER 优化器：
   为了解决固定 $V$ 策略和现有自适应方法的局限性，作者推导出了 QUIVER（量子迭代 $V$-自适应估计规则）。

   • 噪声集中： 作者证明，对于随机方向估计器，测量噪声在各个方向上均匀集中（这与参数移位规则中噪声随参数变化的特性不同）。这使得逐方向采样分配（iCANS 背后的机制）失效。
   • 联合自适应： 因此，QUIVER 联合调整方向数量 $V$ 和每个方向的采样数 $M$。它在满足目标估计器方差和最小每方向采样数的前提下，最小化总测量成本。
   • 最优性： 推导出的更新规则使用 Rademacher 方向，经证明，在各向同性分布中，该方向能唯一地最小化估计器的二阶矩。由此产生的采样预算在达到从采样噪声正交（shot-noise oracle）恢复无偏梯度的克拉美-罗下界（Cramér–Rao lower bound）方面，仅差一个随 $N \to \infty$ 时消失的常数。

关键结果
论文在四个问题领域验证了该方法：

• 分类： 在 ECG5000（时间序列）和 MNIST（图像）数据集上训练具有多达 60 个量子比特和 1,770 个参数的正交量子神经网络。
• 优化与模拟： 用于横场伊辛模型（TFIM）的变分量子本征求解器（VQE）以及用于 MaxCut 问题的量子近似优化算法（QAOA）。

发现：

1. 效率： 使用固定 $V \ll N$ 的前向梯度估计器，能够以极小的总采样预算实现与参数移位规则相当的精度。这种节省量随参数数量 $N$ 的增加而增长。
2. 基准对比： 在 $N$ 较大时，前向梯度显著优于 SPSA 和 RCD，因为在这些情况下单方向方法性能会下降。
3. 自适应调度： 启发式实验表明，通过在训练过程中衰减 $V$（初期保持高 $V$ 以进行广泛探索，后期保持低 $V$ 以保证精度）的效果优于固定的 $V$ 端点。
4. QUIVER 性能： QUIVER 优化器在 VQE 和 QAOA 基准测试中优于 iCANS、gCANS 以及使用 Adam 优化的标准参数移位法。值得注意的是，在 iCANS/gCANS 因信噪比过低而退化为固定采样参数移位法的机制中，QUIVER 通过动态调整 $V$ 和 $M$ 保持了性能优势。

意义与主张
该论文声称提供了一个统一的理论框架，将 SPSA、RCD 和参数移位规则视为单一随机方向估计器的特例。通过引入可调参数 $V$，它提供了一个显式的杠杆，用于在最廉价（高方差）和最昂贵（精确）的梯度策略之间进行插值。

其主要贡献是 QUIVER 优化器，它是第一个专门为前向梯度设计的自适应方法。它克服了以往采样自适应优化器（当噪声均匀集中时会失效）的结构性限制，通过调整方向数量而非仅仅是每个方向的采样数来进行自适应。作者断言，QUIVER 实现了近乎最优的采样效率，达到了从采样噪声正交恢复梯度的克拉美-罗下界，并使得训练大规模量子电路（高达 60 个量子比特）成为可能，其测量成本比参数移位规则低几个数量级。

该工作强调，这些增益是在无需辅助量子比特、受控门或中途测量的情况下实现的，因此该框架可立即应用于当前的含噪声中等规模量子（NISQ）硬件。