📊 statistics

Cautious optimism for deep parameterized quantum circuits

本文通过解析证明和数值实验表明，基于梯度的参数化量子电路可以随着模型规模的增大而在未见数据上表现出改进的泛化能力，呈现出一种挑战“更大模型会导致性能下降”这一传统观点的“双下降”现象，并为深度量子机器学习提供了审慎的乐观前景。

原作者： Marie Kempkes, Elies Gil-Fuster, Carlos Bravo-Prieto, Aroosa Ijaz, Alissa Wilms, Jens Eisert, Evert van Nieuwenburg, Vedran Dunjko

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Marie Kempkes, Elies Gil-Fuster, Carlos Bravo-Prieto, Aroosa Ijaz, Alissa Wilms, Jens Eisert, Evert van Nieuwenburg, Vedran Dunjko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人通过照片识别猫。在机器学习的世界里，这个机器人的“大脑”是一个被称为“模型”的复杂数学结构。长期以来，科学家们一直信奉一个简单的规则：如果模型变得太大，并且给它太多的调节旋钮（参数），它就会变得混乱。它会完美地记住训练照片，但在面对从未见过的全新图片时却表现得一塌糊涂。这就像一个学生背下了练习题的所有答案，却在正式考试中失败了，因为他并没有真正理解概念。这种传统的观点认为，更大的模型反而更不利于学习。

然而，近年来，研究人员在经典计算中发现了一个奇特的转折点，称为“双下降”（double descent）。事实证明，如果你让模型变得更大——超过那个它拥有足够旋钮来完美记住每一张训练照片的临界点——模型突然又变得聪明起来了。误差率第二次下降了。这就像那个学生在背下了练习题之后，突然领悟了宇宙底层的规律，并开始在正式考试中取得优异成绩。这一现象挑战了“越大越差”的旧观念。现在，科学家们正在问：这种魔术般的技巧在量子计算机上也适用吗？量子计算机利用叠加和纠缠等奇异的物理定律来处理信息。如果我们构建一个拥有数百万个参数的量子“大脑”，它也会在变得“过大”后变得更聪明，还是会直接崩溃？

这篇题为《对深度参数化量子电路的审慎乐观》（Cautious optimism for deep parameterized quantum circuits）的论文，正是深入探讨了这个问题。作者团队由来自欧洲和加拿大的大学及科技公司的研究人员组成，他们旨在研究量子机器学习模型是否也表现出这种相同的“双下降”行为。他们专注于一种特定类型的量子模型——参数化量子电路（PQCs），这本质上是一种具有可调节设置的量子电路，可以通过训练来解决问题。

研究人员结合了先进的数学方法和计算机模拟，来调查增加这些量子模型中可训练参数数量时会发生什么。他们首先从理论极限入手。通过使用一种名为“加一扰动”（add-one-in perturbation）的数学技术（这类似于询问：“如果我们偷偷加入一张额外的训练照片，模型的性能会发生什么变化？”），他们推导出了预测模型误差变化的公式。他们发现，从理论上讲，这些量子模型的误差率应该遵循与经典计算机相同的 U 型曲线：当模型接近数据量大小时，误差上升；在模型刚好拥有足以记住数据的参数量时达到峰值；然后随着模型变得大规模过度参数化，误差再次下降。

为了证明这不仅仅是一个数学技巧，他们进行了数值实验。他们构建了量子模型来解决三个不同的任务：识别手写数字（使用数据集 MNIST-1D）、识别时尚单品（Fashion MNIST）以及解决一个复杂的回归问题。他们在不同数量的数据（从 21 到 48 个样本不等）上训练这些模型，并改变了量子电路的大小，使其从参数少于数据点的情况一直变化到拥有数百个参数的情况。

结果令人振奋。在他们的模拟中，测试误差（即模型在未见过的全新数据上的表现）确实显示出了“双下降”模式。随着参数数量的增加，误差在参数量与训练样本量匹配的点（插值阈值）附近升至峰值。但一旦跨过这个阈值并加入更多参数，误差便显著下降。这表明，正如在经典机器学习中一样，让量子模型变大并不一定会破坏其泛化能力；事实上，只要模型能够被有效训练，它甚至可能帮助模型学得更好。

然而，作者在表达兴奋之情时保持了克制，这也正是标题中“审慎乐观”的由来。他们指出了两个主要的限制条件。首先，他们的结果仅在量子模型是“可训练的”情况下才成立。在量子世界中，存在一个被称为“贫瘠高原”（barren plateaus）的问题，即模型会陷入平坦的景观中，无法进行学习。如果模型处于这种状态，增加规模也无济于事。他们的发现是建立在模型已经处于可以学习的状态之上的。其次，虽然结果显示过度参数化的模型不会变差，但并未证明它们一定比较小的模型更好。他们只是表明，变大并不是一条死胡同。

简而言之，这篇论文表明，“双下降”这种奇特且违反直觉的行为很可能也存在于量子领域。它为我们提供了一线希望：当我们构建更深、更复杂的量子神经网络时，我们可能不会遇到收益递减的墙壁。相反，我们可能会发现，通往更优量子人工智能的路径在于构建更大、更复杂的模型，前提是我们能够解决随之而来的训练挑战。这是理解如何扩展未来量子机器学习规模的一个微小但重要的进步。

技术摘要：对深层参数化量子电路的审慎乐观

问题陈述
量子机器学习（QML）中的一个核心挑战是理解参数化量子电路（PQC）随着可训练参数数量增加时的缩放行为。虽然存在形式化的泛化界限，但它们往往无法表征实际性能，特别是当模型跨越“插值阈值”（即参数数量 $p$ 与训练样本数量 $N$ 变得相当的点）时，期望风险是如何演变的。在经典机器学习中，跨越这一阈值通常会导致“双下降”（double descent）现象，即测试误差最初上升（在插值点附近达到峰值），随后在过参数化阶段再次下降。然而，先前的证据表明，PQC 可能遵循传统的 U 型风险曲线，即过参数化会降低泛化能力，这可能是由于集中效应和贫瘠高原（barren plateaus）导致的。目前尚不清楚基于梯度的 PQC 是否也表现出与经典模型类似的双下降行为。

方法论
作者结合了分析摄动理论和随机矩阵理论，来分析基于梯度的 PQC 的期望风险。

理论框架：
- “加一”分析（Add-One-In Analysis）： 基于 Singh 等人 [33] 的工作，作者利用了一种“加一”摄动技术。他们考虑向训练集 $S$ 中添加单个数据点以形成 $S'$ 时所产生的影响，通过影响函数（influence functions）分析由此产生的局部极小值参数偏移（ $\hat{\vartheta}_S \to \hat{\vartheta}_{S'}$ ）。
- 风险分解： 他们推导了局部极小值处期望风险 $L(\hat{\vartheta}_S)$ 的近似值，将其分解为一个“加一损失”项和一个涉及经验风险逆海森矩阵（ $\hat{H}_S^{-1}$ ）与损失梯度协方差矩阵（ $C$ ）乘积之迹的复杂度项。
- 谱分析： 为了表征当 $p, N \to \infty$ 且固定比例 $p/N \to \gamma$ 时风险界的行为，作者分析了海森矩阵和协方差矩阵的谱性质。他们假设输入服从高斯分布，并利用随机矩阵理论（特别是 Marčenko-Pastur 定律）来确定海森矩阵最小非零特征值的行为。
- 界限推导： 他们推导了期望风险的下界（定理 1/C.3）和上界（定理 E.1/E.2）。这些界限关键性地取决于海森矩阵的最小非零特征值与梯度协方差谱性质之间的关系。
数值实验：
- 作者利用数据重上传（data re-uploading）PQC 在三个数据集上验证了其理论发现：MNIST-1D（分类）、Fashion MNIST（分类）以及一个合成的多维回归任务。
- 电路使用 $n=8$ 个量子比特进行角度嵌入（angle embeddings），具有交替的可训练层和最近邻 CZ 门。
- 实验系统地改变了参数数量（ $p$ ）和训练集大小（ $N$ ），以扫描欠参数化、插值和过参数化机制。
- 一个特定的技术调整涉及将 PQC 输出的期望值乘以一个常数因子（ $c=150$ ），以提高收敛到局部极小值的可靠性。

主要贡献与结果

理论双下降： 作者证明，在合理的假设下（包括高斯输入和局部极小值的存在），PQC 的期望风险下界在插值阈值（对于标量输出为 $p=N$ ，或一般情况下为 $p=NK$）处达到最大值。他们进一步证明，相应的上界也表现出相同的定性行为。这为基于梯度的 PQC 中的双下降现象建立了理论基础，对比了“较大的模型必然导致泛化变差”的观点。
谱机制： 分析表明，插值点处的风险峰值是由海森矩阵的谱性质驱动的。具体而言，海森矩阵的最小非零特征值遵循 Marčenko-Pastur 分布，导致风险界在系统从欠参数化侧接近插值阈值时趋于发散（达到峰值），并在系统进入过参数化阶段后下降。
实证验证： 数值实验证实了理论预测。在所有三个数据集及不同的训练集规模下，测试损失（作为期望风险的代理指标）在插值阈值（$p=NK$）附近表现出明显的峰值，随后在过参数化阶段下降。这证实了增加模型规模超过训练样本数量并不一定会损害在未见数据上的性能。
收敛观察： 作者观察到，对 PQC 输出进行重缩放可以显著提高收敛到局部极小值的可靠性，这是训练深层量子电路的一个实用见解。

意义与主张
本文对深层参数化量子电路的可扩展性持“审慎乐观”态度。其主要意义在于证明了双下降现象——这一使大规模经典深度学习取得成功的关键特征——也适用于基于梯度的量子模型。这表明过参数化可以为 QML 发挥建设性作用，只要能保证模型保持可训练性，深层 PQC 就可以实现良好的泛化。

然而，作者通过两个限制条件明确限定了其乐观程度：

可训练性前提： 这些结果严格适用于可训练的 PQC。它们并未解决在可训练性失效的机制（如贫瘠高原或集中效应）下的问题。如果一个模型无法被训练到局部极小值，则所推导的泛化保证将不再成立。
并非保证优越性： 这些发现并不声称过参数化模型优于欠参数化模型。相反，它们表明增加模型规模超过插值阈值本身并不会对泛化产生不利影响，这挑战了传统的统计学习理论观点，即较大的模型总是会导致较差的泛化。

总之，这项工作提供了一个理解 PLC 缩放行为的框架，表明只要保持可训练性，深层量子模型可能会像其经典对应物一样从过参数化中获益。

类似论文