Triple descent in quantum linear regression

在量子机器学习这一新兴领域中，计算机试图从存在于量子力学这种奇异、概率性领域中的数据中学习模式。这些机器不是在读取屏幕上的数字，而是与量子态——即脆弱的粒子构型——进行交互，然后通过测量它们来提取信息。这个过程本质上是充满噪声的。由于量子测量具有概率性，仅仅瞥一眼量子系统很难讲清全貌。为了获得可靠的读数，研究人员必须重复测量多次，这个过程被称为“取样”（shots），然后对结果取平均值。取的样本（shots）越多，图像就越清晰，随机噪声的干扰就越小。多年来，主流观点认为这种噪声仅仅是一种干扰，是一个可以通过简单收集更多数据就能消除的临时障碍。如果计算机因为测量中的偶然误差而犯错，人们认为解决方案显而易见：只需再次测量即可。

现在，一组研究人员表明，这种直觉是不完整的。在一项关于量子线性回归（一种机器根据量子测量来预测数值的学习方法）的研究中，他们发现测量产生的噪声并不会随之消退。相反，它会从根本上改变学习行为的方式，产生超出标准预期的意外误差峰值。研究人员发现，随着测量结果数量的增加，预测误差并不会简单地稳步下降。它会以一种复杂的模式上升和下降，呈现出三个截然不同的阶段，他们将这种现象称为“三重下降”（triple descent）。这种行为揭示了噪声本身有时可以帮助学习过程，而有时则会制造出无法通过增加更多数据来修复的深层、不可动摇的陷阱。

该研究聚焦于一种特定类型的学习问题，其中量子设备产生一组特征，这些特征本质上是不同测量结果的概率。随后，一台经典计算机尝试通过这些特征拟合一条直线，以预测目标值。研究人员使用随机量子测量和训练数据模拟了这个过程，并改变了测量结果的数量以及每个状态被测量的次数。他们观察到，预测误差遵循特定的路径。最初，随着测量结果数量的增加，误差下降。接着，它遇到了第一个峰值。这个第一个峰值的出现，是因为测量设置变得足够复杂，理论上足以捕捉所有关于量子态的信息，即所谓的“信息完备性”（informational completeness）点。就在这一时刻，测量的数学结构变得不稳定，导致误差激增。这种不稳定性在经典统计学中是一个已知问题，即当数据点刚好足以解决一个问题时，解决方案会对微小的误差变得极其敏感。研究人员证实，这第一个峰值是一个“经典”效应，是由测量本身的几何结构驱动的。

然而，故事并未就此结束。随着研究人员继续增加测量结果的数量，误差并未简单地持续下降。它再次上升到了第二个截然不同的峰值。这个第二个峰值出现在测量结果数量与训练样本数量相匹配时，即所谓的“插值阈值”（interpolation threshold）。与第一个峰值不同，这个峰值纯粹起源于“量子”层面。它之所以出现，是因为用于估计概率的有限采样次数（shots）引入了随机波动，从而创造了“虚假特征”。这些虚假特征并不存在于真实的量子态中，它们纯粹是噪声。当测量结果的数量与训练状态的数量相等时，学习算法试图完美地拟合这些仅由噪声组成的特征。它为这些特征分配了巨大的权重，实际上是在记忆随机噪声而非底层模式。这产生了一个在本质上不同于第一个峰值的第二次误差激增。

最令人惊讶的发现是这两个峰值对更多数据的反应方式。由测量几何引起的第一个峰值可以通过在训练阶段增加更多的采样次数（shots）来抑制。如果研究人员增加每个训练状态的测量次数，噪声就会被平均化，第一个峰值也会随之平坦化。然而，第二个峰值——即量子峰值——的表现却不同。即使研究人员在训练模型时使用了极大量的采样，这个第二个峰值也不会消失。它只会在训练特征以完美、无限精度已知的理论极限下才会消失。在任何现实世界的有限数据场景中，这个峰值依然存在。研究人员表明，增加训练采样量实际上会让这个峰值变得更糟，因为算法会变得更加“确信”自己正在拟合噪声。这意味着，仅仅收集更多数据并不是万灵药；事实上，在量子领域，更多的数据有时反而会使模型的错误更加根深蒂固。

该团队使用了先进的数学工具，特别是名为“随机矩阵理论”的数学领域，来推导出这些误差曲线的精确形状。他们证明了这些峰值的高度和宽度取决于测量结果数量、训练状态数量以及采样次数之间的平衡。他们还表明，一种称为“岭正则化”（ridge regularization）的技术（即通过添加微小的惩罚项来防止模型对单一特征赋予过高权重）可以平滑这些峰值。这表明，虽然量子噪声造成了根本性的不稳定，但可以通过正确的数学约束来进行管理。研究结果挑战了“量子特征可以被视为已知精确值”的观点。如果研究人员忽略噪声并假设特征是精确的，他们将会低估测量几何带来的不稳定性，并完全忽略由噪声本身引起的这种全新的、量子特有的不稳定性。

这项工作强调了量子系统中测量精度与学习稳定性之间微妙而关键的关系。它表明，通往准确预测的路径并非直线。在某些特定阈值处，系统会变得脆弱，且这种脆弱性的性质取决于测量设置是仅仅达到了信息完备性，还是模型正在试图拟合噪声。研究人员得出结论，设计量子学习系统需要一种精细的平衡。人们不能独立地增加测量结果的数量或采样次数。测量结果的数量必须与训练集的大小以及可用的采样预算相协调。如果这些因素没有对齐，即使测量本身变得更加精确，增加测量结果的数量也可能会让预测结果变得更差。该研究提供了一份理解这些不稳定性现象的路线图，提供了一种方法来预测量子学习模型何时会遇到困难，以及如何进行调优以避开“三重下降”景观中的陷阱。