⚛️ quantum physics

Benign Overfitting with Quantum Kernels

本文提出了一种新颖的“局部-全局”量子核策略，该策略通过结合局部子系统测量与全局全系统测量，并利用良性过拟合现象，来克服现有量子核存在的指数级集中和泛化能力差的问题。

原作者： Joachim Tomasi, Sandrine Anthoine, Hachem Kadri

发布于 2026-07-08

📖 1 分钟阅读🧠 深度阅读

原作者： Joachim Tomasi, Sandrine Anthoine, Hachem Kadri

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人从浩如烟海的书库中识别模式。你希望机器人学习书籍背后的“故事”（通用规则），而不仅仅是死记硬背每一页上的精确文字（具体细节）。

在量子机器学习的世界里，科学家们使用“量子核”（quantum kernels）来帮助机器人实现这一点。你可以把量子核想象成一个特殊的放大镜，用来观察两份数据之间的相似程度。

问题：“过于锐利”的放大镜

论文解释说，目前的许多量子放大镜功能过于强大。随着我们增加更多的“镜片”（量子比特）来让机器人变得更聪明，这个放大镜会变得过于锐利，以至于它无法再看到不同书籍之间的相似性。相反，它会将每一本书都视为完全独特的个体，即使它们非常相似。

用技术术术语来说，这会导致机器人出现过拟合（overfitting）。它完美地记住了训练数据（在练习过的测试中拿到100%的分数），但在看到新书时却表现得一败涂地。这就像一个学生死记硬背了练习题的答案，但因为没有理解概念，在正式考试中却失败了。

通常，当这种情况发生时，科学家们会尝试把放大镜“变笨”，使其不再那么锐利，希望能提高泛化能力。但本论文提出了另一种不同的、巧妙的方法。

解决方案：“局部-全局”策略

作者提出了一种构建这些量子放大镜的新方法，称之为局部-全局量子核（Local-Global Quantum Kernels）。

想象一下，你正试图在拥挤的人群中认出一位朋友。

全局视角（“尖锐”的部分）： 你同时观察整个房间。因为房间很大且很拥挤，除非你的朋友恰好站在你预期的位置，否则很难找到他们。这种视角非常“尖锐”——只有当一切都完美契合时，它才会看到匹配。这有助于机器人记住特定的训练数据。
局部视角（“平滑”的部分）： 你将注意力集中在朋友的脸部或衣服上。这种视角是“平滑”的。它忽略了混乱的人群，专注于构成“朋友”这一本质特征的关键要素。这有助于机器人理解“友谊”的通用概念，并在不同环境下都能认出他们。

该论文的创新之处在于结合了这两种视角。他们创建了一个系统，既利用“全局”视角来记忆训练数据（插值），又利用“局部”视角来理解潜在的模式（泛化）。

魔力：“良性过拟合”

在过去，科学家们认为如果一个模型过度记忆数据（过拟合），那总是一件坏事。这篇论文引入了**“良性过拟合”（Benign Overfitting）**的概念。

可以这样理解：

灾难性过拟合： 学生记住了答案，但面对问题的任何微小变化都会感到困惑。
良性过拟合： 学生完美地记住了练习题的答案，但由于他们同时也学习了学科的深层逻辑（得益于“局部”视角），他们仍然能够正确回答新的、未见过的题目。

作者通过数学证明并结合实验表明，他们的“局部-全局”方法允许量子模型在完美记忆训练数据（这通常会导致失败）的同时，仍然能够很好地处理新数据。

他们是如何测试的

研究人员在两种类型的数据上测试了这个想法：

合成数据： 为了测试特定的数学属性而设计的虚构数据。
真实世界数据： 他们使用了一个关于翼型（飞机机翼的形状）的数据集来预测升力。

在这两种情况下，他们都发现，他们的新方法使模型能够完美拟合训练数据（零误差），同时不会失去准确预测新数据的能力。事实上，在某些情况下，它的表现甚至优于那些试图完全避免记忆的传统方法。

核心启示

论文声称，在量子机器学习中，我们不必害怕“记忆”数据。通过精心设计量子系统，使其同时具备“锐利”的记忆组件和“平滑”的理解组件，我们可以创造出既能记住实例，又能掌握宇宙规律的模型。这是构建高效学习型量子计算机的一种新途径。

技术摘要：具有量子核的良性过拟合

问题陈述
量子核方法通过参数化量子电路（PQC）将经典数据编码到高维希尔伯特空间中，为实现量子优势提供了潜在路径。然而，一个显著的挑战阻碍了其在实际中的应用：指数级浓缩（exponential concentration）现象。随着量子比特数的增加，高度表达性的量子核（例如标准的量子保真度核）往往会向零浓缩，导致核矩阵趋近于单位矩阵。这会导致“尖峰”（spiky）行为，使得模型无法捕捉有意义的数据相关性，从而导致尽管插值了训练数据，但泛化能力仍然很差。虽然已经提出了正则化技术（如带宽调节、降维）来缓解过拟合，但这些方法通常仅将浓缩视为一种缺陷，而非可以利用的特性。

方法论
作者提出了一种名为**局部-全局量子核（Local-Global Quantum Kernels）**的新颖构造，其灵感来源于经典机器学习中的“良性过拟合”概念以及“尖峰-平滑”（spiky-smooth）核分解。其核心思想是构建一个结合了两个不同组件的核：

局部组件（Local Component）： 源自对小子系统（约化密度矩阵）的测量。该组件保留了平滑结构，保留了不同输入之间的非平凡相关性，并支持泛化。
全局组件（Global Component）： 源自对整个量子系统的测量。该组件表现出强烈的浓缩效应，产生能够插值训练数据的窄“尖峰”。

所提议的核定义为一个加权和：
$k_{LG}(x, z) = \lambda_L k_L(x, z) + \lambda_G k_G(x, z)$
其中 $k_L$ 是局部核， $k_G$ 是全局核。

为了便于理论分析，作者引入了一种**可分全局编码（Separable Global Encoding）**方案。在这种设置下，总量子比特数 $t$ 是子系统大小 $s$ 的倍数（ $t = q \cdot s$ ）。编码幺正算符在 $q$ 个块之间进行因子分解。在此方案下，全局核成为基础核的 $q$ 次幂（ $k_G = k_B^q$ ），而局部核则与基础核成比例（ $k_L \propto k_B$ ）。由此产生的核形式为：
$k_{LG}(x, z) = \tilde{\lambda}_L k_B(x, z) + \lambda_G k_B(x, z)^q$
随着参数 $q$ 的增加，全局组件变得越来越尖锐（局部化），而局部组件保持平滑。

核心贡献

局部-全局量子核定义： 本文引入了一个框架，将量子核显式地分解为平滑（局部）和尖峰（全局）组件，创造了量子版的“尖峰-平滑”核（由 Haas 等人 [2023] 在经典设置中提出）。
良性过拟合的理论证明： 作者证明，对于一类周期性、平移不变的量子保真度核（特别是余弦量子核），使用局部-全局核进行的无岭回归（ridgeless regression）可以精确插值带噪声的训练数据，同时保持统计一致性。这表明，只要存在平滑的局部组件，高维量子核的“尖峰”性质就可以被用来实现插值而不牺牲泛化能力。
电路实现： 本文提供了局部-全局核的具体量子电路实现，包括：
- 一种使用 $t$ 个量子比特上的局部和全局观测量的全量子实现。
- 一种混合量子-经典实现，它计算 $s$ 个量子比特上的基础核，并在经典端应用幂律，从而显著降低了量子资源需求。
实验验证： 在合成数据集和真实世界数据集（如 Airfoil 数据集）上的实验表明，局部-全局核在插值训练数据的同时实现了低测试误差，其性能优于使用基础核的标准无岭回归，并在某些情况下达到或超过了正则化岭回归的性能。

结果

过拟合相图： 一维数值实验展示了从较差的偏差-方差权衡（较小的 $q$ ）到灾难性过拟合（中间的 $q$ ），再到良性过拟合（较大的 $q$ ）的转变过程；在良性过拟合阶段，预测器插值了数据，但在远离训练点时保持平滑。
一致性： 在合成数据上，局部-全局无岭估计器的测试均方误差（MSE）随着训练规模的增加收敛到噪声水平，证实了其理论一致性结果。相比之下，仅使用基础核的无岭回归被证明是不一致的。
泛化能力： 局部-全局核在处理真实世界数据时，能够在插值训练集的同时成功实现泛化，验证了结合局部平滑性和全局尖峰性可以实现良性过拟合的假设。

意义
本文声称提供了针对量子核进行良性过拟合研究的首个理论与实证表征。通过将量子核的指数级浓缩重新定义为一种插值机制而非一种失效模式，作者提出了一种旨在促进泛化的量子核设计原则。这项工作将良性过拟合分析从经典学习中的收缩带宽构造扩展到了量子领域，利用全局组件的幂次浓缩来实现局部化。研究结果表明，精心设计的量子特征可以在不损害预测性能的前提下实现数据插值，这为构建有效的量子核提供了一种极具前景的策略，特别是在 NISQ 时代。

问题：“过于锐利”的放大镜

解决方案：“局部-全局”策略

魔力：“良性过拟合”

他们是如何测试的

核心启示

类似论文