🤖 machine learning

Active Quantum Kernel Acquisition for Gaussian Process Regression

本文提出了一种用于高斯过程回归的主动量子核获取方法，该方法基于导出的灵敏度指标和均匀覆盖底线，在有限的采样次数预算内对核矩阵条目进行最优分配，在合成数据集和真实世界数据集上均实现了相比于均匀分配显著的测试均方根误差（RMSE）提升，并展示了在各种下游任务中的鲁棒性。

原作者： Jian Xu, Delu Zeng, Qibin Zhao

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jian Xu, Delu Zeng, Qibin Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图破解谜团的侦探，但你的“线索票”供应非常有限。每当你使用一张票时，你都会得到一张特定犯罪嫌疑人组合的微型、略微模糊的照片。为了破案，你需要构建一个完整的“关系图”（网格），展示每个嫌疑人之间是如何相互关联的。

在**量子机器学习（Quantum Machine Learning）**的世界里，情况正是如此。被称为“量子处理器”的计算机可以创建这些关系图，但这些图充满了噪声且运行成本高昂。关系图中的每一个条目都需要运行一定次数的电路（称为“shots”）。如果你只有 10,000 张票的预算，你不能对每一对组合都运行 100 次；你必须聪明地决定在哪里使用这些票。

这篇论文介绍了一种名为 AQKA-GP 的新策略，旨在更明智地分配这些票，特别是针对一种被称为**高斯过程回归（Gaussian-Process Regression, GP）**的 AI 类型。

以下是其内容的通俗化解读：

1. 问题所在：“一刀切”的错误

此前，研究人员将每一对数据点视为同等重要。他们会对关系图中的每一个条目投入相同数量的 shots。

类比： 想象你正在绘制一幅巨大的壁画。旧的方法是在画布的每一寸面积上喷洒等量的油漆，即使是空白的天空和精细的面部细节也是如此。
问题： 在像 GP 回归这样复杂的任务中，地图中的某些部分对于最终答案至关重要，而其他部分则只是背景噪声。在“天空”上浪费 shots 会导致最终呈现出的“面部”模糊不清。

2. 解决方案：“聪明侦探”策略

作者发现，并非所有的线索都具有同等的价值。他们开发了一种方法，可以精确计算出哪些数据点对最终预测最为重要。

类比： 侦探不再到处喷漆，而是观察线索并说：“这三名嫌疑人是破案的关键；让我们为他们拍 50 张高质量的照片。那另外两人只是旁观者；一张模糊的照片就足够了。”
结果： 通过将预算集中在“高敏感度”的配对上，AI 能以相同的成本（shots）做出更好的预测。

3. 三种“敏感度”工具

为了知道哪些配对是重要的，论文发明了三种特定的数学“传感器”（敏感度），它们就像不同类型的放大镜：

“预测耦合”传感器（Predictive Coupling Sensor）： 检查特定的一对数据点对最终预测的影响程度。如果改变它们的关系会改变答案，就在这里投入更多 shots。
“留一法”传感器（Leave-One-Out Sensor）： 询问：“如果我们移除这个数据点，模型会跌跌撞撞多少？”如果模型因此大幅失误，说明这个点至关重要。
“似然度”传感器（Likelihood Sensor）： 检查数据与整体故事的契合程度。如果一对数据让整个故事听起来很奇怪，那么它就需要更多的关注。

4. “安全网”（高底线）

论文发现了一个危险的陷阱。如果侦探在早期表现得过于聪明，可能会犯错。如果最初的“热身”照片太模糊，探测器可能会误认为一个平庸的配对很重要，从而把所有的票都浪费在它身上，导致真正的线索被忽略。

类比： 想象一位厨师在品尝汤的味道。如果他尝到的一勺汤因为没搅拌均匀而过咸，他可能会认为需要加更多盐，从而毁了整道菜。
解决方法： 作者增加了一个“安全网”。他们强制系统先花费 50% 的预算来获取每一对组合的基础、均匀的照片（即使是那些无聊的组合）。这确保了没有任何一对会被完全忽略。只有剩下的 50% 预算才用于“智能分配”。这比以往用于其他任务的方法要高得多，以往的方法通常只需要 10–20%。

5. 研究发现（结果）

团队在四个标准现实世界数据集（如预测能源消耗或混凝土强度）以及一些人工生成的量子数据上进行了测试。

胜利： 在“中等预算”区间（即你有足够的票完成工作，但又不足以挥霍无度时），他们的智能策略比旧有的“等量喷洒”方法减少了 10% 到 21% 的预测误差。
代价： 他们发现这种技巧只有在数据“丰富”且多样化时才有效。如果数据过于简单或噪声太大（比如试图在电视机的雪花噪声中寻找规律），智能策略就毫无帮助。事实上，在一些嵌入到特定量子格式中的标准数据集上，由于数据过于统一，这种收益消失了。

6. 超越预测本身

论文还表明，这种“智能支出”对其他任务也有帮助：

超参数学习（Hyperparameter Learning）： 它能帮助 AI 更快地调整自身的设置。
贝叶斯优化（Bayesian Optimization）： 它能帮助在搜索过程中（例如在迷雾缭绕的山脉中寻找最高峰）使用更少的步骤找到最佳解。
异方差回归（Heteroscedastic Regression）： 它能帮助处理那种“噪声”随位置变化的数据（例如一张某些区域清晰、某些区域模糊的地图）。

总结

该论文的核心观点是：“不要在所有事物上平均分配你的量子资金。要把钱花在刀刃上，但要保留一个安全网，以确保你不会错过任何重要的东西。”

通过使用这些新规则，只要数据足够复杂且能从中获益，AI 模型就能在当前的、充满噪声的量子计算机上学习得更快、更准确。

技术摘要：用于高斯过程回归的主动量子核获取 (AQKA)

问题陈述

量子核方法提供了访问被推测为经典计算难以处理的特征空间的途径，但其在近期待用硬件上的实际部署受限于有限的“采样预算”（shot budget）。在量子核估计中，格拉姆矩阵（Gram matrix）的每个条目 $K_{ij}$ 都是通过有限次数的电路执行（shots）来估计的伯努利期望。由此产生的估计噪声缩放比例为 $\text{Var}(\hat{K}_{ij}) = K_{ij}(1-K_{ij})/s_{ij}$ 。

虽然最近的研究表明，基于任务敏感性的非均匀采样分配可以提高量子核分类（例如 KRR、SVM）的性能，但目前尚不清楚这种方法是否能转化为高斯过程（GP）回归。GP 回归呈现出一种截然不同的挑战：与分类不同，GP 回归依赖于逆核矩阵 $(K + \sigma_n^2 I)^{-1}$ 的完整谱特性来进行预测均值、方差和边缘似然的计算。因此，核噪声会被一个与条件数 $1/\sigma_n^4$ 成比例的因子放大。一种朴素的、由敏感性驱动的分配方式（这在分类中行之有效）可能会导致 GP 回归出现灾难性的失败，因为如果初始的“预热”核估计过于嘈杂，将无法可靠地识别出敏感对。

方法论：AQKA-GP

作者提出了 AQKA-GP（用于高斯过程回归的主动量子核获取），这是对 Neyman 式最小方差分配框架在 GP 回归中的扩展。该方法分为三个阶段运行：

高底线覆盖（High-Floor Coverage）： 为了防止过度集中在嘈杂的敏感性估计上而导致的灾难性后果，算法保留了总预算 $B$ 的一部分 $\rho$ （设定为 0.5）用于所有核对的均匀采样。这确保了每个条目都获得最少次数的采样，防止格拉姆矩阵包含默认值为先验均值（0.5）的未观测条目，否则会导致矩阵求逆不稳定。
敏感性加权分配： 剩余预算根据推导出的对级（pair-level）敏感性进行非均匀分配。作者推导了三种闭式形式的敏感性，每种对应不同的下游目标：
- 预测耦合度 ( $|\alpha_i \alpha_j|$ )： 为最小化测试 RMSE 而推导。这是在预测 MSE 目标下，对精确 Neyman 权重的秩-1 特化，其中 $\alpha = (K + \sigma_n^2 I)^{-1}y$ 。
- 边缘似然梯度： 用于超参数学习。该敏感性是负对数边缘似然对 $K_{ij}$ 的精确偏导数，即 $|\frac{1}{2}[A^{-1}]_{ij} - \frac{1}{2}\alpha_i \alpha_j|$ 。
- 留一法（LOO）残差： 用于预测校准。该敏感性强调那些其中一个端点具有较大 LOO 残差，且通过 $A^{-1}$ 与邻居紧密耦合的对。
推理时抖动（Inference-Time Jitter）： 为了处理当 $\hat{K}$ 包含采样噪声时后验分布的病态问题，该方法通过一个校准的抖动项 $j \propto \sqrt{n} \cdot \sqrt{\hat{K}(1-\hat{K})/s}$ 来膨胀观测噪声 $\sigma_n^2$ 。这种缩放受到 Wigner 型矩阵集中界限的启发，旨在确保后验保持稳定。

该框架还扩展到了稀疏诱导点 GP（VFE、SVGP、FITC）以及深度 GP，其中敏感性针对这些近似方法中的特定低秩耦合结构进行了调整。

核心贡献

推导 GP 特有的敏感性： 本文提供了三种用于 GP 回归的闭式形式对级敏感性，超越了先前工作中使用的分类专用梯度。这些敏感性捕捉了核不确定性如何传播到预测均值、方差和似然。
识别“高底线”失效模式： 作者指出，GP 回归对敏感性估计中的“预热”噪声具有独特的敏感性。他们证明了高均匀覆盖底线（ $\rho \approx 0.5$ ）对于恢复鲁棒性是必要的，这与分类中足以实现的较低底线（ $\rho \le 0.2$ ）形成对比。
理论证明： 本文确立了所提出的敏感性并非任意的替代指标，而是针对特定估计误差目标（预测 MSE、边缘似然、LOO）的精确导数或秩-1 特化。
实验验证： 广泛的实验表明，该分配器在适中预算范围内实现了持续的改进。

实验结果

作者在四个 UCI 回归基准测试和两个合成设置（稠密 GP 先验和植入稀疏数据）上评估了 AQKA-GP，其中 $n_{tr}=200$ 。

性能增益： 在中等预算阶段（每对 50–250 次采样），AQKA-GP 与均匀分配相比实现了 10–21% 的测试 RMSE 降低。在稠密数据中，由于谱衰减产生了预测异质性，即使在同质核的情况下，增益也最为显著。
鲁棒性： 高底线策略（ $\rho=0.5$ ）成功消除了在低预算且 $\rho$ 较小时观察到的灾难性失败。
下游任务： 增益可转移至：
- 贝叶斯求积： 积分误差减少 37%。
- 异方差回归： RMSE 提升 19–29%。
- 超参数学习： 与真实核带宽之间的差距缩小 65%。
- 多输出共克里金法（Cokriging）： 提升 4%。
量子核：
- 在具有量子自然数据的真实 ZZ 和 Pauli-Z 量子核上，该方法在低预算（ $p < 0.05$ ）下实现了 13–15% 的 RMSE 提升。
- 在 嵌入到 ZZ 核中的 UCI 特征上，增益消失了。作者将其归因于“指数集中机制”，即核值聚集在一个固定的均值周围，从而消除了采样分配可以利用的异质性。
稀疏 GP： 该方法可扩展到稀疏 VFE GP，使差距缩小到 Oracle 底线的约 40%，尽管由于稀疏近似的平滑效应，绝对增益较小。

重要性与主张

本文声称 AQKA-GP 成功地将主动量子核获取的原则从分类扩展到了要求更高的回归设置。其重要性在于：

应对逆矩阵放大效应： 它明确考虑了由于依赖于逆矩阵的完整谱特性，GP 回归比分类更严重地放大核噪声这一事实。
提供稳健协议： 它确立了高均匀覆盖底线是实现 GP 回归在采样噪声下稳定的必要条件，而这一要求在分类中并不存在。
任务特定优化： 它证明了不同的下游任务（预测 vs. 似然估计）需要不同的、具有理论依据的敏感性度量。

作者对该方法的适用范围保持审慎，指出该方法在核表现出足够异质性的情形下（即在“指数集中机制”之外）最为有效。他们明确表示，该方法并不能神奇地改善那些底层数据-特征映射组合缺乏必要结构的任务（如 UCI-ZZ 研究所示），并且特定的抖动常数是经过经验校准而非理论推导的。