⚡ electrical engineering

Efficient Gaussian process learning via subspace projections

本文引入了一种用于高斯过程的新型投影似然训练目标，该目标利用低维线性投影，在处理中等规模数据集时，实现了比精确高斯过程和变分稀疏高斯过程方法更高的准确性和计算效率。

原作者： Elsa Cazelles, Felipe Tobar

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Elsa Cazelles, Felipe Tobar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明但极其迟钝的机器人如何根据一本宏大的历史书来预测未来。这个机器人是一个高斯过程（Gaussian Process, GP）。它以极其精准的预测能力和能够告知你预测信心程度（不确定性量化）而闻名。然而，它有一个弱点：给它的数据越多，它就变得越慢。如果你给它几千页的历史，它需要花很长时间去阅读；如果你给它一百万页，它就会直接放弃。

这篇论文介绍了一个新窍门，可以让这个机器人变得更快，且不会因此变“笨”。他们把这个窍门称为投影似然（Projected Likelihood, PL）。

以下是它的工作原理，我将使用日常类比来解释：

1. 问题所在：“完美记忆”的瓶颈

通常情况下，为了从数据中学习，机器人会试图记住每一个数据点之间的关系。如果你有 1,000 个数据点，它就必须检查 1,000,000 种连接方式。这就像是通过与人群中的每一个人握手，并询问他们对其他所有人的看法，来试图理解这群人。这种方法虽然彻底，但却要耗费一辈子的时间。

2. 旧有的捷径：“代表团”方案

科学家们之前尝试通过挑选一小群“代表”（称为诱导变量/inducing variables）来加速这一过程。机器人只与这些代表交谈，并假设其他所有人其实都和他们一样。

缺陷： 有时机器人会对人群产生错误的认知，因为这些代表并不完美。它可能会误以为噪声水平比实际情况更高或更低。此外，机器人仍然需要进行大量的额外数学运算来确定谁是最合适的代表，这非常耗时。

3. 新的解决方案：“影子投影”

作者提出了另一种方法。他们不是挑选特定的个体进行交谈，而是从几个不同的角度向整个人群投射光线，从而在墙上投下影子。

类比： 想象你有一个复杂的 3D 雕塑（你的数据）。与其研究雕塑的每一处曲线，不如从几个随机方向将其影子投射到平面墙上。
神奇之处： 作者发现，如果你选择这些投射影子的角度是随机的（具体来说，是在球面上随机方向），影子仍能保留几乎所有用于学习该形状的重要信息。
结果： 机器人只需要研究这些 2D 影子（它们比 3D 雕塑更小、更简单），而不是研究整个 3D 雕塑。这就是投影似然（PL）。

4. 为什么它更好（“甜点位”）

论文测试了这种新方法在处理 500 到 8,000 个数据点的不同数据集时，与旧有的“代表团”方法的表现。

准确性： 与“代表”方法相比，“影子”方法（PL）能更准确地学习数据的形状。它不会被噪声水平或模式所迷惑。
速度： 尽管“影子”的数学逻辑在纸面上看起来很复杂，但在实践中它更快。为什么？因为“代表”方法需要更多步骤来“学习”出正确的代表，而“影子”方法只需要很少的步骤就能做对。
“随机”带来的惊喜： 你可能认为你需要仔细挑选最佳的角度来投射影子。但论文表明你并不需要！仅仅通过随机选择角度就能产生惊人的效果，并捕捉到数据中最重要的细节。

5. 核心结论

作者想表达的是：“我们找到了一种方法，可以将数据压缩成一个低维度的‘影子’，同时保留最重要的信息。”

对于中小规模数据集（约 8,000 个点以内）： 这种新方法是明显的赢家。它比目前的标准方法更快、更准确。
权衡之处： 它并非魔法；它确实会损失一点点信息（就像影子会丢失物体的深度感一样），但论文证明这种损失微乎其微，以至于机器人在学习时，其表现几乎与看到了完整物体时一模一样，而耗时却仅为后者的一小部分。

简而言之，机器人不再试图阅读整部百科全书，而是现在阅读一个经过巧妙总结、能缩减到一张纸大小的版本，而且它学到的故事内容几乎没有差别。

技术摘要：通过子空间投影实现高效高斯过程学习

问题陈述
高斯过程（GP）是时间序列分析中的标准方法，尤其适用于存在不均匀采样、缺失数据和不确定性量化等场景。然而，通过极大似然估计（ML）进行精确的 GP 训练会产生 $O(n^3)$ 的计算成本，这使得处理超过数千个数据点的任务变得不可行。虽然使用诱导变量的变分自由能（VFE）等稀疏 GP 方法将复杂度降低至 $O(nm^2)$ ，但它们也引入了特定的缺陷：

偏差： 由于近似变分分布的选择受限，它们往往会产生有偏的超参数估计（例如，VFE 倾向于高估噪声方差，而 FITC 则倾向于低估噪声方差）。
渐近效率： 它们的计算优势仅在渐近意义上（对于足够大的 $n$ ）得以实现，且训练损失涉及复杂的运算（多次 Cholesky 分解），这可能需要更多的优化步骤才能收敛。

作者指出，需要一种能够平衡计算效率与准确性的训练方法，以应对中等规模的数据集，并避免当前稀疏近似方法所固有的偏差。

方法论：投影似然（Projected Likelihood, PL）
本文提出了一种名为**投影似然（PL）**的新型训练目标。PL 并非通过诱导变量来近似后验，而是通过构建一个基于数据低维线性投影的代理 GP 来实现。

投影机制： 将 $n$ 维观测向量 $y$ 投影到由单位球面 $S^{n-1}$ 上的 $k$ 个方向（ $\omega_1, \dots, \omega_k$ ）定义的空间中。由此产生一个压缩后的 $k$ 维向量 $z = \Omega^\top y$ 。
训练目标： 训练过程最小化该投影数据的负对数似然（NLL）。生成的目标函数 $L_{PL}(\theta)$ 的计算成本为 $O(kn^2)$ 。
信息损失分析： 作者推导了使用 PL 代替精确 ML 所产生的 Fisher 信息损失的闭式表达式。他们证明了该损失与条件协方差 $\Sigma_{Y|Z}$ $Σ_{Y ∣ Z}$ 成二次方关系。
- 理论洞察： 最优投影方向对应于协方差矩阵 $K_x$ 的前 $k$ 个特征向量。由于这些方向在训练前是未知的，作者实验性地评估了随机投影策略。
- 经验发现： 在各种投影结构（One-hot、局部化、排斥型和球形）中，**在单位球面上均匀分布的随机投影（球形）**被发现能有效最小化残差协方差 $\Sigma_{Y|Z}$ 的迹，从而减少信息损失。

核心贡献

新型目标函数： 引入了基于低维线性投影而非诱导变量的投影似然（PL）作为训练目标。
理论量化： 推导了与 PL 相关的信息损失，证明了可以通过单位球面上的随机投影来最小化该损失。
效率与准确性的权衡： 本文证明，虽然 PL 的理论复杂度为 $O(kn^2)$ （对于较小的 $m$ ，这似乎高于稀疏 GP 的 $O(nm^2)$ ），但在经验上它更为高效。这是因为 PL 比 VFE 需要显著更少的优化步骤才能收敛，因为 VFE 的损失函数景观（loss landscape）通常更为复杂。
偏差削减： 与已知会使超参数估计（特别是噪声方差）产生偏差的 VFE 不同，PL 实现的解更接近精确 ML 基准。

实验结果
作者在合成数据集和真实世界数据集（太阳黑子 Sunspots 和新生儿 EEG）上，使用多种核函数（SE, Laplace, RQ, LocPer）和优化器（BFGS, Adam）对 PL 进行了对比 VFE 和精确 ML 的验证。

优化速度： 在 1,000 个样本的实验中，PL 达到目标 NLL 的速度比 VFE 更接近精确 ML 基准，且所需的迭代次数更少。例如，使用 Adam 优化器时，PL 耗时 0.574 秒，而 VFE 耗时 1.57 秒。
可扩展性： 对于 500 到 4,000 个点的数据集，当 $n < 3000$ 时，PL 比 VFE 更快达到目标 NLL。随着 $n$ 的增加，性能差距缩小，但 PL 仍保持了优异或相当的准确度。
真实世界表现： 在太阳黑子数据集（3,319 个点）和 EEG 数据集（8,000 个训练点）上，PL 在所有测试的核函数下，其准确度（较低的 NLL 或 RMSE）始终优于 VFE。虽然对于极大型数据集，计算时间变得相近，但 PL 保持了明显的准确度优势。
方差估计： 来自 PL 的后验方差估计值比 VFE 更接近 ML 估计值，而 VFE 往往会高估方差。

意义与主张
本文声称，对于中等规模（高达 8,000 个点）的数据集，PL 方法为稀疏 GP 提供了一个具有竞争力的替代方案。其主要意义在于证明了压缩数据表示可以被用于 GP 学习，从而在不显著牺牲学习准确性的情况下，丢弃时间序列中的自然冗余。

至关重要的是，作者认为对近似似然方法的评估不应仅依赖于单次损失评估的计算成本（例如 $O(nm^2)$ 与 $O(kn^2)$ 的对比），还必须考虑损失函数的复杂度。PL 能够更快收敛的能力使其在实际应用中比 VFE 更高效，尽管其目标函数的理论复杂度更高。本研究验证了单位球面上的随机投影提供了一种稳健且低开销的机制，用以近似精确的高斯过程似然。