🤖 machine learning

Lightweight Gaussian Process Inference in C++ on Metal and CUDA

本文介绍了 LightGP，这是一个轻量级、无依赖的 C++17 高斯过程回归库，它利用优化的 CPU、Metal 和 CUDA 后端，在多种数据集规模下实现了相较于 GPyTorch 等现有基于 Python 的框架的显著加速。

原作者： Yu-Hsueh Fang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu-Hsueh Fang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试预测未来一周的天气。你拥有海量的历史数据，并希望使用一种名为**高斯过程（GP）**的“智能计算器”来进行预测。这种计算器以其极高的准确性以及能够告知你对答案的置信度而闻名。

然而，这里有一个问题：这个计算器极其笨重。传统上，要运行它，你需要加载一个庞大臃肿的软件套件（就像配备所有 imaginable 电器的全套厨房），仅仅为了使用一个搅拌机。这就是当前流行工具（如 GPyTorch）的做法；它们构建在巨大的深度学习框架之上，占用数 GB 的空间，并通过额外的步骤拖慢速度。

LightGP 登场了。

本文的作者构建了这个计算器的全新、超轻量级版本。把它想象成一把瑞士军刀，而不是全套厨房。它用一种精简高效的语言（C++）编写，运行时无需任何庞大的软件套件。它可以安装在手机、笔记本电脑或服务器上，而无需下载 2GB 的额外负担。

以下是通过日常类比来解释 LightGP 的工作原理：

1. 四种不同的“路径”

论文指出，LightGP 提供四种不同的解决问题的方法，具体取决于你的数据规模：

精确路径（Cholesky 分解）： 就像通过完美地写出每一步来解决数学问题。它非常准确，但如果数字太多，速度会变得非常慢且占用大量内存（就像试图用一百万块拼图来解谜）。
“猜测与检查”路径（共轭梯度法）： 这种方法不写出整个谜题，而是采取一个聪明的捷径。它会问：“如果我尝试这个，我是否在接近目标？”然后进行调整。这就像在迷宫中通过触摸墙壁来导航，而不是先画出整张地图。这节省了巨大的内存。
“采样”路径（稀疏变分法）： 想象你有百万张猫的照片，但你只需要看其中 200 张就能学会猫长什么样。这种方法挑选少数几个“代表性”数据点来承担繁重的工作，而忽略其余部分。
“快进”路径（基于 FFT 的 SKI）： 这使用了一种特殊的数学技巧（就像魔法透镜），将细节模糊到足以让你瞬间看到大局，使其在处理海量数据集时速度极快。

2. 竞赛：LightGP 对阵巨头

作者将 LightGP 放在两条不同的赛道上与巨头（GPyTorch）进行竞赛：一台Apple M4 笔记本电脑和一张NVIDIA RTX 3060 显卡。

在 Apple 笔记本电脑上： LightGP 就像短跑运动员，而 GPyTorch 则是马拉松选手。因为 Apple 的芯片拥有一个能极快处理数学运算的特殊“助手”（称为 AMX），LightGP 直接利用了它。然而，GPyTorch 必须先经过一长串 Python 管理器和调度器的流程，才能向该助手寻求帮助。
- 结果： 对于标准任务，LightGP 的速度快了2.6 到 8.7 倍。
在 NVIDIA 显卡上： 对于小到中等规模的任务（约 2,000 个数据点以内），LightGP 也更快。然而，对于非常大的任务，“巨头”（GPyTorch）开始迎头赶上，因为它具有内置功能，能更好地处理大规模、连续的数据流。
- 结果： 对于较小的任务，LightGP 快了2.3 到 6.7 倍，但在最大的任务上，GPyTorch 获胜。

3. “魔法”技巧

论文强调了 LightGP 使用的两个特定“魔法”技巧：

隐形矩阵： 通常，为了进行数学运算，你必须写下一个占用大量内存的巨大数字网格（矩阵）。LightGP 有一个技巧，即无需写下网格就能计算出结果。这就像计算购物总花费时，无需先在纸上写下每件商品的单价。这使得它能够在内存有限的计算机上处理海量数据。
速度提升： 在 Apple 计算机上，作者发现对于某些繁重的数学任务，使用"CPU"（主脑）实际上比使用"GPU"（显卡）更快，因为 CPU 拥有一个 GPU 无法超越的专用助手（AMX）。LightGP 会自动知道何时切换到 CPU 以节省时间。

4. 核心结论

LightGP 是一个新工具，它证明你不需要庞大沉重的软件框架来进行高级统计预测。

它快：在许多设备上，它的运行速度比流行的替代方案快 2 到 8 倍。
它轻：它没有沉重的依赖项，只需一条命令即可安装（pip install lightgp）。
它灵活：它既适用于 Apple 硬件，也适用于 NVIDIA 硬件。

作者总结道，对于许多日常数据规模（高达 100,000 个点），这种轻量级工具是获得准确预测的最有效方式，特别是在 Apple 设备上，无需旧式重型工具的臃肿负担。

技术摘要：LightGP

问题陈述

高斯过程（GP）推理是一种具有校准不确定性的原则性贝叶斯回归框架，但其计算成本——精确推理为 $O(N^3)$ ，内存需求为 $O(N^2)$ ——历史上将其应用限制在小数据集上。尽管可扩展的近似方法（例如诱导点方法、共轭梯度、结构化核插值）将这些边界扩展到了数十万个点，但像 GPyTorch 和 GPflow 这样的主流实现依赖于庞大的深度学习框架（PyTorch、TensorFlow）。这些框架带来了显著的依赖负担（通常超过 2 GB）、每个操作非 trivial 的 Python 分发开销，以及对移动或嵌入式环境部署的支持有限。此外，现有库通常缺乏能够利用特定硬件加速器（如 Apple Metal 或 NVIDIA CUDA）而无需框架膨胀的原生、无依赖的 C++ 实现。

方法论

LightGP 是一个无依赖的 C++17 库，旨在解决这些限制。它提供 Python 绑定，但在原生 C++ 核心上运行，无需 PyTorch 或 TensorFlow。该库分为四层：

张量与 BLAS：一个存储行优先 float32 数据的 Tensor 类。它将矩阵乘法分发到 Apple Accelerate（在 macOS 上使用 AMX 协处理器）或 OpenBLAS（在 Linux 上）。Cholesky 分解利用 LAPACK 的 spotrf。
核函数：一个抽象的 Kernel 基类支持通过运算符（+、*、Scale）进行组合。具体实现包括 RBF、Matérn、Periodic 和 Linear 核函数。
GPU 后端：
- Metal（Apple Silicon）：实现了分块核矩阵构建、融合的非矩阵核向量积、带分块线程组内存 GEMM 的阻塞 Cholesky 分解以及三角求解。
- CUDA（NVIDIA）：使用 cuBLAS、cuSOLVER 和用于非矩阵操作的自定义核函数，镜像 Metal 的功能。
- 自动选择：Backend::Auto 启发式方法根据问题规模和维度选择 CPU 或 GPU。
推理模型：
- GPExact：支持三种求解器：精确 Cholesky（ $O(N^3)$ ）、带随机 Lanczos 对数行列式的共轭梯度（CG）（非矩阵， $O(N^2k)$ ）以及通过 FFT 的结构化核插值（SKI）（ $O(N \log N)$ ）。
- GPSparse：实现了 Titsias 的变分自由能（VFE），采用最远点诱导初始化和 Adam 优化。它包含一个“热重拟合”功能，可在重复拟合时跳过重新初始化。

该库编译为单个静态库，零外部依赖，并可通过 pip install lightgp 安装。

主要贡献

原生 C++ 实现：完整实现了四种 GP 推理路径（精确、CG、稀疏 VFE、SKI），具有可组合的核函数，可在无需 Python 或框架依赖的情况下部署。
硬件优化核函数：为 Apple Silicon 手工调优了 Metal 计算着色器，为 NVIDIA GPU 调优了 CUDA 核函数。值得注意的是，它引入了一种融合的非矩阵核向量积，使得 CG 能够实现 $O(N)$ 内存推理，这是 PyTorch 的 Metal 后端原生不支持的功能。
FFT 加速的 SKI：利用 Apple Accelerate 的 vDSP 和 cuFFT 实现 SKI，在大规模下实现 $O(N \log N)$ 的矩阵向量乘法。
跨平台基准测试：系统评估显示，在 Apple Silicon 上，基于 CPU 的 AMX 协处理器（通过 Accelerate）在稠密 Cholesky 分解方面显著优于 Metal，这一发现为后端选择启发式方法提供了依据。
零依赖 Python 绑定：通过 pybind11 完全暴露 API 并与 NumPy 互操作，允许在不占用深度学习框架庞大资源的情况下安装。

结果

基准测试在 Apple M4（Metal 3）和配备 Intel i7-12700 及 NVIDIA RTX 3060（CUDA 12.0）的 Linux 桌面系统上进行。

与 GPyTorch 的性能对比：
- Apple M4（CPU）：在所有测试规模下，LightGP 的精确 GP 推理比 GPyTorch 快 2.6–8.7 倍，稀疏 GP 快约 1.5 倍。加速归因于消除了 Python 和 PyTorch 的分发开销。
- Linux（CUDA）：在 $N=2,048$ 之前，LightGP 的精确 GP 比 GPyTorch 快 2.3–6.7 倍。在 $N=4,096$ 时，GPyTorch 凭借其融合的自动微分管道分摊了开销，缩小了差距。对于稀疏 GP，LightGP 在 $N=10,000$ 时更快（1.7 倍），但在 $N=50,000$ 时 GPyTorch 胜出，这得益于持久设备张量和编译的梯度计算。
非矩阵操作：在 Apple M4 上，融合 Metal 非矩阵核向量积在 $N=20,000$ 时比显式 CPU 路径实现了 32 倍 的加速，并且在 16 GB 内存下， $N > 30,000$ 时是唯一可行的选项。在 Linux 上，CUDA 在 $N=10,000$ 时实现了高达 259 倍 的加速。
内存扩展性：非矩阵 CG、稀疏 VFE 和 SKI 保持 $O(N)$ 的内存使用。相比之下，精确 Cholesky（ $O(N^2)$ ）在 Mac 上于 $N \approx 42,000$ –45,000 时耗尽 16 GB RAM，在 Linux 上于 $N \approx 35,000$ 时耗尽 12 GB VRAM。
准确性：CPU 和 GPU 后端的预测在标准数据集（Motorcycle、Mauna Loa、kin40k）上的均值和方差差异在 $10^{-5}$ 以内。

意义

LightGP 证明了原生 C++ GP 推理可以在零外部依赖的情况下达到或超越基于框架的库的性能。通过消除 Python 和深度学习框架的分发开销，LightGP 提供了持续的性能提升，特别是在 Apple Silicon 上，直接利用了 AMX 协处理器。该库通过 $O(N)$ 内存的非矩阵方法和 FFT 加速的 SKI，使得在消费级硬件上以前不切实际的规模（ $N > 100,000$ ）进行 GP 推理成为可能。

该论文强调了一个关键的硬件洞察：在 Apple Silicon 上，对于 Cholesky 分解等稠密线性代数任务，CPU（通过 Accelerate/AMX）通常优于 GPU（Metal），而 LightGP 的启发式方法会自动管理这一细微差别。虽然 GPyTorch 凭借其成熟的自动微分和持久张量基础设施，在 CUDA 上的极大规模（ $N \ge 50,000$ ）仍保持竞争力或更优，但 LightGP 填补了一个空白，提供了轻量级、高性能且可部署的 GP 推理，无需承担完整深度学习栈的负担。