📊 statistics

Laplace Approximation for Bayesian Tensor Network Kernel Machines

本文提出了一种贝叶斯张量网络核机（LA-TNKM），该方法利用线性化拉普拉斯近似提供有理论依据的不确定性估计，在多种回归基准测试中展现出与高斯过程和贝叶斯神经网络相当甚至更优的性能。

原作者： Albert Saiapin, Kim Batselier

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Albert Saiapin, Kim Batselier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《拉普拉斯近似在贝叶斯张量网络核机中的应用》的解释。

大局观：让 AI“自信”（或诚实）

想象你在聘请一位天气预报员。

标准 AI 会告诉你：“明天会下雨。”
“具备不确定性感知能力”的 AI 会告诉你：“明天会下雨，但我只 60% 确定，因为数据有些奇怪。”

第二种类型至关重要。如果 AI 不确定，它应该说出来，而不是自信地给出错误答案。这篇论文介绍了一种名为 LA-TNKM 的新型 AI 模型，它既能做出出色的预测，又能在不知道答案时自知其不知。

问题：速度与安全性之间的权衡

在机器学习领域，获取这种“不确定性”超能力主要有两种方法：

“黄金标准”（高斯过程）： 这就像一位极其细致、行动缓慢的图书管理员。为了给你一个答案，他们会查阅图书馆里的每一本书。他们极其准确，并且对自己的置信度诚实，但如果图书馆藏书超过几千本，他们就会不堪重负。对于大数据而言，他们太慢了。
“极速者”（张量网络核机）： 这就像一位利用巧妙捷径来整理书籍的快递小哥。他们能非常快速地处理庞大的图书馆（海量数据集）。然而，由于使用了这种捷径，他们失去了自我核查置信度的能力。他们只给你一个答案，而不会说“我不确定”。

论文的目标： 作者希望构建一个系统，既像快递小哥一样快，又像图书管理员一样诚实。

解决方案：“拉普拉斯近似”（局部地图）

为了解决“极速者”缺乏自信的问题，作者使用了一种名为 拉普拉斯近似 的数学技巧。

类比：
想象你站在山顶（最佳可能答案）。为了了解你周围的 terrain（地形），你可以尝试绘制整个世界地图（这不可能）。相反，你只需看看脚边的地面。你假设就在那里，地面是平坦的（或略微弯曲的）。

论文的方法： 他们找到“山顶”（最佳预测），然后观察其周围地面的“曲率”。
- 如果地面是平坦的，模型就非常自信（答案很明确）。
- 如果地面陡峭且崎岖，模型就不确定（数据的微小变化会导致答案的巨大变化）。

通过测量这种局部的“崎岖度”，模型可以计算出它应该多大程度上信任自己的预测。

秘密武器：张量网络

作者并没有随意使用数学，而是使用了 张量网络。

类比：
想象你有一个代表所有数据的多维巨型魔方。

普通 AI： 试图一次性解开整个魔方。它体积巨大，耗时极长。
张量网络： 将巨型魔方分解成由绳子连接的一系列更小、更易管理的魔方。它解开这些小碎片并将它们链接在一起。

这使得模型能够处理海量数据（如数百万条记录）而不会崩溃。论文将这种“小魔方链条”与“局部地图”（拉普拉斯）技巧相结合，从而同时获得了速度和自信。

他们测试了什么（实验）

作者在真实世界的数据集（如预测房价、能源消耗或船只速度）上测试了他们的新模型（LA-TNKM），并将其与以下对象进行了比较：

缓慢细致的图书管理员（高斯过程）。
其他试图猜测置信度的快速 AI 模型（贝叶斯神经网络）。

结果：

速度 vs. 准确性： LA-TNKM 比图书管理员快得多，但准确性相当。
诚实度： 与其他快速模型相比，它在承认自己不确定方面表现得更好。
“最后一个核心”技巧： 他们尝试了不同的方法来计算地面的“崎岖度”。他们发现，仅观察链条的最后一部分（即“最后一个核心”），往往能在速度和准确性之间取得最佳平衡。

结论

该论文声称，LA-TNKM 是一种新的实用工具。它允许计算机在海量数据集上进行快速预测，同时仍能像人类专家一样说出“我不确定这一点”。它弥合了那些因太慢而无用的模型与那些因太快而不可信的模型之间的鸿沟。

简而言之： 他们制造了一辆速度很快但仍装有正常速度表和燃油表的汽车，这样你就能确切知道你的行驶速度以及何时可能会耗尽燃油。

以下是 Albert Saiapin 和 Kim Batselier 的论文《Laplace Approximation for Bayesian Tensor Network Kernel Machines》的详细技术总结。

1. 问题陈述

机器学习系统需要稳健的**不确定性估计（UE）来处理模糊输入、分布外数据以及噪声特征。虽然高斯过程（GPs）**为 UE 提供了原则性的概率框架，但其计算复杂度随数据点数量呈立方级增长（ $O(N^3)$ ），将其限制在中小规模数据集上。

相反，**张量网络核机（TNKMs）通过将模型权重参数化为张量网络（具体为典型多项式分解，即 CPD），提供了一种可扩展的替代方案。这将参数数量从相对于输入维度的指数级减少到线性级。然而，标准的 TNKMs 通常依赖于最大后验（MAP）**估计。张量网络的非线性、多线性结构破坏了闭式贝叶斯推断所需的高斯性假设，使得在不诉诸昂贵的采样方法（如 MCMC）或复杂的变分推断的情况下，难以推导出原则性的不确定性估计。

核心问题： 张量网络核机如何提供与高斯过程或贝叶斯神经网络（BNNs）相当的原则性、可扩展的不确定性估计？

2. 方法论：LA-TNKM

作者提出了LA-TNKM（拉普拉斯近似张量网络核机），这是一个将变分推断与**(线性化) 拉普拉斯近似**相结合的框架，用于在张量网络上执行可处理的贝叶斯推断。

关键组件：

模型公式：
- 模型定义为 $f(x) = \phi(x)^T w$ ，其中特征 $\phi(x)$ 具有张量积结构，权重 $w$ 表示为 CPD 张量网络。
- 假设参数上存在高斯似然和高斯先验。
拉普拉斯近似：
- 作者不是对高维后验进行积分（不可处理），而是用以 MAP 估计 $v^*$ 为中心的高斯分布来近似后验分布 $p(v|D)$ ：
  $q(v) = \mathcal{N}(v | v^*, H_{v^*}^{-1})$
- 这里， $H_{v^*}$ 是在最优点处评估的损失函数的海森矩阵（Hessian matrix）。
海森矩阵近似：
为张量网络计算完整海森矩阵内存消耗巨大。本文系统地评估了五种近似策略，以平衡内存和精度：
- 完整海森矩阵： 精确但计算昂贵（ $O((DIR)^2)$ ）。
- 广义高斯 - 牛顿（GGN）： 半正定近似，常用于 BNNs。
- 块对角： 假设 CPD 核心之间相互独立（类似于 BNNs 中的层）。
- 对角： 假设所有权重相互独立（平均场）。
- 最后一核心： 仅对最后一个 CPD 核心应用贝叶斯推断，将早期核心视为固定。这被证明非常高效（ $O(I^2R^2)$ ）且有效。
线性化拉普拉斯近似（LLA）：
- 作者通过围绕 $v^*$ 线性化模型函数 $f(x, v)$ ，解决了非线性模型与高斯后验之间的不匹配问题。
- 这使得预测分布可以使用线性化模型解析计算，与未线性化的拉普拉斯近似相比，显著提高了预测性能（负对数似然）。
特征值截断：
- 为了处理病态海森矩阵（特征值接近零或为负），作者应用了截断特征值分解。通过交叉验证调整超参数 $\hat{t}$ 以过滤掉小特征值，防止预测方差爆炸。

3. 主要贡献

新颖框架（LA-TNKM）： 引入了首个贝叶斯张量网络核机，在保持与基于 MAP 的标准 TNKMs 相当的计算成本的同时，实现了具有不确定性意识的预测。
系统性海森矩阵分析： 在张量网络背景下全面比较了海森矩阵近似技术（完整、GGN、块、对角、最后一核心），提供了关于内存使用和预测性能的指导。
线性化策略： 证明了线性化预测函数（LLA）对于在张量网络中实现高质量不确定性估计至关重要，这与 BNNs 中的最新发现一致。
实证验证： 广泛的实验表明，LA-TNKM 在多种回归任务上匹配或超越了 GPs 和 BNNs。

4. 实验结果

该方法在九个 UCI 回归数据集和一个合成立方回归任务（ $y = x^3 + \epsilon$ ）上进行了评估。

与基线的性能对比：
- LA-TNKM（特别是使用最后一核心近似）在 9 个数据集中有 4 个一致地实现了最低的负对数似然（NLL），并在其余数据集上表现具有竞争力。
- 它优于标准 BNNs（Bayes-by-Backprop, Variational Dropout）和其他基于张量的方法（MF-BTN, SP-BTN）。
- 在不确定性校准方面（通过 ECP-95 和相对校准误差衡量），LA-TNKM 产生的区间更锐利（更低的 WCPI-95）且校准更好，优于 BNNs，并紧密匹配高斯过程的行为。
合成数据发现：
- 在合成 $x^3$ 任务中，LA-TNKM 成功捕捉了数据稀疏区域的不确定性，而 SP-BTN 倾向于高估方差（区间过宽），LA-BNN 在 extrapolation（外推）期间显示出模型不匹配的迹象。
消融研究：
- 线性化： 在线性化拉普拉斯近似（LLA）在 NLL 方面始终优于标准拉普拉斯近似。
- 海森矩阵选择： 虽然“最后一核心”近似最节省内存且通常表现最佳，但发现最优选择依赖于数据。然而，“最后一核心”和“块对角”在效率和精度之间提供了最佳权衡。

5. 意义与结论

这项工作弥合了张量网络的可扩展性与贝叶斯推断的稳健性之间的差距。

可扩展性： 通过利用张量分解和高效的海森矩阵近似，LA-TNKM 避免了 GPs 的 $O(N^3)$ 瓶颈，使得原则性的不确定性估计在更大规模数据集和更高维输入上成为可能。
实用性： 该方法为现有的张量网络架构提供了一个“即插即用”的概率层，无需复杂的采样或变分族。
未来影响： 结果表明，对于许多回归任务，结合线性化的局部贝叶斯处理（例如“最后一核心”）足以实现最先进的不确定性量化，为 GPs 和完整 BNNs 提供了一种计算高效的替代方案。

总之，LA-TNKM 证明了张量网络核机可以有效地实现贝叶斯化，为现代机器学习中的不确定性估计提供了一种可扩展、稳健且原则性的方法。