📊 statistics

Self-Supervised Laplace Approximation for Bayesian Uncertainty Quantification

本文介绍了自监督拉普拉斯近似（SSLA），这是一种新颖的无需采样的方法，它通过在自预测数据上重新拟合模型来量化贝叶斯预测不确定性，在各种回归任务中相较于经典拉普拉斯近似提供了更优的校准效果和计算效率。

原作者： Julian Rodemann, Alexander Marquard, Thomas Augustin, Michele Caprio

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Julian Rodemann, Alexander Marquard, Thomas Augustin, Michele Caprio

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，已经完美掌握了一款美味蛋糕的食谱。你确切知道该用多少面粉、糖和鸡蛋（这些就是你的参数）。但在现实世界中，你不仅仅想知道食谱；你想知道：“如果我为顾客烤这个蛋糕，我有多大把握它能完美出炉？”

在机器学习领域，这个“我有多大把握？”的问题被称为不确定性量化。

本文介绍了一种回答该问题的新方法，称为自监督拉普拉斯近似（SSLA），以及其更快的“表亲”ASSLA。以下是其工作原理，分解为简单概念。

问题：“食谱”与“蛋糕”

传统上，为了弄清楚模型的确定性程度，科学家试图描绘出所有可能生成数据的“食谱”（参数）版本。他们会问：“如果我多用一点糖会怎样？如果我少用一点面粉会怎样？”

这就像试图品尝蛋糕的每一种变体，以找出哪一款最好。对于像神经网络（它们就像巨大、多层的蛋糕）这样的复杂模型来说，这种方法极其缓慢且计算成本高昂。

解决方案：“自尝”技巧

作者提出了一种巧妙的捷径。与其品尝每一种可能的食谱变体，他们让模型预测其未来的数据，然后观察模型对这一预测的反应。

可以这样理解：

预测：你根据当前最佳食谱烤出一个蛋糕。假设你预测它的味道是“巧克力味”。
自测：你假装“巧克力味”是你刚刚发现的一个真实事实。你将这个“巧克力味”事实添加到你的证据笔记中。
重烤：你使用原始数据加上这个新的“巧克力味”事实，快速重新烤制蛋糕（重新拟合模型）。

核心洞察：

如果你的模型非常确信蛋糕会是巧克力味，添加这个事实不会大幅改变你的食谱。蛋糕味道依旧。低不确定性。
如果你的模型只是在猜测，而蛋糕实际上尝起来像“香草味”（或者模型本身不确定），添加“巧克力味”事实将迫使你大幅调整食谱以适应它。高不确定性。

通过测量模型为了接受其自身预测而需要“流多少汗”（改变其参数），你可以直接获得其不确定性的度量。

两个版本：SSLA 与 ASSLA

1. SSLA（详尽的厨师）
此版本完整执行整个流程：进行预测、添加数据、重新烤制蛋糕，并测量变化。它非常准确，但耗时，因为它需要“重新烤制”（重新训练）模型。

2. ASSLA（快速的厨师）
作者意识到，对于大多数蛋糕，你无需完全重新烤制就能知道食谱是否需要微调。你只需查看你已经拥有的食材即可估算变化。

ASSLA 跳过了完全重新烤制的步骤。它使用一种数学捷径（近似法）来猜测食谱本会发生多大变化。
结果：它快得多，且准确度几乎与详尽版本相当，使其适用于海量数据集和复杂模型。

为何重要

本文声称该方法具有以下优势：

更快：它避免了传统方法所需的繁重工作，传统方法需要数千个随机样本（蒙特卡洛）来估算不确定性。
模块化：你可以替换关于食谱的不同“假设”（先验），而不会破坏系统。这就像能够在不重建整个厨房的情况下，从“无麸质”假设切换到“纯素”假设。
准确：在人造数据和真实世界数据（如预测混凝土强度或葡萄酒质量）的测试中，SSLA 和 ASSLA 提供了比旧的标准方法更好的“校准”（其置信水平与现实相符）。

局限（注意事项）

本文诚实地指出了该技巧可能失手之处：

“肝脏”问题：在某些困难场景下（如测试中的“肝脏疾病”数据集），快速版本（ASSLA）有时会过于自信，低估了风险。这就像一位厨师对自己的技艺过于确信，以至于忽略了一批变质的鸡蛋。
大数据故障：当数据集极其庞大（数百万条记录）时，快速版本背后的数学计算可能会因计算机精度限制而变得有些“嘈杂”，尽管详尽版本（SSLA）依然表现稳健。

总结

简而言之，本文教导我们如何通过让机器学习模型预测其自身未来，并观察该预测在多大程度上动摇了其基础，来衡量其置信度。如果模型几乎不为所动，它就是自信的；如果它惊慌失措并改变主意，它就是不确定的。多亏了他们的“快速厨师”（ASSLA）方法，我们无需等待烤箱预热数小时即可完成这一过程。

技术摘要：用于贝叶斯不确定性量化的自监督拉普拉斯近似

问题陈述

近似贝叶斯推断（ABI）传统上侧重于计算模型参数的后验分布 $p(\theta | D)$ 。然而，在实际应用中，主要的关注对象往往是后验预测分布 $p(\hat{y}_{n+1} | x_{n+1}, D)$ ，该分布量化的是预测的不确定性，而非参数本身的不确定性。

用于近似后验预测的标准方法，如变分推断（VI）、马尔可夫链蒙特卡洛（MCMC），或对参数后验应用经典拉普拉斯近似后再进行蒙特卡洛（MC）采样，通常会产生显著的计算开销。具体而言，在贝叶斯神经网络（BNN）中，为了对参数后验进行积分而必须进行的 MC 采样，极大地增加了推理成本。此外，现有的确定性替代方案往往依赖于强分布假设，或将不确定性建模限制在最后一层，从而限制了其在通用深度回归模型中的适用性。

方法论

作者提出了自监督拉普拉斯近似（SSLA），这是一种绕过显式计算参数后验、直接近似后验预测分布的技术。该方法受自训练和半监督学习概念的启发，特别是从自预测数据中进行学习的思想。

核心机制

SSLA 的基本洞察在于：通过观察模型在“重新拟合”其自身的自预测数据时拟合度的变化，来量化预测不确定性。

增强数据集：给定训练数据集 $D$ 和新输入 $x_{n+1}$ ，模型生成一个点预测 $\hat{y}_{n+1}$ （例如 MAP 预测）。构建增强数据集 $D_{n+1} = D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$ 。
重新拟合：在 $D_{n+1}$ 上重新拟合模型，以找到新的最优解 $\tilde{\theta}$ 。
不确定性量化：预测不确定性源于引入自预测所导致的模型似然、先验和曲率（Fisher 信息）的变化。
- 如果模型对其自预测赋予高似然（即 $\tilde{\theta} \approx \hat{\theta}$ ），则该预测被视为低不确定性。
- 如果自预测导致模型拟合发生显著偏移（似然或曲率发生较大变化），则该预测被赋予高不确定性。

数学公式

作者推导出了对数后验预测密度 $\log p(\hat{y}_{n+1} | x_{n+1}, D)$ 的可处理近似，该近似分解为在模型拟合处评估的三个可解释增量：
$\log p(\hat{y}_{n+1} | x_{n+1}, D) \approx \underbrace{[\tilde{\ell}(\tilde{\theta}) - \ell(\hat{\theta})]}_{\text{似然增量}} + \underbrace{[\log \pi(\tilde{\theta}) - \log \pi(\hat{\theta})]}_{\text{先验增量}} - \underbrace{\frac{1}{2}[\log |\tilde{J}(\tilde{\theta})| - \log |J(\hat{\theta})|]}_{\text{曲率增量}}$
其中：

$\hat{\theta}$ 是 $D$ 上的 MAP 估计。
$\tilde{\theta}$ 是 $D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$ 上的 MAP 估计。
$\ell$ 和 $\tilde{\ell}$ 是对数似然。
$J$ 和 $\tilde{J}$ 是观测 Fisher 信息矩阵（负 Hessian 矩阵）。

近似变体（ASSLA）

为了消除重新拟合模型（求解 $\tilde{\theta}$ ）的计算成本，作者引入了近似 SSLA（ASSLA）。

渐近展开：理论结果（引理 1，定理 1）表明，对于大 $n$ ，增强最优解 $\tilde{\theta}$ 与原始最优解 $\hat{\theta}$ 之间的差异为 $O(n^{-1})$ 阶。
简化：ASSLA 近似认为 $\tilde{\theta} \approx \hat{\theta}$ ，并仅保留主导项。这使得该方法能够仅利用原始拟合 $\hat{\theta}$ 和新伪观测的局部曲率贡献来评估预测不确定性，从而避免了第二次优化步骤。
先验模块化：在 ASSLA 近似中，先验增量作为高阶项被舍弃，使得该方法在保持对似然和曲率变化敏感性的同时，具有计算高效性。

主要贡献

直接预测近似：一种新颖的框架，直接近似后验预测分布，绕过了参数后验和蒙特卡洛采样的需求。
自监督机制：引入了一种基于自训练的拉普拉斯近似，其中不确定性是通过模型拟合对自预测数据的敏感性来量化的。
模块化：SSLA 公式允许在不重新训练的情况下插入不同的先验规范，便于关于先验选择的贝叶斯敏感性分析。
计算效率：推导了 ASSLA，消除了重新拟合的要求，使该方法能够扩展到大型模型和数据集，同时保持具有竞争力的校准性能。
理论依据：严格的证明刻画了 ASSLA 的近似误差，表明在标准正则性条件下，误差随样本量 $n$ 线性减小。

实验结果

作者在从共轭解析模型到复杂异方差回归（使用神经网络）的回归任务上评估了 (A)SSLA。

共轭模型：在正态 - 正态和泊松 - 伽马设置中，SSLA 和 ASSLA 在从 $n=20$ 到 $n=1,000,000$ 的样本量范围内，与解析计算的后验预测分布高度吻合。仅在非常大的 $n$ （ $>10^6$ ）时，由于浮点抵消，在 ASSLA 中观察到数值不稳定性，通过使用双精度得以解决。
异方差回归（合成数据）：在具有输入依赖噪声的合成数据上，ASSLA 产生的可信区间比经典拉普拉斯近似（后者过于保守）更平滑且更窄，并且与变分推断（VI）和哈密顿蒙特卡洛（HMC）具有竞争力。然而，与 HMC 相比，ASSLA 在宽区间中表现出略微低估不确定性的倾向。
现实世界基准：在多样化的 UCI 数据集（如混凝土、葡萄酒质量、自行车共享）上进行了评估：
- 校准：ASSLA 通常比经典拉普拉斯近似实现更好的负对数似然（NLL）和连续排序概率分数（CRPS），表明预测更尖锐且校准更好。
- 覆盖率：虽然 ASSLA 在某些困难场景（如信噪比差的肝病数据集）中有时表现出覆盖率不足，但它通常优于产生过宽区间的保守拉普拉斯基线。
- 效率：ASSLA 在计算成本和预测质量之间提供了有利的权衡，避免了 MC 采样的高昂开销。

意义与主张

论文声称，(A)SSLA 为预测不确定性量化提供了一种确定性的、无需采样的替代方案，用于标准贝叶斯推断技术。其意义在于：

绕过不可处理性：它避免了通过 MC 采样对参数空间进行积分的计算瓶颈，这是贝叶斯深度学习的主要局限性。
实际适用性：该方法适用于通用深度回归模型，并支持模块化的先验规范，这对于像可信贝叶斯深度学习（Credal Bayesian Deep Learning）这样的新兴领域尤为相关。
权衡管理：作者将 ASSLA 定位为一种在计算可处理性与具有竞争力的概率校准之间取得平衡的方法，为全贝叶斯推断过于昂贵的现实世界回归任务提供了实用解决方案。

作者在局限性方面保持谦逊，承认 SSLA 在非常大的数据集上或存在先验 - 数据冲突时可能变得不稳定，且 ASSLA 可能在方差的区域低估不确定性。他们建议这些方法应与漂移/分布外（OOD）检测及鲁棒的似然建模结合使用。