🤖 machine learning

Calibrated Sampling-Free Uncertainty Estimation in Bayesian Deep Learning

该论文提出了校准方差传播（Calibrated Variance Propagation, CVP），这是一种无需采样的法，能够通过单次前向传播，为 Transformer 和 CNN 等现代深度学习架构高效地生成经过校准的不确定性估计，在实现与昂贵的蒙特卡洛采样相当的准确度的同时，显著提升了覆盖率指标。

原作者： Tobias Jan Wieczorek, Leon de Andrade, Thomas Möllenhoff, Marcus Rohrbach

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tobias Jan Wieczorek, Leon de Andrade, Thomas Möllenhoff, Marcus Rohrbach

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在要求一个非常聪明但有点紧张的 AI 去解决一个难题。有时，这个 AI 是正确的；但有时，它会表现得过度自信且错误。它可能会说：“我有 99% 的把握这是一只猫”，而实际上那是一只狗。在涉及高风险的情况时——比如帮助盲人穿过街道或帮助医生诊断疾病——这种过度自信是极其危险的。我们需要 AI 在感到不确定时能够意识到这一点，并说：“我不确定，我不应该回答。”

这篇论文介绍了一种名为**校准方差传播（Calibrated Variance Propagation, CVP）**的新方法，旨在帮助 AI 模型在不降低速度的前提下，意识到自己何时处于不确定状态。

以下是问题与解决方案的拆解，使用了简单的类比：

问题：“自信的猜测” vs. “缓慢的投票”

在 AI 的世界里，目前有两种主要方法可以判断模型的确定程度：

“自信的猜测”（均值网络/Mean Network）： 这是标准的 AI。它根据其“平均”知识给你一个答案。它很快，但经常在确定性程度上撒谎。就像一个背熟了教科书的学生，却没意识到自己漏掉了一个章节；即使在出错时，他们也会带着 100% 的信心给出答案。
“缓慢的投票”（蒙特卡洛采样/Monte Carlo Sampling）： 为了获得真正的确定感，你可以对同一个问题询问 AI 50 次或 100 次，每次稍微改变它的“情绪”（权重）。如果它给出了 50 个不同的答案，你就知道它不确定；如果它给出了 50 个相同的答案，你就知道它很确定。这很准确，但极其缓慢。这就像是在对每一个问题进行投票前，都要先询问一个由 100 人组成的委员会。在实时应用中，你没有那么多时间。

失败的尝试：“流线化”（Streamlining）

研究人员之前尝试通过一种称为“流线化”的方法来加速这一过程。他们试图在单次传递中通过数学手段估算“投票结果”。然而，他们将 AI 内部的“归一化”步骤（例如调节音乐音量）处理得过于简单了。

可以这样理解：之前的方法试图通过仅仅观察平均音量旋钮的设置来估算歌曲的音量。它忽略了音乐本身（数据）会动态地改变音量。因此，他们的“快速投票”看起来和“自信的猜测”一模一样，直到最后一刻才有所不同。它虽然快，但并没有提供任何关于不确定性的新信息。

解决方案：CVP（校准方差传播）

作者提出了 C_P_V，这是一种真正有效的“快速投票”新方法。他们通过两个巧妙的数学改进修复了问题：

1. “现实的音量旋钮”（归一化层/Normalization Layers）
现代 AI 模型使用“归一化层”来保持其内部数值的稳定。旧方法只是观察平均设置，而 CVP 则观察平均设置加上噪声。

类比： 想象一位厨师正在调整汤里的盐分。旧方法只是观察厨师的手部位置。CVP 则既观察手部位置，也观察汤在沸腾和溅起时的动态变化，因为这些变化会改变盐分实际进入汤中的量。这使得 AI 能够看到数据中的“噪声”是如何影响最终口感（预测）的。

2. “精细调优教练”（逐层校准/Per-Layer Calibration）
即便有了更好的数学方法，微小的误差仍可能随着 AI 处理信息经过许多层级（就像信息在“传声筒”游戏中被扭曲一样）而不断累积。

类比： CVP 在 AI 大脑的关键点加入了微小的“教练”。在每隔几步之后，这个教练会检查 AI 的信心，并应用一个微小的乘数来修正任何偏差。这就像管弦乐队中的指挥家，通过轻轻敲击小提琴手来让他们保持音准，从而确保最终的演出是准确的。

结果：快速、准确且诚实

论文在各种任务上测试了 CVP，从识别图像（如猫 vs 狗）到回答复杂的视觉问题（如“穿红衣服的人是否拿着球？”）。

速度： CVP 几乎与“自信的猜测”一样快。它仅需单次猜测约 2 到 3 倍 的精力，而“缓慢的投票”（MC 采样）则需要 50 到 100 倍的精力。
准确性： CVP 在识别 AI 何时不确定方面表现得更好。在测试 AI 必须决定是回答还是放弃（选择性预测）的任务中，CVP 显著优于旧方法。
“帕累托”（Pareto）式的胜利： 在效率的世界里，你通常需要在速度和准确性之间做出选择。CVP 是一个“双赢”。它比缓慢的投票更快，比自信的猜测更准确。它同时超越了两者。

总结

这篇论文并不声称它能凭一己之力治愈疾病或解决法律案件。相反，它提供了一个工具，让 AI 模型能够对其自身的局限性保持诚实。

通过使用 CVP，我们可以拥有这样的 AI 系统：

足够快，可以用于实时应用（如帮助盲人行走）。
足够诚实，在感到困惑时能够说出“我不知道”，而不是自信地产生错误的幻觉。

它通过修复 AI 模型处理“归一化”背后的数学逻辑，并添加一个轻量级的校准步骤来确保不确定性估计不偏离轨道，从而实现了这一目标。

技术摘要：贝叶斯深度学习中经过校准的无采样不确定性估计

1. 问题陈述

现代深度学习模型，特别是基于 Transformer 架构的模型，在过度自信方面表现得非常明显，这限制了它们在疾病检测、法律推理和盲人视觉辅助等高风险应用中的可靠性。虽然贝质量神经网络（BNNs）通过学习参数的分布，为不确定性量化提供了一种原则性的路径，但在测试阶段仍存在显著瓶颈。

标准的贝叶斯推理需要通过从后验分布中采样权重进行多次前向传播（蒙特卡洛或 MC 采样）来对预测进行平均，这对于大规模架构而言计算成本过高。相反，仅使用均值网络（忽略方差）虽然高效，但无法捕捉不确定性。现有的方差传播方法通过在单次传递中解析地传播均值和方差，但在历史上一直局限于多层感知器（MLP）。由于深度增加以及归一化层的存在，将其扩展到现代架构（如 Transformer、带有 ResNet 的 CNN）面临挑战。之前的尝试（如“Streamlining” [30]）通过将归一化层和激活函数线性化，导致传播的均值直到最后一层都与均值网络保持一致，从而在增加了计算成本的情况下，未能改善选择性预测性能。

2. 方法论：校准方差传播 (CVP)

作者提出了校准方差传播 (CVP)，这是一个综合框架，旨在为包括 Transformer 和 CNN 在内的现代架构提供单次前向传播下的准确不确定性估计。CVP 通过将标准确定性前向传播替换为一组在网络中传播均值-方差对 $(\mu, \Sigma)$ 的算子链来实现。

该方法解决了三个具体的工程技术差距：

A. 激活函数的精确矩 (Exact Moments for Activation Functions)

不同于先前工作中使用的一阶泰勒线性化（Delta 方法，该方法会导致传播的均值独立于输入方差），CVP 对非线性激活函数采用了精确矩匹配。假设输入为高斯分布，CVP 利用了 GELU、sigmoid、tanh 和 ReLU 激活函数的闭式表达式来计算均值和方差。这确保了传播的均值在每一个非线性层都会偏离均值网络的预测，从而捕捉到依赖于输入的确定性。

B. 基于期望的归一化层规则

一个核心贡献是针对归一化层（如 LayerNorm）提出的新传播规则。以往的方法通过将方差项 $s^2(x)$ 线性化为 $s^2(\mu_x)$ ，从而将操作简化为均值的确定性仿射变换。CVP 则用输入分布下的期望值替换了 $s^2(x)$ ：
$E[s^2(x)] = s^2(\mu_x) + \left(1 - \frac{1}{D}\right)\bar{\Sigma}_x$
其中 $\bar{\Sigma}_x$ 是对角输入方差的均值。这使得 LayerNorm 操作相对于输入矩是仿射的，从而允许在对 Transformer 架构至关重要的归一化层中精确传播不确定性。

C. 每层校准 (Per-Layer Calibration)

为了应对随着深度增加而产生的近似误差累积（源于对对角协方差和高斯输入假设的简化），CVP 引入了可学习的逐层缩放因子 ( $\alpha_i$ )。这些因子在关键层（具体为激活层和归一化层之前）通过乘性方式对传播的方差进行重新缩放。 $\alpha_i$ 参数通过一个轻量级的校准阶段进行拟合，该阶段通过在留出的验证集上最小化负对数似然 (NLL) 来实现，类似于温度缩放（temperature scaling）但在层级上进行应用。

3. 核心贡献

归一化层的方差传播规则： 作者开发了一种针对归一化层的新规则，与线性化方法相比，该规则在合成数据和真实模型激活上均验证了其具有显著提高的保真度。
每层校准阶段： 引入的可学习缩放因子纠正了系统性的误差累积，显著提高了校准效果，并且至关重要的是，提升了选择性预测性能。
优化的实现： CVP 的实现通过单次前向传播即可完成，其计算成本约为确定性前向传播的 2–3 倍，在不具备 MC 方法重复采样开销的情况下，提供了实质性的可靠性增益。

4. 实验结果

CVP 在单模态（图像分类：CIFAR-10, CIFAR-100, ImageNet）和多模态（VQA：VQAv2；视觉推理：NLVR2）基准测试中进行了评估，使用的是通过 IVON 变分优化器训练的模型。

效率-可靠性权衡： CVP 持续帕累托支配 (Pareto-dominates) 均值网络和 MC 采样。它以极低的成本（约为单次传递成本的 2.3–2.9 倍，而 4 次采样需 4 倍成本）实现了与 MC 采样（如 4 个样本）相当的不确定性质量。
选择性预测： CVP 在覆盖率风险 (Coverage at Risk, C@R) 方面表现出显著改进。例如，在 BEiT-3 的 NLVR2 基准测试中，CVP 将 0.5% 风险下的覆盖率从 Streamlining 的 8.2% 提高到了 14.6%。在 ViLT 的 VQAv2 上，从 2.6% 提高到了 10.8%。
与 Streamlining 的比较： 虽然 Streamlining 比均值网络略微改善了校准，但它未能改善选择性预测，因为其传播的均值仍与均值网络保持一致。CVP 的早期均值偏离和层级校准使其能够显著超越 Streamlining。
消融实验： 移除 CVP 的任何组件（精确激活矩、归一化规则或逐层校准）都会降低性能，证实了所有三个要素对于观察到的增益都是必要的。

5. 意义与主张

本文声称 CVP 通过为现代大规模架构实现无采样不确定性估计，填补了贝叶斯深度学习的一个关键空白。其意义在于：

实用性： 它为实时、安全至上的系统提供了一种可行的替代方案，在这些系统中重复推理是不可行的。
架构通用性： 它是第一个成功将方差传播扩展到多模态 Transformer 和 ResNet 的框架，克服了以往方法仅限于类 MLP 结构的限制。
性能： 它提供了持续的帕累托改进，其提供的可靠性指标（校准和选择性预测）能够匹配甚至超过昂贵的 MC 采样方法，同时保持低延迟。

作者承认了局限性，指出 CVP 会产生大约两倍于确定性传递的内存占用（用于存储方差），并且需要一个留出的集合进行校准。此外，目前的实验仅限于带有分类或 VQA 头的编码器型架构，自回归生成属于未来的工作。然而，该方法为高效、可靠的深度学习不确定性量化建立了一个新的基准。