💻 computer science

Large-scale Score-based Variational Posterior Inference for Bayesian Deep Neural Networks

本文提出了一种新颖且可扩展的基于分数的变分推断方法，用于贝叶斯深度神经网络，该方法将分数匹配损失与近端惩罚相结合，以克服模式坍塌问题，并实现在视觉 Transformer 等大规模架构上的高效训练，而无需重参数化采样。

原作者： Minyoung Kim

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Minyoung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图穿越一片巨大而迷雾笼罩的山脉，寻找一处隐藏的宝藏。在人工智能的世界里，这个“宝藏”就是神经网络解决特定问题（例如在照片中识别猫或预测天气）所需的完美规则集（参数）。

由于山脉过于庞大且迷雾重重，我们无法一次性看清整张地图。我们必须靠猜测前行。这正是贝叶斯深度学习发挥作用的地方。它不再仅仅挑选一条单一的“最佳”路径（那可能是一条死胡同），而是试图理解所有可能路径的整体地貌，从而让我们对不确定性和安全性有所把握。

本文介绍了一种更聪明的穿越迷雾山脉的新方法。以下是使用简单类比进行的拆解：

1. 旧方法：“反向 KL"指南针（ELBO）

长期以来，标准的导航方法是基于ELBO的变分推断（VI）。

类比：想象你拥有一个指南针，它只告诉你如何到达最近的山峰。它能非常快速地找到一个高点。
问题：如果存在两座分离的山峰（即两个不同的优质解），而你的起点靠近其中一座，这个指南针就会被困在那座单一的山峰上，从而忽略了另一座。在技术术语中，这被称为**“模式坍塌”**。它认为只有一个答案，而实际上可能存在多个。

2. 之前的“基于分数”的尝试

研究人员尝试了一种称为**基于分数的变分推断（Score-based VI）**的不同方法。

类比：与其寻找山峰，不如想象你试图匹配地面的“坡度”。你希望地图上的坡度与真实山脉的坡度完全一致。
问题：该方法的早期版本就像试图驾驶一辆重型坦克穿过狭窄的城市街道。它们需要过多的计算能力（例如一次性计算整座山脉的形状），并且无法处理“噪声”数据（即你只能同时看到山脉的一小部分）。对于现代巨型 AI 模型（如视觉 Transformer）而言，它们过于缓慢且笨重。

3. 新方案：“近端分数匹配”徒步者

作者提出了一种结合两者优势的新方法。你可以将其想象为一位徒步者，他在不断将自身坡度与真实山脉进行比对的同时，迈出小而谨慎的步伐。

以下是其逐步工作原理：

“近端”步骤（安全网）：
想象你在徒步。如果你试图在一大步中剧烈改变路径，可能会跌落悬崖。这种新方法增加了一种“近端惩罚”。它就像一根安全绳，说道：“不要跳离你当前位置太远。” 它迫使新的猜测保持在旧猜测附近，从而使旅程保持稳定，防止出现狂野且不准确的跳跃。
处理“噪声”数据（小批量）：
过去，为了检查坡度，你必须先徒步穿越整座山脉（这需要耗费永恒的时间）。而新方法允许你一次只检查山脉的一小块区域（即“小批量”）。
- 神奇之处：尽管只看一小块区域会给出“有噪声”或略微不准确的读数，但本文中的数学证明表明，如果你持续迈出这些微小且有噪声的步骤，你最终将找到完美的路径。这使得它足以应对庞大的 AI 模型。
无需“重参数化”技巧：
旧方法通常使用一种复杂的“魔术技巧”（重参数化）来使数学运算成立，这就像试图通过将拼图倒过来解决它一样。而新方法直接解决这个谜题，使其更加灵活高效。

4. 为何这很重要（结果）

作者在一些极具挑战性的地形上测试了这位新徒步者：

巨型图像识别器：他们在用于识别宠物、花卉和飞机的庞大 AI 模型（如 ResNet 和视觉 Transformer）上进行了测试。
时间序列预测：他们在预测未来趋势（如交通或天气）方面进行了测试。

发现：

更优的不确定性：与旧的“指南针”方法不同，这位新徒步者没有被困在单一山峰上。它找到了对整体地貌更好的理解，这意味着 AI 能更诚实地表达它知道什么以及不知道什么。
速度与规模：它能够在拥有数亿参数的模型（如视觉 Transformer）上运行，而之前的“基于分数”的方法无法处理此类规模。
效率：它不需要比旧的标准方法显著更多的计算机内存或时间，但却提供了更好的结果。

总结

本文提出了一种新的 AI 导航工具。这种方法不再局限于单一解，也不需要超级计算机一次性计算整张地图，而是采取微小、安全且高效的步骤。它使巨型 AI 模型能够更好地理解“不确定性”的迷雾，从而在图像识别或预测未来等现实世界任务中变得更加可靠。

技术摘要：大规模基于分数的贝叶斯深度神经网络变分后验推断

问题陈述

贝叶斯深度神经网络（BNN）相比点估计深度学习具有显著优势，包括鲁棒的不确定性量化、抗噪性以及过拟合缓解。然而，BNN 中的精确后验推断通常难以处理。变分推断（VI）是一种主流的近似方法，它通过将推断构建为优化问题来近似目标后验 $\pi(\theta)$ ，使用一个可处理的分布 $q_\lambda(\theta)$ 。

当前主导的方法是 ELBO 基础的 VI（最小化反向 KL 散度），但其存在众所周知的“模式坍塌”问题，即近似分布无法捕捉目标密度的所有模式。虽然基于分数的 VI 方法（通过最小化目标分数 $\nabla_\theta \log \pi(\theta)$ 与模型分数 $\nabla_\theta \log q_\lambda(\theta)$ 之间的差异）理论上可以解决模式坍塌问题，但现有的基于分数的方法无法扩展到大规模 BNN。具体而言：

计算不可行性：高斯分数匹配（GSM）和批量匹配（BaM）等方法依赖于矩阵求逆或乘法，其计算复杂度随状态维度呈立方或平方级增长，使得它们对于高维神经网络参数而言是不可行的。
与随机梯度的不兼容性：现有的基于分数的方法通常需要精确分数，或者无法处理源自随机梯度的有噪声、无偏的小批量分数，而后者对于在大规模数据集上进行训练至关重要。
重参数化约束：许多方法依赖于重参数化采样，这在高分辨率下可能计算昂贵或不稳定。

方法论

作者提出了一种新颖的近随机梯度基于分数的变分推断算法，旨在扩展到大规模 BNN，包括视觉 Transformer（ViT）和 ResNet。

核心优化目标

该方法通过迭代更新变分分布 $q_t(\theta)$ 至 $q_{t+1}(\theta)$ ，在每次迭代 $t$ 中求解以下优化问题：

$q_{t+1} = \arg \min_{q \in \mathcal{Q}} \mathbb{E}_{\theta \sim q_t(\theta)} \left[ \alpha_t \|\nabla_\theta \log q(\theta) - \nabla_\theta \log q_t(\theta)\|_2^2 + \|\nabla_\theta \log q(\theta) - s(\theta)\|_2^2 \right]$

其中：

$s(\theta) = \nabla_\theta \log \pi(\theta)$ 是目标分数。
$\alpha_t$ 是一个自适应近邻影响参数（从 0 线性调度至一个常数 $\le 1$ ）。
第一项是近邻惩罚项，强制新的迭代点在分数意义上保持与当前迭代点接近。
第二项是分数匹配损失。

关键技术革新

处理有噪声的小批量分数：与需要精确分数的先前基于分数的方法不同，该方法利用通过随机梯度获得的有噪声、无偏的小批量分数 $\hat{s}(\theta)$ 。损失函数中分数项的线性确保了即使分数有噪声，损失相对于变分参数 $\lambda$ 的梯度仍然是无偏估计。
避免重参数化：近邻项允许期望相对于固定的当前分布 $q_t$ 而非变量 $q$ 进行计算。这规避了对重参数化技巧（用于 ADVI）的需求，并避免了对 $\theta$ 进行两次求导（传统 Fisher/分数方法所需），显著降低了计算开销和内存占用。
可扩展性：通过使用欧几里得范数而非需要矩阵求逆的协方差诱导范数，并支持随机梯度，该方法可扩展至拥有数亿参数的网络（例如，拥有约 3.05 亿参数的 ViT-L-32）。

理论收敛性

作者提供了一个收敛定理（定理 3.1），指出在变分族足够丰富以表示平滑向量场的假设下，随着迭代次数增加，变分分布的分数收敛于目标分数。虽然表示丰富性的假设是理想的，但作者指出，如果真实后验和变分族均为高斯分布，则该假设精确成立。

主要贡献

新颖算法：提出了一种结合分数匹配损失与近邻惩罚的近随机梯度分数匹配 VI 算法。
扩展到大规模 BNN：该方法是在大规模深度网络（ResNets, ViTs）和大规模数据集上被证明有效运行的首个基于分数的 VI 方法，克服了 GSM 和 BaM 的计算瓶颈。
对噪声的鲁棒性：该算法有效处理有噪声、无偏的小批量分数，使得无需全批量分数计算即可使用随机梯度。
消除重参数化：该方法避免了重参数化技巧，简化了优化景观，并相比基于 ELBO 的 ADVI 提高了效率。

实验结果

作者在合成数据、PosteriorDB 基准测试以及现实世界的大规模任务上评估了该方法：

合成数据：在高斯和高斯混合目标上，与 ADVI、GSM 和 BaM 相比，所提方法展示了更快的收敛速度以及对初始参数选择（特别是关于小协方差特征值）的更好鲁棒性。它成功处理了模型失配和 GSM/BaM 因数值问题而失败的高维状态空间。
MNIST（小规模 BNN）：在低数据量情况下，该方法达到了与 ADVI 相当的测试误差率，但在不确定性量化方面表现更优，表现为更低的期望校准误差（ECE）和负对数似然（NLL）。
大规模视觉识别（ResNet-101 & ViT-L-32）：在 Pets、Flowers、Aircraft 和 DTD 等数据集上，该方法的测试预测精度与 ADVI 相当，但在不确定性指标（ECE 和 NLL）上始终优于 ADVI。竞争方法（GSM、BaM、传统分数匹配）因内存限制或数值爆炸而失败。
时间序列预测：使用 Koopa 网络架构，该方法在多个数据集（ECL, ETTh2, Ex. Rate, ILI, Traffic, Weather）上的均方误差（MSE）、平均绝对误差（MAE）和 NLL 方面均优于基于 ELBO 的 VI 和非贝叶斯基线。
归一化流：该方法被扩展到归一化流变分密度，在时间序列任务上显示出相比 ADVI 的一致改进。
效率：尽管保留了先前和当前迭代点，但其挂钟时间和 GPU 内存占用与 ADVI 相当，证明了其在大规模训练中的实际可行性。

意义与主张

本文声称，这项工作为大规模贝叶斯深度学习提供了一种可扩展、灵活的替代方案，以取代主导的基于 ELBO 的 VI。通过解决反向 KL 目标固有的模式坍塌问题，并克服先前基于分数方法的计算局限性，所提出的算法使得在现代高容量架构（如视觉 Transformer）上进行严格的贝叶斯推断成为可能。

作者强调，他们的方法在多样化的基准测试中经验上有效，在保持预测性能的同时提供了更好的不确定性量化。他们谦逊地指出，虽然理论收敛依赖于关于变分族表达能力的强假设，但实验结果支持了该方法在实际中的效用。这项工作将基于分数的 VI 定位为贝叶斯深度学习的可行、可扩展路径，超越了以往仅限于高斯分布或全批量要求的限制。