📊 statistics

A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties

本文提出了一种无需采样的变分推断框架，用于轻量级贝叶斯神经网络，该框架将异方差偶然不确定性和认知不确定性直接嵌入网络参数的方差中，从而在不增加可学习参数数量的情况下提升预测性能。

原作者： David J. Schodt, Ryan Brown, Michael Merritt, Samuel Park, Delsin Menolascino, Mark A. Peot

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： David J. Schodt, Ryan Brown, Michael Merritt, Samuel Park, Delsin Menolascino, Mark A. Peot

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明但非常微小的机器人大脑（即“轻量级神经网络”），你希望用它来预测未来。你不仅希望这个机器人给出答案，还希望它能告诉你它对答案有多大的把握。

在人工智能领域，机器人产生不确定性的主要原因有两个：

“噪声数据”问题（偶然性不确定性）： 它正在查看的信息杂乱无章或模糊不清。例如，在浓雾中试图辨认路牌。由于数据本身质量不佳，机器人无法做到 100% 确定。
“前所未见”问题（认知不确定性）： 机器人正在观察某种完全陌生的事物，而它从未在训练手册中见过。例如，如果机器人只接受过猫的图片训练，现在却试图识别长颈鹿，它就会因为缺乏知识而感到不确定。

旧方法：“双头”机器人

传统上，为了让机器人同时告诉你数据的噪声程度以及它有多少未知，工程师们不得不构建一个“双头”机器人。

头 1： 预测答案（例如，“温度是 70 华氏度”）。
头 2： 预测“噪声水平”（例如，“由于传感器损坏，我只有 50% 的把握”）。

问题在于： 这需要构建一个更大、更重、拥有更多部件（参数）的机器人来进行学习。如果你试图将这个机器人部署到电池和空间都有限的微型设备（如无人机或医疗传感器）上，增加第二个“头”的成本太高了。这就像你只想跑个短跑，却非要背着一个沉重的背包。

新方法：拥有“秘密”的“单头”机器人

本文的作者提出了一种巧妙的技巧。他们说：“为什么要构建第二个头呢？让我们直接让第一个头更擅长理解它自己的置信度。”

他们不再教导机器人输出一个单独的“噪声数值”，而是教导机器人内部的齿轮（即其参数）以一种自然的方式“摇摆”，这种摇摆同时代表了杂乱的数据和它自身知识的匮乏。

类比：
将机器人内部的齿轮想象成一组弹簧。

旧方法： 机器人拥有一个用于给出答案的主弹簧，以及一个专门用于测量雾气的额外弹簧。
新方法： 主弹簧本身的设计使其能够根据雾气和机器人的记忆进行拉伸和压缩。主弹簧的“摇摆”程度就能告诉你关于总不确定性的所有必要信息。

通过这样做，他们不再需要额外的“噪声头”。机器人保持小巧、轻便且快速，但它依然确切地知道自己有多不确定。

他们是如何做到的（“矩传播”技巧）

为了让机器人无需运行数千次模拟（这会太慢）就能实现这一目标，作者使用了一种名为**矩传播（Moment Propagation）**的数学捷径。

想象你在一个崎岖不平的山坡上滚一个球。

困难的方法： 你模拟球滚下山坡 1,000 次，以观察它平均落在哪里，以及落点的分布范围有多广。
矩传播的方法： 你利用一套规则，在单一步骤中精确计算出球会落在哪里以及分布范围会有多广，而无需实际滚动它 1,000 次。

这使得机器人能够即时计算其不确定性，使其成为轻量级设备的完美选择。

他们的发现（实验结果）

该团队在一个简单的数学问题（预测波浪线）上测试了这种方法，其中某些区域的数据比其他区域更嘈杂。

小型机器人（轻量级）： 当他们使用非常小的机器人（内部部件很少）时，**新方法（单头）**表现要好得多。它完美地学习了模式和不确定性。旧方法（双头）则显得吃力；它过于笨重，如果不增加更多部件，就无法很好地学习不确定性。
大型机器人： 当他们使用拥有数千个部件的巨型机器人时，两种方法的效果大致相同。
“越界”测试： 当他们向机器人展示从未见过的数据（超出训练范围）时，新方法更加诚实。它承认“我不知道这个”，并表现出高度的不确定性。而旧方法有时会变得过度自信，给出错误的答案却表现出很低的不确定性。

结论

该论文声称，通过将“关于数据的不确定性”直接嵌入机器人的内部权重中，你可以构建更小、更快且更准确的 AI 模型，而这些模型依然知道何时自己是在猜测。你不需要给机器人增加额外的部件来让它承认自己的不确定；你只需要教导现有的部件进行正确的“摇摆”。

这对于任何试图将智能 AI 部署到内存和计算能力都极其有限的微型硬件上的人来说，都是一件大事。

以下是 Schodt 等人论文《具有异方差不确定性的轻量级贝叶斯神经网络变分推断框架》的详细技术总结。

1. 问题陈述

贝叶斯神经网络（BNN）对于量化预测不确定性至关重要，能够区分认知不确定性（因数据有限导致的模型不确定性）和偶然不确定性（数据噪声）。

挑战： 在许多应用中，特别是那些需要异方差不确定性（即噪声水平随输入变化）的应用中，标准方法要求 BNN 除了输出预测均值外，还需将偶然方差作为额外的网络头输出。
局限性： 为方差添加输出节点会增加可学习参数的数量和架构复杂度。这对于旨在部署在硬件受限系统上或计算时间有限的轻量级 BNN 是有害的。
差距： 现有方法往往迫使模型大小与捕捉复杂、输入依赖的噪声结构的能力之间进行权衡。

2. 方法论

作者提出了一种新颖的推断框架，通过将偶然不确定性和认知不确定性直接嵌入到 BNN 可学习参数的方差中，消除了对单独偶然不确定性输出节点的需求。

A. 参数分布的重新诠释

作者不再将贝叶斯神经元参数的方差仅视为代表认知不确定性，而是重新诠释这些分布以编码总预测不确定性（偶然 + 认知）。

标准方法： $Var(\hat{y}) = \sigma^2_{epistemic}$ 。偶然方差（ $\sigma^2_{aleatoric}$ ）作为单独的输出来预测。
** proposed 方法：** 给定输入 $k$ 的总方差 $\sigma^2_k$ 定义为偶然方差和认知方差之和：
$\sigma^2_k = \sigma^2_{a,k} + \sigma^2_{e,k}$
在训练期间，网络最小化证据下界（ELBO），其中重构损失假设输出分布为方差为 $\sigma^2_k$ 的高斯分布。方差 $\sigma^2_k$ 是根据参数分布推导出的 BNN 输出方差计算得出的，从而有效地将偶然噪声“吸收”进参数方差中。

B. 通过矩传播实现的无采样变分推断

为了保持计算效率并避免蒙特卡洛采样的成本，作者采用了一种矩传播方案。

机制： 每一层输入的均值和方差通过解析方式在网络中传播，以计算输出的均值和方差。
层处理：
- 全连接层与卷积层： 假设神经元之间相互独立，对均值和方差进行精确的解析传播。
- Leaky-ReLU： 假设激活函数的输入服从正态分布，进行近似传播。作者利用全期望定律和全方差定律，推导出了涉及截断正态分布的输出均值和方差的闭式表达式。
优势： 这使得确定性推断成为可能，无需重复采样，从而使该框架适用于轻量级实时应用。

3. 主要贡献

参数方差嵌入： 一种概念转变，即训练 BNN 权重和偏置的方差以表示偶然不确定性和认知不确定性的总和，从而消除了对专用方差输出头的需求。
轻量级架构： 与标准的“学习方差”方法相比，该框架使 BNN 能够以更少的可学习参数捕捉异方差不确定性。
无采样推断： 整合了一种简化的矩传播技术，提供解析不确定性估计，避免了蒙特卡洛 Dropout 或采样的计算开销。
统一框架： 一个完整的流程，结合了不确定性来源的重新诠释与用于训练和推断的高效矩传播。

4. 实验结果

作者在具有异方差高斯噪声的多项式回归任务中，评估了他们的“嵌入方差”方法与标准的“学习方差”方法（其中方差是单独的输出）。

轻量级 regime 下的性能：
- 在隐藏神经元数量较少（例如 4 个）的情况下，嵌入方差模型准确预测了分布内数据的趋势和不确定性，并正确表达了分布外数据的高不确定性。
- 在相同的微小架构下，学习方差模型未能恢复分布内数据的真实不确定性，并显著低估了分布外数据的不确定性。
参数效率：
- 对于固定数量的神经元，“学习方差”模型需要比“嵌入方差”模型多约 34% 的可学习参数才能达到可比的性能。
- 在低参数 regime 下，“嵌入方差”方法实现了更低的重构损失（负对数似然）。
泛化能力：
- “嵌入方差”模型表现出更好的分布外数据泛化能力，随着数据远离训练分布，其重构损失的增加比“学习方差”模型更为平缓。
可扩展性： 随着网络规模增大（例如 1024 个神经元），性能差距缩小，两种方法表现相似，表明所提出的方法对于资源受限的轻量级模型最为关键。

5. 意义

这项工作解决了在边缘计算和安全关键系统中部署贝叶斯神经网络的关键瓶颈。

效率： 通过消除预测噪声所需的额外输出节点，该方法显著减少了模型大小和计算成本，使 BNN 在严格受限的硬件上变得可行。
鲁棒性： 在不增加模型复杂度的情况下捕捉异方差不确定性的能力，确保了轻量级模型不会牺牲可靠性或安全评估。
实用性： 推断的无采样特性允许更快的预测时间，这对于延迟是关键问题的实时应用至关重要。

总之，该论文证明了总不确定性可以有效地“烘焙”进 BNN 的参数分布中，为轻量级异方差不确定性量化提供了一种优于传统多输出头的替代方案。