📊 statistics

Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties

本文提出了一种协同训练框架，该框架将方差估计网络与贝叶斯神经网络相结合，以在提升跨多种数据集均值估计的同时，有效解耦偶然不确定性与认知不确定性。

原作者： Jiaxiang Yi, Miguel A. Bessa

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaxiang Yi, Miguel A. Bessa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试预测天气。你有一个模型，它说：“明天将是 75 华氏度。”但这个模型有多确定呢？

在人工智能领域，模型不确定主要有两个原因：

“混乱数据”问题（偶然不确定性）： 温度计坏了，或者风在狂乱地吹。无论你的模型多么聪明，你都无法预测确切温度，因为数据本身充满了噪声。这就像试图猜测掷骰子的确切结果；噪声是过程本身固有的。
“我以前从未见过这个”问题（认知不确定性）： 你向模型询问一种在其训练数据中从未出现过的天气模式。模型不确定是因为它缺乏知识，而不是因为数据有噪声。这就像问一位只做过意大利菜的厨师，去猜测一种他从未研究过的菜系的味道。

当前人工智能的问题
大多数人工智能模型就像过度自信的学生。它们给你一个单一的答案（平均值），却表现得好像无所不知。如果它们错了，它们不会告诉你。

有些模型试图承认它们对“混乱数据”不确定，但它们会感到困惑，并且经常发生过拟合（记住了噪声），导致预测糟糕。
其他模型（贝叶斯神经网络）试图承认它们对“缺乏知识”不确定，但它们极难训练，并且经常陷入数学死胡同。

试图同时训练一个模型完成这两项任务，就像要求一个学生在解决数学问题的同时，还要弄清楚自己的铅笔有多乱。这两项任务会相互冲突，结果通常是一团糟。

解决方案：一个协作团队（VeBNN）
本文的作者提出了一种训练人工智能的新方法，称为VeBNN（方差估计贝叶斯神经网络）。他们不是强迫一个模型一次性完成所有工作，而是将工作分解为三个不同的步骤，就像接力赛一样，每位选手专门负责其中一棒。

第一步：“平均值”选手
首先，他们训练一个简单的模型，仅用于寻找平均答案（平均值）。他们暂时假设数据是完美干净的。这使他们获得了一个稳固的基准预测，而不会被噪声分散注意力。

第二步：“噪声”侦探
接下来，他们利用那个稳固的基准，训练第二个专门的模型，专门用来观察第一个模型所犯的错误。这位“噪声侦探”学会了描绘数据哪里混乱、哪里干净。它学习偶然不确定性（不可约减的噪声）。关键在于，它这样做时并不试图改变平均预测，因此不会感到困惑。

第三步：“知识”专家
最后，他们训练一个复杂的贝叶斯神经网络。这是懂得如何处理“我不知道”情况的专家。但这里有个窍门：他们给这位专家提供了第二步中由侦探创建的“噪声”地图。因为这位专家已经确切知道数据哪里混乱，它可以完全专注于弄清楚它自己在哪里缺乏知识。这使得它能够准确地衡量认知不确定性。

为什么这行得通（类比）
想象一下，这是一个医生团队在诊断病人：

医生 A 测量病人的体温和心率（平均值）。
医生 B 查看病人的病史，并指出温度计不稳定且病人在出汗（偶然噪声）。
医生 C（贝叶斯专家）利用医生 A 的测量数据和医生 B 提供的背景信息来判断：“这是一种我从未见过的罕见疾病吗？”（认知不确定性）。

如果你要求医生 C 同时完成这三项工作，他可能会不知所措。但通过让他们按顺序协作工作，诊断结果要准确得多。

他们的发现
作者在多种数据集上测试了这种方法，包括：

标准数学问题。
图像识别任务。
他们创建的一个涉及材料科学的特殊数据集（预测金属在应力下如何变形）。在这个特定案例中，他们实际上知道数据中真实的噪声量，这使得他们能够证明其方法的正确性。

结果

更高的准确性： 模型预测平均结果的表现优于以往的方法。
真正的解耦： 模型成功地将“混乱数据”与“缺乏知识”区分开来。在以往的方法中，这两种不确定性经常混为一谈，导致模型要么过于自信，要么过于胆怯。
鲁棒性： 即使数据稀缺，或者当模型被要求预测超出其训练范围的事物（外推）时，该方法依然表现良好。

总结
本文提出了一种针对人工智能不确定性的“分而治之”策略。通过按特定顺序训练三个专门的神经网络，作者创建了一个系统，它不仅能告诉你将发生什么，还能告诉你它对数据噪声与自身知识缺乏的确定程度。这是一种更简单、更稳健的方式，让人工智能承认它所不知道的事情。

技术摘要：用于解耦偶然不确定性与认知不确定性的协同方差估计与贝叶斯神经网络

问题陈述

现实世界数据固有地包含两种截然不同的不确定性类型：偶然不确定性（源于不完美测量或随机生成过程的数据噪声）和认知不确定性（源于数据有限或模型容量的模型不确定性）。虽然均值 - 方差估计（MVE）网络可以学习偶然不确定性，但它们往往遭受过拟合，且无法预测认知不确定性。相反，贝叶斯神经网络（BNN）可以预测认知不确定性，但 notoriously 难以训练，特别是在尝试同时建模异方差（输入依赖型）偶然噪声时。

现有的联合训练 MVE 网络的方法经常遇到优化挑战。用于联合训练的负对数似然（NLL）损失函数创造了一个具有鞍点的非凸景观。具体而言，关于方差的梯度包含分母中的高阶项，导致不平衡，使得网络可能要么过拟合噪声（将方差驱动至零），要么无法收敛（将方差驱动至无穷大）。此外，尝试在 MVE 网络上使用集成方法或 MC-Dropout 来解耦不确定性已被证明会产生不可靠的结果，通常混淆了这两种不确定性类型。

方法论：VeBNN

作者提出了VeBNN（方差估计贝叶斯神经网络），这是一种协同训练策略，按顺序解耦均值、偶然不确定性和认知不确定性的估计。该方法分为三个明确的步骤：

均值网络训练（步骤 1）： 训练一个确定性网络以估计均值（ $\mu$ ），假设偶然不确定性是恒定的（同方差）。这简化了优化景观，使网络能够在没有方差梯度干扰的情况下找到均值的稳健点估计。
方差估计网络训练（步骤 2）： 训练一个独立的网络，基于步骤 1 中固定均值估计的残差来预测偶然不确定性（ $\sigma^2_a$ ）。关键在于，作者提出使用伽马分布对平方残差进行建模，而不是使用标准的 Gaussian NLL 损失（后者存在梯度不平衡问题）。这导致了一个基于伽马的 NLL 损失，其中关于网络参数的梯度不包含高阶分母项，从而确保了稳定的优化。偶然方差随后被推导为该伽马分布的期望值。
贝叶斯神经网络训练（步骤 3）： 使用步骤 1 的均值估计和步骤 2 的固定偶然方差估计进行“热启动”训练 BNN。因为在此阶段偶然噪声被视为已知且固定的量，BNN 专注于学习权重的后验分布以捕捉认知不确定性。

对于新输入 $x'$ 的最终预测将总不确定性分解为：

预测均值： BNN 输出的期望值。
偶然不确定性： 步骤 2 中的固定方差估计。
认知不确定性： BNN 预测均值在后验分布上的方差。

作者指出，该过程可以在步骤 2 和步骤 3 之间迭代以细化解耦，尽管实验结果表明通常只需一次迭代（ $K=1$ 或 $K=2$ ）即可实现收敛。

主要贡献

协同训练策略： 本文引入了一种顺序训练框架，避免了联合 MVE 训练中固有的耦合优化问题。通过分离任务，该方法缓解了与联合均值 - 方差估计相关的非凸性和梯度不平衡问题。
用于方差估计的伽马似然： 作者提出使用伽马似然对平方残差进行建模以估计方差。这避免了 Gaussian NLL 损失的数值不稳定性，并为方差网络提供了一个具有理论依据的凸优化问题。
有效的解耦： 该方法成功分离了偶然不确定性和认知不确定性，而许多现有方法（包括应用于 MVE 的深度集成和 MC-Dropout）在此任务中未能提供可靠的分离。
可扩展性与实现： 该方法易于使用标准架构（MLP、GRU、ResNet）和推理方法（pSGLD、Ensembles、BBB、MC-Dropout）实现，表明协同训练甚至可以增强像 BBB 这样的“弱”推理方法。

实验结果

作者在五类数据集上评估了 VeBNN：

一维示例： 证明了 VeBNN 避免了联合 MVE 训练中出现的过度自信的方差预测和较差的均值估计，特别是在外推区域。
UCI 回归数据集： 与联合 MVE 对应物相比，VeBNN 在各种推理方法（Ensembles、MC-Dropout、BBB、pSGLD）上始终提高了测试对数似然（TLL）和均方根误差（RMSE）。值得注意的是，VeBNN（BBB）取得了有竞争力的性能，而联合 MVE（BBB）经常无法收敛。
大规模图像回归： 在现实世界的分布偏移下，VeBNN（Ensembles）实现了比基线更高的 TLL 和更好的测试覆盖率，展示了更强的处理偏移数据的能力。
材料塑性定律发现（已知真值）： 使用一个自定义数据集，其中通过多次物理模拟已知真实的偶然不确定性，VeBNN（pSGLD）在 RMSE、Wasserstein 距离（衡量估计的偶然不确定性与真值的接近程度）和认知 TLL 方面优于所有基线。该方法正确识别出在分布外区域中，偶然不确定性保持稳定，而认知不确定性增加。
APPA-REAL 数据集： 与 MVE 基线相比，VeBNN 在所有指标（RMSE、WA、认知 TLL）上取得了最佳性能。

消融研究证实，伽马损失对于方差网络优于 Gaussian NLL 或 $\beta$ -NLL，并且该方法收敛迅速，通常仅需在初始训练之外进行一次额外迭代。

意义与主张

本文声称，所提出的协同训练策略为深度学习中的不确定性量化提供了一种稳健、高效且可扩展的解决方案。通过解耦偶然不确定性和认知不确定性的估计，该方法克服了限制贝叶斯异方差回归广泛采用的优化障碍。

作者强调，虽然训练 BNN 仍然比训练确定性网络更具挑战性，但他们的方法通过提供高质量的“热启动”（均值）和固定的偶然噪声估计促进了这一过程。他们指出，这种方法对于安全关键应用特别有价值，因为在这些应用中，区分可减小的（认知）和不可减小的（偶然）不确定性对于主动学习和风险敏感决策至关重要。本文得出结论，VeBNN 是当前最先进方法的实用、可实现的替代方案，能够改善各种模型架构和推理技术中的均值估计和不确定性解耦。