💻 computer science

FUSE: Quantifying Uncertainty in Vision-Language Models by Bayesian Fusing Epistemic and Aleatoric Uncertainty

本文介绍了 FUSE，这是一个贝叶斯框架，它通过解析地融合偶然性的嵌入层级不确定性与认知性的模型层级不确定性，从而产生一个标量度量，用于可靠地预测输出正确性并实现视觉语言模型的最先进校准。

原作者： Harry Zhang, Luca Carlone

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Harry Zhang, Luca Carlone

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在向一个非常聪明、但有时过于自信的机器人助手询问关于一张图片的问题。你问：“猫的帽子是什么颜色的？”机器人看着图像说：“黑色。”但如果图像很模糊，或者帽子实际上是蓝色的，只是在阴影中看起来像黑色呢？你如何知道机器人是在瞎猜，还是它真的确定？

这正是 FUSE 这篇论文试图解决的问题。它为机器人提供了一种方法，让它在给出错误答案之前能够说出：“我不确定。”

以下是通过简单的类比来解释 FUSE 的工作原理：

两种“不确定”类型

作者们意识到，机器人之所以不确定，通常有两个截然不同的原因。FUSE 测量了这两者，并将它们结合成一个分数。

1. “输入混乱”问题（偶然不确定性 / Aleatoric Uncertainty）

类比： 想象你正试图阅读一张手写便条，但墨迹晕开了，纸张皱巴巴的，而且字迹非常潦草。即使你是世界级的阅读专家，这个输入本身也是令人困惑的。
在论文中： 这发生在图像或文本问题具有歧义时。也许图片很暗，或者问题很模糊。FUSE 查看原始数据（图像和文本），并计算其有多“模糊”或具有多大的歧义。如果数据很混乱，机器人就会产生一种“怀疑”，即它可能会出错。

2. “脑雾”问题（认知不确定性 / Epistemic Uncertainty）

类比： 想象你问一个朋友一个问题。如果他们很有信心，他们会给出一个清晰的答案。但如果他们不确定，他们可能会说：“嗯，它可能是一个杯子，或者也许是一个花瓶，或者可能是一个容器，”并且他们的声音也会变得犹豫。他们回答的多样性会告诉你他们并不了解真相。
在论文中： FUSE 让机器人对同一个问题进行 50 次回答。如果机器人给出了 50 个不同的答案（例如：“杯子”、“花瓶”、“盒子”），这表明机器人很困惑。如果它给出了 50 个完全相同的答案，它就是自信的。FUSE 测量机器人的回答彼此之间有多少“偏差”或“分歧”。

魔法技巧：贝叶斯融合 (Bayesian Fusing)

通常，人们可能只会观察“混乱的输入”或者“分散的回答”。FUSE 做得更聪明：它使用一种叫做贝叶斯融合的数学配方将两者结合起来。

类比： 想象一位正在侦破案件的侦探。
- 线索 A（输入）： 犯罪现场非常大雾弥漫（混乱的输入）。这让侦探怀疑案情很复杂。
- 线索 B（回答）： 目击者不断改变说法（分散的回答）。这让侦探怀疑目击者在撒谎或处于混乱状态。
- 结论： FUSE 获取这两个线索，并计算出一个单一的“置信度分数”。如果现场大雾弥漫且目击者说法不一，分数会显示：“高不确定性！不要相信这个答案。”如果现场清晰明亮且回答一致，分数会显示：“低不确定性！这很可能是正确的。”

为什么这很重要

论文表明，FUSE 在识别“幻觉”（即一本正经地胡说八道）方面比以往的方法要好得多。

旧方法： 有时，机器人可能会表现得非常有信心但却是错误的。即使帽子实际上是蓝色的，机器人也可能带着 99% 的信心说“黑色”，仅仅是因为机器人过度自信了。
FUSE： 通过同时检查图片的“模糊度”和回答的“一致性”，FUSE 可以捕捉到这些错误。

结果：一个“停止”标志

最终的输出是一个单一的数字（分数）。

低分： “我有信心。请继续使用我的答案。”
高分： “我很困惑。图片很棘手，而且我的回答五花八门。请不要在这个问题上信任我。”

论文在许多视觉问答数据集（如针对图像提问）上测试了 FUSE，发现 FUSE 在何时该说“我不知道”以及何时能给出正确答案方面表现最为出色。这有助于让 AI 变得更安全、更可靠，尤其是在错误答案可能导致严重后果的情况下。

技术摘要：FUSE —— 量化视觉语言模型中的不确定性

问题陈述

视觉语言模型（VLMs）已成为从机器人技术到医疗保健等广泛应用中不可或缺的一部分，但它们仍然容易产生不可靠的输出，例如幻觉和过度自信的推理。在**不确定性量化（Uncertainty Quantification, UQ）**方面存在着关键性的空白。依赖于下一标记似然度（next-token likelihoods）或基于 Logit 的置信度的传统方法，无法捕捉跨模态输入固有的语义歧义或生成输出的多样性。现有的方法通常将不确定性视为一种启发式方法，而非原则性的概率量，并且经常忽略嵌入在模型潜在表示中的不确定性。

本文指出，VLM 的不确定性源于两个截然不同且互补的来源：

偶然不确定性（Aleatoric Uncertainty）： 输入数据和跨模态语义固有的歧义（例如，描述不足的问题或视觉上具有歧义的区域）。
认知不确定性（Epistemic Uncertainty）： 由于知识局限、接地能力（grounding）薄弱或分布偏移导致的模型预测变异性，这反映在生成响应的多样性中。

目标是开发一个框架，将这两个来源融合为一个单一的、经过校准的标量不确定性度量（ $u^\star$ ），以预测输出的正确性并实现选择性预测（即对不确定的查询进行弃答）。

方法论：FUSE 框架

作者提出了 FUSE（具有语义证据的融合不确定性，Fused Uncertainty with Semantic Evidence），这是一个利用贝叶斯融合机制来结合偶然不确定性和认知不确定性的概率框架。

1. 偶然不确定性：数据表示先验

该框架将输入数据层面视为一个先验。

概率嵌入： 虽然标准的 VLM（如 CLIP）产生确定性的嵌入，但 FUSE 引入了一个**高斯过程（GP）**适配器。该适配器通过学习一个代表数据“真实”含义的共享潜在变量 $x$ ，将确定性嵌入（ $z_I, z_T$ ）映射为概率分布（ $N(\mu, \Sigma)$ ）。
稀疏变分 GP： 为了确保可扩展性，作者使用了一个带有诱导点（inducing points）的稀疏变分高斯过程潜在变量模型（Sparse Variational GPLVM）。
先验公式化： 这些概率嵌入的离散程度（通过协方差的对数行列式进行量化）被聚合为一个标量统计量 $s$ 。该统计量定义了关于潜在不确定性变量 $u$ 的高斯先验：
$u \sim N(m_0, \sigma_0^2), \quad \text{其中 } m_0 = \alpha_0 + \beta_0 s$
这捕捉了生成发生之前查询本身固有的歧义。

2. 认知不确定性：语义响应证据

该框架将模型的生成输出视为证据。

响应多样性： VLM 生成 $n$ 个随机响应。这些响应被嵌入为向量 $\{r_i\}$ 。
语义散射： 从这些嵌入中构建一个语义散射矩阵 $S$ 。语义证据定义为该矩阵的对数行列式： $\tilde{V} = \log \det S$ 。
加权证据： 为了考虑样本间可靠性的差异，该方法引入了基于模型每标记对数概率的不确定性权重。置信度较低的样本会获得更高的权重。
似然模型： 作者证明，在温和的假设下，语义证据 $\tilde{V}$ 对于潜在不确定性 $u$ 遵循线性高斯似然：
$\tilde{V} | u \sim N(a + n u, \tau^2)$
这种解析关系允许进行闭式（closed-form）贝叶斯更新。

3. 贝叶斯融合

其核心创新在于输入先验与响应证据的解析融合。

闭式后验： 将高斯先验与线性高斯似然相结合，得到潜在不确定性 $u$ 的闭式后验分布：
$u | \tilde{V} \sim N(m_{post}, \sigma_{post}^2)$
融合统计量： 从后验均值和方差中导出单一的不确定性得分 $u^\star$ （例如，作为 z-score 界限）。
校准： 在留出数据集上校准全局阈值 $\theta^\star$ ，以控制已回答查询的条件风险（错误率），从而实现选择性回答。

核心贡献

概念形式化： 本文正式将 VLM 不确定性解构为偶然（输入层）和认知（生成层）两个来源，为在统一框架内量化两者提供了基础。
统一概率模型： 它引入了一个无需对基础 VLM 进行训练的贝叶斯框架，能够解析地结合这些来源。不同于启发式方法，它产生了一个可解释且经过校判的后验分布。
数学证明： 作者通过证明展示了语义证据（响应散射的对数行列式）与潜在不确定性呈线性相关，从而证明了使用闭式贝叶斯更新的合理性。
实验优越性： 该方法在多个基准测试中实现了状态最优（SOTA）的不确定性校准和选择性回答性能。

实验结果

作者在三个视觉问答（VQA）基准测试上评估了 FUSE：VQAv2、OKVQA 和 AdVQA，并使用 LLaVA-v1.5-13b 作为骨干网络。

基线模型： FUSE 与无需训练的方法（UMPIRE、Neighborhood Consistency）、基于熵的指标（Semantic Entropy、LN-Entropy）以及符合性预测方法（LoFreeCP、CLM）进行了对比。
判别能力： FUSE 在区分正确与错误答案方面达到了最高的 AUROC（在 VQAv2 上为 0.883），超越了所有基线模型。
校准度： 该方法表现出卓越的校准能力，具有最低的期望校准误差（ECE）以及预测不确定性与经验错误率之间最高的相关性。
选择性回答： 在拒绝-准确率曲线下面积（AURAC）方面，FUSE 一致优于基线模型，这表明它能够有效地识别并放弃不确定的查询，同时在回答的查询上保持高准确率。
消融实验： 实验证实，融合两种不确定性来源至关重要；移除 GP 先验或加权证据都会导致性能下降。

意义与主张

论文声称 FUSE 解决了部署 VLM 时面临的关键安全与可靠性差距。通过超越标记级似然度，转向一种整合了输入表示先验与生成层证据的联合贝叶斯公式，FUSE 提供了一个严谨且可解释的度量。

作者强调，其方法具有以下特点：

不需要重新训练庞大的 VLM 骨干网络，仅需在冻结的编码器上训练轻量级的 GP 适配器。
提供一个单一标量得分，能够可靠地预测模型的正确性。
实现风险受控的决策，允许系统在不确定性超过校准阈值时放弃回答，这对于医疗保健和自动驾驶系统等高风险领域至关重要。

这项工作通过显式建模模型“不知道什么”（通过输入歧义和自身生成的变异性），为使 VLM 更加值得信赖迈出了重要一步。