🤖 AI

Variational Visual Question Answering for Uncertainty-Aware Selective Prediction

该论文提出了名为“变分 VQA"的新方法，通过引入变分贝叶斯框架和一种考虑预测方差的风险规避选择器，首次证明了其在视觉问答任务中能有效提升模型校准度并实现低容错率下的高可靠性选择性预测，从而显著增强了大型视觉语言模型的安全性。

原作者： Tobias Jan Wieczorek, Nathalie Daun, Mohammad Emtiyaz Khan, Marcus Rohrbach

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Tobias Jan Wieczorek, Nathalie Daun, Mohammad Emtiyaz Khan, Marcus Rohrbach

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让“超级聪明的 AI 助手”变得更诚实、更谨慎的故事。

想象一下，你有一个无所不知的 AI 助手（比如现在的视觉语言模型，VLM），它能看图说话，回答各种问题。但是，这个助手有一个大毛病：它太自信了，甚至有点“嘴硬”。

1. 问题：自信的“瞎猜”

现在的 AI 就像那个过度自信的学霸。

场景：你给它看一张模糊的图，问：“这是猫还是狗？”
现状：即使它其实完全看不清，它也会用 99% 的自信大声回答：“是猫！”（哪怕正确答案是狗，或者根本看不清）。
后果：在医疗诊断或帮助视障人士时，这种“自信的瞎猜”是致命的。它不知道“我不知道”，所以它不会停下来，而是继续胡编乱造（幻觉）。

2. 解决方案：给 AI 装上“不确定性雷达”

这篇论文提出了一种新方法，叫 VarVQA（变分视觉问答）。
我们可以把它想象成给这个 AI 学霸换了一套**“带有雷达的驾驶系统”**。

传统方法（AdamW）：就像普通的自动驾驶，只盯着路看，不管路况多复杂，它都觉得自己能开过去。
新方法（VarVQA）：就像给车装上了**“不确定性雷达”**。它不再只盯着答案，而是同时计算：“我现在的把握有多大？如果我不确定，我是不是该踩刹车？”

3. 核心机制：如何做到“知之为知之，不知为不知”？

A. 变分贝叶斯（Variational Bayes）：从“单点猜测”到“概率云”

传统 AI：像一个独断专行的指挥官。它只给出一个确定的答案。
VarVQA：像一个谨慎的顾问团队。它不会只给一个答案，而是会模拟几百种可能的情况（就像在脑海里快速跑了几百次模拟）。
- 如果这几百次模拟结果都差不多（比如 90% 的模拟都说“是猫”），那它就很有信心。
- 如果模拟结果乱七八糟（有的说猫，有的说狗，有的说桌子），雷达就会报警：“嘿，这里太乱了，我不确定，我不回答！”

B. 新的“刹车”策略（风险厌恶选择器）

论文还发明了一个聪明的**“刹车踏板”**（风险厌恶选择器）。

普通刹车：只要觉得“可能”对，就踩油门。
新刹车：不仅看“可能对不对”，还要看“万一错了后果有多严重”。
- 如果 AI 发现它的预测结果波动很大（方差大），哪怕它觉得有 60% 的把握，它也会选择**“放弃回答”**（Abstain），而不是冒险猜一个错误的答案。
- 这就好比医生在诊断时，如果检查结果模棱两可，他会说“需要进一步检查”，而不是直接开药。

4. 实验结果：它真的有用吗？

研究人员在几个著名的测试（VQAv2, NLVR2）上做了对比：

准确率没变，但“靠谱度”飙升：VarVQA 的答题正确率和普通 AI 差不多，但它很少乱猜。
关键时刻更稳：在要求“错误率不能超过 1%"的极端严格情况下（比如医疗场景），普通 AI 可能还在乱猜，而 VarVQA 已经果断选择“我不知道”，从而避免了灾难性的错误。
面对陌生场景：当遇到没见过的图片（分布外数据）时，普通 AI 会自信地胡说八道，而 VarVQA 能敏锐地察觉到“这不对劲”，然后选择闭嘴。

5. 总结：让 AI 学会“认怂”

这篇论文的核心贡献就是证明了：让 AI 学会“认怂”（在不确定时放弃回答），比让它“逞强”（盲目自信）更重要。

以前：AI 是个不知天高地厚的冒险家，不管多难都敢冲，经常翻车。
现在：VarVQA 让 AI 变成了一个经验丰富的老练专家，它知道自己的能力边界。遇到拿不准的，它会说：“这个太难了，为了安全起见，我建议您找人类专家看看。”

一句话总结：
这项技术通过给 AI 装上“不确定性雷达”和“风险刹车”，让它在面对复杂世界时，不再盲目自信地胡说八道，而是变得更安全、更诚实、更值得信赖。这对于未来将 AI 用于医疗、法律等高风险领域至关重要。

这是一篇关于变分视觉问答（Variational Visual Question Answering, VarVQA）的学术论文，旨在解决大型视觉语言模型（VLMs）在视觉问答（VQA）和视觉推理任务中存在的过度自信和幻觉问题。文章提出了一种基于变分贝叶斯（Variational Bayes）的方法，使模型能够进行不确定性感知的选择性预测（Selective Prediction），即在模型不确定时主动放弃回答，从而提高系统的安全性和可靠性。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心问题：尽管现有的 VLMs 在 VQA 基准测试中表现优异（甚至超越人类水平），但它们通常缺乏对自身知识边界的认知。模型往往表现出过度自信（Overconfidence），即使面对对抗性输入或无法回答的问题（如幻觉），也会给出高置信度的错误答案。
后果：这种不可靠性阻碍了 VLMs 在医疗诊断、视障辅助等安全关键领域的部署。
现有方案的局限：
- 外部方法：在冻结的模型之上训练额外的选择器（Selector Head）或使用外部工具，增加了计算开销和新的故障点，且未从根本上改善模型本身的可靠性。
- 集成方法（Ensembling）：虽然有效，但需要训练多个模型，计算成本过高。
- 传统贝叶斯方法：长期以来，变分推断（Variational Inference）在大型 Transformer 架构上效果不佳或计算成本过高。

2. 方法论 (Methodology)

作者提出了VarVQA框架，核心是利用**改进的变分在线牛顿优化器（Improved Variational Online Newton, IVON）**来训练大型 VLMs。

2.1 核心算法：IVON 优化器

原理：不同于传统的 AdamW 仅学习权重参数 $\theta$ ，IVON 学习权重的后验分布 $q(\theta)$ （通常假设为对角高斯分布 $N(m, \text{diag}(v))$ ，其中 $m$ 为均值， $v$ 为方差）。
目标函数：最小化变分下界（ELBO），包含经验风险项和 KL 散度正则项。
优势：IVON 通过自然梯度更新均值和方差，其训练成本与 AdamW 相当，但能提供有效的不确定性估计。这是首次将 IVON 成功应用于多模态任务。

2.2 推理与置信度获取

VarVQA Mean：在推理时忽略方差（ $v=0$ ），仅使用均值参数 $m$ 进行单次前向传播。这提供了与 AdamW 相同的推理速度，但具有更好的校准性。
VarVQA Sampling：从后验分布中采样 $S$ 个参数 $\theta^{(s)}$ ，计算输出的平均似然 $\bar{\mu}$ 和预测方差 $\bar{\sigma}^2$ 。方差越大，表示模型越不确定。

2.3 新的风险规避选择器 (Risk-Averse Selector)

这是论文的一个关键创新点。

基线：传统的预测平均（Predictive Averaging）仅使用平均概率 $\bar{\mu}$ 作为置信度。
创新：提出选择函数 $g_{BPA}(x) = \bar{\mu}_{\kappa}(x) - \bar{\sigma}_{\kappa}(x)$ $g_{B P A} (x) = \overset{μ}{ˉ}_{κ} (x) - \overset{σ}{ˉ}_{κ} (x)$ 。
- 该函数从最高概率类的均值中减去其标准差。
- 意义：这是一种保守策略（Risk-Averse），相当于贝叶斯可信区间的下界（约 16% 分位数）。它惩罚高方差的预测，使模型在不确定性高时更倾向于“放弃回答（Abstain）”，从而显著降低高风险场景下的错误率。

3. 主要贡献 (Key Contributions)

首次验证：证明了变分训练（IVON）在大型多模态 Transformer 架构（如 ViLT, BEiT-3）上的有效性，并引入了 VarVQA 框架用于选择性 VQA。
多维度的不确定性提升：
- 校准性（Calibration）：显著降低了期望校准误差（ECE）。
- 选择性预测：在低错误容忍度（ $\le 1\%$ ）的高风险场景下，选择性预测性能大幅提升。
- 鲁棒性：在分布外（OOD）数据上表现出比 AdamW 更强的鲁棒性。
样本效率：相比蒙特卡洛 Dropout（MC Dropout），VarVQA 在相同的计算预算下提供了更好的可靠性。
新选择器：提出了利用输出方差的风险规避选择器 $g_{BPA}$ ，在高风险决策中优于传统的样本平均方法。

4. 实验结果 (Results)

实验在 VQAv2（VQA 任务）和 NLVR2（视觉推理任务）上进行，对比了 AdamW、MC Dropout 和 VarVQA。

准确性与校准：
- VarVQA 的准确率与 AdamW 相当甚至略高。
- 校准性：VarVQA 的 ECE 显著低于 AdamW（例如在 VQAv2 上降至 0.019 左右），甚至优于经过温度缩放的模型。
选择性预测（高 stakes 场景）：
- 在允许极低错误率（如 $C@1\%$ ，即错误率不超过 1% 时的覆盖率）的场景下，VarVQA 表现卓越。
- 在 VQAv2 上，VarVQA 比 AdamW 提高了 7%-9% 的覆盖率；在 NLVR2 上提高了 9%-14%。
- 仅使用一个后验样本（VarVQA mean）往往就能比 AdamW 提供更可靠的答案。
分布外（OOD）鲁棒性：
- 在混合了 AdVQA（对抗性/分布外数据）的测试中，虽然所有模型的准确率下降速度相似，但 VarVQA 保持了更好的校准性，且相对性能优势随着 OOD 比例增加而扩大。
计算效率：
- 训练开销仅比 AdamW 增加约 0.8% - 4.2%。
- 推理时，若使用单次前向传播（VarVQA mean），成本与 AdamW 相同；若使用采样（64 次），成本与 MC Dropout 相当，但效果更好。

5. 意义与结论 (Significance)

安全性提升：VarVQA 证明了通过变分学习可以将“可靠性”直接“内建（baked-in）”到模型中，无需额外的外部组件或昂贵的集成训练。
实用价值：提出的风险规避选择器使得模型能够在高成本错误场景（如医疗、自动驾驶）中更安全地运行，通过主动放弃不确定的回答来避免灾难性后果。
未来方向：虽然 VarVQA 取得了显著进展，但在超参数调优（特别是 IVON 的 Hessian 初始化）方面仍比 AdamW 复杂。未来的工作可能包括通过方差传播实现单次前向传播的方差估计，以进一步降低推理成本。

总结：该论文通过引入变分贝叶斯方法和新的风险规避选择策略，成功解决了大型多模态模型过度自信的问题，为构建更安全、更可信的视觉语言系统提供了强有力的技术路径。