🤖 AI

Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference

本文提出了一种检索增强的可靠性感知推理框架，该框架利用外部视觉证据来评估预测的可信度并实现选择性决策门控，从而在无需模型重训练的情况下，显著提高多模态大语言模型的准确性并减少幻觉。

原作者： Pratheswaran Hariharan, Haiping Xu, Donghui Yan

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Pratheswaran Hariharan, Haiping Xu, Donghui Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、自信的机器人助手，它可以通过观察图片并准确地告诉你它看到了什么。它非常擅长描述事物，但有时在不是 100% 确定时，它仍然会进行猜测，并且表现得极其自信。这就像一个学生明明不知道数学题的答案，却举手大声喊出一个猜测，听起来还非常笃定。在人工智能领域，这被称为“视觉幻觉（visual hallucination）”——系统看到了并不存在的东西，或者为了表现得“乐于助人”而编造事实。

这篇论文介绍了一种全新的“安全检查”系统，旨在阻止机器人在不该猜测时进行自信的猜测。以下是它的工作原理，我们使用简单的类比来解释：

问题所在：过度自信的猜测

目前的 AI 模型就像那些背了很多事实但没有自我检查能力的同学。如果它们看到一张模糊的鸟类照片，它们可能会自信满满地说：“那是一只鹰！”即使那其实是一只风筝。因为机器人说话非常流利且自信，人类往往会相信它，即便它是错的。

解决方案：“证据图书管理员”

作者提议在机器人的大脑和用户之间增加第二个步骤。把这个新系统想象成一位坐在机器人与用户之间的图书管理员。

检索（The Search/Retrieval）： 当机器人看到一张新图片时，它不再只是盲目猜测，而是向图书管理员发送请求。图书管理员拥有一座拥有数百万张参考照片的庞大图书馆（数据库）。图书管理员会找出库中最像这张新图片的 5 张照片。
事实核查（The Fact-Check/Reliability Estimation）： 图书管理员不仅是看这些照片，还会像侦探一样分析它们。它会提出四个关键问题：
- 相似度（Similarity）： 参考照片与新图片看起来真的非常接近吗？
- 一致性（Agreement）： 所有参考照片对该物体的定义是否一致？（例如：如果 4 张说是“鲨鱼”，1 张说是“海豚”，这就是冲突）。
- 置信度差距（Confidence Gap）： “鲨鱼”这个答案是否明显优于“海豚”这个答案，还是两者不相上下？
- 混乱度（Confusion）： 证据是分散且混乱的，还是清晰且集中的？

决策门控：交通灯

根据事实核查的结果，图书管理员会为机器人的答案挂上一个交通灯：

🟢 绿灯（接受/Accept）： 证据有力、清晰且大家意见一致。机器人被允许给出自信的回答：“这是一条大白鲨。”
🟡 黄灯（谨慎/Caution）： 证据还可以，但有点摇摆不定或存在争议。机器人可以回答，但必须使用“谨慎的语言”。它不会说“这是一只风筝”，而是说“这可能是一只风筝，但我不是完全确定。”
🔴 红灯（弃权/Fallback）： 证据薄弱、混乱，或者该物体不在图书馆的资料库中。机器人被禁止进行猜测。它必须说：“我无法有把握地识别这个物体，”或者“我没有足够的信息来回答。”

实验中发生了什么？

研究人员使用一套标准的 100 类图像（就像一场学校考试）测试了这个系统。

在加入安全检查之前： 机器人回答了每一个问题。它的正确率是 86%，但有 14% 的时间它是在自信地犯错。
在加入安全检查之后： 机器人停止回答大约 11% 的问题（即那些它不确定的问题）。对于它回答的问题，其正确率提升到了 89%。
结果： 机器人自信地给出错误答案的次数显著下降（从 14% 降至 11%）。

核心启示

这个系统不需要重新训练那个庞大且复杂的机器人大脑。它只是增加了一个“现实检查”层，在让机器人开口说话之前，先查看外部证据。

如果证据充分： 机器人自信地发言。
如果证据薄弱： 机器人保持沉默或谨慎发言。

这使得 AI 更加值得信赖，因为它会在不知道时承认自己不知道，而不是编造一个自信的谎言。这就像拥有一个会说“我不确定，让我查一下”的朋友，而不是一个只会瞎猜并希望你没发现它错了的朋友。

技术摘要：通过检索增强的可靠性感知推理缓解多模态系统的视觉幻觉

1. 问题陈述

多模态大语言模型（MLLMs）虽然在视觉-语言理解方面取得了长足进步，但面临着一个关键的可靠性问题：视觉幻觉。即使底层视觉证据微弱、模糊或在语义上不一致，这些系统也往往会生成流畅且自信的自然语言响应。目前的方法主要侧重于改进表示对齐或检索增强生成，但缺乏量化实例级预测可靠性的机制。

在值得信赖的多模态推理方面存在显著差距：系统通常被迫对每个输入都提供答案，而不论证据质量如何。标准的置信度分数（如 softmax 概率）通常校准不良，不能反映实际的正确性，从而导致“过度自信”的错误，使用户被错误但自信的输出所误导。本文认为，一个可靠的系统不仅要能够预测答案，还必须评估该答案是否值得信任，从而区分强有证据与不足或冲突的数据。

2. 方法论

作者提出了一种检索增强的可靠性感知推理框架。这是一个插入在视觉预测与最终响应生成之间的后验层（post-hoc layer），旨在利用外部视觉证据来验证预测，而无需重新训练底层的多模态大模型。

2.1 框架架构

该流水线由四个主要阶段组成：

输入编码与证据检索：
- 输入图像使用预训练的 ResNet-50 特征提取器（去除了分类层）进行处理，以生成 2048 维的嵌入（embeddings）。
- 对嵌入进行 L2 归一化，以确保基于余弦相似度的搜索。
- 构建一个参考证据数据库，该数据库由 ImageNet-100 训练集（约 130,000 张图像）组成。
- 对于查询图像，系统使用 FAISS 从数据库中检索前 $k$ 个（其中 $k=5$ ）最近邻。
类别支持度估计：
- 该框架并非依赖单个最近邻，而是聚合检索集中的证据。
- 一个相似度加权 softmax 函数根据检索到的邻居的相似度得分（ $s_j$ ）分配权重。
- 类别支持度得分（ $S(c)$ ）通过计算属于每个类别的邻居的权重总和来得出。预测类别是具有最高聚合支持度的类别。
可靠性信号计算：
系统计算多个指标来评估可信度：
- 相似度强度： 检索集中的最高相似度（ $s_{top}$ ）和平均相似度（ $s_{mean}$ ）。
- 类别支持度一致性： 预测类别的首要支持度（ $E_1$ ）与最强竞争类别的次要支持度（ $E_2$ ）。
- 证据间隔（ $M$ ）： $E_1 - E_2$ 的差值，表示类别之间的分离程度。
- 熵（ $H$ ）： 衡量检索到的证据在各类别分布中的不确定性。
- 综合可靠性得分（ $R$ ）： 首要支持度与归一化相似度强度的加权组合（ $R = 0.6E_1 + 0.4Q$ ）。
选择性决策门控：
根据计算出的信号，决策门将输入分配到三种状态之一：
- 接受（ACCEPT）： 如果证据强、一致且不确定性低（例如， $R \ge 0.85$ ， $H \le 0.30$ ， $M \ge 0.50$ ）。系统提供自信的响应。
- 谨慎回答（ANSWER WITH CAUTION）： 如果证据部分支持但存在不确定性（例如， $R \ge 0.70$ ， $M \ge 0.25$ ）。响应将使用谨慎的语言进行软化。
- 弃权/回退（ABSTAIN/FALLBACK）： 如果证据微弱、冲突或低于相似度阈值（ $s_{top} < \tau_{sim}$ 或 $s_{mean} < \tau_{mean}$ ）。系统避免做出明确的断言。

2.2 响应生成

一个多模态响应层（在实验中使用 LLaVA）生成最终输出。至关重要的是，语言生成是以可靠性决策为条件的。如果门控选择了“弃权”，系统会解释证据不足，而不是强行给出一个可能产生幻觉的标签。

3. 核心贡献

检索增强的可靠性框架： 一种新型的推理流水线，在生成最终响应之前，通过外部证据数据库验证视觉预测，实现了预测生成与预测接受的分离。
多信号可靠性估计： 一种结合了相似度强度、类别支持度一致性、证据间隔和基于熵的不确定性来创建比仅靠原始置信度分数更鲁棒的信任估计策略。
选择性决策机制： 实现了一个三向决策门（接受、谨慎、弃权），允许系统在覆盖率（coverage）与可靠性之间进行权衡，有效地减少了过度自信的错误。
后验适用性： 证明了这些改进可以在无需重新训练大型多模态模型的情况下实现，作为现有系统的实用插件。

4. 实验结果

该框架在 ImageNet-100 数据集（用于数据库的 130k 训练图像，用于测试的 5k 验证图像）上进行了评估。

准确率提升： 基准检索系统（始终回答）的准确率为 85.84%。所提出的可靠性感知框架将接受预测准确率提高到了 88.88%，同时保持了 89.04% 的覆盖率。
幻觉减少： “被接受的错误答案率”（即被接受并返回给用户的错误预测）从 14.16%（基准）下降到 11.12%（提议方案），相对降幅为 21.48%。
校准： 期望校准误差（ECE）从 7.40% 改善到 5.87%，表明预测可靠性与实际正确性之间的对齐更好。
自信错误： “自信错误案例”（可靠性 $\ge 0.85$ 的错误预测）的数量从 263 个下降到 226 个。
证据质量分析： 与弃权样本相比，被接受的样本显示出显著更高的可靠性得分、相似度间隔和更低的熵，证实了门控机制有效地过滤掉了模糊或证据微弱的情况。

5. 意义与主张

本文主张，集成检索证据、可靠性估计和选择性决策门控，可以为提高多模态视觉推理的可信度提供一种实用的后验机制。

缓解过度自信： 该框架通过识别视觉证据不足的情况，成功降低了系统产生自信且错误输出的风险。
无需重新训练： 与需要架构更改或额外训练的方法不同，这种方法可以使用预训练编码器和现有的 MLLM。
可解释性： 通过依赖检索到的最近邻，系统提供了支持或拒绝预测的可解释证据（视觉示例），增强了透明度。
权衡管理： 系统显式地管理覆盖率（回答每个问题）与可靠性（仅在有信心时回答）之间的权衡，在高性能应用场景中优先考虑用户信任。

作者总结道，尽管目前的实现受限于受控的分类设置（ImageNet-100）和特定的编码器（ResNet-50），但该方法展示了一条通往更安全、更可靠的多模态 AI 系统的可行路径，即当证据无法证明明确响应的合理性时，系统可以选择弃权。