💻 computer science

VIHD: Visual Intervention-based Hallucination Detection for Medical Visual Question Answering

本文提出了一种名为 VIHD 的新型医疗视觉问答幻觉检测方法，该方法通过识别视觉主导的解码器层并应用针对性的视觉令牌掩码来校准语义熵，从而改进了现有方法，更有效地检测缺乏视觉证据的幻觉。

原作者： Jiayi Chen, Benteng Ma, Zehui Liao, Winston Chong, Yasmeen George, Jianfei Cai

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiayi Chen, Benteng Ma, Zehui Liao, Winston Chong, Yasmeen George, Jianfei Cai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一位高度智能的医疗 AI 助手，它能够查看 X 光片或 MRI 扫描图像，并回答你关于这些图像的问题，例如“这张图像中的肿块是什么？”或“是否存在骨折？”这就是多模态大语言模型（MLLM）。尽管这些模型极其聪明，但它们有一个危险的习性：有时会“产生幻觉”。

将幻觉想象成一个自信的骗子。AI 可能会说：“我看到一个肾囊肿”，即使图像中除了健康组织外什么都没有。这句话在语法上完美无缺，但完全是编造的。在医院里，这可能导致医生基于谎言做出错误的决定。

本文介绍了一种名为VIHD（基于视觉干预的幻觉检测）的新工具，旨在在谎言造成麻烦之前将其识破。以下是其工作原理，通过简单的类比进行解释：

问题所在：“黑盒”侦探

以往的方法试图通过反复向 AI 提出相同的问题，或轻微修改问题（例如，问“有囊肿吗？”与“有肿瘤吗？”）来识破这些谎言。

缺陷： 这就像询问证人：“你看到那辆红色的车了吗？”然后再问“你看到那辆蓝色的车了吗？”，以此观察他们是否会感到困惑。这有点像猜测。它并没有真正深入 AI 的“大脑”内部，去查看它是否真的在观察图像，还是仅仅基于以往听到的内容在编造。

解决方案：VIHD（“聚光灯”方法）

VIHD 则不同。它不仅仅是提问，而是对 AI 的思维过程进行“手术”，以观察它在多大程度上真正依赖图像。它分为三个步骤：

1. 寻找“眼睛”（视觉依赖探测）

想象 AI 的大脑由许多层神经元组成，就像一座多层建筑。当它回答问题时，它会在某些“房间”里查看图像，而在其他“房间”里则忽略图像。

VIHD 的做法： 它穿梭于这座建筑之中，找出 AI 实际查看图像的具体楼层（解码器层）。这就像找到侦探正盯着犯罪现场照片的那个特定房间，而不是那个侦探只是在白日做梦的房间。

2. “蒙眼”测试（视觉干预解码）

一旦 VIHD 找到了正确的房间，它就会进行一项针对性的实验。它识别出 AI 正在聚焦的图像特定部分（例如 X 光片上的某个暗斑），并暂时“致盲”AI，使其无法看到这些部分。

类比： 想象你在描述一张猫的照片。如果你遮住猫的耳朵，然后问“这是什么动物？”，你仍然自信地回答“猫”，那没问题。但是，如果你遮住猫的脸，而 AI 突然开始猜测“这是一只狗！”或“这是一个烤面包机！”，那就是一个巨大的红色警报。
目标： VIHD 会遮蔽（隐藏）AI 所使用的最重要的视觉线索。如果 AI 的回答发生剧烈变化或变得困惑，就证明 AI 确实在查看图像。如果即使图像被隐藏，AI 仍然给出同样自信的答案，那就意味着 AI 只是在凭记忆猜测（产生幻觉）。

3. 测量“困惑度”（校准语义熵）

最后，VIHD 将 AI 的原始答案与其在“蒙眼”状态下给出的答案进行比较。

指标： 它计算一种称为“校准语义熵”的数值。你可以将其视为一个困惑度评分。
- 低困惑度： 无论图像是否存在或被隐藏，AI 都给出相同的答案。这对于检测来说实际上是好的，因为这意味着 AI 是一致的；但如果答案从一开始就是错的，系统也会将其标记出来。
- 高困惑度： 当图像被隐藏时，AI 的答案剧烈波动。这种高“波动”或“离散度”是 AI 依赖不稳固视觉证据的信号。VIHD 利用这一高分来发出警告：“警告：此答案很可能是幻觉。”

为何更优

该论文在三个不同的医疗数据集（涵盖 CT 扫描、MRI 和 X 光片）和两个不同的 AI 模型上测试了该方法。

结果： VIHD 在识破谎言方面比以往的方法出色得多。它不需要在新数据上进行重新训练（即“无需训练”），也不需要调用第二个 AI 来检查工作。
类比： 以往的方法就像保安检查访客的身份证。而 VIHD 则像测谎仪，检查访客在查看证据时心率是否飙升。

总结

简而言之，VIHD 是一种通过暂时隐藏图像中最关键的部分并观察 AI 的回答是否崩溃，从而识破医疗 AI 幻觉的工具。如果 AI 确实在查看图像，隐藏部分图像会改变它的判断。如果 AI 只是在编造，它将察觉不到差异，而 VIHD 会将其标记为潜在错误。这有助于确保当 AI 提供医疗建议时，它确实在查看患者的扫描图像，而不仅仅是在猜测。

技术摘要：VIHD - 基于视觉干预的幻觉检测

问题陈述

医疗多模态大语言模型（MLLM）通过视觉问答（VQA）和自动报告生成，在辅助临床诊断方面展现出巨大潜力。然而，一个关键局限依然存在：这些模型经常生成幻觉响应——即语言连贯但与所提供的视觉证据相矛盾的输出。此类错误对临床决策构成重大风险。

现有的幻觉检测方法通常分为三类：

监督检测：需要耗费大量人力标注的数据集，且难以泛化到新的领域或架构。
外部验证：依赖辅助模型或知识库，引入了显著的计算开销，并依赖于外部工具。
内省检测：无需额外训练即可估计不确定性或逻辑一致性的自包含方法。虽然高效，但当前的内省方法通常依赖启发式且与上下文无关的外部扰动。它们将多模态大语言模型视为黑盒，未能探测解码过程中生成 token 与特定视觉证据之间的内部因果依赖关系。

方法论：VIHD 框架

作者提出了VIHD（基于视觉干预的幻觉检测），这是一个无需训练的框架，旨在通过针对性的细粒度视觉干预来探测跨模态推理的保真度。该方法分为三个 distinct 阶段：

1. 视觉依赖探测（VDP）

为了识别模型在何处最依赖视觉证据，VIHD 分析了大语言模型解码器内的注意力机制。

机制：它计算生成 token 与输入视觉 token 在所有解码器层和注意力头之间的注意力权重。
定位：它聚合这些权重以量化逐层的视觉依赖度（ $s^{(l)}$ ）。随后，该方法识别出表现出最强累积视觉依赖的连续 $w$ 层窗口 $[l^*, l^*+w-1]$ 。这确保了干预被施加在跨模态注意力最显著的位置。

2. 视觉干预解码（VID）

一旦识别出视觉主导层，VIHD 执行针对性干预，以观察当特定视觉证据被抑制时模型输出如何变化。

机制：在识别出的窗口内的解码过程中，算法屏蔽掉相对于当前生成 token 具有最高注意力权重的 top- $\rho$ 比例的视觉 token。
结果：这产生了一个基于扰动视觉表示的“干预响应”（ $r'$ ）。通过比较原始响应（ $r$ ）与干预响应（ $r'$ ），该方法揭示了模型对特定视觉 token 的依赖程度。

3. 校准语义熵（CSE）

为了量化幻觉严重程度，VIHD 基于响应的语义分布计算一个指标。

采样：模型执行 $M$ 次独立采样运行，生成两组响应：正常响应 $\{r^{(i)}\}$ 和视觉干预响应 $\{r'^{(i)}\}$ 。
聚类：使用预训练模型（DeBERTa-Large-MNLI）将这些响应聚类为语义等价类，得出正常语义分布 $P(s)$ 和干预分布 $P(s')$ 。
自适应融合：认识到干预影响因查询粒度而异，VIHD 采用自适应融合策略：
- 如果分布高度一致（余弦相似度 $\ge \tau$ ），则使用互补融合来强化共享语义。
- 如果分布发散，则使用对比融合来抑制由掩蔽引起的幻觉。
指标：最终的**校准语义熵（CSE）**由此融合分布计算得出。较高的 CSE 表明原始输出与干预输出之间存在显著的语义分散，可作为幻觉的稳健信号。

主要贡献

VIHD 框架：引入了一种无需训练的方法，利用细粒度视觉干预探测内部因果依赖，超越了黑盒启发式扰动。
自适应流程：设计了一个包含视觉依赖探测（定位关键层）、视觉干预解码（屏蔽高注意力 token）和校准语义熵（通过自适应分布融合量化严重程度）的三阶段流程。
实证优越性：广泛的验证表明，VIHD 在多样化的医疗 VQA 基准测试和模型架构中，始终优于最先进的内省方法。

实验结果

作者在三个医疗 VQA 基准测试（VQA-RAD、SLAKE和VQA-Med-2019）上，使用两种医疗多模态大语言模型（Hulu-4B和Lingshu-7B）评估了 VIHD。幻觉标签使用 GREEN 模型生成，性能通过 AUC（ROC 曲线下面积）和 AUG（GREEN 曲线下面积）进行衡量。

性能提升：VIHD 始终优于七种竞争方法（包括 token 不确定性、基于一致性和语义不确定性的基线）。
- 在Hulu-4B上，VIHD 在所有问题上将平均 AUC 提高了8.57%，并在 VQA-RAD 数据集上实现了**12%**的 AUC 显著提升。
- 在Lingshu-7B上，它保持了优势，整体平均 AUC 提升了3.22%。
效率：VIHD 的推理时间约为每样本 11.59 秒，与领先的基线 VASE（11.55 秒/样本）相当，表明性能提升是在没有额外计算成本的情况下实现的。
消融研究：
- 移除任何组件（VDP、VID 或 CSE）都会导致性能下降，验证了完整流程的必要性。
- 发现高注意力掩蔽优于随机或低注意力掩蔽，证实了针对显著视觉 token 进行靶向对于有效校准至关重要。
- 确定滑动窗口宽度 $w = L/2$ 和掩蔽比例 $\rho = 10\%$ 为最佳超参数。

意义与主张

该论文主张，VIHD 强调了细粒度视觉依赖对于幻觉检测的重要性。通过将外部启发式扰动转变为基于模型自身注意力机制的内部靶向干预，VIHD 提供了更可靠的信号，用于检测模型何时产生幻觉。

作者将 VIHD 定位为一种部署友好、无需训练的解决方案，它不需要标注的幻觉数据集或外部验证工具。在不同模型容量和数据集特征上的一致性改进表明，该方法有效地解决了多模态大语言模型生成语言上合理但缺乏视觉支持的医疗主张这一核心问题。代码已公开，以促进该领域的进一步研究。