💻 computer science

VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs

该论文提出了一种无需训练的 VGS-Decoding 方法，通过计算视觉 grounding 分数来动态调整解码概率，有效抑制了医疗视觉语言模型在推理过程中因过度依赖语言先验而产生的幻觉，并在多个基准测试中显著提升了生成内容的准确性与召回率。

原作者： Govinda Kolli, Adinath Madhavrao Dukre, Behzad Bozorgtabar, Dwarikanath Mahapatra, Imran Razzak

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Govinda Kolli, Adinath Madhavrao Dukre, Behzad Bozorgtabar, Dwarikanath Mahapatra, Imran Razzak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 VGS-Decoding 的新方法，专门用来解决医疗人工智能（AI）在“看图说话”时容易胡编乱造（幻觉）的问题。

为了让你轻松理解，我们可以把医疗 AI 想象成一位刚入职的实习医生，而 VGS-Decoding 就是他的**“防忽悠听诊器”**。

1. 问题：实习医生为什么会“胡编乱造”？

现在的医疗 AI（视觉语言模型）非常聪明，能看懂 X 光片、CT 片，并回答医生的问题。但是，它们有一个致命的弱点：太依赖“死记硬背”的常识，而不是真正“看”图片。

比喻：想象这位实习医生背过一本厚厚的《医学题库》。当病人问：“心脏在左边还是右边？”
- 正常情况：医生会看 X 光片，确认心脏位置，然后回答。
- 幻觉情况：如果 X 光片有点模糊，或者医生走神了，他可能会想：“哎呀，99% 的人心脏都在左边，书上也是这么写的。”于是，即使图片里心脏在右边，他也会自信地回答“在左边”。
- 后果：在医疗领域，这种“自信的错误”可能导致误诊，非常危险。

2. 核心发现：如何识别“胡编乱造”？

作者发现了一个有趣的现象：真正看图得出的结论，和图片质量有关；而靠死记硬背得出的结论，和图片质量无关。

比喻：
- 看图说话（靠谱）：如果你把 X 光片弄脏一点、模糊一点（比如加层噪点），医生就看不清了，他回答“心脏在右边”的信心就会下降。
- 死记硬背（胡编）：如果医生是背答案，哪怕你把图片涂成黑块，他依然会自信满满地回答“心脏在左边”，因为他的答案来自脑子里的“题库”，而不是眼前的图片。

3. 解决方案：VGS-Decoding（防忽悠听诊器）

作者发明了一种不需要重新训练 AI，就能在 AI 回答问题时实时“纠错”的方法，叫 VGS-Decoding。

它的工作流程就像这样：

双重检查：当 AI 准备回答一个问题时，系统会同时做两件事：
- 让 AI 看原图。
- 让 AI 看一张被人为弄脏、模糊的“坏图”（加了噪点）。
计算“视觉依赖分” (VGS)：
- 系统比较 AI 对这两个图给出的答案概率。
- 如果 AI 看“坏图”时，某个词（比如“肿瘤”）出现的概率大幅下降，说明这个词是真的看图看出来的（得分高，靠谱）。
- 如果 AI 看“坏图”时，某个词（比如“左肺”）出现的概率没变甚至更高，说明这个词是瞎编的（得分低，危险）。
动态调整：
- 系统会像一个严厉的导师，放大那些“看图看出来的”靠谱词汇的概率。
- 同时压制那些“瞎编乱造”的词汇概率。
- 对于那些无关紧要的词（比如“是”、“的”），保持原样。

4. 为什么这个方法很厉害？

不用重新培训：就像给现有的 AI 戴上一副“防忽悠眼镜”，不需要花几个月去重新教它，直接就能用。
精准打击：以前的方法像“大锤砸核桃”，不管三七二十一，把可能错的词都删掉，结果把对的词也删了。VGS-Decoding 像“手术刀”，只切掉那些真正“不靠谱”的词，保留正确的。
效果显著：在测试中，这个方法让几款主流的医疗 AI 准确率提升了 9% 左右。更重要的是，以前的方法有时候会让 AI 变得更笨（准确率下降），但这个方法对所有的 AI 都有帮助，没有副作用。

总结

简单来说，VGS-Decoding 就是给医疗 AI 装了一个实时质检员。

当 AI 想回答“这是什么病”时，质检员会悄悄把图片弄模糊一下，看看 AI 是不是真的“看清”了。如果 AI 在模糊图片下依然坚持某个答案，质检员就会说：“嘿，你这是在背答案吧？别乱说！”然后强行修正 AI 的回答。

这让医疗 AI 在临床应用中变得更加诚实、可靠，减少了因为“过度自信”而导致的医疗风险。

以下是基于论文《VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs》的详细技术总结：

1. 研究背景与问题 (Problem)

医疗视觉语言模型（Medical VLMs）的幻觉问题：
尽管像 LLaVA-Med、CheXagent 等医疗 VLM 在临床任务（如视觉问答 VQA、报告生成）中表现出色，但它们存在严重的“幻觉”现象。模型往往过度依赖**语言先验（Language Priors）而非视觉证据（Visual Evidence）**来生成回答。

风险：在医疗场景中，这种幻觉可能导致事实性错误的诊断建议，引发误诊或不当的临床决策，带来极高的安全风险。
现有方法的局限性：现有的通用领域幻觉缓解方法（如 VCD、DoLA、OPERA）在医疗 VQA 任务中往往失效，甚至导致性能下降（部分实验显示性能下降超过 6%）。这是因为医疗回答通常较短、术语专业，且对解剖位置和病理细节的精确性要求极高，激进的修正策略容易破坏模型的语义连贯性。

2. 核心洞察 (Key Insight)

作者发现幻觉 token 与视觉 grounded（基于视觉）token 在视觉信息退化时表现出截然不同的行为特征：

视觉 grounded 的 token：当图像被噪声干扰（视觉信息受损）时，其生成概率会下降，因为模型失去了支撑该 token 的视觉证据。
幻觉 token：当图像被噪声干扰时，其生成概率保持不变甚至上升，因为这些 token 主要由语言先验驱动，不依赖具体的视觉内容。

3. 方法论：VGS-Decoding (Methodology)

作者提出了一种无需训练（Training-free）的推理阶段方法，名为视觉 grounding 分数引导解码（VGS-Decoding）。

3.1 视觉 Grounding 分数 (Visual Grounding Score, VGS)

VGS 是一个量化每个 token 视觉依赖程度的指标。

图像扰动：对原始输入图像 $V$ 添加高斯噪声和泊松噪声，生成扰动图像 $V'$ 。
概率分布对比：
- 计算原始图像下的 token 概率分布 $P_{orig}$ 。
- 计算扰动图像下的 token 概率分布 $P_{dist}$ 。
VGS 计算公式：
$VGS(t) = \frac{P_{orig}(t) - P_{dist}(t)}{P_{orig}(t) + P_{dist}(t)}$
- 范围： $[-1, +1]$ 。
- 正值：表示该 token 是视觉 grounded 的（概率随图像退化而下降）。
- 负值：表示该 token 可能是幻觉（概率随图像退化而上升或不变）。
- 接近 0：表示视觉独立性（如功能词）。

3.2 自适应重加权解码 (Adaptive Reweighting)

利用 VGS 对原始概率分布进行乘性重加权，以放大 grounded token 并抑制幻觉 token：
$P_{final}(t) \propto P_{orig}(t) \times \max(1 + \alpha \cdot VGS(t), \delta)$

$\alpha$ ：控制重加权强度的超参数。
$\delta$ ：防止概率为零的小常数。
机制：
- 若 $VGS(t) > 0$，放大该 token 概率。
- 若 $VGS(t) < 0$，抑制该 token 概率。
- 若 $VGS(t) \approx 0$ ，保持原概率不变，维持语言连贯性。

3.3 算法流程

对输入图像进行一次性噪声扰动。
在解码的每一步，同时通过原始图像和扰动图像前向传播模型。
计算每个词汇表的 VGS。
应用乘性重加权得到最终概率分布，选择概率最高的 token。
计算开销：仅需 2 倍的标准贪婪解码推理时间（两次前向传播），无需额外的训练或复杂的束搜索（Beam Search）。

4. 实验结果 (Results)

实验设置：

数据集：VQA-RAD（315 张影像，3515 个问答对）和 MIMIC-Diff-VQA（基于 MIMIC-CXR 的纵向分析，13,121 个样本）。
模型：LLaVA-Med (7B), CheXagent (3B), MedGemma (4B)。
对比基线：Greedy Decoding, VCD, DoLA, OPERA。

主要发现：

一致性提升：VGS-Decoding 是唯一一个在所有模型和所有数据集组合上（6/6）均能带来性能提升的方法。
性能增益：
- 在 MedGemma 上取得了最大的整体提升（+9.12%）。
- 在开放域问答（Open-ended）的召回率上提升了 +8.98%。
- 在 LLaVA-Med 和 CheXagent 上也均有显著提升。
对比基线的失败：现有的通用方法（VCD, DoLA, OPERA）在医疗 VQA 上经常导致性能下降（例如 VCD 在 LLaVA-Med 上下降了 5.93%），证明了医疗领域需要专门的解决方案。
消融实验：证明了 VGS 指标本身有效（+0.68%），而结合自适应乘性重加权后效果最佳（+4.11%）。固定权重的对比解码（类似 VCD）在医疗场景下会失效。

5. 主要贡献 (Key Contributions)

问题发现：指出了现有通用幻觉缓解方法在医疗 VQA 任务中的失效现象，并分析了原因（医疗回答短、术语专、需精确）。
新指标提出：提出了视觉 Grounding 分数 (VGS)，通过归一化的概率差异量化 token 级别的视觉依赖性，具有可解释性且范围有界。
新方法提出：设计了VGS-Decoding，一种无需训练的推理策略，通过自适应重加权实现每 token 级别的幻觉抑制。
实证有效性：在多个主流医疗 VLM 和大规模数据集上验证了该方法的有效性，且仅增加 2 倍推理开销，无额外训练成本，适合临床部署。

6. 意义与影响 (Significance)

临床安全性：通过减少医疗 AI 的幻觉，降低了误诊风险，提高了模型在高风险医疗场景下的可靠性。
实用性强：作为一种“即插即用”的推理后处理技术，无需重新训练昂贵的医疗大模型，计算成本可控（2x 开销），易于集成到现有的医疗 AI 系统中。
领域特异性：强调了通用 NLP/CV 方法不能直接照搬到医疗领域，为未来医疗 VLM 的优化提供了新的方向（即利用视觉退化特征来区分幻觉）。

总结：该论文提出了一种高效、无需训练的解码策略，利用视觉信息退化时的概率变化特征来精准识别并抑制医疗 VLM 的幻觉，显著提升了模型在真实医疗问答任务中的准确性和可靠性。