💻 computer science

Mitigating Hallucinations in Large Vision-Language Models via Causal Route Gating

本文提出了一种无需训练的干预方法，称为因果路径门控，通过将注意力头分解为视觉和文本路径，有选择性地抑制文本主导路径同时保留视觉证据，从而减轻大型视觉 - 语言模型中的幻觉问题。

原作者： Zhe Cheng, Wenyu Chen, Fode Zhang, Dehuan Shen

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhe Cheng, Wenyu Chen, Fode Zhang, Dehuan Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型视觉 - 语言模型（LVLM）比作一位非常聪明但略显过度自信的艺术评论家。这位评论家可以端详一幅画作（即图像），并用优美流畅的句子对其进行描述。然而，有时这位评论家会因基于其通用知识所“预期”看到的内容而过于投入，从而描述出实际上并不存在的事物。这种现象被称为幻觉。

例如，如果你向这位评论家展示一张黑香蕉的图片，他们可能会自信地说：“香蕉是黄色的”，因为在其训练数据中，香蕉几乎总是黄色的。他们为了迎合其“文本先验”（即他们认为“应该”存在的内容），而忽视了实际的视觉证据。

问题：大脑内部的拔河

该论文指出，这种现象的发生源于一种隐藏的内部斗争。在模型的“大脑”内部（具体而言是在其注意力机制中），有两条截然不同的路径在参与每一个决策：

视觉路径：该路径观察图像的实际像素。
文本路径：该路径依赖语言模式和通用知识。

通常情况下，这两条路径协同工作。但当幻觉发生时，文本路径在拔河中获胜，压倒了视觉路径。模型明明看到了黑香蕉，但文本路径却大喊：“香蕉是黄色的！”于是模型听从了喊声，而非眼睛的所见。

解决方案：“因果路径门控”

作者提出了一种巧妙的、无需重新训练的修复方案，称为因果路径门控（CRG）。你可以将其想象为在模型内部安装了一个智能交通控制器，该控制器在模型生成回答时实时运行。

其工作原理分步如下：

1. “如果”测试（因果测量）
在模型确定一个词之前，系统会运行一个快速且不可见的测试。它会问：

“如果我们瞬间关闭视觉路径，答案会改变吗？”
“如果我们瞬间关闭文本路径，答案会改变吗？”

这揭示了每条路径的真实影响力。如果文本路径在推动“黄色”，而视觉路径在推动“黑色”，系统就会检测到冲突。

2. “视觉依赖指数”（VRI）
系统会计算模型中每个内部“通道”（称为“头”）的得分。这个得分告诉系统：该通道在多大程度上依赖图像而非文本？

如果一个通道主要听从文本而忽视图像，它的得分就会较低。
如果它正在倾听图像，它的得分就会较高。

3. 选择性静音按钮（门控）
这是神奇之处。系统并非关闭整个通道（这可能会扼杀有用的信息），而是专门针对文本路径应用一个音量旋钮。

轻微冲突：如果文本只是稍微有些嘈杂，系统会稍微调低文本音量。
强烈冲突：如果文本在强行撒谎（例如坚持黑香蕉是黄色的），系统会将文本路径几乎完全静音。
关键在于：视觉路径保持原样，且音量全开。

结果：更诚实的评论家

通过仅在文本路径与视觉证据发生冲突时选择性静音这条“过度自信”的文本路径，模型被迫依赖其实际看到的内容。

之前：“香蕉是黄色的。”（幻觉）
之后：“香蕉是黑色的。”（正确）

为何此法独特

无需重新训练：你不需要重新教导模型。你只需在模型回答问题时微调其思考方式。
精准度：旧方法试图通过调低整个“大脑”的音量，或使用关于注意力去向的粗略猜测来修复幻觉。而这种方法就像外科医生：它找到导致问题的确切微小线路（特定冲突中的文本路径），并只切断那根线路，而让大脑的其他部分保持健康。
效率：它仅给思考过程增加极少量的时间（比正常速度慢约 2 倍，但远快于其他复杂的修复方案），使其在实际应用中具有可行性。

简而言之，该论文教导模型在两者意见不一致时，要相信眼睛而非记忆，从而确保其所说的内容真正基于它所看到的图像。

技术摘要：通过因果路径门控缓解大型视觉 - 语言模型的幻觉

1. 问题陈述

大型视觉 - 语言模型（LVLMs）经常遭受幻觉困扰，生成流畅且看似合理但缺乏输入图像支持的内容。这一问题削弱了 LVLMs 在现实部署中的可靠性，特别是在安全关键或决策支持场景中。

该论文识别出一种特定的失效模式：路径竞争。即使视觉 token 获得了注意力，最终的 token 决策仍可能由文本路径主导。因此，解码器遵循语言先验（什么看起来合理）而非视觉证据（什么实际可见）。现有的无需训练的缓解策略通常依赖基于注意力的代理指标（例如视觉注意力比率 VAR）或粗略的头部重缩放。作者认为这些方法不足，原因如下：

高注意力质量并不必然转化为对输出的因果贡献。
Softmax 归一化可能会通过削弱文本竞争而人为地夸大视觉注意力份额，却并未真正将决策建立在事实基础上。
粗略的重缩放会同时抑制视觉和文本路径，可能会损害真正基于事实的推理。

2. 方法论：因果路径门控（CRG）

所提出的方法**因果路径门控（CRG）**是一种无需训练的推理时干预措施，它通过在 token 级别将注意力头分解为独立的视觉和文本路径来运作。

2.1. 头内部路径分解

作者利用 Transformer 操作的线性特性，将每一层 $l$ 中每个注意力头 $h$ 的输出分解为两个加性分量：

视觉路径（ $O^{vis}_{l,h}$ ）： 源自视觉 token 的贡献。
文本路径（ $O^{txt}_{l,h}$ ）： 源自文本 token 的贡献。
总头输出为 $O_{l,h} = O^{vis}_{l,h} + O^{txt}_{l,h}$ 。

2.2. 决策对齐的因果路径效应（CRE）

CRG 不依赖注意力权重，而是测量每条路径对当前 token 决策分数 $\ell$ （例如生成 token 的对数概率或二元问答的对数几率边界）的因果效应。使用do-干预，效应定义如下：

$\Delta^{vis}_{l,h} = \ell(1, 1) - \ell(0, 1)$ ：移除视觉路径时分数的变化。
$\Delta^{txt}_{l,h} = \ell(1, 1) - \ell(1, 0)$ ：移除文本路径时分数的变化。

正的 $\Delta$ 表示该路径支持决策；负的 $\Delta$ 表示该路径反对决策。

2.3. 冲突识别与视觉依赖指数（VRI）

该方法识别路径冲突，即视觉和文本路径以相反方向推动决策（ $\Delta^{vis}$ 和 $\Delta^{txt}$ 的符号不同）。

冲突 A（+，-）： 视觉支持，文本反对。
冲突 B（-，+）： 视觉反对，文本支持（这是幻觉的标志，即语言先验覆盖了视觉证据）。

为了优先进行干预，作者定义了视觉依赖指数（VRI）：
$VRI_{l,h} = \frac{|\Delta^{vis}_{l,h}|}{|\Delta^{vis}_{l,h}| + |\Delta^{txt}_{l,h}| + \epsilon}$
低 VRI 表示该头部由文本驱动（先验主导）。

2.4. 高效估计与干预

一次前向/一次梯度近似： 计算精确的 do-效应需要多次前向传递。CRG 使用一阶近似，每个 token 仅需一次前向传递和一次梯度查询。估计值源自路径输出与决策分数梯度（ $\nabla \ell$ ）的内积。
冲突感知门控：
1. 在冲突集合中选择 VRI 最低的 top- $k$ 个头部。
2. 应用文本路径门（ $g^{txt}_{l,h}$ ）以抑制文本贡献，同时保持视觉路径完整（ $g^{vis}_{l,h} = 1$ ）。
3. 差异化抑制：
  - 冲突 A： 轻度抑制（门范围 [0.5, 1.0]）以稳定噪声。
  - 冲突 B： 强力抑制（门范围 [0, 0.5]）以切断与视觉证据相矛盾的语言先验。

3. 主要贡献

路径级因果效应： 在注意力头内引入了针对视觉和文本路径的决策对齐因果效应，超越了相关性注意力代理指标。
视觉依赖指数（VRI）： 一种归一化指标，用于识别驱动幻觉的先验主导头部。
高效估计器： 一种一阶估计器，支持以最小的计算开销（一次前向、一次梯度）进行每步头部选择。
冲突感知干预： 一种选择性门控机制，仅在冲突头部中抑制文本路径，从而保留视觉 grounding。
理论分析： 证明了注意力质量（VAR）由于值内容和 softmax 竞争效应，并非决策相关视觉 grounding 的充分代理指标。

4. 实验结果

该方法在五个基准测试上进行了评估，涵盖判别式（POPE, AMBER）和生成式（CHAIR, MMHal-Bench, MME）设置，涉及三个模型（LLaVA-1.5-7B, Qwen-VL-Chat, Qwen2.5-VL-7B-Instruct）。

幻觉减少： CRG 一致地减少了与幻觉相关的错误。在 POPE 基准测试中，其准确率比常规解码提高了6.3% 至 7.0%，并优于 VCD、OPERA 和 VTI 等强基线。
生成性能： 在 CHAIR 上，CRG 实现了最低的幻觉率（CS/CI），同时保持了高召回率，且生成长度仅适度增加。
多模态能力： 在 MME 上，该方法提高了对 grounding 敏感类别（存在性、计数、位置、颜色）以及高级推理任务的性能，表明幻觉的减少并未以牺牲通用多模态性能为代价。
效率： 与常规解码相比，CRG 带来了2.27 倍的延迟开销（约 139ms/步），这与视觉对比解码（VCD）相当，且显著快于 OPERA（7.12 倍）。关键在于，它没有引入额外的峰值 GPU 内存开销（1.00 倍）。

5. 意义与主张

该论文主张，LVLMs 中的幻觉通常是路径竞争不匹配的结果，即语言先验覆盖了视觉证据。通过揭示并干预这些内部路径，CRG 提供了一种针对性解决方案，能够：

恢复视觉 grounding： 即使语言先验暗示不同的答案，它也能让模型依赖视觉证据。
避免 indiscriminate 抑制： 与重缩放整个头部的方法不同，CRG 选择性地仅抑制冲突头部中的文本路径，保留视觉路径。
提供可解释性： 与注意力质量代理指标相比，使用因果效应和 VRI 能更清晰地诊断模型产生幻觉的原因（即文本先验在哪些特定头部覆盖了视觉证据）。

6. 局限性

作者明确指出了若干局限性：

范围： CRG 针对由冲突介导的幻觉。它无法纠正视觉和文本路径共享相同偏差的错误（例如，视觉编码器本身存在偏差导致的“粉色香蕉”），也无法纠正由感知/OCR 失败主导的错误。
弱证据： 在视觉证据模糊的情况下，该方法可能变得过于保守，抑制了本可辅助猜测的有用语言先验。
白盒要求： 该方法需要访问内部激活值和梯度，因此未经修改不适用于闭源 API。
开销： 虽然适度，但每个 token 的梯度计算会增加延迟，这对于超长文本生成可能较为显著。