💻 computer science

Dual-Pathway Circuits of Object Hallucination in Vision-Language Models

本文提出双通路电路分析方法，以识别和表征视觉语言模型中不同的视觉 grounding 与幻觉通路，证明针对性抑制幻觉通路可在保持准确性的同时将物体幻觉减少高达 76%。

原作者： Jiaxin Liu, Ding Zhong, Yue Wang, Zhidong Yang, Zhaolu Kang, Guangyuan Dong, Qishi Zhan, Pengcheng Fang, Aofan Liu

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaxin Liu, Ding Zhong, Yue Wang, Zhidong Yang, Zhaolu Kang, Guangyuan Dong, Qishi Zhan, Pengcheng Fang, Aofan Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的机器人助手，它能查看图片并描述所见内容。有时，这个机器人表现卓越；但有时，它又会变得过于自信，开始描述实际上并不存在的事物——比如，当图片只是一条安静的郊区街道时，它却说：“我看见一只金鹰飞过房屋上空。”这种现象被称为幻觉。

长期以来，科学家们将这些机器人视为“黑箱”。他们能看到机器人犯错，却不知其大脑内部究竟为何或如何发生错误。他们试图通过调整机器人的训练方式或表达方式来修复问题，但这些修复往往碰运气，且在不同类型的机器人身上效果不佳。

这篇论文《物体幻觉的双通路电路》就像是将机器人拆解，以观察其实际的内部线路。研究人员旨在找出机器人内部导致其歪曲所见事物的具体电路。

以下是他们发现的故事，以通俗易懂的方式呈现：

1. 双轨系统（双通路）

研究人员发现，在这些视觉 - 语言模型内部，并非只有杂乱的线路。信息在两条截然不同的“高速公路”或通路上运行：

真理高速公路（视觉 grounding 通路）： 这是一组神经元团队，它们查看图片并说：“嘿，这里没有鹰，只有一栋房子。”这条通路帮助机器人讲真话。
谎言高速公路（幻觉通路）： 这是另一组神经元团队，它们会兴奋地说：“鹰！我看见一只鹰！”即使实际上并没有。这条通路驱动了错误的发生。

最酷的部分是？他们在五种完全不同的机器人“大脑”（不同架构）中发现了相同的双轨系统。这就像发现无论是福特还是法拉利，每辆汽车都有发动机和变速箱，即使零件看起来略有不同。这表明，这些机器人学会产生幻觉的方式是其训练的根本组成部分，而不仅仅是某种特定设计的怪癖。

2. “极性翻转”（卡住的开关）

研究人员做了一件巧妙的事。他们使用了一种称为**激活修补（Activation Patching）**的技术。想象一下，你有一段机器人正常工作的视频，还有一段它犯错的视频。然后，你将“正确”视频中的特定线路交换到“错误”视频中，看看这是否能修复错误。

他们在真理高速公路中发现了一种奇怪的行为：

当机器人正确时，真理高速公路的线路处于激活状态，说着：“没有鹰！”（正信号）。
当机器人产生幻觉时，那些相同的线路却翻转了它们的符号！它们开始说：“是的，有鹰！”（负信号）。

这就像一盏通常显示“停止”（红灯）以保障安全的交通灯。但当机器人产生幻觉时，同一盏灯却翻转为“通行”（绿灯），指示机器人撞向墙壁。研究人员意识到，机器人并非只是“缺失”了视觉证据；它实际上是在滥用那些本应用于寻找真相的电路来支持它的谎言。

3. “冗余备份”问题

他们还发现，真理高速公路是冗余的。这意味着有许多备份线路在做同样的工作。如果你切断一根线路，其他线路会补上缺口。这对稳定性是好事，但这使得仅通过微调某一部分来修复机器人变得困难。

然而，谎言高速公路则不同。它更像是一个特定的、集中的线路组，一旦它们被触发，就会将机器人推向错误的答案。

4. 修复方案：调低“谎言团队”的音量

为了证明他们理解了问题，研究人员尝试了一种“手术式”修复。他们不是重新训练整个机器人，而是简单地调低（缩小输出）谎言高速公路中特定线路的音量。

结果： 他们将机器人的幻觉减少了高达76%（几乎消除了谎言），同时几乎没有损害其讲真话的能力。
局限： 他们曾试图通过推动机器人朝单一“方向”（例如一个通用的“停止撒谎”命令）来修复它，但效果不佳。这证明“谎言高速公路”并非一个简单的单一开关；它是一个复杂的线路组，以不同方式协同工作。你必须调低特定线路组的音量，而不仅仅是按下一个通用按钮。

5. 修复方案是否处处有效？

研究人员测试了这种“谎言高速公路”是否对所有类型的谎言都相同。

物体存在性： “那里有鹰吗？”（是/否）。修复效果极佳。
关系： “鹰是在房屋上面吗？”修复在这里也效果良好。
属性： “鹰是金色的吗？”修复无效。

这表明，虽然机器人有一个特定的“幻觉电路”用于断言不存在的事物存在，但描述细节（如颜色）可能是完全不同的另一类问题。

总结

简而言之，这篇论文就像是一位机械师发现汽车的发动机有一个特定的“抖动”电路，导致其点火失败。他们发现：

所有这些聪明的机器人“大脑”都拥有相同的“真理”和“谎言”电路。
“真理”电路有时会被劫持以支持“谎言”。
通过简单地调低“谎言”电路的音量，他们可以让机器人停止编造它未曾看见的事物，而无需重建整个发动机。

这为我们提供了一张清晰的地图，揭示了这些模型如何失败，这是构建真正可靠的机器人的第一步。

技术摘要：视觉 - 语言模型中物体幻觉的双通路电路

问题陈述

视觉 - 语言模型（VLMs）在连接视觉感知与自然语言理解方面取得了显著性能。然而，它们经常遭受物体幻觉的困扰，即模型描述了输入图像中不存在的实体、属性或关系。这种行为反映了模型过度依赖以文本为中心的 priors（先验），而非视觉证据，从而限制了模型的可靠性和可解释性。

现有的缓解策略（例如训练时对齐、解码约束、事后修正）大多将 VLMs 视为黑盒，通过修改输入或解码过程来干预，而未探究驱动幻觉的内部计算机制。因此，这些方法通常具有模型特异性，难以在不同架构间泛化。此外，尽管机械可解释性已被应用于语言模型以识别事实回忆等行为的相关电路，但将其应用于 VLMs 却充满挑战，原因在于视觉表征与语言组件的整合，以及现代 VLMs 架构的多样性。

方法论

作者提出了双通路电路分析（Dual-Pathway Circuit Analysis），这是一个旨在识别和表征跨不同架构 VLMs 中幻觉相关电路的框架。该研究在五个 VLMs（Qwen3-VL、LLaVA、Llama-3.2-Vision、InternVL3-8B 和 InternVL3-14B）上，利用 POPE 对抗基准，采用三阶段分析策略。

1. 用于电路发现的激活修补（Activation Patching）

作者将激活修补扩展至 VLMs，通过在输入层用高斯噪声（3σ）破坏视觉 token 嵌入，将准确率驱动至随机水平。随后，他们将“干净”运行中的特定组件（注意力子层或 MLP 子层）恢复到“损坏”运行中。

间接效应（IE）： 计算修补运行与损坏运行之间对数几率差（logit differences）的差值。
电路提取： 根据正确样本与幻觉样本比较的 Cohen's d（效应量）的符号，将组件分类为两条通路：
- 视觉 grounding 通路（ $d > 0$ ）： 在正确样本上具有更大间接效应的组件。
- 幻觉通路（ $d < 0$ ）： 在幻觉期间具有更大间接效应的组件。

2. 条件通路分析（CPA）

为了超越单组件分析，作者引入 CPA 以表征通路层面的交互。

冗余与协同： 通过比较同时恢复所有通路组件的联合效应与个体效应之和，他们确定组件是携带重叠信息（冗余）还是互补片段（协同）。
极性翻转检测： CPA 专门调查组件的因果贡献是否在正确样本与幻觉样本之间发生符号变化，这是标准组件级分析无法察觉的特征。

3. 因果验证与迁移

靶向抑制： 作者在推理过程中（无需重新训练）通过缩放幻觉通路组件的输出（ $s \in \{0.0, 0.25, 0.5, 0.75\}$ ）进行因果干预。
基线： 他们将每组件缩放与静态方向干预（均值差投影和推理时干预 [ITI]）及随机组件控制进行比较。
泛化性： 在 POPE 的不同划分和 AMBER 基准（涵盖存在性、属性和关系幻觉）上测试已识别的电路，以评估其可迁移性。

主要结果

1. 共享双通路组织的发现

在所有五个不同的 VLMs 中，分析揭示了一致的双通路结构：

视觉 grounding 通路： 集中在中后期层。
幻觉通路： 集中在早期层和网络边界。
这种组织形式在不同的骨干网络家族、视觉整合策略（例如交叉注意力与投影器）以及模型规模下均持续存在，表明该结构是在训练过程中形成的，而非继承自特定架构。

2. 极性翻转与冗余

CPA 揭示了两个关键发现：

Grounding 通路极性翻转： 在正确样本上，grounding 组件支持真实情况（ $d > 0$ ）。在幻觉样本上，这些相同的组件发生极性翻转（ $d < 0$ ），主动支持幻觉答案。这表明"grounding"表征并未缺失，而是被模型的非视觉输出 priors 所同化。
一致的冗余： 两条通路在正确样本和幻觉样本中均表现出强烈的子集内冗余（联合效应幅度显著小于个体效应之和）。冗余在幻觉期间并未消散，而是冗余副本被重新定向。

3. 因果干预的有效性

抑制成功： 靶向抑制幻觉通路组件将物体幻觉减少了40% 至 76%（相对减少），且准确率损失极小（ $\le 2$ 个百分点）。
优于静态方向： 每组件缩放的表现优于静态方向基线（ITI 和均值差投影）。作者将此归因于幻觉信号是多方向的；主导奇异方向仅捕获了 45–69% 的方差，限制了单方向干预的有效性。
特异性： 抑制 grounding 通路导致准确率崩溃至随机水平，证实了双重分离：抑制幻觉通路可在不破坏任务性能的情况下减少错误，而消融 grounding 通路则摧毁了任务本身。

4. 选择性迁移

已识别的电路在幻觉类型之间表现出选择性迁移：

关系幻觉： 该干预能有效迁移至关系幻觉（减少 36–47%），表明其与物体存在性幻觉共享机制。
属性幻觉： 该干预未能显著减少属性幻觉，暗示属性错误涉及不同的电路（例如不精确的视觉特征提取），未被物体存在性通路所捕获。

意义与主张

本文声称提供了跨不同 VLM 架构的物体幻觉的首次机械表征。其主要贡献如下：

机械洞察： 它指出物体幻觉由共享的双通路结构驱动，其中 grounding 组件发生极性翻转，在错误期间将视觉证据重定向至语言 priors。
方法学进展： 它证明了通路级分析（CPA）能揭示单组件修补所遗漏的关键特征（极性翻转）。
因果验证： 它确立了针对特定组件的靶向抑制可因果性地减少幻觉，从而验证了电路假设。
局限性与范围： 作者谦逊地指出，虽然其电路提取和抑制验证了该机制，但提出的缩放方法是一种因果探针，而非可部署的缓解策略。他们强调，该干预仅选择性迁移至关系幻觉而非属性幻觉，表明不同类型的幻觉可能需要不同的电路提取。

该研究得出结论：VLMs 中的物体幻觉并非架构伪影，而是一种习得的机械结构；有效的干预需要解决幻觉信号的多方向性质，而非依赖静态线性方向。