💻 computer science

MLLMs Hallucinate when Information Distribution Drifts in Synergy Heads

该论文提出了 HEAL，这是一个通过分析协同头（synergy heads）中的信息分布漂移，并应用动态校准以将输出引导向事实证据，从而识别并缓解多模态大语言模型中幻觉问题的创新框架。

原作者： Meng'en Qin, Junye Chen, Jucheng Liu, Youlu Xing, Song Wang, Ruize Han

发布于 2026-09-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Meng'en Qin, Junye Chen, Jucheng Liu, Youlu Xing, Song Wang, Ruize Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

多模态大语言模型是一类强大的新型人工智能，旨在同时实现视觉与语言的处理。与处理文本或图像的孤立传统系统不同，这些模型可以观察照片并进行描述、针对照片回答问题，或根据所见内容讲述故事。它们通过将两种截然不同的信息流编织在一起来工作：来自图像的视觉数据和从海量文本中学习到的语言模式。为了使这些系统在医疗影像或自动驾驶等高风险领域真正发挥作用，它们必须具备可靠性。然而，它们经常受到一种被称为“幻觉”的问题困扰。当模型生成的响应听起来自信且合理，但在视觉世界中却是事实错误时（例如，声称一张猫的照片包含一只狗，或者虚构图像中根本不存在的细节），就会发生这种情况。

长期以来，研究人员一直认为这些错误是由于模型过度关注其内部语言知识，而对实际图像关注不足造成的。普遍观点认为，随着模型生成答案的过程，它会偏离图像，过度依赖仅基于文字所预期的内容。为了解决这个问题，以往的尝试侧重于强迫模型更努力地观察图像，或者通过从头开始重新训练整个系统。这些方法通常将模型视为一个“黑盒”，仅从外部调整其行为，而不理解产生错误的内部机制究竟是什么。

深圳先进技术研究院的一个研究小组现在深入观察了这些模型的“引擎内部”，以寻找一个不同的解释。他们提出，幻觉并非由简单的缺乏图像注意力或模型完全忽略图像引起的。相反，他们发现，当模型内部特定处理网络中的视觉与语言信息之间的平衡变得不稳定时，错误就会发生。研究人员开发了一种名为 HEAL 的方法，即“头级信息解耦与校准”（Head-lEvel information disentAnglement and caLibration），用于实时识别并纠正这种不平衡。

他们的核心发现在于模型处理信息的方式。在这些大型模型内部，存在许多被称为“注意力头”（attention heads）的小型处理单元。可以将这些“头”想象成一组协同工作的专家团队，用以理解一个句子。有些专家纯粹关注单词，有些纯粹关注图像，而第三组专家则致力于将两者融合在一起。研究人员发现，负责融合这两股信息的这组专家——他们称之为“协同头”（synergy heads）——正是问题产生的源头。当模型正常工作时，这些协同头能维持健康的平衡，使视觉信息和语言信息保持稳定的比例。然而，当模型开始产生幻觉时，这种平衡就会发生偏移。这些融合头内部的信息分布会偏离健康的平衡状态，导致模型失去对视觉证据的锚定。

至关重要的是，研究人员排除了这样一种观点，即幻觉的发生是因为观察图像的专家不够多，或者图像专家的力量太弱。他们的分析表明，无论模型是在陈述事实还是在撒谎，专注于视觉的注意力头数量保持不变。问题不在于视觉注意力的匮寡，而在于融合专家处理信息混合的方式发生了漂移。当模型生成正确的描述时，协同头会让视觉输入和语言输入保持稳定的比例。当模型产生幻歇时，该比例会发生倾斜，通常过度倾向于语言模式，而视觉连接则随之减弱，尽管图像仍然存在。

为了解决这个问题，该团队创建了一种动态校准策略，其作用类似于一个实时调节器。HEAL 并不通过重新训练模型或改变其架构来干预，而是在生成过程中进行干预。它监测流经协同头的信息，并检测平衡何时开始发生漂移。一旦检测到漂移，系统就会注入一个校准因子，轻轻地将视觉和语言信息推回正确的平衡状态。这个过程是持续且具有自适应性的；它不会强迫模型忽略语言或过度关注图像，而是将内部表示引导回视觉证据与语言语境能够得到正确权衡的状态。

研究人员在包括 LLaVA 和 Qwen 版本在内的几种最先进模型上测试了这种方法。结果在不同系统和任务中表现一致。通过应用这种动态校准，模型在保持流畅度和创造性的同时，显著减少了幻觉的产生。在旨在衡量模型发明图像中不存在物体的测试中，这种新方法比以往试图单纯提升视觉注意力的技术更有效地降低了错误率。这项研究表明，这类系统实现可靠性的关键不仅在于让它们更努力地观察图像，还在于确保视觉与语言的内部融合保持稳定。

这项工作为人工智能如何理解世界提供了新的视角。它表明，可靠性不仅取决于拥有足够的数据或强大的硬件，还在于维持不同类型信息之间微妙的内部平衡。通过识别这种平衡破裂的具体点并提供一种简单的恢复方式，研究人员为构建更值得信赖的多模态系统开辟了一条路径。该方法具有轻量化特征，不需要重新训练所需的巨大计算资源，这使其成为提高“看与说”类 AI 准确性的实用工具。研究结果表明，未来提升 AI 可靠性的方向可能在于微调这些内部关系，而非从头开始构建更大、更复杂的模型。

技术摘要：HEAL —— 用于多模态大语言模型（MLLM）幻觉的头级信息解耦与校准

1. 问题陈述

多模态大语言模型（MLLMs）经常遭受幻觉问题的困扰，即生成的响应虽然流畅，但在事实层面与视觉上下文不一致。这一问题阻碍了它们在医疗成像等高精度领域的部署。现有的缓解策略面临两个主要局限性：

宏观层面方法（如重训练、微调、强化学习）将模型视为黑盒，缺乏对其内部机制的可解释性。
微观层面方法（如解码优化、基于注意力的增强）通常依赖于注意力权重或 FFN 激活等间接信号。这些方法无法捕捉实际的因果信息分布和混杂协同效应。此外，单模态注意力增强往往会造成“跷跷板”困境：增强视觉注意力会截断创造性响应，而过度依赖语言则会加剧视觉幻觉。

本文认为，当前的方法未能准确反映幻觉生成背后的实际信息偏移，特别是在视觉与语言模态的交互过程中。

2. 方法论：HEAL

作者提出了 HEAL（Head-lEvel information disentAnglement and caLibration，头级信息解耦与校准），这是一个无需训练的推理时框架，旨在通过分析和调节注意力头内的信息分布来识别并缓解幻觉。该方法由三个核心阶段组成：

A. 因果噪声干预（过滤冗余头）

为了识别不重要的头，HEAL 采用了因果噪声干预。该方法并非依赖投影权重，而是使用分布匹配的高斯噪声替换特定注意力头 $i$ 的输出，并利用向量相似度测量层表示的变化。

对于因果贡献微乎其微的头（即信息贡献得分 $I(t,l,i)$ 低于统计阈值 $\mu - 3\sigma$ ），将其归类为因果冗余并从后续分析中排除。

B. 反事实差分法（头分类）

对于剩余的非冗余头，HEAL 利用**部分信息分解（PID）**理论来解耦信息分布。通过构建四个反事实输入（分别掩盖视觉标记、语言标记、两者或均不掩盖）并使用高斯噪声，该方法计算出：

总信息量 ( $I_{total}$ )：全量输入与完全掩盖输入之间的差异。
语言信息 ( $I_{lang}$ )：当视觉标记被掩盖时的二阶差分。
视觉信息 ( $I_{vis}$ )：当语言标记被掩盖时的二阶差分。
协同效应 ( $I_{syn}$ )：残差交互项（ $I_{total} - I_{vis} - I_{lang}$ ）。

基于这些指标，头被分为四类：

冗余头 (Redundant Heads)：总信息量极小。
视觉头 (Visual Heads)：高视觉信息，低/负语言信息。
语言头 (Language Heads)：高语言信息，低/负视觉信息。
协同头 (Synergy Heads)：对两种模态均有正向贡献。这类头会被进一步分析其视觉-语言比例。

C. 动态信息校准

HEAL 的核心洞察是：幻觉的发生是因为协同头中的信息分布偏离了健康的平衡状态，而非仅仅因为视觉或语言头的数量或强度不足。

平衡因子 ( $\alpha$ )：引入一个超参数（类似于温度），用于定义目标视觉-语言平衡。
校准机制：在推理过程中，HEAL 动态计算协同头内视觉和语言标记的值向量（Value Vectors）的校准因子 $\beta$ 和 $\gamma$ 。这些因子将信息分布重新导向目标 $\alpha$ ：
$\frac{\beta I_{vis}}{\beta I_{vis} + \gamma I_{lang}} = \alpha$
实现方式：此校准应用于 KV-cache 更新之后、注意力算子执行之前，作用于值向量（ $V_{vis}, V_{lang}$ ），从而在不破坏内部实现的情况下确保与 FlashAttention 和 PagedAttention 的兼容性。

3. 主要发现与观察

通过对 LLaVA-NeXT 和 Qwen3-VL 等模型的广泛分析，作者观察到：

协同头漂移 (Synergy Head Drift)：幻觉与协同头内信息分布的漂移存在因果联系，而非由特定模态（视觉/语言）头的数量或强度引起的。
动态相位转换 (Dynamic Phase Transitions)：注意力头的角色具有高度动态性。在生成过程中，头会经历任务驱动的相位转换（例如，协同头在处理以语言为中心的标记时会退化为语言头）。
因果关系：双向因果分析证实，人为降低正确响应中的视觉信息会诱发幻觉，而增加幻觉响应中的视觉信息则能缓解幻觉。

4. 实验结果

HEAL 在多种 MLLMs（LLaVA 系列、Qwen 系列、InternVL 系列）和基准测试（POPE, CHAIR, MME, LLaVA-Bench, MMHal-Bench, BLINK-Twice）上进行了评估。

幻觉减少：HEAL 一致优于现有的先进无需训练方法（如 EAH, VCD, OPERA, TAME）。在 POPE 基准测试中，HEAL 达到了 87.7 的 F1 分数（基线为 85.4），并显著降低了 CHAIR 分数（幻觉率）。
通用能力：与某些会导致性能下降的方法不同，HEAL 提升了 MME 和 LLaVA-Bench 等综合基准的表现，证明了减少幻觉并不需要牺牲语言连贯性或推理能力。
效率：尽管 HEAL 由于反事实分析引入了计算开销，但通过采用周期性更新（每 10 步一次）和并行化张量操作，它仍然比其他注意力头校准方法（如 EAH）更高效（快 1.58 倍）。

5. 重要性与主张

本文提出了以下贡献与意义：

新的可解释性：HEAL 提供了一个细粒度的、头级的可解释视角，深入研究 MLLM 内部，超越了间接的注意力权重，转向实际的信息分布。
因果洞察：它确定了协同头内的视觉-语言信息失衡是一个可干预的因果因素，挑战了“幻觉仅由视觉注意力不足引起”的观点。
理论基础：该方法得到了定理的支持，证明了校准值空间等同于校准信息分布，且平衡因子会对输出对齐产生单调方向性影响。
实用价值：HEAL 提供了一种简单、即插即用的路径，可以在无需重训练的情况下增强模型的可信度，有效地将输出引导至符合事实证据的方向，同时保持语言流畅度。

作者承认了局限性，指出 HEAL 无法解决源于早期视觉编码失败或输入中本质缺乏视觉证据的幻觉，因为它是在现有的内部表示上进行操作。未来的工作建议探索自适应校准策略以及与模型训练更紧密的集成。