💻 computer science

MHSA: A Lightweight Framework for Mitigating Hallucinations via Steered Attention in LVLMs

本文提出了一种名为 MHSA 的轻量级框架，该框架通过训练一个简单的多层感知机来生成修正后的跨模态注意力模式，从而在不修改底层模型参数的情况下，在多种数据集上实现幻觉抑制。

原作者： Wei Ding, Yilin Li, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Wei Ding, Yilin Li, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明、博览群书的图书管理员（即人工智能），他能够查看一张照片并为你讲述其中的故事。这位图书管理员才华横溢，但他有一个坏习惯：有时，他会因为过于兴奋或自信，而开始编造照片中实际上并不存在的细节。他可能会说：“我看到一辆红色的自行车”，而实际上照片拍摄的只是一个没有任何自行车的宁静公园。这种现象被称为幻觉。

你提供的论文介绍了一种名为MHSA（通过引导注意力缓解幻觉）的新工具，旨在解决这一问题，而无需解雇这位图书管理员或从头重新训练他。

以下是 MHSA 的工作原理，使用简单的类比来说明：

1. 问题：图书管理员的“目光”

当图书管理员查看照片以回答问题时，他并非一次性审视整张图片。他会将“目光”（称为注意力）聚焦在图像的特定部分，以此决定该说什么。

问题所在：当图书管理员产生幻觉时，他的目光往往是“摇摆不定”的，或者看向了错误的地方。例如，如果他说“我看到一只狗”，他的目光可能正飘过一片看起来像狗的草地，而不是聚焦在真正的狗身上。
以往的尝试：在这篇论文之前，研究人员可以构建一个“保安”（检测器）来发现图书管理员何时在撒谎。但这个保安只能说：“嘿，你在产生幻觉！”它无法实时修正图书管理员的目光。其他方法试图用僵硬的规则强迫图书管理员更努力地看，但这些规则就像试图用一把坏掉的方向盘来驾驶汽车——过于僵硬且缺乏适应性。

2. 解决方案：“方向盘”（MHSA）

MHSA 就像是一个安装在图书管理员目光上的智能、轻量级方向盘。它并不取代图书管理员；它只是在图书管理员的目光开始游移时，轻轻地将其推回正确的方向。

以下是逐步过程：

步骤 1：检查（保安）：在图书管理员给出最终答案之前，一个小型的、经过预训练的“保安”（基于名为 DHCP 的先前研究）会快速扫描图书管理员当前的目光。它会问：“图书管理员是否在看正确的东西，还是他在编造内容？”
步骤 2：轻推（生成器）：如果保安回答“是的，他们在产生幻觉”，一个微小、快速的计算机程序（一个被称为生成器的简单三层“大脑”）就会介入。
- 可以将这个生成器想象成一位纠正教练。它观察图书管理员摇摆的目光，并计算出一个微小的调整量。
- 它不会重写整个故事；它只是轻微地移动目光，使其落在照片中实际存在的物体上。
步骤 3：修正：图书管理员的目光被“引导”到新的、正确的位置，然后他根据此刻实际看到的内容给出答案。

3. 为何这很特别？

论文强调了该方法的三个主要优势：

轻量级（“附加组件”方法）：想象你有一座庞大而昂贵的图书馆建筑（即大型 AI 模型）。你不需要将其拆除并重建。MHSA 就像是在入口处添加的一个小型便携式亭子。它训练一个微小、简单的助手来修正目光，而让庞大的图书馆保持原样。这节省了巨大的时间和金钱。
它是学习的，而不仅仅是猜测：旧方法使用固定规则（例如“总是看中心”）。MHSA 则不同；它通过观察成千上万个“坏目光”和“好目光”的示例来学习如何修正目光。它能适应图书管理员当下正在犯的具体错误。
它既适用于“是/否”问题，也适用于故事生成：
- 判别式任务：如果你问“有飞机吗？”，如果实际上没有，MHSA 会帮助图书管理员正确地回答“没有”。
- 生成式任务：如果你要求图书管理员为照片写一个故事，MHSA 会在他们逐字撰写故事的过程中，帮助他们避免编造细节（例如编造不存在的“罐头食品”）。

4. 结果

研究人员在几种不同类型的聪明图书管理员（如 Qwen、InternVL 和 LLaVA 等 AI 模型）上测试了这个“方向盘”。

结果：图书管理员犯的错误显著减少。他们不再编造不存在的物体，并开始注意到以前忽略的物体。
权衡：该系统非常高效，仅增加了微小的延迟（约为正常速度的 0.4 倍），因为它仅在检测到问题时才“引导”目光。大多数时候，图书管理员的目光本来就在正确的位置，因此方向盘处于闲置状态。

总结

简而言之，MHSA 是一个巧妙、低成本的附加组件，充当 AI 的实时目光修正器。它不是强迫 AI 从头学习一切，而是在 AI 开始做白日梦时，温柔地将其注意力引导回现实，从而在不进行大规模改动的情况下，使 AI 更加可靠和值得信赖。

技术摘要：MHSA——一种通过引导注意力减轻大型视觉语言模型幻觉的轻量级框架

1. 问题陈述

大型视觉语言模型（LVLMs）在视觉问答（VQA）和图像描述等多模态任务中展现了卓越的能力。然而，它们存在幻觉问题，即生成与视觉输入不一致或缺失的内容。这些幻觉表现为对象、属性或关系幻觉，严重削弱了模型的可靠性。

现有的缓解策略面临显著局限：

基于训练的方法（如 RLHF、指令微调）需要大量的计算资源和高质量的标注数据，且改进往往局限于特定的训练分布。
推理时方法通常依赖手工设计的、固定的启发式规则（如惩罚函数、静态重加权），无法适应单个输入样本特定的幻觉特征。
对比解码方法（如 VCD、ICD）通常需要通过多次前向传播使推理成本翻倍。

最近的研究 DHCP（通过跨模态注意力模式检测幻觉）表明，幻觉样本与非幻觉样本表现出可区分的跨模态注意力模式。然而，DHCP 仅限于检测，且主要在句子级别运行，缺乏缓解机制。

2. 方法论：MHSA 框架

作者提出了 MHSA（通过引导注意力缓解幻觉），这是一个轻量级、无需训练的框架，通过学习修正跨模态注意力模式，弥合了检测与缓解之间的差距。

核心架构

MHSA 通过一个两阶段的“先检测后修正”流程运行，不修改 LVLM 骨干网络的参数：

判别器（ $D$ ）： 一个预训练的轻量级两层 MLP（源自 DHCP），充当令牌级检测器。它分析跨模态注意力权重以识别幻觉模式。
生成器（ $G$ ）： 一个轻量级三层 MLP，接收原始跨模态注意力张量（ $A$ ）作为输入，并生成修正项（ $\Delta A$ ）。
引导机制： 修正后的注意力计算为 $A' = A + \Delta A$ 。在推理过程中，如果 $D$ 检测到幻觉， $G$ 生成 $\Delta A$ ，LVLM 则使用 $A'$ 代替 $A$ 来生成最终输出。

训练目标

生成器 $G$ 使用包含三个分量的目标进行训练，以确保修正的有效性和稳定性：

判别器引导损失（ $\mathcal{L}_{dg}$ ）： 一种对抗性损失，鼓励生成器将幻觉注意力模式转换为非幻觉模式，由判别器 $D$ 进行判断。
正则化损失（ $\mathcal{L}_{reg}$ ）： 对 $\Delta A$ 的幅度（ $\|\Delta A\|_2^2$ ）进行约束，确保修正是最小且局部的，保留原始注意力语义并防止伪影。
LVLM 输出质量损失（ $\mathcal{L}_{LVLM}$ ）： 一种交叉熵损失，确保修正后的注意力保持或提高 LVLM 生成输出相对于真实值的质量。

对生成任务的适配

虽然 DHCP 最初在句子级别运行，但 MHSA 将其扩展到生成任务（如图像描述）的令牌级修正。

判别器和生成器在图像描述过程中提取的每个令牌的跨模态注意力张量上进行训练。
在推理过程中，系统在每个解码步骤评估注意力。如果特定令牌的注意力模式被标记为幻觉，生成器会在采样该令牌之前应用修正。

3. 主要贡献

首个数据驱动的缓解框架： MHSA 是首个通过学习跨模态注意力模式的样本自适应修正来缓解 LVLM 幻觉的框架，超越了固定的启发式规则。
令牌级扩展： 作者将基于注意力的检测从句子级别扩展到令牌级别，使其能够在判别式（VQA）和生成式（描述）任务中进行缓解。
轻量且高效： 该框架不修改 LVLM 骨干网络参数。它仅训练一个小型 MLP 生成器，并利用预训练的判别器，与 LVLM 的推理成本相比，引入的计算开销微乎其微。
全面评估： 该方法在多个最先进的 LVLM（Qwen2.5-VL、InternVL2、LLaVA-v1.5）和多样化数据集（MSCOCO、Objects365、OpenImages、Flickr30k）上进行了验证。

4. 实验结果

判别式任务（POPE 基准）

性能： MHSA 在所有测试模型和数据集上均实现了 F1 分数的持续显著提升。例如，在 Qwen2.5-VL-7B 与 MSCOCO 上，MHSA 将 F1 分数提高了 +7.42 分（从 85.55 提升至 92.97），召回率提高了 +15.78 分。
泛化性： 该方法在不同模型架构和数据集上表现出强大的泛化能力。关键在于，它展示了稳健的**分布外（OOD）**性能；在一个数据集（如 Objects365）上训练的模型，在另一个数据集（如 COCO）上测试时能有效缓解幻觉，这表明学到的修正捕捉到了根本的幻觉特征，而非特定数据集的伪影。

生成式任务（图像描述）

幻觉减少： 在 Flickr30k 数据集上，MHSA 将句子级（ $CHAIR_s$ ）和实例级（ $CHAIR_i$ ）的幻觉率降低了 44%，同时召回率仅轻微下降（3.9%）。
权衡： 该方法成功平衡了幻觉抑制与内容保留，避免了基于激进的启发式方法中常见的严重召回率下降。

效率

延迟： MHSA 在 POPE-COCO 基准测试中仅引入了 0.43× 的摊销延迟增加。这是因为轻量级判别器筛选所有样本，而生成器仅在被标记为幻觉的少数样本（对抗性 POPE 设置中约为 12.3%）上被调用。这比需要为每个样本固定增加约 1.0× 开销的对比解码方法要高效得多。

5. 意义与主张

该论文声称，MHSA 通过将跨模态注意力机制从单纯的检测扩展到主动缓解，为幻觉研究提供了新颖的视角。

机制洞察： 可视化证实 MHSA 充当了一种有针对性的修正机制。它将注意力集中在与任务相关的区域并降低空间熵，有效地将模型从幻觉模式中“引导”出来，而无需广泛扰动注意力结构。
实用性： 通过避免全模型微调并最小化推理开销，MHSA 提供了一种实用、可部署的解决方案，用于增强 LVLM 在现实世界应用中的可靠性。
局限性： 作者指出，虽然 MHSA 显著改善了指标，但它并非万能药；未来的工作需要探索更具表现力的生成器架构和更广泛的模型覆盖。

总之，MHSA 利用注意力模式与幻觉之间的相关性，创建了一个轻量级、数据驱动的框架，有效减少了判别式和生成式 LVLM 任务中的幻觉，在效率和泛化性方面优于现有的启发式和基于训练的方法。