💻 computer science

Mitigating Hallucination in Large Vision-Language Models via Adaptive Attention Calibration

该论文提出了一种名为置信度感知注意力校准（CAAC）的无训练框架，通过视觉令牌校准和自适应注意力重缩放两种策略，有效解决了大型视觉语言模型在开放域和长文本生成中因空间感知偏差和模态偏差导致的幻觉问题，并在多个基准测试中显著优于现有基线方法。

原作者： Mehrdad Fazli, Bowen Wei, Ahmet Sari, Ziwei Zhu

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mehrdad Fazli, Bowen Wei, Ahmet Sari, Ziwei Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 CAAC 的新方法，旨在解决大型视觉 - 语言模型（LVLM）的一个致命弱点：“幻觉”。

简单来说，就是这些 AI 看图说话时，经常自信满满地胡说八道，描述图片里根本没有的东西。

为了让你更容易理解，我们可以把 AI 想象成一个**“有点健忘且爱脑补的导游”，而 CAAC 就是给这位导游配的一个“智能纠错耳麦”**。

1. 问题出在哪？（导游的两大毛病）

现在的 AI 导游在看图说话时，主要有两个坏习惯，导致它开始编故事：

毛病一：管中窥豹（空间感知偏差）
- 比喻：想象导游手里拿着一张巨大的地图（图片），但他只盯着地图上的某一个小红点看，完全忽略了周围的其他区域。哪怕那个红点只是地图上的一个噪点，他也会对着它滔滔不绝，而把真正的风景（比如一只猫、一棵树）给漏掉了。
- 后果：AI 过度关注图片的某一部分，导致它“瞎编”其他部分的内容。
毛病二：顾头不顾尾（模态偏差）
- 比喻：导游刚开始介绍时，还老老实实看着地图（图片）。但聊着聊着，聊得久了，他就不看地图了，开始凭自己的记忆和想象接着编。他说：“刚才我们看了猫，接下来肯定还有一只狗……"其实图片里根本没有狗。
- 后果：生成的内容越长，AI 越容易脱离图片，开始“自嗨”，导致长篇大论全是假话。

2. CAAC 是怎么解决的？（智能纠错耳麦）

作者设计了一个叫 CAAC 的框架，它不需要重新训练导游（不需要花钱重新教），而是在导游说话的过程中，实时通过两个步骤来“纠正”他：

第一步：视觉令牌校准 (VTC) —— “把目光拉回全景”

作用：专门治“管中窥豹”。
比喻：当导游死死盯着那个小红点时，CAAC 会轻轻拍一下他的肩膀，说：“嘿，别只盯着那一点，把目光放开阔点，看看整张地图！”
操作：它强行调整导游的注意力，让他均匀地关注图片的各个部分，而不是只盯着某一个地方。这样他就不会漏掉真正的物体，也不会对着噪点瞎编。

第二步：自适应注意力重缩放 (AAR) —— “关键时刻拉回现实”

作用：专门治“顾头不顾尾”。
比喻：CAAC 里装了一个**“自信度探测器”**。
- 当导游很有信心地说：“这是一只猫”时，CAAC 就让他自由发挥，不打扰他。
- 当导游有点犹豫，或者开始说一些图片里可能没有的东西（比如“也许旁边还有只狗”）时，CAAC 的探测器就会报警：“等等！你现在的信心指数太低了，你是不是在瞎编？”
- 这时候，CAAC 会立刻放大导游看图片的“音量”，强行把注意力拉回图片上，迫使他再次确认：“真的吗？图片里有狗吗？如果没有，就别说了！”
操作：它根据 AI 对自己预测结果的“自信程度”，动态地调整它看图片的权重。越不确定，越要看图；越确定，越自由。

3. 效果怎么样？（导游变靠谱了）

作者用了很多测试（就像给导游做各种考试）来验证这个方法：

短对话：AI 说得准，废话少。
长文章：这是 CAAC 最厉害的地方。以前的方法在说长句子时容易“跑偏”，但 CAAC 能像一位负责任的监工，在导游聊了 500 个字后，依然能让他紧扣图片主题，不跑题、不瞎编。
对比：在著名的“找茬”考试（CHAIR, AMBER 等基准测试）中，CAAC 比目前市面上最好的其他方法（比如 OPERA, VCD 等）表现更好，大大减少了胡说八道的情况。

总结

这篇论文的核心思想就是：
AI 看图说话容易“飘”，是因为它要么只盯着一点看，要么聊久了就忘了看图。

CAAC 就像一个实时的智能助手：

一开始就帮它把视野拉宽，别只盯着一个点。
聊得越久，越在它拿不准的时候，强行把它拉回图片面前确认。

这样，AI 就能在生成很长的描述时，依然脚踏实地，言之有物，不再信口开河。这对于医疗诊断、自动驾驶等需要高度准确的领域来说，是非常重要的一步。

论文技术总结：通过自适应注意力校准缓解大型视觉 - 语言模型的幻觉

1. 研究背景与问题 (Problem)

大型视觉 - 语言模型（LVLMs）虽然在多模态任务中表现卓越，但存在严重的**幻觉（Hallucination）问题，即模型会自信地描述图像中不存在的物体或属性。现有的无训练（training-free）干预方法在判别式任务或短文本生成中表现尚可，但在开放式和长文本生成（Long-form generation）**场景中，其效果显著下降。

作者通过深入分析发现，LVLMs 产生幻觉主要源于两种根本性的偏差：

空间感知偏差（Spatial Perception Bias）： 模型对图像 Token 的注意力分布不均，过度集中在少数特定的图像区域（即使这些区域与内容无关），导致模型忽略关键的视觉线索。
模态偏差（Modality Bias）： 随着生成的进行，模型对文本先验（语言历史）的依赖逐渐增加，而对视觉输入的注意力逐渐衰减。这种偏差在长文本生成后期尤为明显，导致生成内容与图像脱节。

2. 方法论：CAAC 框架 (Methodology)

为了解决上述问题，作者提出了**置信度感知注意力校准（Confidence-Aware Attention Calibration, CAAC）**框架。这是一种无需重新训练的统一方法，通过动态调整 LVLM 的注意力分布来增强视觉 grounding。CAAC 包含两个核心步骤：

2.1 视觉 Token 校准 (Visual-Token Calibration, VTC)

目标： 缓解空间感知偏差。
机制：
- 利用一个“无意义”的参考输入（如黑色画布和通用查询）构建基准注意力分布，提取每个注意力头的校准向量。
- 通过计算参考向量与实际输入注意力向量的逆关系，构建校准向量，以平滑注意力分布，防止模型过度集中在少数图像 Token 上。
- 引入平滑参数 $\beta$ ，在原始注意力分布和校准后的均匀分布之间进行加权平均，以在纠正偏差的同时保留必要的视觉信息。

2.2 自适应注意力重缩放 (Adaptive Attention Re-Scaling, AAR)

目标： 缓解模态偏差，特别是在生成后期。
机制：
- 置信度驱动： 在每一步生成中，计算模型预测下一个 Token 的最大 Logit 概率 $p_t$ 。
- 动态调整： 当 $p_t$ 低于预设阈值（即模型置信度低、幻觉风险高）时，触发重缩放机制。
- 缩放因子： 根据置信度动态计算缩放因子 $\lambda_t$ 。置信度越低， $\lambda_t$ 越大，从而增强对图像 Token 的注意力权重。
- 实施： 在 Softmax 之前对注意力向量进行缩放，确保模型在不确定时重新聚焦于视觉输入。

3. 主要贡献 (Key Contributions)

幻觉归因分析： 利用相关性图（Relevancy Maps）深入分析了 LVLM 的生成机制，揭示了“空间感知偏差”和“模态偏差”是导致未基于视觉生成（Ungrounded Generation）的两个根本原因，并指出幻觉 Token 通常出现在生成序列的后期且置信度较低。
提出 CAAC 框架： 设计了一种无需训练的自适应注意力校准方法，通过 VTC 和 AAR 两个模块分别解决上述两种偏差，有效提升了长文本生成中的视觉一致性。
性能突破： 在多个基准测试中证明了 CAAC 的有效性，特别是在长文本生成场景下，显著优于现有的最先进基线方法（如 OPERA, VCD, M3ID 等）。

4. 实验结果 (Results)

作者在 CHAIR、AMBER 和 POPE 三个基准上对 InstructBLIP、LLaVA-1.5 和 LLaVA-NeXT 等模型进行了评估：

CHAIR 基准（图像描述）：
- CAAC 在减少幻觉率（ $C_s$ 和 $C_i$ ）方面表现最佳。
- 相比最佳基线，在 CHAIR 和 AMBER 基准上平均分别降低了 4% 和 1.8% 的幻觉率。
AMBER 基准（生成与判别）：
- 在长文本生成（Max Tokens = 512）场景下，对比方法（如 VCD, M3ID）的幻觉率显著上升，而 CAAC 仍保持最低的幻觉率（CHAIR 和 HAL 指标）。
- 虽然部分对比方法在覆盖率（COVER）上得分更高，但往往伴随着更高的幻觉率。CAAC 在保持高覆盖率的同时，显著降低了幻觉，实现了更好的平衡。
POPE 基准（判别任务）：
- 尽管 CAAC 主要针对生成任务设计，但在判别任务中也表现出色，准确率和 F1 分数与最佳基线 OPERA 相当（差距在 1% 以内），并优于其他基线。
消融实验： 证明了 VTC 和 AAR 两个模块单独使用均能降低幻觉，但两者结合（完整 CAAC）效果最佳。

5. 意义与影响 (Significance)

长文本生成的可靠性： CAAC 特别针对长文本生成中后期注意力漂移的问题，解决了现有方法在生成长序列时失效的痛点，对于需要连续生成的应用（如自动报告生成）至关重要。
安全关键领域的应用： 通过优先保证事实准确性（Factuality）而非单纯的文本丰富度，CAAC 为医疗诊断、自动驾驶、法律文档分析等对安全性要求极高的领域提供了更可靠的 LVLM 部署方案。
无需训练的通用性： 作为一种即插即用的推理时干预方法，CAAC 不依赖额外的训练数据或微调，易于集成到现有的 LVLM 架构中，具有极高的实用价值。
效率与效果的平衡： 虽然引入了双次传递机制，但 CAAC 仅在模型置信度低时触发二次计算（约 14% 的 Token），在显著降低幻觉的同时保持了可接受的推理延迟。

综上所述，CAAC 通过精准识别并校正 LVLM 内部的注意力偏差，为缓解多模态大模型的幻觉问题提供了一条高效、通用且有效的技术路径。