💻 computer science

SAVAA: Mitigating Hallucinations in LVLMs via Step-wise Adaptive Visual Attention Amplification

SAVAA 是一个无需训练的框架，它通过引入视觉定位熵来估计令牌级幻觉风险，并在生成过程中自适应地调整视觉注意力放大因子，从而减轻大型视觉 - 语言模型中的幻觉问题，进而克服固定放大策略的局限性。

原作者： Jiacheng Zhang, Feng Liu, Chao Du, Tianyu Pang

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiacheng Zhang, Feng Liu, Chao Du, Tianyu Pang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个非常聪明的机器人助手（大型视觉 - 语言模型，或称 LVLM），它会查看照片并向你描述。有时，这个机器人会变得过于自信，开始编造内容。它可能会说：“图片里有一只狗”，即使实际上并没有。这被称为幻觉。

机器人之所以这样做，是因为它过度依赖其关于世界通常样貌的“记忆”（语言先验），而不够重视它在特定时刻照片中实际看到的内容。

旧方法：“一刀切”的音量旋钮

最近，研究人员试图通过调高机器人“视觉注意力”的“音量”来解决这个问题。想象机器人有一个用于“看图片”的音量旋钮，另一个用于“听自己想法”的旋钮。

以往的方法使用固定音量旋钮。它们只是为机器人写的每一个词，以相同的幅度调高“看图片”的音量。

问题所在：这就像试图用同一个音量设置去听轻声细语和大声喊叫。
- 有时机器人需要更努力地看图片以阻止谎言，但固定音量太低（放大不足）。
- 其他时候，机器人已经看得很仔细，但音量被调得太高，导致它仅仅因为盯着看而开始“看到”不存在的东西（放大过度）。

该论文将这种情况称为**“双重失败模式”**：固定设置有时太弱，有时又太强。

新解决方案：SAVAA（智能自适应领航员）

作者提出了一种名为SAVAA（逐步自适应视觉注意力放大）的新方法。SAVAA 不像固定旋钮，它更像是一位智能领航员，逐词实时调整控制。

以下是其工作原理，分步说明：

1. “风险雷达”（视觉定位熵）

在机器人写下下一个词之前，SAVAA 会检查“风险雷达”，以判断机器人是否即将撒谎。它使用一种名为**视觉定位熵（VGE）**的特殊工具。

工作原理：它提出两个问题：
1. 机器人是否不确定？（高不确定性 = 风险）。
2. 机器人是否正在为这个词查看图片？（如果机器人很自信，但图片不支持该词，那就是巨大的风险）。
类比：想象机器人正在描述一个海滩。如果它说“沙子”，图片支持这一点，因此风险很低。如果它说“雪”（而图片明显是海滩），即使机器人对单词“雪”感到非常自信，风险也很高。

2. “动态音量旋钮”

基于风险雷达，SAVAA 为下一个词调整“看图片”的音量：

高风险：如果机器人即将说出一些有风险的内容，SAVAA 会调高视觉注意力。它迫使机器人在说话前仔细查看照片。
低风险：如果机器人是安全的，且图片明确支持该词，SAVAA 会调低音量。这防止机器人变得“过于强烈”并编造新细节。

3. 旧思维的“静音按钮”

有时，即使拥有完美的视觉焦点，机器人仍然过度依赖其内部的“讲故事”习惯。为了解决这个问题，SAVAA 添加了一个文本注意力抑制功能。

类比：想象机器人试图描述一张照片，但它不断被背景中播放故事的收音机分心。SAVAA 会轻柔地静音收音机（文本输入），让机器人专注于照片。这阻止了机器人仅仅因为句子在故事中“听起来正确”就完成句子，而不是因为它确实在照片中。

为什么这很重要

该论文在三种不同的智能机器人（LLaVA、Qwen 和 InternVL）上进行了测试，使用了各种要求机器人描述图像的测试。

结果：与旧的“固定音量”方法相比，SAVAA 显著减少了编造细节（幻觉）的数量。
效率：这一切都是在无需重新训练机器人或使其运行变慢的情况下完成的。它只是在机器人思考时微调注意力旋钮。

总结

将旧方法想象成一位司机，无论他们是在笔直的高速公路上行驶，还是在蜿蜒的山路上行驶，都始终将油门踩在 50% 的位置。他们可能会撞车（产生幻觉），因为他们没有在转弯时减速，或者没有在爬坡时加速。

SAVAA 则是那位不断检查道路、速度和状况的司机，为每一个转弯完美地调整油门和刹车。它确保机器人准确描述它所看到的内容，不多也不少。

技术摘要：SAVAA——通过逐步自适应视觉注意力放大缓解大型视觉语言模型中的幻觉

1. 问题陈述

大型视觉语言模型（LVLMs）经常遭受幻觉困扰，生成与视觉输入不一致的内容。在自回归生成过程中，一个主要原因是模型过度依赖语言先验，特别是在视觉证据未被充分利用时。

最近的无训练方法统称为视觉注意力放大（VAA），试图通过在单次前向传播中放大分配给视觉标记的注意力权重来缓解这一问题。然而，现有的 VAA 方法在所有生成步骤中均采用固定的放大因子。作者指出，这种静态方法存在固有的双重失败模式：

放大不足：在某些步骤中，固定因子太弱，无法解决已存在的幻觉。
放大过度：在其他步骤中，同一因子太强，引入了原始输出中不存在的新的幻觉。

这种现象发生的原因是，适当的视觉注意力水平会根据正在生成的特定标记以及模型当前的不确定性和 grounding 状态而动态变化。

2. 方法论：SAVAA

本文提出了逐步自适应视觉注意力放大（SAVAA），这是一个基于估计的幻觉风险，在每一步生成中动态校准视觉放大因子的框架。

2.1 视觉 Grounding 熵（VGE）

为了实现风险引导的校准，SAVAA 需要一个轻量级的幻觉风险估计器。作者引入了视觉 Grounding 熵（VGE），它将标准预测熵与视觉 grounding 信号相结合。

预测熵（ $\bar{H}_t$ ）：基于输出 logits 衡量模型的不确定性。然而，当模型高度自信但在图像中 grounding 较弱时（即“自信的幻觉”），仅靠熵无法发挥作用。
视觉 Grounding 分数（ $G_t$ ）：在预填充阶段计算，通过对视觉标记的词汇 logits 进行池化构建 grounding 向量 $G$ 。对于预测标记 $v^*_t$ ，grounding 分数 $G_t$ 代表支持该标记的视觉证据强度。
VGE 计算：风险分数定义为加权组合：
$VGE_t = \alpha \bar{H}_t + (1 - \alpha)(1 - G_t)$
其中 $\alpha$ 平衡不确定性和 grounding。较高的 VGE 表示标记具有不确定性、grounding 较弱或两者兼有。

2.2 逐步自适应 VAA 因子校准

SAVAA 采用一步滞后的校准机制。风险 $r_t$ 从当前步骤 $t$ 的 logits 计算得出，但用于校准下一步 $t+1$ 的放大因子。

风险归一化：VGE 被归一化为风险分数 $r_t \in [0, 1]$ 。
因子校准：步骤 $t$ 的视觉放大因子 $m_t$ 计算如下：
$m_t = 1 + (m_{vis}^{max} - 1) \cdot r_{t-1}$
如果前一步风险较低，则 $m_t \approx 1$ （无干预）。如果前一步风险较高，则 $m_t$ 增加，对当前步骤应用更强的视觉放大。

2.3 文本注意力抑制

为了应对即使在强视觉放大下仍残留的幻觉（通常是由于语言先验所致），SAVAA 结合了互补的文本注意力抑制机制。

该机制通过固定因子 $m_{txt}^{max}$ 抑制分配给输入文本标记的 softmax 前注意力分数。
与自适应视觉因子不同，这种抑制是静态且轻量级的，旨在降低语言先验的相对影响，而无需逐步风险估计。

2.4 整体工作流程

预填充：一次性计算视觉 grounding 向量 $G$ 。
生成循环：
- 基于前一步的风险 $r_{t-1}$ 计算 VAA 因子 $m_t$ 和文本抑制因子。
- 调节 softmax 前的注意力分数：将视觉标记放大 $m_t$ 倍，将文本标记抑制 $1/m_{txt}^{max}$ 倍。
- 生成下一个标记。
- 使用 VGE 计算新的风险 $r_t$ 以供下一次迭代使用。

3. 主要贡献

双重失败模式的识别：本文证明，现有 VAA 方法中的固定放大因子会导致放大不足（遗留未解决的幻觉）和放大过度（引入新的幻觉），且这种失败模式随生成步骤和模型架构而变化。
SAVAA 框架：一个新的 VAA 框架，利用**视觉 Grounding 熵（VGE）**逐步估计幻觉风险，并自适应地校准放大因子。
互补的文本抑制：引入轻量级文本注意力抑制机制，以解决残留的语言先验主导问题，与视觉放大协同工作。
实证验证：在三个不同的 LVLM（LLaVA-NeXT-7B、Qwen3-VL-8B、InternVL3.5-8B）和多个基准测试（CHAIR、SHR、AMBER、POPE）上进行了全面评估，显示出相对于最先进基线的持续改进。

4. 实验结果

SAVAA 在标准幻觉基准测试上进行了评估：

CHAIR：SAVAA 在所有三个模型上均取得了最佳的 CHAIRs（句子级）和 CHAIRi（实例级）分数，显著减少了幻觉（例如，在 InternVL3.5-8B 上将 CHAIRs 降低了 7.00 分），且未牺牲生成质量（F1 分数与原始模型相当）。
SHR：SAVAA 在所有四个指标（HSR、HWR、HSPI、HWPI）上均优于基线，证明了其在减少句子级和单词级幻觉方面的有效性。
AMBER：SAVAA 实现了最低的幻觉率（Hal），同时保持了高内容覆盖率（Cover），表明在缓解措施和语义完整性之间取得了有利的权衡。
POPE：在判别式任务中，SAVAA 保留了原始模型的效用，实现了与原始基线相当的准确率和 F1 分数，尽管与生成式任务相比，提升幅度较为 modest。
效率：与原始模型相比，SAVAA 仅带来边际的推理时间开销，因为 VGE 不需要额外的前向传播（grounding 向量仅计算一次），且校准逻辑轻量。

5. 意义与主张

本文声称，SAVAA 代表了从静态的、基于启发式的视觉放大向风险引导的、逐步的注意力校准的转变。通过显式建模不同生成步骤中对视觉 grounding 的不同需求，SAVAA 解决了固定因子方法的局限性。

作者将 SAVAA 定位为一种实用的、无需训练的方案，可在推理时部署，以提高 LVLM 在开放式生成任务中的事实可靠性。他们承认了局限性，指出该方法依赖于特定模型的超参数，并且在单 token 判别式任务上的收益相比开放式生成更为 modest。这项工作表明，未来的方向可以涉及更自适应的校准策略，并将该方法扩展到闭式预测设置中。