💬 NLP

Do We Really Need External Tools to Mitigate Hallucinations? SIRA: Shared-Prefix Internal Reconstruction of Attribution

SIRA 是一种无需训练的内部对比解码框架，它通过在同一个 Transformer 的后续层中利用掩码注意力机制生成以语言先验为主导的反事实参考，从而减轻大型视觉 - 语言模型中的幻觉问题，在保持描述覆盖度的同时减少对外部工具和额外前向传播的依赖。

原作者： Tian Qin, Junzhe Chen, Yuqing Shi, Tianshu Zhang, Qiang Ju, Lijie Wen

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tian Qin, Junzhe Chen, Yuqing Shi, Tianshu Zhang, Qiang Ju, Lijie Wen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博览群书的助手（大型视觉 - 语言模型），他正试图描述你刚刚展示给他的一张照片。有时，这位助手会对自己“认为”看到的内容过于自信，而不是基于实际存在的内容。他们可能会说：“我看到一辆红色的自行车”，而实际上照片中只是一个模糊的形状，可能是自行车；或者，因为他们读过太多关于自行车的故事，大脑会自动填补空白，从而编造细节。这被称为幻觉。

本文介绍了一种巧妙的新技术，称为SIRA，旨在阻止这种现象发生，而无需重新训练助手，也无需雇佣第二人来复核工作。

旧方法的缺陷

此前，为了防止助手撒谎，研究人员尝试过这样的方法：

向助手展示原始图片。
然后，向他们展示同一张图片的模糊或损坏版本。
比较两个回答。如果助手在图片模糊时改变了说法，那么他们可能是在猜测。

缺陷在于： 这就像先让人描述一幅画，然后让人戴着雾蒙蒙的眼镜描述同一幅画。“雾镜”版本并非公平的对比，因为眼镜本身就会扭曲图像。这种方法既混乱，又耗时加倍（你需要分两次查看图片），而且扭曲本身可能会产生新的错误。

SIRA 解决方案：“共享前缀”

SIRA 采取了不同的方法。它不是去扭曲图片，而是在助手思考过程中、在他们仍在思考时，对其内部思维过程进行干预。

将助手的思维想象成一条拥有多个站点（层）的工厂流水线，这些站点正在处理图像和问题。

共享起点： 助手首先同时查看图片和问题。他们在流水线的早期站点建立起对场景的扎实理解。这就是“共享前缀”。SIRA 确保助手的两个版本在这一初始理解上达成一致。
分岔路口： 在形成初始理解之后，SIRA 将过程在同一个大脑内部拆分为两条并行轨道：
- 轨道 A（完整视角）： 助手在说完句子时，继续查看图片细节。
- 轨道 B（“盲视”视角）： 助手从完全相同的起点继续，但在后期站点中，他们被蒙住双眼，无法看到具体的图片细节。他们只能依赖其通用知识和已经写出的句子。

如何纠正谎言

现在，SIRA 在撰写句子的每一步都对比这两条轨道：

如果助手说：“我看到一只狗"，而轨道 A（看到狗）和轨道 B（蒙眼）都以高置信度说“狗”，SIRA 就知道这很可能只是基于常见语言的猜测（也许狗在故事中很常见）。它会降低“狗”的得分，因为蒙眼版本不需要图片也能说出这个词。
如果助手说：“我看到一只紫色大象"，而轨道 A 说“紫色大象”（因为他们看到了），但轨道 B 说“不可能，故事里没有这个”（因为他们看不见），SIRA 就知道图片是这一说法的唯一原因。它会提高“紫色大象”的得分。

为何更优

无需额外步骤： 它不需要两次查看图片。它只需拆分内部思维过程，一次性完成所有操作。
无混乱扭曲： 它不会模糊图片。它只是暂时“关闭”其中一种思维过程的视觉输入，同时保持其余上下文的完美对齐。
无需训练： 它可直接应用于现有模型。你无需教模型任何新内容。

结果

在测试中，SIRA 成功阻止了助手编造照片中不存在的物体（例如照片中并没有的“香蕉”），同时仍能让他们准确描述真实存在的物体。这就像在模型自身的思维内部内置了一个即时发生的“现实核查”机制，确保他们所说的内容确实由所见所支持，而不仅仅是他们预期会看到的内容。

技术摘要：SIRA——共享前缀的内部归因重构

问题陈述

大型视觉 - 语言模型（LVLM）经常遭受幻觉困扰，即模型生成的关于物体、属性或关系的描述在语言上看似合理，却缺乏视觉输入的支持。当视觉证据薄弱或模糊时，这一问题尤为严重，此时高概率的语言先验会主导 token 预测。

现有的缓解策略，特别是对比解码，试图通过将模型在原始图像上的预测与源自退化或扰动输入（例如模糊或掩蔽图像）的参考预测进行比较来解决此问题。然而，作者指出了这些外部方法存在的两个关键局限性：

计算开销：它们通常需要在模型中进行第二次完整的正向传播。
流形外伪影：扰动输入图像可能会引入不代表真实视觉分布的伪影。因此，由此产生的 logit 差异可能反映的是由扰动本身引起的不匹配，而非视觉证据与语言先验之间清晰的归因。

本文提出，有效的反事实参考无需在输入空间中外构建。相反，其核心要求是一个对齐的参考，该参考能够揭示如果限制后续处理阶段对细粒度视觉证据的访问，同一多模态状态将如何演变。

方法论：SIRA

作者提出了SIRA（共享前缀的内部归因重构），这是一种无需训练的内部对比解码框架。SIRA 通过在 Transformer 层内操纵信息流，而非改变输入图像，从而在同一 LVLM 推理轨迹内部构建反事实参考。

核心机制

SIRA 通过维护两个同步的解码分支来运行，这两个分支共享一个共同的“前缀”，仅在特定的分界点（ $b$ ）之后才发生分歧：

共享前缀（$0 $到$ b-1$）：完整分支（标准推理）和反事实分支共享相同的提示、模型参数、解码历史、位置结构以及早期层计算。这确保了两个分支在分裂之前继承相同且稳定的多模态解释和早期视觉 grounding。
后期分支（ $b$ 到 $L-1$ ）：在边界层 $b$ $b$ 之后，分支发生分歧：
- 完整分支继续标准的多模态推理，允许注意力机制关注图像 token。
- 反事实分支应用特定的注意力掩码（ $M_{cf}$ ），阻断对图像 token 位置的访问。在此分支中，查询无法读取图像 token，图像 token 也无法生成查询以馈送文本流。
内部对比：在每个解码步骤，SIRA 计算两个分支的 logit（ $z_{full}$ $z_{f u l l}$ 和 $z_{cf}$ $z_{c f}$ ）。最终解码 logit（ $z_{cd}$ $z_{c d}$ ）计算如下：
$z_{cd}(v) = (1 + \alpha)z_{full}(v) - \alpha z_{cf}(v)$
其中 $\alpha$ $α$ 控制对比强度。
- 在缺乏视觉访问的反事实分支中仍然保持强劲的 token 会受到惩罚，因为它们很可能由语言先验驱动。
- 在完整分支中特别获得优势的 token 会受到青睐，因为它们的概率依赖于持续的视觉证据。

效率

与需要两次完整正向传播的方法（如 VCD）不同，SIRA 共享前 $b$ 层的计算。它仅承担反事实分支最后 $K$ 层的成本。这导致理想的每 token 成本比为 $1 + K/L$ （对于中层分割约为 $1.5\times$ ），显著低于外部对比方法的 $2\times$ 成本。

主要贡献

信息流视角：本文重新评估了幻觉缓解问题，论证有效的参考必须保留早期的多模态 grounding，同时限制后期的图像 token 访问，而不是依赖外部输入扰动。
SIRA 框架：提出了一种无需训练的内部对比解码方法，通过共享前缀的后期分支和边界后的图像 token 掩蔽来构建反事实参考。
实证验证：全面的实验表明，SIRA 在减少幻觉的同时保持了描述覆盖率，并且比双遍方法产生的开销更低。

实验结果

作者在 Qwen2.5-VL 和 LLaVA-v1.5 上评估了 SIRA，涵盖了三个基准测试：POPE（物体级幻觉）、CHAIR（描述性幻觉）和 AMBER（多维描述）。

POPE：SIRA 在所有 36 项指标（骨干网络、数据集和负采样策略的组合）上均取得了最佳结果。与基础解码器相比，它在 Qwen2.5-VL 上将准确率平均提高了 +5.4 分，在 LLaVA-v1.5 上提高了 +4.9 分，超越了 DoLa、OPERA 和 VCD 等强基线。值得注意的是，即使在语言先验很强的“对抗性”划分中，改进依然一致。
CHAIR：SIRA 降低了句子级（CHAIRs）和实例级（CHAIRi）的幻觉率。例如，在 LLaVA-v1.5 上，长度为 64 时的 CHAIRs 从 31.5 降至 23.1，表明减少了虚假的物体提及，而非简单的遗漏。
AMBER：SIRA 降低了幻觉指标（Hal, Cog），同时保持或增加了描述覆盖率（Cover）。这与 OPERA 和 VCD 等基线形成对比，后者通常通过缩短或模糊描述（过度模糊）来减少幻觉。SIRA 特别降低了与语言先验紧密耦合的“认知”幻觉（Cog）。
效率：与标准解码相比，SIRA 产生的延迟开销约为 1.4–1.5 $\times$ ，显著低于 VCD（ $\sim2.1\times$ ）和 OPERA（ $\sim5.9\times$ ）。

意义与局限性

意义：
本文声称，SIRA 提供了比外部构建参考更直接、更清晰的 token 级归因代理。通过将反事实分支保持在同一模型流形上并共享早期语义状态，SIRA 隔离了视觉证据的贡献，而无需引入扰动伪影。它在无需模型重新训练、外部验证器或扰动输入的情况下实现了最先进的幻觉减少，使其适用于具有白盒访问权限的开放权重 LVLM。

局限性：
作者承认两个主要局限性：

开销：虽然低于双遍方法，但由于需要重新评估反事实分支，SIRA 仍带有非零的每步解码成本。
访问要求：构建内部对比需要访问隐藏状态、注意力掩码和缓存状态的白盒权限，这限制了其应用范围，使其仅适用于开放权重或可控的 LVLM，而非黑盒 API。