💻 computer science

YARD: Y-Architecture Register Decoding for Efficient Hallucination Mitigation in Large Vision-Language Models

YARD 是一个无需训练的框架，它通过采用一种 Y 型架构来共享浅层计算并在中间层进行分支，在其中将细粒度视觉标记替换为寄存器标记，从而在不产生第二次前向传播延迟的情况下生成有效的对比信号，以此来缓解大型视觉语言模型中的幻觉问题。

原作者： Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型视觉语言模型（LVLM）视为一个非常有才华但又有点过度自信的讲故事的人。你给它看一张海滩的照片，它开始描述这个场景。有时它能说对（“那里有遮阳伞和人”），但有时它也会自信地编造一些并不存在的细节（“看，那里还有一块冲浪板和一只狗！”）。这就是所谓的幻觉（Hallucination）。

这篇论文介绍了一种名为 YARD（Y-架构寄存器解码，Y-Architecture Register Decoding）的新方法，旨在阻止这个讲故事的人信口开河，且无需重新训练模型或降低其运行速度。

以下是 YARD 的工作原理，通过简单的概念进行拆解：

1. 旧方法的缺陷

在 YARD 出现之前，研究人员尝试使用一种叫做“对比解码（Contrastive Decoding）”的技术来修复幻觉。你可以把它想象成要求讲故事的人把故事讲两遍：

版本 A（清晰版）： “看着真实的图片，告诉我你看到了什么。”
版本 B（降级版）： “告诉我你看到了什么，但要假装照片很模糊或者缺失了一些部分。”

然后，计算机将这两个故事进行比较。如果版本 B 编造了一个冲浪板，而版本 A 并没有提到，计算机就知道要在最终答案中抑制“冲浪板”这个念头。

然而，以往的方法有两个重大缺陷：

“蒙眼法”： 一些方法在生成版本 B 时完全移除了视觉输入。这太极端了。模型会根据常识进行猜测（例如，“海滩通常会有冲浪板”），这并不能帮助捕捉针对这张特定海滩的特定谎言。
“双倍工作法”： 其他方法通过破坏图像像素（添加噪声）来处理。这需要计算机从头开始处理两次图像，非常缓慢且昂贵。

2. YARD 的解决方案：Y 形结构

YARD 通过在模型的“大脑”内部构建一条 Y 形路径来改变游戏规则。

主干（共享路径）： “清晰版”故事和“降级版”故事从一起开始。它们共享前几层的处理过程。这就像是大家一起读一本书的第一段。这样可以节省时间，因为模型不需要做两倍的工作。
分叉（中间层）： 在模型思考过程中的某个特定点，路径发生了分裂。
- 左侧分支（清晰版）： 正常继续，观察图像的每一个微小细节（补丁/patches）。
- 右侧分支（降级版）： 这就是奇迹发生的地方。这个分支不再观察每一个微小的细节，而是被迫通过一个“寄存器（Register）”来观察图像。

3. “寄存器”的比喻

想象这张图像是一张高分辨率地图。

清晰分支观察地图，看到了每一条街道、每一棵树和每一栋房子。
降级分支（使用 YARD）获得了一个“寄存器”。寄存器就像是一份摘要笔记，上面写着：“这是一个带有海水和沙滩的海滩场景，”但它隐藏了具体的细节。它知道那里有人，但它看不出这些人具体站在哪里，或者手里拿着什么。

为什么这很聪明？
如果模型试图说“那里有一块冲浪板”，清晰分支（它看到了细节）会检查地图并说：“不，我没看到冲浪板。”而降级分支（它只看到了大体的海滩氛围）可能会说：“嗯，海滩通常会有冲浪板，所以也许有吧？”

当计算机比较这两个结果时，它会意识到：“清晰分支说‘没有’，但降级分支基于大体感觉在猜‘有’。” YARD 随后会抑制“冲浪板”这个猜测。它让故事立足于现实，因为“清晰”分支拥有证据，而“降级”分支则充当了检测器，用来识别模型是否只是在凭感觉瞎猜。

4. 为什么“中间”很重要

论文发现，模型的“大脑”是分阶段工作的。

早期层： 仅仅是在准备图像。
中间层： 这是“黄金地带”，模型开始将文本与特定的视觉细节联系起来。
后期层： 模型已经决定了要说什么。

YARD 将路径拆分在中间。如果你拆分得太早，模型还没看够图片；如果你拆分得太晚，模型已经“记住”了细节，因此无法被降级版本所迷惑。中间位置是引入“寄存器”来测试模型究竟是在观察图片，还是仅仅在靠直觉猜测的最佳时机。

5. 结果

通过使用这种 Y 形路径和“寄存器”技巧：

它更快： 因为两个路径共享开头，模型不需要从头开始处理两次图像。
它更聪明： 它比以往的方法能更好地捕捉幻觉，因为它在详细视图和通用视图之间创造了一场“公平的竞争”，而不是详细视图与盲目猜测之间的对比。
它无处不在： 论文在许多不同的 AI 模型上测试了它，结果显示它在无需重新训练的情况下，表现出了持续良好的效果。

简而言之，YARD 就像是一个坐在 AI 大脑里的事实核查员，它会询问：“你确定你看到了那个，还是你只是根据通常发生的情况在瞎猜？”它高效地完成了这项工作，且不会拖慢对话的速度。

技术摘要：YARD – 用于高效缓解幻觉的 Y 型架构寄存器解码

1. 问题陈述

大型视觉语言模型（LVLMs）频繁遭受幻觉问题的困扰，即生成的文本在语义上看似合理，但与视觉输入不一致（例如：不存在的对象、错误的属性或不支持的空间关系）。虽然**对比解码（Contrastive Decoding, CD）**提供了一种无需训练的解决方案，通过将“干净”的模型分支与“退化”的分支进行对比来抑制易产生幻觉的 Logits，但现有方法面临两个关键困境：

次优的退化分支：
- 仅文本方法： 完全丢弃视觉 Token 会使退化分支变成一个纯语言先验模型。这会引发基于通用先验的幻觉，这些先验可能与特定输入图像不匹配，从而无法隔离与图像相关的特定幻觉。
- 像素级退化： 通过破坏输入图像（如添加噪声）进行控制较为粗糙。由于视觉特征（颜色、纹理、边界）在像素空间中高度纠缠，这些扰动往往无法隔离负责幻觉的局部证据，反而会将真实的视觉信号污染到退化后的 Logits 中。
推理延迟： 大多数现有的 CD 方法需要两次完整的正向传播（一次用于干净分支，一次用于退化分支），这显著增加了推理延迟。

2. 方法论：YARD

作者提出了 YARD（Y-Architecture Register Decoding），这是一个在 LLM 解码器内部内部构建退化分支的无需训练的框架。该方法由关于跨模态信息流的两个关键观察驱动：

A. 何处退化：中间层窗口

关于文本-视觉注意力及干预实验的分析表明：

浅层： 注意力是弥散且容易受干扰的。
深层： 与任务相关的视觉证据已在很大程度上被整合进文本侧的表示中；在此处扰动视觉 Token 对最终预测的影响微乎其微。
中间层： 这是可靠视觉接地（Grounding）出现的关键窗口，也是文本 Token 在完全整合之前开始获取局部视觉证据的阶段。
YARD 策略： 该框架在干净分支和退化分支之间共享浅层解码器层，并在一个中间层（例如 25 层模型中的第 10 层）进行拆分（分支）。这使得退化分支能够继承早期的多模态上下文，同时防止细粒度局部证据的完全整合。

B. 如何退化：基于寄存器的特征级退化

YARD 不是破坏输入图像或完全移除 Token，而是在特征层面构建退化条件：

寄存器 Token（Register Tokens）： YARD 利用了寄存器 Token（最初旨在吸收 Vision Transformer 中高范数异常值的特性）。这些 Token 是在测试时通过将异常的 MLP 激活重定向到一个附加的 Token 来构建的。
退化机制：
- 干净分支： 保留原始的 Patch 级视觉 Token ( $Z$ ) 和寄存器 Token ( $R$ )。
- 退化分支： 丢弃细粒度的 Patch Token ( $Z$ )，并仅依赖于寄存器 Token ( $R$ ) 和文本 Token ( $T$ )。
效果： 寄存器 Token 保留了粗粒度的全局图像语义（保持分支具有“图像感知性”），但缺乏细粒度的局部对应关系（使其具有“局部接地不足”的特性）。这创造了一个对比信号，能够暴露易产生幻觉的组件，而不会像纯文本分支那样产生极端的模态失配，也不会像像素级破坏那样引入噪声。

C. 用于效率的 Y 型架构

通过共享拆分前（第 $1 $到$ K$ 层）的计算过程，YARD 避免了输入级对比方法所需的昂贵的第二次完整正向传播。分支仅在剩余层（ $K+1$ 到 $D$ ）发生分离。

最终的 Logit 计算如下：
$\ell^{yard}_i = (1 + \alpha)\ell^c_i - \alpha\ell^d_i$
其中 $\ell^c$ 和 $\ell^d$ 分别是来自干净分支和寄存器调节的退化分支的 Logits。

3. 核心贡献

基于寄存器的特征级退化： 引入了一种新颖的方法，通过利用寄存器 Token 在保留全局语义的同时移除局部证据，构建了一个具有图像感知能力但局部接地不足的对比分支。
退化分支纯度的分析： 通过消融实验证明，特征级退化（特别是通过寄存器实现的全局信息）比纯文本或像素级退化能暴露更纯净的幻觉信号，这可以通过移除保守的干净 Logit 锚定（ $\alpha$ ）后的表现得到证实。
YARD 框架： 提出了一个高效、无需训练的 Y 型架构解码框架，该框架在显著降低推理延迟的同时，能持续缓解多种 LVLM 的幻觉问题。

4. 实验结果

YARD 在多种基座模型（LLaVA-1.5, LLaVA-NeXT, Qwen2/3-VL, InstructBLIP, Mini-Gemini）上，针对生成式（AMBER, Object HalBench, MME-Hallucination）和判别式（AMBER Discrimination, POPE）基准测试进行了评估。

生成性能： 在 LLaVA-1.5-7B 上，YARD 将 Object HalBench 分数（CHs/CHi）从 27.0/10.5 降低至 19.7/6.5，优于 OPERA、VCD 和 FuzzyCD 等最先进方法。它还在 MME-Hallucination 上取得了最佳的颜色感知分数，表明其保留了视觉能力。
判别性能： YARD 将 LLaVA-1.5 的 AMBER 准确率/F1 从 67.00/71.10 提升至 78.70/84.10，并将 POPE 准确率/F1 从 83.93/82.24 提升至 86.14/85.85。
可迁移性： 该方法在所有测试架构（包括 Qwen3-VL 和 LLaVA-NeXT）中均表现出一致的改进，表明它捕捉的是 LVLM 解码的一个通用属性，而非特定于某种架构。
消融研究： 证实了在中间层（如 $K=10$ ）进行分支至关重要；分支过早或过晚都会导致次优结果。基于寄存器的退化表现优于“平均”特征退化和“仅文本”变体。

5. 意义与主张

本文声称 YARD 解决了对比解码中的根本权衡：即需要一个既足够不同以暴露幻觉，又与图像足够对齐以避免通用语言先验的退化分支。通过将退化过程移入解码器内部结构化的特征空间，YARD 实现了：

忠实的对比信号： “全局存在但局部缺失”的设计设计有效地抑制了那些在弱局部接地下看似合理、但在干净视觉证据下缺乏支持的预测。
高效性： Y 型架构消除了对完整第二次正向传播的需求，使其成为一种实用的部署方案。
通用性： 该方法并不绑定于特定的模型架构，为缓解幻觉提供了一种通用的无需训练的启发式方法。

作者指出，该方法在构建针对特定 Transformer 类 LVLM 的有效寄存器表示方面存在局限性，并且对分支层的选择具有敏感性，这表明未来的工作可以致力于将这些机制适配到更广泛的多模态架构中。