💬 NLP

Revisit What You See: Revealing Visual Semantics in Vision Tokens to Guide LVLM Decoding

本文介绍了 ReVisiT，这是一种无需训练的解码方法，它通过将视觉令牌中的相关视觉语义动态地投射到文本生成过程中，从而减轻大型视觉语言模型中的幻觉问题，并以降低的计算成本实现了更优越的性能。

原作者： Beomsik Cho, Jaehyung Kim

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Beomsik Cho, Jaehyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《ReVisiT：揭示视觉令牌中的视觉语义以指导大型视觉语言模型解码》的通俗解释，辅以富有创意的类比。

核心问题：“白日梦”艺术家

想象你聘请了一位才华横溢的艺术家（即大型视觉语言模型，LVLM）来描述你展示给他们的照片。你给他们看了一张桌子上放着红苹果的照片。

理想情况下，艺术家看着照片会说：“那是一个红苹果。”
但有时，艺术家会被自己内心的想法分散注意力。他们可能会说：“那是一个红苹果……而且还有一个香蕉和一个披萨"，尽管这些东西根本不在照片里。这被称为幻觉。

这篇论文提出了一个问题：为什么会发生这种情况？
研究人员发现，这位艺术家实际上在他们的“心眼”（即视觉数据）中正确地看到了苹果，但当他们开始说话时，却被自身词汇的噪音所迷惑。他们知道真相，却忘记说出来，因为他们过于关注哪些词通常搭配在一起（例如“苹果”和“派”），而不是照片中实际有什么。

发现：“隐藏笔记”

研究团队仔细研究了这些人工智能模型的工作原理。他们发现，模型将图像分解为称为视觉令牌（vision tokens）的微小片段。你可以将这些令牌想象成贴在图像不同部分的小便签。

便签很聪明：即使人工智能犯错（幻觉出一个香蕉），图像上的便签仍然包含关于苹果的正确信息。视觉真相就在那里，只是被埋没了。
翻译问题：当人工智能试图将这些便签转化为文字时，情况会变得混乱。如果你问人工智能：“这张便签代表什么词？”而没有给出任何规则，它可能会猜“天空”、“蓝色”或“纹理”。这太模糊了。
魔法过滤器：研究人员发现，如果给问题加上一个过滤器——要求人工智能仅从特定的相关词列表中选择（例如“苹果”、“水果”、“红色”）——这些便签突然变得非常清晰。人工智能终于可以说：“啊！这张便签肯定意味着‘苹果’！”

解决方案：ReVisiT（引用视觉令牌）

基于此，作者创建了一种名为ReVisiT的新方法。这就像在艺术家说话时给他们一张“小抄”，但不需要重新训练这位艺术家，也不需要聘请新的艺术家。

以下是 ReVisiT 的工作原理，分步说明：

上下文检查：当人工智能开始写句子时，ReVisiT 会查看人工智能当前正在思考的内容。
过滤器：它根据该上下文创建一个小的相关词列表（例如，如果句子是关于厨房的，列表包括“杯子”、“勺子”、“苹果”，但不包括“飞机”）。
匹配：ReVisiT 查看图像中的所有“便签”（视觉令牌），并问道：“这些便签中哪一个与我们当前的词列表最匹配？” 它会选出最佳的一个匹配项。
推动：它拿走那张获胜的便签，轻轻地将人工智能的下一个词选择推向它。这就像在耳边低语：“嘿，记得那张便签吗？它说的是‘苹果’，而不是‘香蕉’。”

为什么这很酷

无需训练：你不需要教人工智能任何新东西。你只需要改变它在说话时的表达方式。
超级快速：因为它只是一个快速的数学检查和一次“推动”，所以不会拖慢人工智能的速度。事实上，它几乎和标准的说话方式一样快。
无处不在：他们在许多不同的人工智能模型（从小型到超大型）以及许多不同任务（描述图像、回答问题、识别物体）上进行了测试。它一致地减少了“白日梦”（幻觉），并使描述更加准确。

类比：图书管理员与书本

想象人工智能是一个正在参加考试的学生。

视觉令牌是学生桌上摊开的教科书。学生确实在书中拥有正确的答案。
幻觉发生是因为学生试图忽略书本，仅凭记忆猜测答案，或者书本翻到了错误的页面。
ReVisiT就像一位图书管理员走过来，看着问题，指出教科书中恰好包含答案的那一页，并说：“读这部分。”然后学生从书中读出正确答案，而不是去猜测。

总结

这篇论文证明，人工智能模型在其视觉数据内部已经“看到”了真相，但它们往往无法将其说出来，因为它们迷失在自己的词汇联想中。ReVisiT是一个简单、免费的工具，它充当桥梁，迫使模型查看其自身的视觉笔记并利用它们来纠正其言语，从而减少谎言，提高描述的准确性。

技术摘要：ReVisiT——揭示视觉令牌中的视觉语义以引导大语言视觉模型解码

问题陈述

大语言视觉模型（LVLM）将视觉感知与语言理解相结合，但经常遭受物体幻觉的困扰，即模型生成的文本描述了输入图像中不存在的物体。虽然视觉信息被编码在模型隐藏状态中的“视觉令牌”内，但这些令牌影响解码过程的机制仍未得到充分探索。现有方法通常将视觉令牌视为静态辅助上下文，或依赖复杂的训练流程和多次推理来减轻幻觉。本文解决的核心问题是：如何在无需修改架构或额外训练的情况下，在解码过程中有效利用视觉令牌内的固有语义信息。

方法论：ReVisiT

作者提出了ReVisiT（Referencing Vision Tokens，引用视觉令牌），这是一种无需训练、与模型无关的解码策略，旨在通过动态引用最相关的视觉令牌来引导文本生成。该方法在每个解码时间步 $t$ 执行三个主要步骤：

上下文感知词汇子集构建：
ReVisiT 不在完整词汇表上操作，而是将词汇空间动态约束为子集 $V_t^{cons}$ 。该子集基于 LVLM 的原始输出分布 $p_\theta$ 自适应定义，保留概率高于阈值 $\alpha \cdot \max(p_\theta)$ 的令牌。这种约束减少了语义干扰，使解码聚焦于合理的候选项。
基于约束散度的视觉令牌选择：
该方法将候选解码层 $j$ 的视觉令牌隐藏状态（ $h_i^j$ ）投影到约束词汇子集 $V_t^{cons}$ 上。随后，计算原始输出分布与每个投影后的视觉令牌分布之间的 Jensen-Shannon 散度（JSD）。选择 JSD 最小的视觉令牌 $(i^*, j^*)$ 作为最符合上下文的参考信号。
- 优化： 为确保效率，在解码前预先计算一次完整词汇表上的视觉令牌投影。在解码过程中，这些缓存的投影被切片并掩码以适配动态子集 $V_t^{cons}$ ，从而避免额外的前向传播。
Logit 细化：
通过将原始输出分布与所选视觉令牌的分布融合来细化原始输出分布。这是通过对数空间加法实现的（等价于概率空间中的专家乘积组合）：
$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$
最终分布在约束子集上进行归一化，下一个令牌从该细化分布中采样。

主要贡献

关于视觉令牌的实证洞察：
本文提供了定量和定性证据，证明视觉令牌固有地编码了可解释的物体级语义。作者证明，虽然这些信号在不受约束的解码中往往是隐性的（即使真实物体具有高概率，幻觉物体仍可能被选中），但当它们投影到语义连贯的词汇子集上时，这些信号会变得显式且对齐良好。
ReVisiT 算法：
提出了一种简单、无需训练的解码方法，利用上下文感知的约束散度来选择和引用视觉令牌。该方法细化了令牌级的 Logit，以更好地融入视觉语义，而无需外部模块、架构更改或多轮推理。
全面验证：
该方法在六种模型规模（参数范围从 7B 到 32B）上进行了验证，涵盖三种不同的架构（LLaVA-1.5、Qwen2.5-VL 和 InternVL）。评估覆盖了五个基准测试，包括特定于幻觉的数据集（HallusionBench、CHAIR、POPE）和通用任务（VQAv2、MMMU）。

实验结果

幻觉减少： ReVisiT 在所有测试架构中一致地减少了幻觉。在 CHAIR 基准测试中，与最先进基线（如 DoLa、VCD、M3ID）相比，它实现了具有竞争力或更优的 F1 分数，同时保持或提高了物体覆盖率。在 HallusionBench 上，对于多个模型，它在五项指标中的四项上取得了最佳分数。
泛化性： 该方法在判别性任务（POPE、VQAv2）和知识密集型推理（MMMU）上表现出鲁棒性，表明 ReVisiT 所揭示的视觉接地信号能够泛化到不同的任务类型。
效率： 与需要额外前向传播（如 VCD、CODE）或中间层投影（如 DoLa）的基线方法不同，ReVisiT 仅将推理延迟增加了 0.6% 到 2.0%。与多轮基线相比，其计算成本降低了高达 2 倍。

意义与主张

本文主张，ReVisiT 证明了视觉令牌固有地编码了可解释的语义，这些语义可以通过语义连贯的约束来解锁。通过在语言空间中显式暴露这些语义，该方法为生成提供了可解释的引导信号。

作者将 ReVisiT 定位为一种可扩展且广泛适用的解决方案，它在无需现有内部对齐或后对齐方法的计算开销的情况下改善了视觉接地。他们强调，该方法在不同模型规模和架构上的有效性表明，所提出的上下文感知约束散度捕捉的是一种基础解码信号，而非特定于基准的启发式方法。

承认的局限性：
作者指出，ReVisiT 高度依赖模型内部视觉令牌中编码的语义，这可能导致过度强调感知接地元素，而牺牲了隐式的常识推理。此外，作为一种解码时方法，如果视觉证据不足，它无法纠正源自预训练数据的事实错误，也不包含外部知识检索，尽管它与检索增强生成（RAG）流程兼容。目前的评估仅限于 7–32B 参数范围内的开源模型。