💬 NLP

LookBack: Where and How to Score LVLM Responses via Visual Reference Usage

本文介绍了 LookBack，这是一种无需训练的方法，它通过将视觉回溯分数与标记似然度相结合来增强对 LVLM 响应的评分，从而更好地检测幻觉并选择具有落地性的输出，解决了现有基于置信度指标的局限性。

原作者： Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在和一个既有眼睛又有大脑的超级聪明的机器人说话。这个机器人被称为“大型视觉语言模型”（简称 LVLM）。它可以观察一张图片，然后针对图片写一个故事或回答一个问题。这就像拥有一个能看清世界并完美描述世界的伙伴。但问题在于：有时这个机器人会对自己的声音过于自信。它可能会用如此完美的语法和流畅度来描述一个场景，听起来完全真实，即便它描述的内容在图片中根本不存在。这被称为“幻觉”。

为了解决这个问题，科学家通常会尝试从机器人给出的许多猜测中挑选出最好的答案。他们经常使用一个简单的技巧：挑选那个根据机器人自身内部数学逻辑听起来最自信或最可能的答案。这就像一位老师挑选那篇读起来最流利的作文。但如果这个机器人只是一个说话圆滑但却在自信地胡说八道的人呢？这就是这篇论文要解决的问题：我们如何判断机器人是真的在看图片，还是在装模作样地白日做梦？

来自延世大学的研究人员发现，机器人的常规“信心计”在面对图片时是失灵的。他们发现，即使你把图片拿走，只让机器人去猜，它仍然会对它的答案给出同样高的置信度分数。这就像一个学生可以完美地背诵一篇历史论文，但如果你问他关于教科书中某张特定照片的情况，他可能会自信地描述教室里有一只恐龙，因为他只是擅长猜测词汇，而不是在观察证据。

为了解决这个问题，团队发明了一种名为 LOOKBACK 的新方法。想象一下你正在重新批改那个学生的作文。与其只检查句子的流畅度，不如问：“你在写这个词的时候，真的看照片了吗？”LOOKBACK 是一个特殊的工具，它会检查机器人写的每一个词，以查看机器人的“眼睛”（其内部注意力）在写下那个词的瞬间是否真的在注视着图片。

它是这样运作的（用一种有趣的方式来解释）：

信心检查：首先，LOOKBACK 会检查机器人对一个词有多确定，就像旧方法那样。
回看检查：然后，它会问：“你是看了图片才说出这个词的吗？”如果机器人说“熊猫”，而它的内部眼睛正盯着图像中的一只熊猫，那么这个词就会获得巨大的加分。如果机器人说“熊猫”，但它只是因为喜欢“熊猫”这个词而在瞎猜，那么它就会受到惩罚。
最终得分：该工具结合了这两项检查。它会将最高分给那些不仅表达流利、自信，而且证明了自己确实是在参考视觉证据的答案。

团队在涉及图片和问题的四个不同挑战中测试了这个想法，并使用了三种不同的智能机器人大脑。他们发现 LOOKBACK 在挑选正确答案方面比旧方法表现得好得多。事实上，当团队让机器人生成 25 个不同的猜测，并使用 LOOKBACK 来挑选胜出者时，它比他们尝试过的任何其他方法都能更频繁地选出正确答案。

真正酷的一点是，LOOKBACK 不需要学习任何新知识，也不需要使用任何额外的机器人来帮忙。它只是利用了主机器人思考时已经发出的信号。这就像是给机器人一面镜子，让它在不需要老师监督的情况下也能检查自己的工作。这项研究表明，通过简单地要求机器人说话时“回看”图片，我们可以阻止它自信地编造关于所见之物的谎言，从而让这些 AI 伙伴在现实任务中变得更加可靠。

技术摘要：LOOKBACK —— 如何通过视觉引用使用情况对 LVLM 响应进行评分

1. 问题陈述

大型视觉语言模型（LVLMs）将视觉感知与语言生成相结合，但存在一种特定类型的幻觉：产生流畅、合理但与输入图像脱节（无根据）的响应。虽然现有的提高可靠性的方法（如 Best-of-N (BoN) 选择）依赖于对候选响应进行评分以选择最佳响应，但目前的评分机制对于 LVLM 而言是不充分的。

本文识别了一个关键差距：输出空间置信度（例如，Token 似然度或自我确定性/Self-Certainty）。诊断表明，这些置信度分数对视觉输入的敏感度极低。具体而言，在移除输入上下文中的图像后，基于置信度的顶层响应选择几乎没有变化。这表明输出空间置信度主要捕捉的是文本合理性（语言流畅度），而非视觉接地性（与图像的一致性）。因此，仅依赖置信度无法区分那些虽然语言流畅但视觉上产生幻觉的响应，以及那些忠实于图像的响应。

2. 方法论：LOOKBACK

为了解决这一问题，作者提出了 LOOKBACK，一种无需训练、基于模型内在的响应评分方法。LOOKBACK 通过引入**视觉回溯得分（Visual Lookback Score）**来增强 Token 似然度，该得分是衡量每个生成的 Token 在多大程度上引用了视觉输入的轻量级指标。该方法分为三个阶段运行：

A. 视觉回溯得分 ( $A_t$ )

作者利用了 LVLM 的内部注意力机制。由于 LVLM 将图像作为因果上下文中的显式视觉 Token 进行处理，每个生成的 Token 预测都可以直接关注（attend to）这些视觉 Token。

定义： 对于生成的 Token $y_t$ ，视觉回溯得分 $A_t$ 是在所有层和注意力头中，从预测步骤指向视觉 Token ( $P_v$ ) 的注意力权重占比。
意义： $A_t$ 作为视觉引用使用的代理指标。对于描述图像中存在的物体、属性或关系的 Token， $A_t$ 较高；而对于通用的功能词， $A_t$ 较低。

B. 回溯校准 Token 得分 ( $u_t$ )

LOOKBACK 将模型的输出空间置信度 ( $p_t$ ) 与视觉回溯得分 ( $A_t$ ) 相结合，形成校准后的 Token 得分：
$u_t = \log(p_t) + \alpha \log(A_t)$

这里， $\alpha$ 是一个控制校准强度的超参数。
这种公式确保了那些置信度高但视觉关注度低的 Token（即幻觉）会获得较低的得分，而那些既有置信度又具备视觉接地性的 Token 则会被优先考虑。

C. 视觉相关性加权与聚合

并非所有 Token 对视觉接地性的贡献都是相等的。LOOKBACK 使用视觉相关性分布 ( $q_\lambda$ ) 而非均匀平均值来聚合 Token 得分。

分布： $q_\lambda$ 通过最大化熵正则化相关性目标得出，将概率质量集中在具有高视觉回溯得分 ( $A_t$ ) 的 Token 上。
最终得分： 最终的响应得分 $S(y)$ 是在该分布下校准 Token 得分的期望值：
$S(y) = \sum_{t=1}^{T} q_\lambda(t) \cdot u_t$
这确保了最终得分深受那些既有置信度又与视觉输入强相关的 Token 的影响。

3. 核心贡献

诊断性洞察： 本文提供了实证证据，表明标准的输出空间置信度指标（如 Self-Certainty）在很大程度上对图像不敏感，无法在 Best-of-N 选择设置中检测到视觉幻觉。
无需训练的评分： LOOKBACK 引入了一种无需外部奖励模型、额外训练或额外推理过程即可为 LVLM 响应评分的方法。它仅利用了生成过程中可用的内部信号（Token 概率和注意力权重）。
Token 级的互补性： 该工作证明了输出空间置信度和视觉回溯得分捕捉到了生成过程中互补的方面：置信度倾向于语言的可预测性，而回溯则倾向于视觉引用。
高效聚合： 通过根据视觉相关性对 Token 进行加权，LOOKBACK 在最终评分中优先考虑诊断性内容词（名词、属性），而非通用的流畅性词汇。

4. 实验结果

作者在 四个基准测试（VQAv2, CHAIR, AMBER, HallusionBench）和 三个代表性 LVLM（LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B）上评估了 LOOKBACK。

性能： LOOKBACK 一致地优于现有的基准方法，包括语言侧方法（Self-Certainty, Universal Self-Consistency）和视觉侧方法（CLIPScore, VAUQ）。
- 它在所有三个 LVLM 上都实现了最高的模型平均性能。
- 相比随机选择，它将 Best-of-N 选择的准确率提高了约 4.97% 的相对增益，并持续超越了 Self-Certainty 基准。
扩展性： 随着候选池大小 ( $N$ ) 从 1 增加到 25，LOOKBACK 保持了相对于基准的稳定优势，而其他方法则表现出收益递减或不稳定性。
效率： 与生成时间相比，LOOKBACK 产生的计算开销微乎其微。它比需要扰动（VAUQ）或外部编码器（CLIPScore）的方法显著更快，仅增加了适度的生成后评分成本。

5. 意义与主张

本文声称 LOOKBACK 提供了一种轻量级、基于模型内部的解决方案，用于提高 LVLM 响应的可靠性。其意义在于：

弥合差距： 它直接解决了当前评分指标中图像调节（image-conditioning）与图像敏感度（image-sensitivity）之间的脱节问题。
实用性： 由于其无需训练且不需要辅助模型，因此适用于资源受限的环境和黑盒场景（前提是内部注意力权重可获取）。
泛化性： 作者指出，“源感知评分”（检查高置信度生成步骤是否回溯到预定来源）的原则可以从视觉领域扩展到其他具身生成任务，如检索增强生成（RAG）或工具使用。

承认局限性：
作者指出，LOOKBACK 需要访问内部注意力权重，这限制了其在严格黑盒 API 中的使用。此外，视觉回溯是引用使用的代理，而非事实正确性的保证；模型可以在关注图像 Token 的同时仍然生成错误或带有偏见的内容。因此，建议将 LOOKBACK 作为一种响应选择辅助手段，与特定任务的验证和人工监督配合使用。