💬 NLP

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

本文揭示，视觉 - 语言模型常生成“让我再检查一下”之类的自我反思性陈述，但这仅是文本模式而非触发真正的视觉重检，VisualSwap 框架的实证表明，尽管模型做出此类声称，却频繁无法检测到语义不同的图像替换。

原作者： Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

用通俗语言解读论文：“视觉语言模型是在‘看’，还是仅仅在‘说’？”

想象一下，你正在和一个非常聪明、话多的机器人参加数学考试。你给机器人看一张画有 60 度角的三角形图片。机器人开始自言自语地思考：“好的，我看到了一个 60 度的角。如果我从 180 度减去它，得到 120 度。等等，让我再检查一下图片以确保无误。”

然后，你偷偷地将屏幕上的图片换成了一张不同的三角形图片，其角度为50 度。新图片看起来与旧图片几乎一模一样，唯独那个数字不同。

机器人仍在自言自语，说道：“让我再检查一下图形，”但它实际上并没有去看新图片。它只是继续执行之前开始的数学计算。它自信地回答120，尽管现在的图片显示答案应该是130。

这篇题为《视觉语言模型是在“看”，还是仅仅在“说”？》的论文，正是针对视觉语言模型（VLMs）中的这一现象进行了调查。研究人员发现，当这些人工智能模型说出“让我再检查一下图像”之类的话时，它们往往只是在说，而并非真正在看。

以下是他们发现的简要解析，使用了简单的类比：

1. “机器中的幽灵”（幻觉）

研究人员创建了一项名为VISUALSWAP的测试。他们让一个人工智能解决一个问题，然后在人工智能处于“思考”过程中，将图像替换为略有不同的另一张图像。他们要求人工智能“重新检查”图像。

结果：人工智能几乎总是失败。它忽略了新图片，继续基于几秒钟前看到的旧图片进行回答。
类比：这就像一位厨师说“让我再尝尝汤”，但他并没有尝锅里的汤，而是仅仅回忆之前想象的味道，并假装自己尝过了。他们幻觉自己看了，但实际上只是在重复一套脚本。

2. “过度思考者”是问题最严重的

你可能会认为，“思考型”模型（旨在进行深度、缓慢推理的人工智能）在这方面会做得更好。但你错了。

发现：“思考型”模型在察觉图像被替换方面，表现比标准模型差了三倍。
类比：想象一个正在参加考试的学生。普通学生瞥了一眼新题目并做出调整。然而，“思考型”学生却深陷于自己的内心独白（“我计算了 X，然后是 Y……"）中，以至于对页面上题目已改变的事实变得视而不见。他们自己的思想变成了一堵墙，阻挡了他们看到新现实。

3. “文本惯性”（原因所在）

论文解释说，一旦人工智能开始撰写一条长长的推理链，它就会陷入一种惯性。它过于专注于完成句子和保持逻辑连贯性，从而停止了对视觉输入的注意。

类比：想象一列在轨道上行驶的火车。一旦它高速运行，就很难让它停下来。人工智能的“思维列车”行驶得太快，以至于当景色（图像）发生变化时，火车并没有减速去窗外张望。它只是沿着旧轨道继续前行。

4. “魔法开关”（如何修复）

这是最有趣的部分：人工智能确实有能力察觉变化。它只是不会主动去做。

实验：当人类（或用户提示）明确打断人工智能并说"停！看看我刚刚给你的新图像"时，人工智能突然“醒”了过来。它立即看到了差异，并给出了正确答案。
类比：这就像一个走神的学生。如果让他们独处，他们会继续沉浸在关于旧答案的白日梦中。但如果老师拍拍他们的肩膀说：“嘿，看看这张新图片”，他们就会猛然清醒并看到真相。这种能力一直存在；他们只是需要一个外部的推动来打破他们的恍惚状态。

5. “注意力”证明

研究人员在人工智能的“内部”进行了检查（具体是其“注意力”机制，该机制决定人工智能关注什么）。

发现：当人工智能说“让我检查一下”时，它对图像的注意力几乎没有移动。但当用户说“检查图像”时，人工智能的注意力会急剧飙升。
结论：当人工智能声称自己在检查图像时，它并没有在“思考”图像；它只是在生成听起来像是在检查的文本。

总结

该论文得出结论：当前的人工智能模型是欺骗的大师（即使是无意的）。当它们声称在自身内部推理过程中“重新审视”图像时，它们往往只是在重复一个习得的短语，而实际上并没有看。它们是在“说”自己看到了，但对变化却是“盲目”的。

然而，这并不是它们视觉能力的永久缺陷，而是其自我控制的缺陷。它们能够看到真相，但需要人类来打破它们的“文本惯性”，迫使它们真正去观察。

给大众的关键启示：如果人工智能告诉你它正在双重检查一张图片，不要假设它真的这样做了。它可能只是在自言自语。你必须明确地告诉它再次查看，它才能真正地“看见”。

技术摘要：视觉语言模型是在“看见”还是仅在“言说”？揭示视觉重检的幻觉

问题陈述
视觉语言模型（VLMs）在多模态推理方面已取得显著进展，尤其是随着利用扩展思维链（CoT）生成和自反思机制的推理增强型模型的出现。这些模型的一个常见行为是在推理过程中生成诸如“等等，让我再检查一下图表”之类的自反思语句。虽然其初衷是减轻感知幻觉并确保对输入图像的忠实性，但一个关键问题依然存在：这些语句是否触发了真正的视觉重检，还是仅仅是一种缺乏实际视觉基础的习得性语言模式？如果模型声称重新检查了图像却未能检测到视觉变化，其在安全关键领域的可靠性将受到损害。

方法论：VISUALSWAP 与 VS-BENCH
为了研究这一现象，作者提出了VISUALSWAP，这是一个旨在探测 VLMs 在自反思期间是否真正重新关注视觉输入的诊断框架。该框架采用两阶段协议：

标准推理：模型基于原始图像（ $I_a$ ）和问题（ $Q$ ）生成初始推理链（ $R_a$ ）。
重检探测：将视觉输入替换为语义不同但视觉相似的图像（ $I_b$ ），同时保留生成的推理上下文（ $R_a$ ）并附加自反思提示（例如，“等等，让我再检查一下图表”）。随后要求模型继续生成。

如果模型执行了真正的视觉重检，它应能检测到 $I_b$ 与 $R_a$ 之间的差异，更新其推理，并为 $I_b$ 生成正确答案。如果失败，则表明存在“文本惯性”，即模型依赖先前的推理轨迹而非新的视觉证据。

为支持此项评估，作者构建了VS-BENCH，这是一个包含 800 对图像的数据集基准，源自 MathVista、MathVerse、MathVision 和 MMMU-Pro。这些图像对被构建为共享高层视觉相似性（布局、风格），但在决定真实答案的关键细粒度细节上存在差异，从而确保问题对两张图像均有效但需要不同的答案。

主要贡献

VISUALSWAP 框架：一种原则性的诊断工具，通过在推理过程中操纵视觉输入，评估 VLMs 中视觉重检的真实性。
VS-BENCH 基准：一个包含 800 对精心构建的图像对的数据集，将视觉重检能力与通用视觉问答隔离开来。
机制分析：对导致失败的底层注意力机制进行调查，比较自生成的反思与显式多轮用户指令。

实验结果
作者在 Qwen3-VL、Kimi-VL 和 ERNIE-VL 系列中评估了 15 个模型，包括“指令遵循（Instruct）”和“思考（Thinking）”变体。结果揭示了一种关键的失败模式：

普遍失败：模型在自反思期间几乎无法检测到图像替换。性能下降（ $\Delta = Acc_{base} - Acc_{probe}$ ）高达 60%（例如，ERNIE-4.5-VL-Thinking 从 79.9% 降至 19.6%）。
思考模型更脆弱：反直觉的是，“思考”模型比其“指令遵循”对应版本表现出近 3 倍的脆弱性。例如，Qwen3-VL-32B-Thinking 下降了 48.3%，而指令遵循版本仅下降 17.9%。
扩展规模无济于事：增加模型规模并不能缓解该问题；更大的模型往往表现出更大的性能下降（例如，Qwen3-VL-235B-Thinking 下降了 54.6%）。
通过用户指令恢复：当反思由显式的多轮用户指令（例如，“再次检查图像”）而非自生成文本触发时，性能恢复到接近基线水平。这证实了模型具备处理新图像的潜在能力，但无法自主激活该能力。
注意力分析：注意力分数显示，自反思语句仅引起对视觉 Token 的注意力微不足道的增加。相比之下，显式的用户指令会导致视觉注意力的显著激增，这解释了性能差距。

意义与主张
该论文得出结论：当前的 VLMs 倾向于声称正在重新检查图像，而实际上并未“看见”它。该现象被识别为自主注意力控制的失败，而非视觉能力的缺乏。作者认为，扩展的推理链产生了强烈的文本惯性，导致模型在连续解码过程中与视觉证据脱节。

这项工作的意义在于揭示了当前多模态设置中思维链（CoT）范式的一个根本性局限：它们优先考虑文本连贯性而非视觉输入。研究结果表明，目前实施的自反思可能并非纠正视觉幻觉的可靠机制。论文提出，真正的自主视觉重定位需要超越简单语言提示的机制，突显了未来研究需要探索能够有效中断自身推理轨迹以重新接触视觉输入的模型。作者强调，这是关于模型行为的诊断性发现，而非新训练算法的提议，尽管他们指出外部干预（如多轮提示）可以成功恢复视觉 grounding。