🤖 AI

Mirage Probes: How Vision Models Fake Visual Understanding

本文通过引入“幻象探针”（Mirage Probes）来证明视觉语言模型表现出两种截然不同的视觉幻觉类型——文本偏差与伪造图像，这两者可以通过其内部激活模式进行区分，从而揭示了有效的缓解措施需要进行表征层面的干预，而非仅仅是清洗文本分布。

原作者： Daniel Ben-Levi, Judah Goldfeder, Weiliang Zhao, Raz Lapid, Amit LeVi, Allen G. Roush, Ravid Shwartz-Ziv, Hod Lipson

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daniel Ben-Levi, Judah Goldfeder, Weiliang Zhao, Raz Lapid, Amit LeVi, Allen G. Roush, Ravid Shwartz-Ziv, Hod Lipson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在参加一场考试，考试中会给你看一张图片并针对图片提问。现在，想象一个非常擅长根据问题的“文字”进行猜测的学生，即使你把图片拿走并把它藏在他们背后，他们也能猜出正确答案。他们听起来充满自信，而且经常猜对，但他们其实并没有在看那张图片。

这篇论文将这种行为称为**“海市蜃楼”（Mirage）**。

研究人员研究了视觉语言模型（能够看图并读文字的 AI），并发现这些“海市蜃楼”并不只是一个简单的错误。他们发现，AI 实际上是以两种完全不同的方式在伪造视觉理解，并且该论文引入了一种名为**“海市蜃楼探针”（Mirage Probes）**的新工具，用以观察 AI 内部究竟是如何运作的。

以下是使用简单类比对他们发现的详细解读：

1. AI 伪装的两类方式

作者认为，当 AI 在没有真正“看到”图像的情况下给出自信的答案时，它通常是在做以下两件事之一：

“文本作弊”（文本偏差/Textual Biases）：
- 类比： 想象一个正在参加历史考试的学生。问题问：“谁是第一任总统？”学生不需要看乔治·华盛顿的照片就能知道答案，因为他们通过阅读书籍已经知道了这个事实。
- AI 的做法： AI 完全忽略了图像。它观察问题，识别主题，然后从它关于人们通常如何提问和回答该问题的记忆中提取答案。它并不是在撒谎说自己看到了图像，它只是基于文本进行回答。
- 发生场景： 这在某些数据集（如医疗或常识性问题）中很常见，因为这些问题的描述非常具体，或者仅凭文字就能猜出答案。
“幻觉图像”（虚假图像/Spurious Images）：
- 类比： 现在想象一个学生被问到：“照片里的车是什么颜色的？”但照片被藏起来了。学生并没有说“我看不见”，而是闭上眼睛，在脑海中想象出一辆红色的车（因为他们在训练数据中看到的汽车大多是红色的），然后自信地回答：“它是红色的车。”他们在脑海中创造了一幅虚假的图像。
- AI 的做法： AI 实际上在尝试“看见”一些并不存在的东西。它在自己的内部代码（潜空间/latent space）中构建了一个虚假的视觉表示，并表现得好像那幅假图像是真实的一样进行回答。
- 发生场景： 这发生在仅靠文本不足以猜出答案的数据集中，此时 AI 被迫要“编造”出一个视觉细节来维持其自信度。

2. 新工具：“海市蜃楼探针”（Mirage Probes）

你如何知道 AI 是在用文本作弊，还是在幻觉出图像？你不能只看答案，你必须观察 AI 在思考时的内部情况。

研究人员构建了**“海市蜃楼探针”**，它就像是 AI 思维的 X 光机。

他们向 AI 展示一个问题和一张图像，然后再展示同一个问题但不带图像。
他们观察 AI 各个层中的电信号（激活值/activations）。
他们发现，“用真实图像回答”与“用虚假图像回答”之间的差异，会在 AI 的代码中留下一个清晰的、直线型的模式。它不是一个混乱、复杂的信号，而是一条清晰的直线，他们的探针可以轻松检测到。

3. 为什么这很重要（“那又怎样？”）

这篇论文提出了一个关键点，即我们应该如何修复这些 AI 模型。

如果 AI 使用的是“文本作弊”： 你可以通过清理训练数据来修复它。如果你阻止 AI 学习某些问题总是对应某些特定答案，它就会停止猜测。
如果 AI 使用的是“幻觉图像”： 清理文本是没用的。问题更深层——AI 实际上是在其内部记忆中构建虚假的图像。要修复这个问题，你必须改变 AI 表示图像的方式，而不仅仅是它阅读文本的方式。

核心结论

该论文声称，“海市蜃楼”行为并非单一的漏洞，而是两个戴着相同面具的不同漏洞。

有时 AI 只是根据文字进行猜测。
有时 AI 是在脑海中发明一幅假图像。

作者创造了一种方法来识别其中哪一种正在发生。他们发现，“假图像”版本更难修复，因为它存在于 AI 视觉处理的深层，而不仅仅是在其语言技能中。这意味着，为了让 AI 真正可靠（特别是在医疗等领域），我们需要修复其“视觉大脑”的部分，而不仅仅是“文本大脑”的部分。

技术摘要：幻影探针（Mirage Probes）：视觉模型如何伪造视觉理解

问题陈述

视觉语言模型（VLMs）正越来越多地被部署在医疗成像、文档分析和科学推理等高风险领域，在这些领域中，答案必须基于视觉输入。然而，近期的观察到的“幻影行为”（mirage behavior）挑战了“基准测试成功即等同于忠实视觉推理”的假设。幻影行为是指即使在图像缺失的情况下，VLM 仍能自信地回答基于图像的问题。这表明，多模态基准测试（如 MMMU、VQA-RAD）的表现可能反映的是文本先验、数据集规律性或捷径，而非真正的视觉证据使用。

先前的工作主要将幻影行为视为一种单一的失效模式。作者认为这是对现象的过度简化，并提出相同的输出层行为可能源于两种不同的内部机制：

文本偏差（Textual Biases）： 模型直接利用语言先验进行回答，而未参与视觉表示。
伪造图像（Spurious Images）： 模型在其潜空间中构建虚假的视觉内容，并表现得像是基于视觉证据一样进行回答，实际上是在“幻觉”出一个图像来支持其响应。

区分这些机制至关重要，因为缓解策略各不相同：清洗文本分布可以解决前者，但无法触及后者，因为后者存在于模型的视觉表示之中。

方法论

幻影探针框架

作者引入了 Mirage Probes，这是一个旨在从表示层面检测和分析幻影行为的对比探测框架。

数据集构建：
- 作者通过比较有图像时的模型响应（ $r_{img}$ ）与无图像时的模型响应（ $r_{\emptyset}$ ）来生成数据集。
- 标签启发式规则： 如果无图像生成的响应具有高度语义相似性（词袋余弦相似度 > 0.7），则将“有图像”的响应标记为“类幻影”（ $y=1$ ）。如果无图像生成的响应明确表达了不确定性或表示在没有图像的情况下任务无法完成，则标记为“非类幻影”（ $y=0$ ）。
- 对比对（Contrastive Pairs）： 为了减少表面层面的文本混淆（例如主题词、问题风格），作者使用 GPT-4o-mini 为每个基础问题生成了四个改写变体。他们构建了对比对，其中图像和底层意图保持固定，但问题措辞各异，从而导致不同的幻影标签。这确保了探针学习的是幻影机制，而非表层的词汇特征。
激活提取：
- 研究探测了三个开源 VLM：Ovis2.5-2B、GLM-4.6-flash 和 Qwen3-32B-VL-Instruct。
- 从 Transformer 架构中的四个位置提取激活值：
  - 残差流状态（Residual stream states）
  - MLP 输出
  - 注意力后输出（Post-attention outputs）
  - 单个注意力头输出
- 使用三种池化策略聚合激活值：text-nonspecial-mean、vision-tail 和 vision-text-mean。
探针训练：
- 训练四类探针，旨在从内部激活中预测幻影标签：
  - 逻辑回归（线性）： 测试幻影是否被编码为一个单一的线性方向。
  - 两层 MLP： 测试是否存在非线性编码。
  - 级联探针（Concatenated Probes）： 同时在所有层级的激活上进行训练。
  - 差异探针（Difference Probes）： 对有图像与无图像激活之间的元素级差异进行训练（ $\Delta h = h_{img} - h_{\emptyset}$ ）。
- 基线： 使用在响应文本上训练的朴素贝叶斯分类器，以排除表层词汇混淆。
- 指标： 引入了一个新的 先验利用指数（Prior Harnessing Index, PHI），用于衡量模型仅凭文本能获取正确答案的信息量（ $PHI = \log p(a^*|Q) - \log p(a^*|Q_{\emptyset})$ ）。

关键结果

1. 幻影行为的线性可解性

研究表明，在所有四个激活位点（残差流、MLP、注意力后、注意力头）中，幻影行为在有图像 VLM 的内部激活中都是线性可解的。

准确率： 在对比设置下，线性探针对残差流的准确率高达 75% (Ovis) 和 72% (Qwen)，对注意力头的准确率高达 85%。
线性特征： 两层 MLP 探针并未显著优于线性探针，这表明幻影信息是编码在可恢复的线性方向上的，而非需要复杂的非线性提取。
对比优势： 差异探针（在激活差异上训练）实现了最高的准确率（在某些设置下高达 98%），这表明添加图像引起的表示偏移清晰地分离了幻影响应与非幻影响应。

2. 减少表面混淆

与 Naive Bayes 文本基线的对比证实，探针并非仅仅在检测表层的词汇特征。

在对比设置中，探针准确率显著超过了 Naive Bayes 基线（例如，Ovis 在 VQA-RAD 上为 61.88% vs 57.67%）。
在“全样本”设置（未使用对比配对）中，探针准确率更高，但也与增加的表面可分离性相关，这表明这些探针可能捕捉到了文本线索而非深层机制。这验证了对比框架的必要性。

3. 两种截然不同的幻影机制

跨基准测试的可分离性模式揭示了幻影行为并非单一现象，而是可能由两个截然不同的机制组成：

伪造图像（Spurious Images）： 在 VQA-RAD 中占主导地位，该数据集的问题高度依赖图像（人类在没有图像时无法回答），且文本先验较弱（低 PHI）。在此情况下，模型构建了虚假的视觉内容。
文本偏差（Textual Biases）： 在 MMMU-Pro 和 MedXpertQA 中更为普遍，这些问题通常包含足够的文本上下文，使得无需图像即可回答（高 PHI）。
证据： VQA-RAD 显示出最高的探针可分离性。当仅在来自其他基准测试的“人类感知图像依赖型”示例上训练探针时，可分离性并未提高。然而，使用 PHI 指标显示，VQA-RAD 的问题在缺乏图像时会显著增加模型的确定性下降，这与幻影行为强相关。这表明，当文本先验不足时，模型会转向构建伪造图像；而当文本先验充足时，模型则依赖于文本偏差。

意义与主张

论文声称，忠实的视觉接地需要在表示层面进行干预，而不仅仅是在文本层面。

机制洞察： 作者提供了第一个在表示层面证明幻影行为是线性编码且可分解为两种机制的证据。
缓解意义： 这种区分对安全性和对齐具有直接影响。清洗文本分布（例如，移除数据集中的捷径）可能会减少文本偏差类的幻影，但可能无法解决伪造图像类的幻影，因为后者根植于模型的内部视觉表示。
评估： Mirage Probes 框架提供了一种诊断工具，用于评估 VLM 是真正将其答案建立在视觉证据之上，还是通过潜空间幻觉或文本捷径在“造假”。

作者保持了审慎的态度，指出他们的双机制假设是基于经验驱动的，并需要在未来的工作中通过因果验证（如转向或消融实验）进行验证。他们强调，其标签依赖于启发式规则，且核心主张目前仍是相关性的，尽管通过对比探测排除表面混淆增强了发现的有效性。