The Illusion-Illusion: Vision Language Models See Illusions Where There Are None

技术摘要：幻觉-幻觉：视觉语言模型在不存在幻觉的地方看到了幻觉

问题陈述
感知幻觉（Perceptual illusions）作为认知科学中的诊断工具，通过揭示现实与表象之间的差距，从而阐明潜在的精神处理机制。虽然之前的研究调查了人工系统是否会陷入与人类相同的经典幻觉，但本文认为，测试经典幻觉不足以诊断当前的视觉语言模型（VLMs）。作者提出，一种更具启发性的诊断工具是“幻觉-幻觉”（或称“illusion-illusion”）：即那些具有幻觉的视觉特征但缺乏实际感知诡计的图像。在这些案例中，视觉现实与表象是一致的（例如，线条确实长度不同，鸭子确实是一只鸭子），但它们是著名幻觉的邻居。核心问题在于，当前的 VLMs 是否会错误地将这些“幻觉-幻觉”视为幻觉，从而揭示其无法区分真实的感知异常与直观视觉事实的失败。

方法论
本研究采用了一个比较评估框架，涉及涵盖多样化感知现象（如 Müller-Lyer 箭头、Ebbinghaus 圆环、Kanizsa 三角形、棋盘格阴影）的十个代表性视觉幻觉。对于每个经典幻觉，作者构建了三种类型的刺激物：

1. 幻觉（The Illusion）： 旨在引发感知误差的原型图像。
2. 幻觉-幻觉（The Illusion-Illusion）： 一个经过修改的版本，其中“诡计”被移除，视觉属性是字面意义上的（例如，箭头确实长度不同，或者是一只清晰的鸭子）。
3. 对照组（The Control）： 用于验证基本能力的简化版本（例如，识别单个三角形）。

评估测试了八个当前的 VLMs：GPT-4o、Claude 3、Gemini Pro Vision、miniGPT、Qwen-VL、InstructBLIP、BLIP2 和 LLaVA-1.5。模型接收图像并针对幻觉的主体进行特定提示（例如，“蓝色线和红色线哪条更长？”）。第二种情况涉及在提示前添加短语“在以下视觉幻觉中”以测试上下文的影响。

性能基于与类人反应的一致性进行二元评分（0 或 1）。对于经典幻觉，得分为 1 表示报告了幻觉感知或承认了幻觉。对于“幻觉-幻觉”和对照组，得分为 1 表示像人类一样报告了字面事实。作者指出这种评分是宽松的，倾向于高估模型的表现。

关键结果
结果表明，人类感知与当前 VLM 能力之间存在显著分歧：

• 在“幻觉-幻觉”上的失败： 领先的模型（GPT-4o、Claude 3、Gemini Pro）能够成功识别或报告经典幻觉，但也经常将“幻觉-幻觉”误分类为幻觉。例如，当面对长度确实不同的线条时，这些模型经常声称它们长度相同（模仿幻觉）或将其描述为一种幻觉。
• 上下文脆弱性： 当提示词明确标记图像为“视觉幻觉”时，顶尖模型的表现会在“幻觉-幻觉”和对照组上显著下降。它们压倒性地将这些非幻觉图像报告为幻觉，这表明它们的响应受文本提示的影响极大，而非基于视觉证据。
• 对照组失败： 与认为对照组将作为能力基准的假设相反，GPT-4o、Gemini Pro 和 Claude 3 等模型经常将简单的对照图像（例如，单个三角形）报告为幻觉。这表明对于这些模型而言，“幻觉”这一概念被广泛应用于仅仅在类别上类似于幻觉的图像，而非特定的感知判断。
• 模型行为： 顶尖模型的行为并不符合假设的“模型 B”（即能识别幻觉但不能识别“幻觉-幻觉”的模型）。相反，它们表现出一种更接近“平庸”的表现或在不存在幻觉的地方产生幻觉的倾向，尤其是在受到“幻觉”一词的启发时。

主要贡献
本文引入了“幻觉-幻觉”的概念，将其作为一种新型的人工系统诊断工具。通过反转对幻觉的标准使用，作者证明了当前的 VLMs 存在一种特定的失效模式：它们将幻觉识别的“模式”应用于并不需要它的图像。这项工作强调，区分幻觉与“幻觉-幻觉”的能力，比单纯识别经典幻觉的能力更能深刻地反映处理过程中的错误。该研究提供了一个数据集和评估协议，表明当上下文暗示存在幻觉时，模型往往无法将其响应锚定在字面的视觉现实中。

意义与主张
作者声称，这些失败不仅仅是奇特的现象，而是表明当前 VLMs 存在更广泛的处理错误。论文指出，当模型在“幻觉-幻觉”上失败时，意味着该系统并未参与对“普通”输入的深思熟虑的识别。相反，模型可能依赖于与训练数据的低级相似性匹配，将图像的视觉特征与训练语料库中发现的“幻觉”概念联系起来，而不是模拟人类生物学的特定感知失败。

这项工作的意义在于它挑战了这样一个假设：即模型识别幻觉的能力证明其拥有类人的感知理解。作者认为，陷入幻觉是人类的特征，但陷入“幻觉-幻觉”（即诡计不存在时）则是系统被“幻觉的概念”而非视觉数据本身所“欺骗”的迹象。论文结论指出，这些失败表明目前的系统在区分问题的表象与输入的现实方面尚不稳健，这种局限性延伸到了视觉之外的其他模态和领域。