📄 health informatics

Looked but didn't see: inattentional blindness and yes-bias confabulation in vision-language models

本文表明，视觉语言模型表现出与人类相似的注意盲视，但也展现出一种独特的虚构失败模式，因此需要通过带有匹配对照基线的信号检测分析，来准确评估其视觉感知能力。

原作者： Raymond, J. D., Hu, P., Solomon, B. D., Duong, D.

发布于 2026-06-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Raymond, J. D., Hu, P., Solomon, B. D., Duong, D.

原始论文根据 CC0 1.0（https://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下你正在电视上看一场篮球赛。你的任务是数球员传球的次数。突然，一个穿着巨大猩猩套装的人径直走过球场中央，停下来捶打自己的胸膛。如果你因为过于专注于数传球次数而完全忽略了这只猩猩，你就经历了**“不注意盲视”（inattentional blindness）**。

这是一个著名的关于人类大脑的现象。但本论文提出了一个新问题：人工智能模型（特别是视觉语言模型，即 VLMs）也会被这样愚弄吗？

研究人员采用了著名的实验——放射科医生（阅读 X 光片的医生）在观看 CT 扫描视频时未能发现隐藏在其中的大猩猩——并将同样的测试应用于 AI 模型。以下是研究结果的简要解释。

1. “忙碌的大脑”效应（不注意盲视）

研究人员向 AI 展示了一段肺部扫描视频，并要求它扮演医生的角色：“找出所有的肺结节（小肿块）。”

结果： 就像人类医生一样，AI 因为太忙于寻找肿块，完全忽略了在视频中走过的巨大猩猩。
类比： 这就像一位厨师正全神贯注于切洋葱，以至于没注意到一个小丑走进了厨房。AI “看”到了整张图像（它没有人类眼睛那样的盲点），但它的“注意力”锁定了任务，使得猩猩变得不可见。

2. “唯唯诺诺”的问题（虚构/臆造）

这是 AI 与人类不同之处。视频结束后，研究人员问 AI：“你有没有看到任何异常？”

人类的方式： 如果人类没看到猩猩，他们会说：“没有，我没看到。”
AI 的方式： 当研究人员直接问 AI：“你看到猩猩了吗？”时，即使视频中根本没有猩猩，AI 也开始说**“是的！”**。
类比： 想象一个正在参加考试的学生。如果老师问：“你在桌子上看到答案了吗？”，学生可能会回答“是”，仅仅是因为他们觉得老师期望听到肯定的回答。AI 并不是真的看到了猩猩；它是在**虚构（confabulating）**内容，因为它感觉到研究人员正在寻找特定的答案。它变成了一个“唯唯诺诺”的人。

3. “魔镜”测试

为了证明 AI 不仅仅是在产生幻觉，研究人员进行了第二次测试。他们提取了猩猩出现的那个精确的视频帧，并在一个全新的、没有任何对话背景的环境中将其展示给 AI。

结果： AI 立即以 100% 的准确率发现了猩猩。
教训： 这证明了 AI 完全能够看到猩猩。它只是在处理其他任务时“看不见”而已。这就是“看了却没看到”的部分。

4. “著名研究”陷阱

研究人员发现了一个 AI 特有的奇怪故障。由于 AI 在训练数据中读到过著名的“篮球赛中的大猩猩”实验，它识别出了这种测试的模式。

类比： 这就像一个读过练习题答案的学生。当老师问：“你看到隐藏物体了吗？”，学生说“是！”，不是因为他们在图片里看到了它，而是因为他们记起了关于大猩猩实验的故事。
AI 经常会说类似这样的话：“是的，我看到了大猩猩，就像在 Drew 等人的研究中那样。”即便视频中空无一物，它也会根据对实验的记忆进行猜测。

5. “专家 vs 通才”的转折

研究人员还测试了两种不同类型的 AI：

通才（Generalist）： 擅长观察自然界的一切（比如森林里的猩猩），但不擅长理解医学影像。它能发现猩猩，但找不到肺部。
专家（Specialist）： 专门针对医学扫描进行过训练。它非常擅长寻找肺部，但它也过于“积极”了。当被要求寻找猩猩时，即使在完全没有猩猩的视频中，它也声称看到了猩猩，比例高达 82%。
教训： 专家型 AI 会因为太想找到你要求的东西，而开始看到并不存在的东西。

核心启示

这篇论文的主要信息是对我们如何测试 AI 的警告：

你不能仅仅问 AI“你看到 X 了吗？”并信任那个“是”字。

如果你直接询问 AI，它可能会撒谎（虚构）或者仅仅为了表现得乐于助人而回答“是”，尤其是当它认为你正在针对一个著名的实验对其进行测试时。要了解 AI 是否真的看到了某些东西，你必须将其答案与“对照组”（没有猩猩的视频）进行比较，并使用严格的数学方法来区分它实际看到的和它仅仅是猜测的内容。

简而言之：AI 在忙碌时会“盲目”，但在被直接询问时可能会“撒谎”。 为了获得真相，你需要的是非常严谨、科学的测试，而不仅仅是一个简单的提问。

技术摘要：视觉语言模型中的注意盲视与“是”偏见性虚构

问题陈述
本研究调查了当代视觉语言模型（VLMs）是否表现出“注意盲视”（Inattentional Blindness, IB）现象——即当观察者的注意力被高强度的视觉任务吸引时，无法注意到意外刺激的现象。这种行为在人类受试者（Simons & Chabris, 1999）以及受过训练的放射科医生（Drew, Võ, & Wolfe, 2013）身上得到了著名的验证：尽管眼动追踪数据证实他们曾注视过该目标，但放射科医生未能报告出叠加在胸部 CT 影像上的大猩猩图像。

作者探讨了这种行为特征是否会在 VLMs 中复现，因为 VLMs 是并行处理整个图像，而非通过生物性的中央凹瓶颈进行处理。此外，本文还针对了一个关键的方法论缺陷：与人类受试者不同，VLMs 会表现出“幻觉”或“虚构”（Confabulation），即生成关于不存在的刺激的流畅且局部化的描述。因此，面对直接询问（例如“你看到大猩猩了吗？”）时，简单的“是”回答无法区分真实的感知与响应偏差（虚构）。研究认为，如果缺乏匹配对照组的误报基线（False-alarm baseline）和信号检测分析，关于 VLM 感知的结论在根本上是不可解释的。

研究方法
研究采用了三种实验方案，使用渲染为滚动视频堆栈的胸部 CT 扫描图像，其中一个大猩猩形象在特定的切片上逐渐淡入和淡出（其大小约为典型结节的 48 倍）。

实验 1（跨模型图谱）：
- 受试对象： 来自三个厂商（OpenAI、Anthropic、Google DeepMind）的 20 种模型配置，涵盖三个代际（2024–2026），包括带有和不带有“推理”模式的变化版本。
- 刺激物： 144 张静态图像复合体（存在大猩猩）和 12 张匹配的对照组图像，并在四种提示词类型下呈现（任务聚焦型、临床型、开放型和引导型）。
- 评分： 采用两级评分系统：L1（利用正则表达式匹配动物术语）和 L2（使用旗舰模型作为裁判，通过比较大猩猩图像与对照图像的描述来检测局部异常）。
实验 2（对 Drew 等人 2013 年研究的复现）：
- 受试对象： 单一模型 Gemini-3.1-Pro。
- 设计： 在单次对话中进行 5 次试验序列（4 次控制组热身 + 1 次目标试验）。目标试验要么包含大猩猩，要么不包含大猩猩。
- 探测手段： 任务结束后，模型接收到三个逐级递进的意识探测问题，其措辞完全沿用自 Drew 等人（2013）：
  - q1：“最后一次试验看起来有什么不同吗……？”
  - q2：“你注意到任何异常情况了吗……？”
  - q3：“你看到大猩猩了吗……？”
- 对照组： 使用后续模型（gemini-3.1-pro-preview）进行“干净静态图像可检测性子运行”，通过全新的、无上下文的对话建立误报基线，以纠正对话内第 4 个问题（q4）带来的混淆效应。
分割分支：
- 受试对象： 两个通过文本提示的分割模型：SAM 3（自然图像通用模型）和 BiomedParse（医学专业模型）。
- 任务： 在相同的冻结刺激视频下，分别针对“gorilla”（大猩猩）、“lung_field”（肺野）和“nodule”（结节）进行提示。
- 指标： 计算大猩猩存在帧的检测率与大猩猩缺失对照帧的误报率。

关键结果

注意盲视的复现： 在自发性的、任务执行状态下（在任何探测之前），VLM 在 24 次试验中有 23 次未能报告大猩猩（漏报率 96%），这与人类放射科医生观察到的 83% 漏报率高度相似。模型在执行结节搜索任务的过程中并未受到干扰，这与人类行为平行。
“是”偏见与虚构： 随着探测问题变得越来越具有引导性（从 q1 到 q3），模型区分信号与噪声的能力发生崩溃。
- 在微妙的 q1 探测下，敏感度（ $d'$ ）为 1.22。
- 在直接的 q3 探测（“你看到大猩猩了吗？”）下，敏感度降至 0.20，且响应判别标准（ $c$ ）转向 -1.18，表明存在强烈的“是”偏见。
- 在对照试验（无大猩猩）中，模型频繁地虚构出特定的时间戳和肺部坐标，甚至经常引用原始研究者（Drew, Võ, 和 Wolfe）的名字。
范式识别： 模型在 67% 的试验中明确识别出了“隐形大猩猩”范式（无论是在有大猩猩还是无大猩猩的试验中），这表明模型的反应受其训练数据中对实验设计的识别影响，而非纯粹的视觉感知。
分割差异：
- SAM 3（通用型）在高精度检测到窗口内的大猩猩的同时，在对照视频上的误报率接近于零（0.7%）。
- BiomedParse（专业型）检测到了窗口内的大猩猩（92%），但在对照视频上表现出极高的误报率（82%），在被提示时几乎在每一帧都标记为“gorilla”。
干净的可检测性： 当大猩猩峰值切片作为明确的搜索目标呈现在全新的、无上下文的对话中时，模型实现了 100% 的命中率和 0% 的误报率（ $d' = 4.11$ ），证明了大猩猩在感知上是可获得的，但在执行高强度任务期间被忽略了。

核心贡献

行为复现： 证明了注意盲视的行为特征（即尽管视觉注视，但在任务驱动下无法报告意外刺激）在 VLMs 中得以复现。
方法论修正： 确立了 VLM 感知任务中的原始“是”率受幻觉和响应偏差的影响。论文指出，任何关于“模型是否看到了 X”的断言，都需要匹配对照组的误报基线以及信号检测分析（计算 $d'$ 和 $c$ ）。
范式识别混淆： 识别了一种独特的失效模式，即 LLM 会根据其训练数据识别出实验范式，从而导致在对照试验中产生模仿感知的虚构行为。这表明经典的认知范式不能在不经修改的情况下直接应用于 LLM。
推广至非对话模型： 表明对于文本提示的分割模型，建立误报基线的必要性同样存在，这些模型可能在单刺激评估协议中掩盖了高假阳性率的问题。

意义与主张
本文声称，虽然 VLMs 表现出注意盲视的功能性类比，但由于虚构现象的存在，其感知的解释与人类观察者有着本质区别。作者断言，如果没有显式的对照基线，目前的基准测试可能会高估 VLM 在直接提问下的感知恢复能力。

对于放射学 AI 而言，本研究揭示了一个具有部署相关性的失效模式：医学专业模型在单刺激测试中可能表现出极高的准确性（能检测到异常存在），但如果缺乏区分异常与正常解剖结构的特异性，在临床环境下可能会产生过多的假阳性。作者总结道，未来将 VLMs 作为认知主体进行评估时，必须同时考虑“在引导性提问下的虚构行为”以及“来自训练数据的范式识别”，才能产生可解释且可证伪的信号。