技术摘要：任务驱动型 AI 中的注意力缺口

问题陈述

目前的 AI 安全评估主要衡量模型检测基准测试中明确指定之危险（$D_{specified}$）的能力。然而，现实世界的事故往往源于未被指定的安全关键信号（$D_{unspecified}$）。本文指出，将语言或视觉模型置于狭窄的任务条件下，会产生一种人类“注意盲视”（inattentional blindness）的功能性类比。在这种状态下，模型会抑制对共存的安全关键信息的报告，尽管在无约束条件下该模型完全具备报告这些信息的能力。这种现象被称为注意力缺口（Inattentional Gap），它使测量的基准安全性与实际部署安全性脱节：一个系统可以在已指定目标上获得近乎完美的得分，却对导致伤害的未指定危险视而不见。

研究方法

本研究通过涉及文本和视觉模态、放射科和自动驾驶领域以及多种模型家族（OpenAI、Anthropic、Google）的六项实验，采用了受控实验设计。

核心实验设计：
核心指标是项内报告缺口（within-item reportability gap）。对于给定的模型 $m$ 和输入项 $i$，研究对比了：

1. 开放条件（$R^{open}_{m,i}$）： 要求模型报告所有临床显著的发现或危险。
2. 任务驱动条件（$R^{task}_{m,i}$）： 模型被限定在一个狭窄的指令下（例如，“数肋骨”、“仅评估结节”、“追踪前车”）。

注意力缺口定义为 $IG_{m,i} = R^{open}_{m,i} - R^{task}_{m,i}$，且仅针对模型在开放条件下成功报告该信号（$R^{open}_{m,i} = 1$）的项目进行计算。这一控制变量旨在区分任务诱发的遗漏与单纯的能力失效。

刺激物与模型：

• 研究 1（语言）： 100 个程序化生成的场景（64 个放射科场景，36 个驾驶场景），在聚焦、严格和开放指令下，对四种模型（gpt-4o-mini, gpt-4o, claude-haiku-4-5, claude-sonnet-4-6）进行测试。
• 研究 2（视觉）： 通过在 12 张真实的胸部 X 光片上叠加非解剖学物体（一颗星或一个半透明圆盘）来创建 48 个刺激物。在“计数”任务（封闭）与开放式描述下对相同的四种模型进行测试。
• 研究 3（输出范围）： 改变子问题数量（0 到 3 个），以探究抑制是由认知负荷还是输出范围驱动的。
• 跨厂商/旗舰验证： 测试了旗舰模型（GPT-5, Gemini 2.5 Pro, Claude Opus 4.8），以评估规模效应和家族依赖性。
• 双过程探测： 调查推理时推理（GPT-5）或外部“评论家”模型是否能恢复被抑制的报告。

判定：
响应由两个独立的语言模型评判员进行评分（具有高评分者间一致性，$\kappa \approx 0.90$），以确定是否报告了关键信号。拒绝回答和错误均被排除在外。

关键结果

1. 狭窄任务下的普遍抑制
在所有测试的模型和模态中，任务驱动显著抑制了安全关键信号的报告。

• 严格指令： 在“严格”指令下（例如，“仅报告 X”），抑制是完全且普遍的。在放射科文本场景中，相比于开放条件下的约 1.00 报告率，严格指令下的报告率降至 0.00（$p < 1.1e-19$）。
• 视觉任务： 在“隐形猩猩”类比实验中（在计数肋骨的同时存在一颗星），OpenAI 模型（gpt-4o, gpt-4o-mini）在计数任务项中的物体报告率为 0.00，而在开放条件下报告率为 0.79–0.96。

2. 与模型规模无关
该缺口并未随模型规模的增大而减小。前沿模型（gpt-4o）表现出的抑制程度与较小规模的模型（gpt-4o-mini）相当。推理模型 GPT-5 也表现出完全抑制（0.00 报告率）的情况，这表明推理时推理本身并不能解决该缺口。

3. 模型家族依赖性
缺口的大小显著取决于模型家族而非仅仅是规模。

• Anthropic 模型： 在聚焦条件下表现出部分抑制（例如，Claude Opus 4.8 在任务驱动项中仍能报告 0.83–0.96 的共存发现），并表现出一种即使在对抗性抑制指令下依然存在的“稳健安全报告倾向”。
• OpenAI 模型： 在包括 GPT-5 在内的所有规模下均表现出强烈的抑制。

4. 机制：是输出范围，而非负荷
研究 3 表明，抑制是由输出范围（报告框架的宽度）而非单调增加的任务负荷触发的。单个狭窄的问题就会使报告率塌陷至接近零。虽然增加问题数量会增加输出长度，但对于 OpenAI 模型而言，这并未线性地恢复被抑制的信号；而 Anthropic 模型则显示出随着输出范围扩大，报告有所恢复。

5. 双过程发现

• 内部监督： 被采样的推理模型（GPT-5）未能起到边界监控的作用；它仍然处于“任务捕获”状态（属于 System-1 风格），未能覆盖狭窄的指令。
• 外部监督： 将任务模型的狭窄报告路由给一个独立的开放式“评论家”模型，可以恢复被抑制的信号，将管道报告率从 0.00 提升至 1.00。

重要性与主张

本文认为，注意力缺口代表了任务范围型 AI 部署中的一个根本性风险。

• 安全性的脱节： 在指定目标上的基准准确性并不保证针对未指定、共存危险的安全。一个系统可以符合评估标准下的“安全”，但在面对导致事故的危险时却处于“盲视”状态。
• 机制区分： 与通常归因于容量受限的注意力瓶颈的人类注意盲视不同，AI 的机制被确定为报告调节（report-conditioning）。模型并非无法“看到”信号（由开放条件的恢复情况证明），而是任务指令收窄了报告框架，导致模型为了满足提示词的约束而省略了该信号。
• 部署启示： 本文结论指出，仅仅提高模型遵循狭窄任务的能力并不能保障安全性。相反，安全性需要一种能够显式测量并保护 $D_{unspecified}$ 的评估和部署方案，这可能需要通过显式的双过程脚手架（例如，并行监督）来实现，而不是依赖于内在的模型监督，因为研究发现后者在所采样的系统中并不具备架构通用性。

作者认为，这项工作通过结合注意力集操纵与项内报告性控制，填补了机器学习研究中的一个“空白单元”，超越了简单的能力基准测试，转而测量任务诱发的遗漏。