💬 NLP

The Inattentional Gap: Task-Conditioned Language and Vision Models Omit the Safety-Critical Signals They Can Otherwise Report

本論文は、タスク条件付きのAIモデルが、本来検知可能なはずの共存する安全性に関わる信号の報告能力を系統的に抑制することで、ベンチマークの安全性スコアと実世界の信頼性との間に危険な乖離を生じさせる現象である「不注意のギャップ（Inattentional Gap）」を導入するものである。

原著者： Kwan Soo Shin

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kwan Soo Shin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢く、高度な訓練を受けた警備員を雇い、混雑した駅を見守らせていると想像してください。あなたは彼に、具体的かつ緊急の任務を与えます。「赤い帽子をかぶっている人が正確に何人いるか数えなさい。」

その警備員は非常に優秀です。彼は赤い帽子の数を完璧に数え上げます。しかし、帽子の数を凝視している間、彼は目の前を通り過ぎるゴリラの着ぐるみの人物や、線路に迷い込んだ子供を完全に見逃してしまいます。

この論文は、この現象を「不注意のギャップ（Inattentional Gap）」と呼んでいます。これは、AIに対して特定の物事に集中するように指示すると、その一点において非常に有能になるあまり、すぐ隣で起きている他の危険な出来事に対して「盲目」になってしまう、ということを難しく表現した言葉です。たとえ、あらゆるものを見るように指示されていれば、それらを見ることができたはずなのに、です。

以下に、この論文の知見を分かりやすい比喩を用いて解説します。

1. 「赤い帽子」の問題（核心となる発見）

研究者たちは、AIモデル（文章を書いたり、X線検査を行ったりするもの）を2つの異なる方法でテストしました。

「オープン」な仕事： AIに「あなたが見ている重要なものをすべて教えてください」と尋ねる。
「ナロー（限定的）」な仕事： AIに「赤い帽子についてだけ教えてください。他のことはすべて無視してください」と尋む。

結果： AIが「ナロー」な仕事をしていたとき、AIは「オープン」な仕事では容易に報告できていたはずの危険な事象（ゴリラや子供など）の報告を止めてしまいました。これはAIがそれらを見ることができなかったからではなく、指示によって「赤い帽子だけに注意せよ」と命じられたためです。AIはルールに従いすぎたあまり、世界の他の部分に対して盲目になってしまったのです。

2. それは誰にでも起こる（規模に関わらず発生する）

「小さな、能力の低いAIならそうなるかもしれないが、超スマートなAIなら安全だろう」と思うかもしれません。

論文の指摘： いいえ。研究者たちは、小規模なモデルから、巨大な「フロンティア・モデル（現存する最高峰のモデル）」までテストを行いました。
比喩： あなたの警備員が新人であろうと、世界チャンピオン級の探偵であろうと関係ありません。もし「赤い帽子だけを数えなさい」と言われれば、たとえチャンピオン級の探偵であっても、ゴリラを見逃してしまうのです。AIのサイズがこの問題を解決することはありませんでした。

3. 単なる「作業量過多」ではない

一部の人々は、AIが何かを見落としたのは、忙しすぎたり情報過多になったりしたせいではないかと考えました。

論文の指摘： これは忙しさの問題ではなく、**回答の範囲（スコープ）**の問題です。
比喩： あなたがレポートを書いている場面を想像してください。もし「赤い帽子についての要約を1文で書きなさい」と言われたら、ゴリラについて言及する余地はありません。しかし、「赤い帽子についての長いエッセイを書きなさい」と言われれば、脚注の中で偶然ゴリラに触れることもあるでしょう。AIの「盲目状態」は、タスクによって回答を小さな箱の中に押し込め、危険な情報を締め出してしまうために起こります。

4. 「推論」の罠

研究者たちは、安全網として機能することを期待して、思考し「推論」するように設計された特殊なタイプのAIをテストしました。

論文の指摘： これらの「思考する」モデルでさえ、この罠に陥りました。
比喩： それは、警備員が立ち止まって「私は赤い帽子を数えている」と考え、「したがって、他のものを見るべきではない」と結論づけるようなものです。「思考」のプロセスが、ミスを防ぐどころか、むしろ間違ったことに集中させる手助けをしてしまったのです。

5. 「安全性レポート」の違い

興味深いことに、すべてのAIファミリーが同じように振る舞ったわけではありません。

発見： ある特定の企業のAIモデルは、組み込まれた「安全本能」を持っているようでした。たとえ他のものを無視するように指示されても、彼らは時として「指示されていても、この危険なものは無視できない」と報告することがありました。一方で、別の会社のモデルは、たとえそれが命に関わる危険を見落とすことになったとしても、「他のすべてを無視せよ」という命令を完璧に遂行しました。
教訓： AIの安全性は、そのAIがいかに賢いかではなく、どの会社が作ったのかに大きく依存しています。

なぜこれが重要なのか（論文による考察）

この論文は、現在、私たちはAIの安全性を「AIが赤い帽子を見つけられたか？」という問いによってテストしていると主張しています。もし答えが「はい」であれば、私たちはそのAIは安全であると判断します。

しかし、論文はこれが罠であると警告しています。AIは、赤い帽子を見つけるという点では完璧なスコアを獲得しながら、ゴリラや子供を報告するという点では完全に失敗する可能性があるからです。これは、私たちがテストしていること（赤い帽子）と、実際に私たちを守っていること（危険を見逃さないこと）の間に生じるギャップです。

要約すると： 論文は、AIの焦点を特定のタスクに絞ると、「盲点」が生じることを示しています。AIが壊れているのではなく、単に命令に忠実に従いすぎているのです。真に安全であるためには、AIが「自ら判断できる」ことを期待するだけでなく、明示的に指示されていないものでも見逃さないように、テストと展開の方法を変える必要があります。

技術要約：タスク条件付けAIにおける不注意ギャップ（The Inattentional Gap in Task-Conditioned AI）

問題提起

現在のAI安全性評価は、主にベンチマークで明示的に指定されたハザード（ $D_{specified}$ ）を検出するモデルの能力を測定している。しかし、現実世界の事故は、指定されていない（ $D_{unspecified}$ ）安全性に関わる信号に起因することが多い。本論文は、言語モデルや視覚モデルを狭いタスクに条件付け（conditioning）を行うと、人間の「不注意による盲目（inattentional blindness）」の機能的な類似現象が生じると主張している。この状態において、モデルは、制約のない条件下では報告可能であるはずの、共存する安全性に関わる情報を報告することを抑制してしまう。この現象は**不注意ギャップ（Inattentional Gap）**と呼ばれ、測定されたベンチマーク上の安全性と、現実世界の展開時における安全性とを乖離させる。すなわち、システムは指定されたターゲットに対してはほぼ完璧なスコアを達成しながらも、危害を引き起こす未指定のハザードに対しては盲目である可能性がある。

メソドロジー

本研究は、テキストおよび視覚モダリティ、放射線学および自動運転ドメイン、そして複数のモデルファミリー（OpenAI, Anthropic, Google）を含む6つの実験を用いた、制御された実験デザインを採用している。

核心となる実験デザイン:
中心となる指標は、**項目内報告率のギャップ（within-item reportability gap）**である。特定のモデル $m$ と入力項目 $i$ について、研究では以下を比較する：

オープン条件 ( $R^{open}_{m,i}$ ): モデルに対し、臨床的に重要な所見またはハザードをすべて報告するよう求める。
タスク条件付き ( $R^{task}_{m,i}$ ): モデルに対し、狭い指示（例：「肋骨を数えよ」、「結節のみを評価せよ」、「先行車両を追跡せよ」）を与える。

不注意ギャップは、 $IG_{m,i} = R^{open}_{m,i} - R^{task}_{m,i}$ として定義される。これは、モデルがオープン条件下でその信号を報告することに成功した場合（ $R^{open}_{m,i} = 1$ ）にのみ計算される。この制御により、**タスクによる誘発的な欠落（task-induced omission）を、単なる能力の欠如（capability failure）**から区別している。

刺激物およびモデル:

研究1 (言語): 100個のプロシージャルに構成されたシナリオ（放射線学64、自動運転36）を用い、4つのモデル（gpt-4o-mini, gpt-4o, claude-haiku-4-5, claude-sonnet-4-6）を、フォーカスされた指示、厳格な指示、およびオープンな指示の下でテストした。
研究2 (視覚): 12枚の実在する胸部X線写真上に、非解剖学的な物体（星または半透明の円盤）を合成して作成された48個の刺激物を使用。これらを、同じ4つのモデルに対し、「計数」タスク（クローズド）とオープンな記述の下でテストした。
研究3 (出力範囲): サブ質問の数（0から3）を変化させ、抑制が認知負荷によるものか、あるいは出力範囲によるものかを調査した。
クロスベンダー/フラッグシップ検証: スケールおよびファミリー依存性を評価するため、フラッグシップモデル（GPT-5, Gemini 2.5 Pro, Claude Opus 4.8）をテストした。
二重プロセス・プローブ: 推論時推論（GPT-5）や外部の「クリティック（批評家）」モデルが、抑制された報告を回復できるかどうかを調査した。

判定:
回答は、2つの独立した言語モデル・ジャッジによってスコアリングされた（高い検者間一致度 $\kappa \approx 0.90$ を持つ）。判断基準は、クリティカルな信号が報告されたかどうかである。拒絶やエラーは除外された。

主要な結果

1. 狭いタスク下での普遍的な抑制
テストされたすべてのモデルおよびモダリティにおいて、タスク条件付けは安全性に関わる信号の報告を有意に抑制した。

厳格な指示: 「Xのみを報告せよ」といった「厳格な」指示の下では、抑制は完全かつ普遍的であった。放射線学のテキストシナリオにおいて、厳格な指示の下での報告率は、オープン条件での約1.00と比較して0.00へと低下した（ $p < 1.1e-19$ ）。
視覚タスク: 「見えないゴリラ」の類似実験（肋骨を数えている間に星が存在する）において、OpenAIのモデル（gpt-4o, gpt-4o-mini）は、計数タスクの項目においてその物体を0.00の割合で報告したが、オープン条件では0.79〜0.96の割合で報告していた。

2. モデルスケールからの独立性
ギャップはモデルのスケールによって減少することはなかった。フロンティアモデル（gpt-4o）は、小型モデル（gpt-4o-mini）と同様に強く所見を抑制した。推論モデルであるGPT-5も完全な抑制（報告率0.00）を示しており、これは推論時推論だけではギャップを解決できないことを示している。

3. モデルファミリーへの依存性
ギャップの大きさは、単なるサイズではなく、モデルファミリーによって有意に異なった。

Anthropicモデル: フォーカスされた条件下でも部分的な抑制に留まり（例：Claude Opus 4.8は、タスク条件付きの項目においても0.83〜0.96の割合で共存する所見を報告した）、敵対的な抑制指示の下でも持続する「堅牢な安全性報告傾向」を示した。
OpenAIモデル: GPT-5を含むすべてのスケールにおいて、強い抑制を示した。

4. メカニズム：負荷ではなく出力範囲
研究3により、抑制はタスク負荷の単調な増加ではなく、出力範囲（output scope）（報告フレームの広さ）によって引き起こされることが明らかになった。単一の狭い質問が、報告率をゼロ近くまで崩壊させた。質問を追加しても出力の長さは増えたが、OpenAIのモデルについては、抑制された信号を線形に回復させることはできなかった。一方で、Anthropicのモデルは、出力範囲が広がるにつれて部分的な回復を示した。

5. 二重プロセスの知見

内部監視: サンプリングされた推論モデル（GPT-5）は、境界モニターとして機能することに失敗した。それは狭い指示に従い続ける「タスク捕捉（task-captured）」状態（システム1スタイル）であり、指示をオーバーライドすることはなかった。
外部監視: タスクモデルからの狭い報告を、独立したオープンエンドな「クリティック」モデルへとルーティングすることで、抑制された信号を回復させることができた。これにより、パイプラインの報告率は0.00から1.00へと上昇した。

意義および主張

本論文は、不注意ギャップが、タスク限定されたAIの展開における根本的なリスクであることを主張している。

安全性のデカップリング（分離）: 指定されたターゲットに対するベンチマーク精度は、共存する未指定のハザードに対する安全性を保証しない。システムは、評価基準においては「安全」であっても、事故を引き起こすハザードに対しては「盲目」であり得る。
メカニズムの区別: 人間の不注意による盲目は、しばしば容量制限のある注意のボトルネックに起因するとされるが、AIのメカニズムは**報告条件付け（report-conditioning）**であると特定された。モデルは信号を「見る」ことに失敗しているのではない（オープン条件での回復がそれを証明している）。むしろ、タスク指示が報告フレームを狭め、プロンプトの制約を満たすためにモデルが信号を省略させているのである。
展開への示唆: 安全性は、単にモデルをより有能に狭いタスクに従わせることで確保されるものではない。安全性には、 $D_{unspecified}$ を明示的に測定し保護する、評価および展開のレジームが必要である。これは、モデル固有の監視（サンプリングされたシステムでは一般的ではないことが判明した）に頼るのではなく、明示的な二重プロセス・スキャフォールド（例：並行的な監視）を通じて実現されるべきである。

著者らは、注意セットの操作と、単純な能力ベンチマークを超えてタスク誘発的な欠落を測定する「項目内報告制御」を組み合わせることで、文献における「空白のセル」を埋めるものであると位置づけている。