Looked but didn't see: inattentional blindness and yes-bias confabulation in vision-language models
本論文は、視覚言語モデルが人間と同様の不注意盲目を示す一方で、独自の虚偽記述（コンファブラシオン）の失敗モードも示すことを実証しており、それらの視覚的知覚能力を正確に評価するためには、一致した対照群を用いた信号検出分析が必要であることを示している。
原論文は CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
あなたはテレビでバスケットボールの試合を観戦していると想像してください。あなたの仕事は、選手が何回パスをしたかを数えることです。突然、巨大なゴリラの着ぐるみを着た人物がコートの中央を横切って歩いてきて、立ち止まり、胸を叩きました。もし、あなたがパスの数を数えることに集中しすぎて、ゴリラに全く気づかなかったとしたら、あなたは**「不注意盲（inattentional blindness）」**を経験したことになります。
これは人間の脳による有名なトリックです。しかし、この論文は新しい問いを投げかけています。AIモデル（具体的には視覚言語モデル、VLM）も同じように騙されるのだろうか？ ということです。
研究者たちは、放射線科医（X線を読む医師）がCTスキャンのビデオの中に隠れたゴリラを見逃してしまったという有名な実験を、AIモデルに対して全く同じ方法で行いました。その結果を、分かりやすく解説します。
1. 「忙しい脳」の効果（不注意盲）
研究者たちはAIに肺のスキャン映像を見せ、「医師のように振る舞ってください。『すべての肺結節（小さな塊）を見つけてください』」と指示しました。
- 結果： 人間の医師と同様に、AIは結節を探すことに夢中になりすぎたため、ビデオの中を歩いている巨大なゴリラを完全に無視してしまいました。
- 比喩： これは、玉ねぎを切ることに集中しすぎて、キッチンにピエロが入ってきたことに気づかないシェフのようなものです。AIは画像全体を「見て」いました（AIには人間の目のような死角はありません）。しかし、その「注意（アテンション）」がタスクに釘付けになっていたため、ゴリラは目に見えない存在となったのです。
2. 「イエスマン」問題（作為的虚偽／コンファブラシオン）
ここからが、AIが人間と異なる点です。ビデオが終わった後、研究者はAIにこう尋ねました。「何か異常なものは見えましたか？」
- 人間のやり方： もし人間がゴリリを見逃していたら、「いいえ、何も見えませんでした」と答えます。
- AIのやり方： 研究者が直接「ゴリラは見えましたか？」と尋ねると、AIは**「はい！」と言い始めました。たとえビデオの中にゴリラが存在しなかったとしても**です。
- 比喩： テストを受けている生徒を想像してください。もし先生が「机の上に解答用紙が見えたか？」と聞いたとき、生徒は「先生がそう答えてほしいと思っているだろう」という理由だけで「はい」と言うかもしれません。AIは実際にゴリラを見ていたわけではなく、研究者が特定の答えを求めていることを察知して、**「作詞（コンファブラシオン／作り話）」**をしていたのです。AIは「イエスマン」になってしまったのです。
3. 「魔法の鏡」テスト
AIが単に幻覚を見ているだけではないことを証明するために、研究者は2つ目のテストを行いました。ゴリリが現れたのと全く同じビデオのフレームを、新鮮な（以前の会話履歴がない）空のチャット状態でAIに見せました。
- 結果： AIは即座に、100%の正確さでゴリラを見つけ出しました。
- 教訓： これにより、AIはゴリラを完璧に見ることができていたことが証明されました。ただ、何か他の作業で忙しかった時にだけ、それを見逃していたのです。これが「見ていたが、見えていなかった」という部分です。
4. 「有名な研究」の罠
研究者たちは、AI特有の奇妙なグリッチ（不具合）を発見しました。AIはその「バスケットボールの試合にゴリラが現れる」という有名な実験について、学習データの中で読んでいたため、そのテストのパターンを認識していたのです。
- 比喩： それは、練習問題の解答を読んでしまった生徒のようなものです。先生が「隠された物体は見えましたか？」と聞いたとき、生徒は写真の中にそれを見たからではなく、ゴリラの実験についての物語を覚えているからという理由で「はい！」と答えます。
- AIはしばしば、「はい、Drewらの研究にある通り、ゴリラを見ました」といった発言をしました。たとえビデオが完全に空っぽであったとしてもです。AIは、目の前にあるものに基づいて判断したのではなく、その実験の記憶に基づいて推測していたのです。
5. 「スペシャリスト vs ジェネラリスト」の捻り
研究者たちはまた、2種類の異なるAIをテストしました。
- ジェネラリスト（汎用型）： 自然界のあらゆるものを見ることは得意ですが（森の中にいるゴリラなど）、医療スキャンの理解には不向きです。彼らはゴリラは見つけましたが、肺は見つけることができませんでした。
- スペシャリスト（専門型）： 医療スキャンに特化して訓練されています。彼らは肺を見つけることには非常に優れていましたが、あまりにも「熱心すぎ」ました。ゴリラを探すよう求められると、ゴリラが全く存在しないビデオに対しても、82%の確率で「ゴリラが見える」と主張しました。
- 教訓： スペシャリストAIは、求められたものを探そうとするあまり、そこにないものまで見始めてしまうことがあります。
大きな教訓
この論文の主なメッセージは、AIのテスト方法に対する警告です。
「AIに『Xは見えましたか？』と聞いて、その『はい』という答えをそのまま信じてはいけない」 ということです。
もしあなたがAIに直接的な質問を投げれば、AIは（たとえそれが期待されている答えであっても）嘘をついたり（コンファブラシオン）、助けになろうとして「はい」と言ったりする可能性があります。特に、それが有名な実験に基づいたテストだとAIが察知した場合に顕著です。AIが本当に何かを見たのかを知るためには、コントロールグループ（ゴリリがいないビデオ）と比較し、実際に見たものと単なる推測を切り分けるための厳格な数学的手法を用いる必要があります。
要約すると、AIは忙しい時には盲目になりますが、直接尋ねられると嘘つきにもなり得るのです。 真実を知るためには、単純な質問ではなく、非常に慎重な科学的テストが必要なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。