Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms

「ウォーリーをさがせ！」のゲームをしている場面を想像してみてください。混雑した絵の中で、あなたは赤い帽子を探しています。青い帽子がひしめき合う中で、あなたの脳は瞬時にその赤い帽子を見つけ出します。そこにどれほど多くの人がいても関係ありません。しかし、もし探しているのが「赤い帽子」であり、かつその形が「星型」だったとしたら（周りの人々は全員、青い帽子か赤い円形の帽子を被っているとします）、あなたの脳は一人ひとりをスキャンするように動かなければなりません。人数が増えるほど、ターゲットを見つけるのに時間がかかります。

これは、心理学者が人間の注意力の仕組みを理解するために数十年にわたって使用してきた、古典的な「視覚探索（Visual Search）」というゲームです。ある新しい論文は、非常に興味深い問いを投げかけています。「AIモデルは、人間と同じ方法でこのゲームをプレイしているのだろうか？」

AIには心拍数もストップウォッチもないため、研究者はAIが画像に対してどれくらい「考えた」かを直接測定することはできませんでした。そこで、彼らは巧妙なトリックを使いました。それは、AIが答えを出す前に生成した**「思考トークン（thinking tokens）」**の数を数えるという方法です。これらのトークンは、AIの内部的な独り言や、「メモ書き」のようなものだと考えてください。

• トークンが少ない ＝ AIは画像をパッと見て、「簡単だ、見つけた」と言った。（速い反応）。
• トークンが多い ＝ AIは長い理由を書き連ね、画像を再確認し、答えについて議論した。（遅く、労力を要する反応）。

この研究で判明したことを、簡単な比喩を用いて説明します。

1. 「ポップアウト」対「干し草の中の針」

人間の行動： ターゲットが明白な場合（青い帽子の中に赤い帽子がある場合）、人間は即座に見つけます。ターゲットが難しい場合（赤い円の中に赤い星がある場合）、群衆が増えるにつれて、人間はより長い時間を要します。
AIの行動： 最先端のAIモデルは、全く同じことを行いました。

• 簡単な「ポップアウト」タスクでは、画像の中にどれだけ多くのアイテムがあっても、AIはごくわずかで一定量の思考トークンしか使いませんでした。
• 難しい「干し草の中の針」タスクでは、画像の密度が高くなるにつれて、AIのトークン数は上昇しました。
  まとめ： AIの内部的な努力の曲線は、人間の反応時間の曲線とよく似ています。これは、これらのAIが「考えている」とき、人間が部屋をスキャンする時のように、実際に逐次的な（一つひとつ確認していく）探索を行っていることを示唆しています。

2. 「空っぽの部屋」の逆転現象

人間の行動： 特定のアイテムを探していて、それが「存在しない」場合、確信を持つために群衆の一人ひとりをチェックしなければなりません。これには多大な時間がかかります。逆に、アイテムが「存在する」場合は、それを見つけた瞬間に探索を止めることができます。つまり、人間は答えが「ノー」のときにより多くの労力を払います。
AIの行動： AIはこのシナリオを逆転させました。AIはターゲットを見つけて「イエス」のときにはより多く働き、ターゲットが見つからなかったときにはより少なく働きました。
まとめ： AIには「一つ見つけたら、それを正当化する」という戦略があるようです。ターゲットを見つけると、AIはそれをダブルチェックし、説明するために多くのトークンを費やします。しかし、すぐにターゲットが見当たらない場合、全体を根気強くスキャンすることなく、素早く「ノー」と答えてしまう可能性があります。

3. 「カウント」の超能力

人間の行動： 忙しい絵の中で5つや6つのアイテムを数えるよう頼まれると、人間はしばしば数を見失ったり、間違いを犯したりします。私たちの脳は、数を頭の中に保持し続けることに疲れてしまうのです。
AIの行動： AIモデルは、カウントにおいて完璧でした。多くのアイテムがある混雑した画像であっても、彼らは数を見失うことはありませんでした。
まとめ： AIは、人間のように疲れてミスをするのではなく、単により多くのエネルギーを投入したのです。彼らはミスをすることはありませんでした。ただ、追加の計算能力を使って、そのタスクをやり遂げた（グラインドした）だけなのです。彼らは「努力」を「正確さ」と引き換えにしました。

4. 「傾いた棒」のパズル

人間の行動： 人間は、垂直な棒の中に傾いた棒がある場合、それをすぐに見つけることができます（ポップアウト）。しかし、傾いた棒の中に真っ直ぐな棒がある場合は、非常に苦手です（困難なタスク）。
AIの行動： AIモデルも、方向によって難易度が異なることを理解していましたが、その難しさの表現方法はモデルによって異なりました。

• モデルA（根気強いタイプ）： 難しいタスクに対して膨大な量の思考トークンを費やしましたが、それでも正しい答えに到達しました。
• モデルB（ショートカットタイプ）： 難しいタスクに対してほとんど思考トークンを消費せず、単に答えを間違えました（存在しない傾いた棒を、あたかもそこにあるかのように「幻覚」として提示しました）。
  結論： 同じ視覚的な困難であっても、特定のAIの「性格」によって、「懸命に努力する」か「諦めて推測する」かのどちらかの選択肢を取ることになります。

総括

この論文は、現代のAIモデルが、人間の視覚探索の「指紋」を備えていると結論付けています。彼らは、いつ素早くスキャンし、いつゆっくりとスキャンすべきかを知っています。しかし、彼らは人間ではありません。疲れ方や、探索を止めるタイミングは人間とは異なります。また、「難しい」タスクに対して、追加の努力でやり遂げるか、あるいは派手に失敗するかという形で対処します。

研究者は、AIが「何を」答えたかだけでなく、「どれだけ」考えたか（トークン数）を観察することで、その「視覚」の隠れたメカニメントを見ることができると主張しています。それは、車がどこへ辿り着いたかを見るのではなく、エンジンの唸り声を聞くことで、その車の仕組みを理解しようとするようなものです。