Judging the reasons for fixations: A direct experimental method to assess the contribution of saliency and semantic factors to gaze control

あなたの目が、賑やかな街の様子を巡るカメラであると想像してみてください。長年、科学者たちは、なぜカメラが特定の場所に止まり、そこにピントを合わせるのかについて議論してきました。あるグループは、それは派手な光や鮮やかな色彩（サリエンス／顕著性）によるものだと主張し、別のグループは、「止まれ」の標識や人の顔のような意味のあるもの（セマンティクス／意味論）によるものだと主張しています。

これまでの研究の問題点は、街全体の地図を一度に見ることでこの問題を解決しようとしたことです。これは、観光客がなぜ特定の角で立ち止まったのかを知ろうとして、通り全体のヒートマップだけを見ているようなものです。彼らがネオンサインのせいで止まったのか、それとも大道芸人のせいで止まったのか、その理由が混ざり合ってしまい、判別できないのです。

新しい実験：観光客に尋ねる
遠くから推測する代わりに、この論文では直接的なアプローチを試みました。研究者たちは人々に写真を見せ、なぜ特定の場所を見たのか、その正確な理由を指摘するように求めたのです。これは、観光客が写真を撮った直後に立ち止まって、「ねえ、なぜその写真を撮ったの？ あの真っ赤な消防車のせい？ それとも、帽子をかぶった面白い犬のせい？」と尋ねるようなものです。

分かったこと
回答によって明らかになったのは、私たちの目はこれら両方の要因によって動かされているものの、「意味」が通常は勝利するということです。私たちはただ最も明るいものを見つめているのではなく、自分にとって重要なものを見つめているのです。

興味深いことに、「意味」とは単に馴染みのある物体を認識することだけではありませんでした。大きな要因となったのは、奇妙なもの、未知のもの、あるいは珍しいものを見つけることでした。私たちの脳は好奇心旺盛な探偵のようなもので、もし何かが自分の知っている「ルールブック」に適合しない場合、即座にそこにズームインするのです。

新しいフレームワーク：「スポットライト」対「ツアーガイド」
これを理解するために、著者らは私たちの目の仕組みを、2段階のアナロジーを用いて新しい方法で提案しています。

1. スポットライト（サリエンス）： ステージマネージャーが、ステージ上の興味深い部分や奇妙な部分に明るいスポットライトを当てる様子を想像してください。これが、どこを見るべきかを強調します。
2. ツアーガイド（戦略）： 次に、ツアーガイドがスポットライトを次の場所へとどのように移動させ、スムーズな経路（スキャンパス）を作り出すかを決定します。

この論文は、古いコンピュータモデルは「ステージマネージャー」（明るい場所を見つけること）には優れていても、「ツアーガイド」（どのように目を動かすかという戦略）の部分を逃していたと示唆しています。

ディープラーニングの勝者
研究者たちは、これをコンピュータモデルと比較しました。その結果、古いモデル（単純なサリエンスマップなど）は、見る理由が変わると（例：「奇妙さ」をうまく扱えないなど）、惨めなほど失敗することが分かりました。しかし、より新しくスマートなAIモデル（DeepGaze IIEなど）は、はるかに柔軟でした。

古いモデルを「赤いものだけを探すロボット」と考えてみてください。もし青くて奇妙な物体を見せたら、混乱してしまいます。新しいAIモデルは、赤いものも奇妙なものも両方理解しており、なぜ見ているのかという特定の理由に基づいてどのように目を動かすかを知っている「人間」のようなものです。このモデルは「ツアーガイド」の戦略を理解しているため、なぜ見ているのかに関わらず、私たちの視線の動きをより正確に予測できます。

要約すると
私たちは単に明るいものを見ているのではなく、興味深いもの、馴染みのあるもの、あるいは奇妙で新しいものを見ています。私たちの目がどこへ向かうかを予測するには、画像の「派手な光」だけでなく、なぜそこを見ているのかという「ストーリー」を理解できるコンピュータモデルが必要なのです。