Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

技術要約：安全関連環境における人間の注視と視覚言語モデルの注意の比較

問題提起
安全性を考慮した人工知能（AI）システム、特に自動運転やロボティクスにおいては、人間が潜在的なリスクとして認識するシーン領域を特定する能力が求められる。アイトラッキング技術は、人間の視覚的注意の直接的な尺度を提供し、「ネガティビティ・バイアス」（脅威となる刺激に対する不釣り合いな感受性）を明らかにするが、既存の計算モデルの多くは、安全性の知覚よりも一般的な視覚的サリエンス（顕著性）に焦点を当てている。現代の大規模視覚言語モデル（VLM）が、アイトラッキングデータによる学習を必要とせずに、意味理解能力を用いて、安全に関連する環境において人間の注視と空間的に整合した注意を向けることができるかという点において、重要なギャップが存在する。

手法
本研究では、人間のデータ収集とAI推論を組み合わせた二段構えのアプローチを採用した：

1. 人間のアイトラッキング・データセットの構築:

   • 刺激: 様々なレベルのリスク（車両、障害物、洪水標識など）を含む、多様な日常環境（街路、廊下、公共スペース、緑地）を代表する33枚のシーン画像。
   • 参加者: 正常または矯正された視力を持つ大学生10名。
   • 装置: Pupil Invisibleウェアラブル・グラス（200 Hz 二眼注視トラッキング、30 fps シーンカメラ）を使用し、参加者が画像を10秒間注視している間の注視を記録した。
   • 処理: 生の注視データを妥当性に基づいてフィルタリングし、シーンカメラの視野から刺激解像度（1,536 × 1,024 ピクセル）へマッピングし、ガウス平滑化（$\sigma = 30$ px）を用いて個別の固視密度マップへと変換した。これらを平均化することで、33枚の集団レベルの人間注視ヒートマップを作成した。

2. AIサリエンス・マップの生成:

   • モデル: そのマルチモーダル推論能力に基づき、GPT-4oを選択した。
   • パイプライン: 自動化されたPythonスクリプトを用い、OpenAI Vision APIを介してGPT-4oに対し「視覚的サリエンスのエキスパート」として振る舞うようプロンプトを与えた。モデルには、自由注視時における人間の注視位置を予測する、20〜25個の正規化された固視点 $(x, y)$ とサリエンス重み $(w)$ を含む構造化されたJSONオブジェクトを返すよう指示した。
   • レンダリング: JSON出力をキャンバス上に塗りつぶされたディスク（$r=40$ px）としてラスタライズし、続いてガウス平滑化（$\sigma = 60$ px）を適用することで、人間のヒートマップと比較可能な連続的なサリエンス・マップを生成した。なお、この過程でアイトラッキングデータを用いたモデルの学習は行っていない。

3. 評価:

   • 全33枚の画像に対し、以下の4つの指標を用いて、人間とAIのヒートマップ間の空間的整合性を定量化した：
     • ピアソン相関係数 ($r$): 線形的な空間的一致度。
     • 正規化スキャンスパス・サリエンス (NSS): 人間の固視点におけるAIの値の対応関係。
     • カルバック・ライブラー（KL）ダイバージェンス: 2つのマップ間の分布の差異。
     • AUC-Judd: 固視された場所とそうでない場所を識別する能力。
   • Gemini Pro、Gemini Flash、Claudeを用いたクロスモデル比較を実施した。

主な結果

• GPT-4oの性能: 本モデルは、事前のアイトラッキング学習なしに、人間の注視と意味のある空間的整合性を示した。
  • AUC-Judd: $0.806 \pm 0.076$ （チャンス・ベースラインの0.5を大幅に上回る）。
  • NSS: $0.988 \pm 0.323$ （人間の固視点において平均以上の値を示す正のスコア）。
  • ピアソン $r$: $0.515 \pm 0.117$ （中程度ではあるが一貫した線形相関）。
  • KL ダイバージェンス: $1.766 \pm 0.844$。
• クロスモデル比較: テストされたすべてのモデル（GPT-4o, Gemini Pro, Gemini Flash, Claude）がAUC-Juddのチャンス・ベースラインを超え、正のNSSスコアを達成した。
  • Gemini Pro は、ピアソン相関 ($0.571$)、NSS ($1.131$)、およびAUC-Judd ($0.840$) において最も高いスコアを記録し、優れた空間局在化を示唆した。
  • GPT-4o は、最も低いKLダイバージェンス ($1.766$) を達成しており、これは、空間的な局在化スコアではGemini Proよりわずかに低かったものの、予測されるサリエンスの分布形状が人間の注意分布に最も近いことを示している。
• シーンの変動性: リスクに関連するコンテンツが空間的に局在しているシーン（例：画像05、画像02）では整合性が強く、拡散した人間の注視パターンを持つシーンでは弱くなった。

主要な貢献

1. データセットの構築: 本研究は、異なるリスクレベルを持つ33種類の多様な日常シーンをカバーする専用のアイトラッキング・データセットを構築し、安全性の知覚に関するグラウンドトゥルースとしての集団平均的な人間注視ヒートマップを提供した。
2. ゼロショット整合性の実証: 大規模なVLMが、特定の注視学習データを必要とせずに、リスクを特定するようにプロンプトを与えることで、人間の注意パターンと整合する空間予測を生成できることを経験的に示した。
3. 評価フレームワーク: 安全に関連する文脈において、AIが生成したリスクマップと人間の注視との間の空間的対応関係を定量化するために、包括的な一連の補完的なサリエンス指標を適用した。

意義と主張
著者らは、大規模視覚言語モデルが、人間の注意が向けられる領域とおおむね一致する潜在的なリスク領域を特定できると主張している。これは、モデル自体は「ネガティビティ・バイアス」を経験していないにもかかわらず、人間が生成したコンテンツの学習を通じて、VLMが人間の注意の傾向を暗黙的に捉えている可能性を示唆している。

これらの知見の意義は、VLMが、安全性に配慮したAIアプリケーションにおいて人間の注意パターンを近似するためのスケーラブルなツールとして機能する可能性にある。この能力は、展開時に専用の、高価なアイトラッキング・ハードウェアを必要とすることなく、人間のリスク知覚と一致するシステム（自律型ロボットや車両など）の開発を支援できる可能性がある。著者らは、結果は有望ではあるものの、限定的であることも述べている。整合性は完璧ではなく、本研究は、参加者サンプルが少ないことや、密な人間の注視データと比較してAIのJSONベースの出力が疎であることなどの限界を認めている。今後の課題として、これらの知見をさらに検証するために、より大規模で多様なサンプルや動的なビデオ刺激を用いることが示唆されている。