技術要約：人間の視覚・聴覚探索行動のシミュレーション

問題提起

空間内でのターゲットの特定は、聴覚および視覚的な手がかりを用いる基本的な課題であり、ユビキタスかつ没入型の環境（例：駐車場で車を探す、バーチャル会議でスピーカーを見つけるなど）におけるヒューマン・コンピュータ・インタラクション（HCI）において特に重要である。現在の視覚・聴覚探索に関する計算モデルには、主に以下の2つの限界が存在する：

1. 知覚と行動の分離： 既存のモデルは、感覚的なローカライゼーション（例：両耳間差を利用した聴覚）と認知的な意思決定を別個のプロセスとして扱うことが多い。これらは、ノイズ、遮蔽（オクルージョン）、前後混同といった知覚的な曖昧さを解消するために、人間がいかに適応的に動き（頭部の回転、移動）と感覚戦略を調整しているかを捉えきれていない。
2. リソース制約の欠如： 従来の「理想的な観測者」モデル（例：ベイズ推論）は、物理的なコスト（時間、労力、衝突のリスク）を無視した、最適かつ網羅的な探索戦略を想定している。これらは、人間が精度と情報収集コストの間で行うトレードオフを考慮していない。

本論文は、ユーザーの行動、探索時間、努力量、およびエラーモードを予測するために、感覚推論とリソース合理的な意思決定を統合した計算モデルが必要であると主張している。

手法

Sensonaut モデル

著者らは、身体化された視覚・聴覚探索の計算モデルである Sensonaut を導入する。核となる仮定は、人々は知覚的な制約の下で、効率的にターゲットの位置特定確率を高めるために、自身の身体と感覚システムを駆使し、時間と労力のトレードオフを行っているという点である。

1. 形式的フレームワーク (POMDP):
このタスクは、部分観測マルコフ決定過程 (POMDP) として定式化される：

• 状態 ($S$): 隠れたターゲットの位置（極座標）、エージェントの位置と向き、およびシーンのレイアウト（妨害物／遮蔽物）。
• 行動 ($A$): 離散的な身体的行動：左回転、右回転、前進、静止、および コミット（確定）。
• 観測 ($O$): エージェントは生の感覚データを直接見るのではなく、潜在的なターゲット位置に関する事後信念分布 ($b_t$) に基づいて動作する。この信念は、ノイズを含む聴覚および視覚の手がかりに基づいてステップごとに更新される。
• 報酬 ($R$): 効用 ($U$) から コスト ($C$) を引いたものとして定義される。
  • 効用: 許容範囲内で正しくターゲットを特定した場合の正の報酬。誤りに対するペナルティ。
  • コスト: 物理的努力（頭部の回転、移動）、時間（待機）、および衝突に対するペナルティ。
• 目的: 期待純効用を最大化する方策 ($\pi$) を学習すること：$\pi^* = \arg\max_\pi E[\sum \gamma^t (U(b_t, a_t) - C(a_t))]$。

2. 多感覚知覚と信念更新:
モデルは、エゴセントリックな極座標グリッド ($R \times \Theta$) 上の信念分布を保持する。

• 聴覚的尤度: 両耳間時間差 (ITD) に基づく。方位角に関するガウス分布としてモデル化され、距離には依存しない。ターゲットが遮蔽されている場合でも、全方位的な証拠を提供する。
• 視覚的尤度: 高精度で、視点に依存した証拠を提供する。遮蔽（オクルージョン）（視線上の最も近い物体のみが見えること）および特徴の類似性を考慮する。視覚的な証拠は、頭部回転を処理するために指数移動平均を用いて時間の経過とともに蓄積される。
• 信念更新: 事前分布と、聴覚および視覚の手がかりの結合尤度を対数空間で組み合わせることで、事後信念が更新される。「リーキー（漏れのある）」な更新メカニメントにより、モデルは決定的な証拠が得られるまで、多峰性の仮説（妨害物を考慮に入れること）を維持することができる。

3. 方策学習:
POMDPを解析的に解くことは困難であるため、著者らは 近接方策最適化 (PPO) を用いた強化学習 (RL) を使用する。エージェントは試行錯誤を通じて、情報の獲得価値と物理的な行動コストのバランスを取りながら、リソース合理的な方策を学習する。

データ収集

モデルの検証を行うため、著者らは12名の参加者を対象とした制御された VR研究 を実施した。

• タスク: 仮想の駐車場内で、特定の色の車が発するビープ音を探す。
• 変数:
  • 角度: 初期ターゲット方向（前方、側面、後方）。
  • 複雑性: 物体の数（5台、7台、12台の車）。
  • 妨害物: ターゲットと同じ色の視覚的妨害物の数（0、2、4台の車）。
• 指標: 探索時間、累積頭部回転、移動距離、および位置特定精度。
• プロトコル: 参加者はMeta Quest 3を装着し、広い部屋の中で実際に歩行および回転を行った。彼らはボタンを押すことで場所を確定し、その後、ターゲットの位置を推定した。

主要な結果

1. 行動の一致

Sensonaut は、270個のテストマップにわたって、人間の探索行動における主要な系統的パターンを再現することに成功した：

• 探索時間: 人間とモデルの両方が、ターゲットが背後にあったり、妨害物が多い場合に探索時間が長くなった。
• 頭部回転: 両者とも、ターゲットが背後にある場合や妨害物がある場合に、頭部回転が大幅に増加した。モデルは固定の30度ステップを使用しているにもかかわらず、人間とモデルの間で頭部回転の相関関係 ($R^2 = 0.58$) を捉えた（人間は連続的に回転する）。
• 精度: 両者とも高い精度（約95%）を維持したが、困難な条件下（側面/後方角度、高い妨害物数）ではわずかな低下が見られた。モデルは人間の精度の分散の35%を説明した。
• 移動距離: モデルは一般に人間よりも積極的に歩行を最小化した ($R^2 = 0.06$)。これは、モデルに明示的なコスト関数があることを反映している。人間は歩行距離においてより高い変動性を示した。

2. 創発的戦略

モデルは、リソース合理性によって駆動される、人間特有の3つの戦略を示した：

• 早期コミット: 初期のエビデンスが強力な場合、人間とモデルの両方が、移動することなく即座に確定を行った。
• 効用のための頭部回転: 初期のエビデンスが曖昧な場合（例：前後混同）、両者とも低コストの頭部回転を用いて情報を収集し、確定前に信念分布を鋭鋭化させた。
• 曖昧さ解消のための移動: 頭部回転だけでは不十分な場合（例：遮蔽されたターゲットや整列した妨害物）、両者とも運動視差や遮蔽の変化を通じて曖昧さを解消するために、新しい位置へと移動した。

3. エラーの再現

モデルは、特定の人間特有のエラーモードを再現することに成功した：

• 遮蔽によるエラー: 両者とも、真のターゲットが遮蔽されている際に、目に見える妨害物を選択してしまい、誤った確信に至ることが頻繁にあった。
• 近接/深度の混同: 両者とも、視角上で整列しているものの、より近い、あるいはより遠い位置にある妨材に惑わされ、未解決の事後ピークのために誤った物体を選択した。
• 注記: モデルは、人間がターゲットが背後にあるにもかかわらず前方の物体に対して早期にコミットしてしまうような「前後混同」を再現できなかった。モデルは、この曖昧さを解消するために一貫して頭部回転を行った。

意義と主張

本論文は、Sensonaut が身体化された視覚・聴覚探索に関するリソース合理的な説明を提供するものであると主張している。その意義は以下の点にある：

1. 知覚と行動の統合: 低レベルの知覚モデルと高レベルの認知アーキテクチャの間の溝を埋め、単一のPOMDPフレームワーク内で、キューの統合と身体化された行動コストを統合した。
2. 予測能力: 成功率だけでなく、様々な複雑さの下での探索における時間、努力、および具体的なエラーモードをも予測する。
3. 設計上の有用性: このモデルは、探索コストや認知負荷を最小限に抑える視覚・聴覚インターフェース（例：XR、支援システム）を設計するためのシミュレーションツールとして機能する。デザイナーは、展開前に空間レイアウト、妨害物、およびガイダンスの手がかりがユーザーの行動にどのように影響するかをテストできる。
4. リソース合理性の検証: 結果は、人間の探索行動が単なる感覚入力への反応ではなく、情報の獲得と物理的・時間的コストとの間の戦略的な最適化であるという仮説を支持している。

著者らは、モデルが移動における人間の変動性を完全には一致させられない（粗いアクションステップやバイナリの可視性仮定による）ものの、身体化された視覚・聴覚探索の不可欠な戦略的ダイナミクスを捉えており、シミュレーションベースのHCI設計のための原則的な基礎を提供していると結論付けている。