技術要約：360°ビデオを用いたVRにおけるオフライン動的AOI生成およびランタイム・ゲイズマッピング

問題提起

VRにおける360°ビデオを用いた没入型アイトラッキング研究は、**動的な関心領域（AOI: Area of Interest）**を構築するための再現可能なパイプラインの欠如という重大なボトルネックに直面している。静的なスクリーンベースの研究とは異なり、360°ビデオでは、コンテンツと同期して移動、変形、出現・消失するAOIが必要となる。現在の手法は静的な近似値やフレームごとの手動アノテーションに依存しており、これらはスケーラビリティに欠ける。さらに、360°ドメイン特有の性質（正距円筒図法による歪み、左右の継ぎ目によるオブジェクトの分割、標準化されたツールの不在）により、自動アノテーションは容易ではない。オープンボキャブラリの物体検出器は自動化への道を示すものであるが、360°刺激という特定の文脈における、カバレッジ、前処理レイテンシ、および球面アーティファクトに対する堅牢性のトレードオフについては、まだ特性評価が行われていない。

手法

著者らは、AOIの作成と実験の実行を分離した、決定論的なオフライン・トゥ・ランタイム・パイプラインを提示している。このシステムは以下の3つのフェーズで構成される。

1. オフラインAOI生成（フェーズ1）

• プロセス: ソースとなる360°ビデオから疎なフレームを抽出する。オープンボキャブラリのテキストプロンプト検出器が物体を特定し、軽量なトラッキング・ヒューリスティック（ラベルの一致、IoU、および中心距離の連続性）を用いて、キーフレーム間でそれらをフィルタリングおよび関連付ける。
• アイデンティティ契約: 各持続的なAOIインスタンスには、安定した数値IDと一意の**正確な色（exact color）**が割り当てられる。この色は、ランタイムにおける主要なルックアップキーとして機能する。
• 出力: システムは、同期されたアーティファクトを出力する：フレームごとのAOIマップPNG、JSONメタデータファイル、シーケンス・マニフェスト、およびUnityでの高速なテクスチャアップロードのためのバイナリ24ビットRGBランタイムパック。
• ベンチマーク対象の検出器: オフライン段階では、コンテンツ固有のテキストプロンプトを用いて構成された3つのオープンボキャブラリ検出器（Grounding DINO、YOLO-World、OWLv2）を用いて評価を行った。

2. ランタイム実行（フェーズ2）

• プラットフォーム: HMDハードウェア（HTC VIVE Focus Vision）上で動作するUnity（Universal Render Pipeline）に実装。
• 機能: 360°ビデオをパノラマスカイボックスとして再生し、OpenXR（およびHTC VIVEフォールバック）を介して視線データを取得する。
• ゲイズマッピング: 視線レイをワールド空間から球面座標（方位角、仰角、および正距円筒UV）に変換する。
• AOIルックアップ: 正確な色のアイデンティティ契約に基づき、現在アクティブなAOIマップに対してフレーム同期ルックアップを実行する。
• データエクスポート: 連続的な生の視線ストリームではなく、ランタイムは250 msの間隔で**固視レベルのイベント（fixation-level events）**をコミットする。これらのイベントは、AOIの割り当て、球面座標、および瞳孔径を含むCSVファイルとしてエクスポートされる。

3. 事後解析（フェーズ3）

• 指標: Python解析パッケージが、固視コミットCSVを処理し、標準的な視線指標（初回固視時間、滞留時間、訪問回数など）を算出する。
• 解釈: 著者らは、これらの指標が、生のサンプルからの直接的なI-DT/I-VT推定値ではなく、250 msの間隔モデルから導出された**固視コミットのプロキシ（代理指標）**であることを明示的に注記している。

主な貢献

1. システムアーキテクチャ: オフラインでのAOI作成とランタイムでの実行を分離し、決定論と監査可能性を保証する、完全で再現可能なパイプライン。
2. 検出器のベンチマーク: 5つの多様な360°ビデオ刺激（人間中心、自然、野生動物）に対し、Grounding DINO、YOLO-World、OWLv2を評価。
3. 失敗事例の分類学: 360°特有の失敗モード（継ぎ目の横断、極地の歪み、小さなターゲット、および時間的ドリフト）の特性評価。
4. パイロット検証: 8名の参加者と3つの刺激を用いた技術的な実現可能性調査を行い、実環境条件下でパイプラインがデータのログ、マッピング、およびエクスポートを行う能力を検証。

結果

検出器ベンチマーク

• 速度: YOLO-Worldが最も高速であり、Grounding DINOと比較して前処理時間を約9.1倍短縮した（平均で77.18秒対8.86秒）。OWLv2は中間的な位置を占めた（3.98倍の高速化）。
• カバレッジ: Grounding DINOは、特に視覚的に曖昧なシーンや野生動物が豊富なシーンにおいて、最も広い検出カバレッジを提供した。YOLO-Worldは全体としてGrounding DINOの検出数の約40%を維持したが、野生動物のシーンでは大幅に低下した（例：sampleWolves360において、Grounding DINOが74件検出したのに対し、YOLO-Worldはわずか2件）。
• 空間的検証: 手動でアノテーションされた15フレームに対する予備的なIoU検証では、Grounding DINOが最高の全体平均IoU（0.37）を達成した。YOLO-Worldはカメラ中心のシーンでは高い精度を示したが、野生動物のサブセットでは失敗した（IoU 0.00）。OWLv2は混合した結果を示し、カメラシーンでは性能が劣るものの、小さな野生動物のサブセットにおいて最良のパフォーマンスを示した。

ランタイムおよびパイロットの実現可能性

• 安定性: ランタイムは、全24回の参加者セッションを通じて1.0の有効トラッキング比率を維持した。
• AOI割り当て: 平均assigned_valid_ratio（有効な視線行がAOIに割り当てられた割合）は、全体で0.2469であった。
  • test1Camera360（安定）: 0.3133
  • test2Camera360（中間）: 0.2674
  • test3Lions360（野生動物/困難）: 0.0896
• 失敗分析: 野生動物のクリップにおける低い割り当て率は、トラッキングの喪失ではなく、小さなターゲット、疎なAOI占有率、および時間的に脆弱なトラックに起因するとされた。パイプラインは、これらを現在のバウンディングボックスベースのアプローチの構造的な限界として正しく特定した。

意義と主張

本論文は、大規模な統計的比較を行うのではなく、システムの記述、ベンチマーク、および技術的評価を提供することを控えめに主張している。

• 実現可能性: 本研究は、決定論的なオフライン・トゥ・ランタイム・パイプラインが、360° VRにおける安定した動的AOI再生とフレーム同期ゲイズマッピングをサポートできることを示している。
• 実践的なガイダンス: ベンチマークはエンジニアリング上の指針を提供する。YOLO-Worldは人間中心のシーンにおける迅速なイテレーションに適しており、Grounding DINOは複雑なシーンや野生動物のシーンにおけるクリティカルなカバレッジ確保においてより安全な選択肢である。
• 貢献としての限界事項: 著者らは、失敗事例（継ぎ目、極地の歪み、小さな物体）の特定を、方法論的な貢献として明示的に位置づけている。これらはプロンプトエンジニアリングだけで解決できるものではなく、将来のパイプラインの改良（例：継ぎ目を考慮した集約、セグメンテーションマスク）を必要とする、正距円筒ドメインの構造的な課題であると論じている。
• 今後の展望: 本論文は、空間的検証をスケールアップし、自動AOIソースが手動アノテーションと比較してダウンストリームの視線指標を実質的に変化させるかどうかを判断するための基礎として、本研究を位置づけている。

著者らは、現在の実装は実行可能な技術的実現可能性のソリューションではあるものの、大規模な研究において手動アノテーションを完全に代替するためには、360°コンテンツの全容を扱うためのさらなる洗練が必要な「一次近似」であると結論づけている。