Enriching physical-virtual interaction in AR gaming by tracking identical objects via an egocentric partial observation frame

技術要約：一人称視点の部分的観測フレームによる同一オブジェクトの追跡を通じた、ARゲーミングにおける物理・仮想相互作用の強化

問題提起
ヘッドマウントディスプレイ（HMD）を利用する拡張現実（AR）ゲーム、特に動的な環境下では、物理オブジェクトとの一貫した相互作用を維持することに苦慮することが多い。既存のシステムは、事前にスキャンされた静的な環境、継続的なトラッキング、またはマーカーベースのソリューションに依存している。これらの手法は、ウェアラブルなARコンテキストにおいて以下のような重大な制限に直面する：

1. 動的な適応性： 現実世界のレイアウトはユーザーによって頻繁に操作されるが、標準的なシステムは再スキャンなしには適応できない。
2. 一人称視点の制約： ARヘッドセットはユーザーと共に移動するため、従来の多物体追跡（MOT）アルゴリズムが必要とする固定された静止視点を妨げる。
3. 同一オブジェクト： 視覚的に同一のオブジェクト（例：複数の椅子や小屋）を区別することは、特徴量ベースのトラッキングにとって困難であり、中断のない観測や外部センサーがない場合、しばしば失敗する。
4. リソース効率： 継続的なシーン観測は計算コストが高く、バッテリー制約のあるウェアラブルデバイスにとっては電力効率が悪い。

手法
著者らは、ARヘッドセットによってキャプチャされた単一の一人称視点の部分的観測フレームのみを使用して、視覚的に同一のオブジェクトを再識別する、軽量で最適化ベースのフレームワークを提案する。このシステムは、ARゲームの文脈において、オブジェクトが時間経過に対して比較的安定した空間的関係（相対的な位置と方向）を維持しているという仮定の下で動作する。

技術的なパイプラインは、以下のコンポーネントで構成される：

1. 6自由度（6DOF）ポーズ推定： システムはまず、カメラ座標系におけるオブジェクトの6自由度（6DOF）ポーズを推定する。これには、既成のソリューション（例：Objectron）や、セグメンテーション（SAM）、高密度ベクトル表現（CLIP）、および微分可能レンダリングを用いたカスタムコンピュータビジョンパイプラインを利用できる。
2. 座標変換： 検出されたオブジェクトのポーズは、ARヘッドセットの既知のポーズを利用して、カメラ座標系からワールド座標系へと変換される。
3. ボロノイ図による分割と枝刈り： 大規模なシーンにおける計算量を管理するために、環境はセマンティッククラスターに基づくボロノイサイトに基づいて分割される。枝刈り戦略により、潜在的なオブジェクトラベルの探索空間をフィルタリングする。システムは、カメラからサイトの中心までの距離に基づいて、サイトが関連している確率を計算し、正確な検出が得られる可能性が低い遠方のサイトを排除する。
4. 整数計画法による定式化： 本手法の核となるのは、オブジェクトのラベル割り当てを整数計画問題として定式化することである。目標は、変更されたレイアウト内の検出されたオブジェクトを、初期レイアウト内の可能なオブジェクトと一致させるコスト関数を最小化することである。コスト関数は以下の3つの項で構成される：
   • 平行移動コスト ($C_t$): 可能なオブジェクトと検出されたオブジェクト間の水平変位（$x, z$）を測定し、シーンの対角線の長さで正規化する。
   • 回転コスト ($C_r$): y軸周りの角度差を測定し、対称性と180°の最大回転制約を扱うために正弦関数を用いて正規化する。
   • 寸法コスト ($C_d$): カテゴリの不一致に対処するために、バウンディングボックスの寸法（幅、高さ、奥行き）を比較する。
     目的関数は、各検出されたオブジェクトに正確に一つのラベルが割り当てられ、各ラベルが最大で一度だけ使用されるという制約条件下で、総重み付きコスト ($C_{i \to j}$) を最小化することである。

主な貢献

1. 新しいフレームワーク： 単一の一人称視点的部分観測を用いて、ARシーン内の視覚的に同一のオブジェクトを再識別するための、軽量で最適化ベースのアプローチを提供し、継続的なトラッキングや外部デバイスの必要性を排除する。
2. アルゴリズムの定式化： 空間的一貫性に基づいた整数計画問題として問題を定式化し、計算効率を高めるためにボロノイ図による枝刈り戦略を組み込んでいる。
3. 検証： 提案手法は、合成環境による定量的な実験（複雑さとノイズレベルの変化）およびMicrosoft HoloLens 2を用いた実世界での定量的な実験を通じて検証されている。さらに、3つの定性的な実世界デモンストレーション（Farm-to-Table ARゲーム、ARストーリーテリング・シナリオ、ロボット配送シミュレーション）により、本手法の汎用性が示されている。

結果

• 合成実験： ノイズレベル（平行移動および回転）が変化するシミュレーション環境において、本手法は91%の精度を達成し、非枝刈り型のアプローチと比較して計算時間を50%削減した。アブレーション研究により、平行移動コストが精度に最も大きな影響を与え、次いで回転および寸法コストが影響を与えることが確認された。
• 実世界実験： HoloLens 2において、システムは平均精度として、Pantryで80.82%、Cafeteriaで88.51%、Classroomで**80.10%**を達成した。デバイス上での整数計画法によるID解決の計算時間は、2.82 msから5.66 msの範囲であった。
• 定性的デモンストレーション： 本システムは、同一の小屋や囲いが物理的に配置換えされた場合でも、Farm-to-Tableゲームにおけるゲームロジックを正常に維持した。また、椅子が移動した後もバーチャルキャラクターが実物の椅子に座り続けることを可能にし、配送ロボットが同一の選択肢の中から特定のターゲットとなる椅子を識別することを容易にした。

意義と主張
本論文は、このアプローチがARゲーミングにおける重要なギャップ、すなわち、再スキャン、継続的な観測、または煩雑なマーカーベースのシステムによるオーバーヘッドなしに、動的な物理環境をサポートする能力を解決することを主張している。空間的一貫性を活用することで、本手法は、物理的世界と仮想的世界が同一のオブジェクト（これは物理的および仮想的な両方の領域において遍在している）において、レイアウトの変化にかかわらず、オブジェクトのアイデンティティの永続性を実現する実用的なマーカーレスのソリューションを提供する。著者らは、本手法が特定の仮定（例：オブジェクトが主に2D平面上で移動し、y軸周りにのみ回転する）に依存しているものの、オブジェクトのアイデンティメントの保持が必要とされるARアプリケーションにおいて、没入感を高めるための実用的な解決策を提供すると強調している。この研究は、物理的世界と仮想的世界が同期している必要がある、次世代のストーリーテリングやロボティクスを含むAR体験において、このような能力が不可欠であることを示唆している。