Head-wearable Holographic Head-mounted Display with 6 Degrees of Freedom

技術要約：6自由度を実現する頭部装着型ホログラフィック・ヘッドマウントディスプレイ

問題提起
VR（仮想現実）およびAR（拡張現実）用のヘッドマウントディスプレイ（HMD）は、輻輳調節コンフリクト（VAC）に悩まされることが多く、これが眼精疲労や3D酔いの主な原因となっている。これは、従来のHMDが固定された焦点深度で画像を表示するため、視聴者の知覚的な深さと不一致が生じるために起こる。ホログラフィックHMD（holo-HMD）は、様々な深さのライトフィールドを再構成できるため、VACを自然に解決できる理想的なソリューションと考えられている。しかし、実用的なholo-HMDにおける決定的な障壁は、ホログラムデータのリアルタイム生成に伴う計算負荷である。点光源法などの従来のコンピュータ生成ホログラフィ（CGH）手法は、物体の点数とホログラムの画素数に比例して膨大な計算を必要とする。これにより、回転と並進の両方を含む6自由度（6DoF）をサポートするホログラムを、ウェアラブルデバイスに搭載されるような限られたハードウェア上でリアルタイム生成することは極めて困難である。

手法
著者らは、リアルタイムの6DoFホログラフィック表示を実現するために、新しい高速計算アルゴリズムとカスタム光学プロトタイプを組み合わせたシステムを提案している。

• 高速計算アルゴリズム（位相補正）:
  核となる革新は、ホロメトリック・ビデオ・ストリーミング（HVS）の概念に基づいた高速計算アルゴリズムである。ユーザーの頭部の動きに基づいて毎フレーム全物体のライトフィールドを再計算する代わりに、本システムでは特定の平面上での「物体光（仮想物体からの波面）」を事前に計算しておく。

  • 事前計算: 仮想物体の定義に基づき、物体光の分布を一度だけ計算する。
  • 位相補正: ユーザーが頭を動かした際（6DoF）、システムは物体光を再計算しない。代わりに、事前計算された光データに対して位相補正を適用する。この補正は、ホログラム平面に対するユーザーの回転および並進によって生じる光路差を考慮するものである。
  • 計算量の削減: この位相補正の計算量は、$O(P)$（$P$はホログラムの画装数）である。重要な点は、これが物体の点光源数（$N$）に依存しないことである。これは、計算量が$O(PN)$となる標準的な点光源法とは対照的である。これにより、物体の複雑さに依存することなく、フレームあたりの計算時間を一定に保ったまま複雑な物体を扱うことが可能になる。
  • サンプリング限界: 著者らは、位相補正のリサンプリングプロセス中にエイリアシングを防ぐための回転角の理論的限界を導出し、使用された特定の波長に対して約$5.77^\circ$の最大有効回転角を決定した。

• 光学システム・プロトタイプ:
  著者らは、以下の特性を持つ単眼式holo-HMDプロトタイプを開発した。

  • 光学系: レーザービームをコリメートし、空間光変調器（SLM）によって変調する。回折光は実像を形成し、それが凹面鏡によって拡大されることで、ユーザーに仮想像を提示する。焦点位置にあるバリアが、0次および高次回折ノイズを除去する。
  • フルカラー表示: 単一のRGB半導体レーザーパッケージを用いた時分割多重方式を使用する。SLMは60 Hzで動作し、カラーフィールドレートは360 Hzであり、フレームごとに6回色を切り替えることで、フリッカーのないフルカラー画像を合成する。
  • トラッキングと統合: Arduinoベースのモーションセンサーが頭部の動き（6DoF）を追跡し、PCにデータを送信する。PCは位相補正アルゴリズムを実行し、リアルタイムでSLMを更新する。
  • 座標変換: 凹面鏡による拡大効果や組み立て誤差（例：実像位置のわずかなずれ）を補正するための特定の座標変換アルゴリズムが含まれており、再構成された画像が正しい深さに表示されるようにしている。

主な貢献

1. リアルタイム6DoFアルゴリズム: 計算時間を物体の複雑さから切り離す、位相補正ベースのアルゴリズムの提案。これにより、標準的なハードウェア上での6DoF視聴のためのリアルタイム・ホログラム生成を可能にした。
2. 統合プロトタイプ: モーショントラッキング、フルカラー再構成、および広視野角光学系を統合した、コンパクトで軽量（287 g）な頭部装着型holo-HMDプロトタイプの開発。
3. 誤差補償: プロトタイプで使用されている凹面鏡の特定の拡大特性や、光学的な組み立て誤差を補正するための座標変換の実装。

結果

• 性能: 本システムは、CGH生成において約35.7〜40 fps（1フレームあたり25〜28 ms）のフレームレートを達成した。計算時間は点光源の数に関わらず一定であり、位相補正法の効率性が確認された。
• 視野角（FOV）: プロトタイプは、理論上の最大FOVとして$18.23^\ la$、実験的なFOVとして$17.06^\circ$を達成した。
• 画質:
  • 深さ: 実験により、異なる深さ（50 mmおよび250 mm）にある物体は、カメラがその位置に焦点を合わせたときのみ鮮明になり、それ以外はぼやけるという、成功した深さ表現が示された。
  • 色彩: 時分割多重を用いることでフルカラー再構成が達成され、フリッカーは観察されなかった。
  • 6DoFモーション: ユーザーの頭が動いている間も、外部環境に対して固定された再構成画像を表示することに成功した。これには、前後並進（$\pm 150$ mm）、ロール回転（$\pm 30^\circ$）、ピッチ回転（$\pm 1.5^\circ$）、およびヨー回転（$\pm 3^\circ$）が含まれる。
  • 制限事項: ピッチおよびヨーの回転角は、事前計算された物体光平面の平坦な性質と、エイリアシングを防ぐ必要性によって制限された。大きなロール回転時には、高次回折によるアーティファクトが観察された。

意義と主張
本論文は、本研究がHolo-HMDにおける最も重要な課題の一つ、すなわち6自由度のためのリアルタイム・ホログラムデータ生成への取り組みであることを主張している。モーショントラッキング、広視野角、およびカラー表示を単一の軽量かつコンパクトなパッケージに統合することで、著者らは実用的なHolo-HMDが実現可能であることを示した。

著者らは、現在のFOV（約$20^\circ$）は既存のいくつかのARグラスと同等ではあるものの、現代のVRシステムや高度なARグラス（多くの場合$50^\circ$超）よりも狭いことを謙虚に述べている。彼らは、ホログラフィック光学素子（HOE）やウェーブガイド・システムを用いてFOVを拡大すること、およびスペックルノイズに対処して画質を向上させることが今後の課題であるとしている。それにもかかわらず、本研究は、将来の頭部装着型ホログラフィックディスプレイの開発と実用化に向けた、有用なガイドラインおよび機能的な概念実証を提供している。