Fast Wave-optics Rendering of Multiplane Images for 3D Holographic Displays

技術要約：3Dホログラフィックディスプレイのためのマルチプレーン画像を用いた高速波面光学レンダリング

問題提起
ホログラフィック・ニアアイディスプレイは、波面を再構成することで、物理的に正確で没入感のある3次元視覚体験を提供する可能性を秘めています。しかし、その実用的な展開は、コンピュータ生成ホログラム（CGH）の極端な計算コストによって厳しく制限されています。既存のCGHアルゴリズムは、再構成の忠実度と計算効率の間に根本的なトレードオフに直面しています：

• プリミティブベースの手法（例：点群、メッシュ、ガウス・スプラット）は、高い視覚的忠実度を提供しますが、数百万個の個別の波面を伝搬させる必要があり、リアルタイムアプリケーションには不向きな膨大な実行時間を要します。
• レイヤーベースの手法（例：RGBD画像）は計算効率が高いものの、連続的な体積情報の欠如により、光漏れ、ハロー効果、深度遷移時における不正確なオクルージョン挙動などの顕著なアーティファクトが生じます。
• 最適化ベースの手法は高い忠実度を実現できますが、反復的な更新を必要とするため、インタラクティブなレートには適していません。

レイヤー入力の効率性と、高密度なプリミティブによる視覚的品質の間のギャップを埋める、3Dシーン表現およびレンダリングパイプラインが切実に求められています。

手法
著者らは、効率的なホログラム合成のための中間3D表現として**マルチプレーン画像（MPI）**を利用する、新しい波面光学レンダリングパイプラインを提案しています。MPIは、シーンを離散的な深度平面に定義された$L$個のRGBA画像として表現し、平面ホモグラフィとアルファ合成による新しい視点の合成を可能にします。

提案されるパイプラインは、以下の4つの主要なステップで構成されます（図2に記載）：

1. 表現： 入力は、カメラの視錐台に整合した一連のMPIであり、各レイヤー$i$は、深度$d_i$におけるカラー（$c_i$）と不透明度（$\alpha_i$）のチャネルを含みます。
2. 波面変換： 各RGBA画像スライスは、空間光変調器（SLM）平面に整合した複素波面に変換されます。これは、各スライスに固有のランダム位相マスク（$\phi_i$）を適用することによって実現されます。
3. 逐次波伝搬および合成： 複素波面は、最も奥のレイヤーから最も手前のレイヤーに向かって、逐次的に伝搬および合成されます。著者らは、角スペクトル法に基づいた再帰的定式化（式2）と、ランダム位相波面のための最近提案された波面光学アルファブレンディング技術を利用しています。このプロセスは、レイヤー間の遮蔽（オクルージョン）と干渉を考慮に入れます。
4. 時分割多重化： アイボックスを拡大し、空間帯域積の利用率を向上させるために、異なるランダム位相パターンを持つ複数のホログラムフレーム（$T$）が生成され、時分割多重化されます。最終的な再構成強度は、これらのフレームの時間平均の累積となります。

このアプローチにより、システムは、伝統的に光線光学（レイオプティクス）レンダリングに限定されていたMPIを、完全な波面光学モデルの下で正確な3Dフォーカススタックおよび4Dライトフィールドを再構成できる複素値ホログラムへと変換することができます。

主な貢献

1. 新しいCGHアルゴリズム： 本論文は、時分割多重化をオプションとして備えた、MPIを複素ホログラムへと合成する直接的なCGHパイプラインを導入しています。
2. 性能分析： MPIベースのホログラムを、既存のベースライン（RGBDベースのCGHおよび最先端のプリミティブベース手法であるRandom-phase Wave Splatting、以下RPWS）と比較した詳細な評価を実施しました。本研究では、画像品質と実行時間の両方に与える深度レイヤー数の影響を分析しています。
3. 実験的検証： 多様な3Dシーンデータセット（NeRF BlenderおよびMip-NeRF 360）を用いたシミュレーションおよび実験的にキャプチャされた結果の両方を用いて、広範な検証を行いました。結果は、正確な3Dフォーカススタック再構成と4Dライトフィールド・パララックスを実証しています。

結果

• 効率性： MPIベースの手法は、最先端のプリミティブベース手法であるRPWSと比較して、最大250,000倍の高速化を達成しています。実行時間は、RGBD手法と同様に深度レイヤーの数に対してほぼ線形にスケールしますが、より高い品質を実現しています。
• 品質： MPIベースのホログラムは、高忠実度なRPWSと同等の画像品質（SSIMおよびPSNRで測定）を達成しており、従来のRGBDベースのCGHを大幅に上回っています。
• アーティファクトの低減： 光漏れ、ハロー、およびオクルージョン境界での「深度の引き裂き」を示すRGBDホログラムとは異なり、MPIホログラムは、少ないレイヤー数（例：4レイヤー）であっても自然なデフォーカスぼけや正確なオクルージョン効果を再構成します。
• スケーラビリティ： 知覚品質は約30レイヤーを超えると飽和します。これは、MPIベースのCGHが、過剰な計算リソースを必要とせずに、インタラクティブなアプリケーションのための最適なバランスを提供することを示唆しています。

意義および主張
本論文は、MPIベースのCGHが、ホログラフィックディスプレイにおけるレンダリング効率と視覚的忠実度の間の長年のトレードオフを正常に解決したと主張しています。数百万のプリミティブではなく、MPIの構造的疎性（通常100レイヤー未満）を活用することで、本手法は、正確な3Dフォーカススタックおよび4Dライトフィールドを再構成できる高品質なホログラムの合成を可能にします。

著者らは、この大幅なレンダリング効率の進展が「インタラクティブなARおよびVR体験のための実用的なコンピュータ生成ホログラムへの道を開くものである」と述べています。現在の実装はまだリアルタイムではありませんが、プリミティブベースの手法に対する劇的な高速化は、このパイプラインをリアルタイム合成ネットワークと組み合わせることで、将来のホログラフィック・ニアアイディスプレイに必要なパフォーマンスを達成できることを示唆しています。本研究は、MPIが、ガウスベースのアプローチの視覚的忠実度と、RGBDベースのアプローチの計算効率の両方を兼ね備えた「両者の最良の部分」を提供することを強調しています。