Complex-Valued 2D Gaussian Representation for Computer-Generated Holography

技術要約：コンピュータ生成ホログラフィのための複素数値2Dガウス表現

問題定義
コンピュータ生成ホログラフィ（CGH）は、光の強度、干渉、および回折を捉えることで、3Dシーンを再構成するホログラムを合成することを目的としている。自然画像とは異なり、ホログラムは高密度で高周波、かつ空間的な変動を伴う。既存の表現手法はこの領域において課題を抱えている：

• 暗黙的ニューラル表現（INR）およびオートエンコーダは、平滑で低周波なデータを好む傾向があり、ホログラムに固有の高周波詳細を捉えることに失敗する。
• ピクセルごとの最適化は膨大なパラメータ探索空間を生み出し、スケーラビリティと効率性を阻害する。
• 既存のガウスベースの手法（例：3D Gaussian Splattingのバリアント）は、多くの場合、自然画像や3Dの新しい視点合成（NVS）向けに設計されており、波動光学（干渉と回折）や複素数型のホログラフィック場の性質を明示的にモデル化していない。

手法
著者らは、単一ビューのホログラム推定のために特別に最適化された、複素数値2Dガウスプリミティブを用いた構造化された表現を提案している。

1. プリミティブの定義:
   本手法は、事前活性化位置（$\tilde{\mathbf{x}}_n$）、スケール（$\tilde{\mathbf{s}}_n$）、回転（$\theta_n$）、カラー振幅（$\mathbf{c}_n$）、不透明度（$\tilde{\alpha}_n$）、およびチャネルごとの位相（$\boldsymbol{\varphi}_n$）によってパラメータ化されたプリミティブ $G_n$ を定義する。

   • 2つの実数型ガウス関数を実部と虚部としてペアリングする素朴なアプローチ（18個のパラメータと2回のレンダリングパスを必要とする）とは異なり、この統一された定式化は12個のパラメータと1回のレンダリングパスを使用する。
   • ピクセル $p$ におけるプリミティブの寄与は $H_n(p) = \alpha_n \mathbf{c}_n g_n(p) \exp(j \boldsymbol{\varphi}_n)$ である。ここで、$g_n(p)$ は2Dガウス空間分布を表す。

2. 理論的基礎（ガボール理論）:
   ガボールの不確定性原理に着想を得て、著者らはガウス関数が最小の空間・周波数不確定性（$\Delta x \Delta f_x = 1/2$）を達成することを主張している。これにより、空間情報と周波数情報の同時符号化を必要とするホログラムを表現するための、最適なコンパクトなプリミティブとなる。本手法は、ガウス関数が全パラメータ予算においてピクセルごとの品質を凌駕することはないものの、パラメータ予算が減少するにつれて、再構成の忠実度を大幅に維持できることを示している。

3. 微分可能なパイプライン:

   • ラスタライズ: 複素数値2Dガウスのためのカスタム微分可能ラスタライザが開発されており、複素演算（実部・虚部分解のための三角関数評価）および振幅と位相の勾配計算を処理する。
   • 光伝搬: パイプラインには、GPU最適化された**帯域制限角スペクトル法（BLASM）**カーネルが統合されている。これは自由空間における光伝搬をシミュレートし、複数の深度平面におけるターゲット画像と、伝搬した強度 $|U(d)|^2$ が一致するようにホログラム場 $H$ を最適化することを可能にする。
   • 損失関数: 再構成損失（MSE、SSIM、およびデフォーカス領域に関する特定の項を組み合わせたもの）を最小化するように最適化を行い、マルチプレーン焦点スタックに対して教師あり学習を行う。

4. POHへの変換:
   商用のディスプレイは通常、位相のみのホログラム（POH）であるため、著者らは以下の変換手順を導入している：

   • スムーズPOH: 二重位相振幅符号化（DPAC）を用いて振幅と位相を空間的に多重化する。
   • ランダムPOH: 複素ガウス表現を構造的ガイダンスとして使用し、強度と複素場の差を共同で最小化しながら、ランダムな位相のみのホログラムを最適化する。

主な貢献

• 新規な表現: 複素数値3Dガウスを複素数値2Dガウスプリミティブへと移行することで、ホログラムの直接的な最適化を実現し、高密度なピクセルごとのパラメータ化と比較して、パラメータ探索空間を5:1の比率で削減した。
• システム実装: エンドツーエンドの学習のための微分可能ラスタライザおよびGPU最適化BLASMカーネルを開発し、標準的なPyTorch実装と比較して大幅な高速化とメモリ効率を実現した。
• 変換フレームワーク: 複素数表現を、実用的なスムーズおよびランダムPOH形式に適応させるための手順を提供し、表現をハードウェア固有のエンコーディングから分離した。
• 理論的正当化: 提案されたプリミティブが最小の空間・周波数不確定性を達成することを証明し、ホログラム表現におけるその効率性の理論的根拠を提供した。

結果
DIV2Kデータセットを用いた広範な実験およびハードウェア検証（LASOS MCS4レーザーおよびJasper JD7714 SLMを使用）により、以下が示された：

• 品質: 本手法は複素数ホログラムにおいて30.7 dB PSNRを達成し、従来のガウスベースの手法（例：Image-GSの17.2 dB、GIの22.6 dB）や学習済み表現（MLP、SIREN）を上回った。ランダムPOHについては、Wirtinger Holographyに対して4.1 dBの利得となる29.4 dB PSNRに達した。
• 効率性:
  • VRAM使用量: 標準的な自動微分ベースの実装と比較して約30%削減。
  • 最適化速度: 50%加速（例：GWSの5.1分に対し1.4分）。
  • レンダリング速度: GWSベースのアプローチと比較して、最大3200倍高速なレンダリングを実現。
• スケーラビリティ: 本手法は、メモリ不足（OOM）エラーを起こすことなく、3200×1800の解像度までスケールする。
• アブレーション解析: 統一された複素数定式化は、素朴なペアの実数型ガウスと比較して、6.3 dB高いPSNRと33%少ないパラメータをもたらした。

意義
本論文は、理論的に裏付けられたコンパクトな表現を通じてホログラムのパラメータ探索空間を削減することで、次世代のCGHシステムに向けたよりスケーラブルなホログラム推定を可能にすると主張している。本研究は、効率的なガウスベースのレンダリングと波動光学の物理的制約との間の溝を埋め、高い再構成忠実度を維持しながら様々な実用的なホログラム形式に変換可能な、一般的な中間表現を提供している。著者らは、本手法はセンターアイボックスの再構成に焦点を当てているが、リアルタイムビデオやカメラ・イン・ザ・ループ技術のための基礎を提供するものであると述べている。