AEGIR: Modeling Area Emitters for Indoor Inverse Rendering using Gaussian Splatting

技術要約: AEGIR – 3D Gaussian Splattingを用いた屋内逆レンダリングのためのエリアエミッターのモデリング

問題提起
逆レンダリング（Inverse rendering）は、観測された画像から幾何学、材質、および照明を分解することを目的としている。しかし、この問題は表面の質感（appearance）と照明が密接に結合しているため、本質的に不良設定（ill-posed）な問題である。近年のNeural Radiance Fields (NeRF) や 3D Gaussian Splatting (3DGS) の進展は、新規視点合成（novel view synthesis）を向上させてきたが、これらを逆レンダリングへと拡張することは依然として困難である。既存の手法は通常、グローバルな環境マップ、離散的な点光源、または暗黙的なニューラル表現を用いてシーンの照明を近似している。これらの手法は、境界のある屋内環境においては、実世界の放射体（例：ランプ、天井パネル）の物理的な空間的広がりを無視しているため、適切に機能しない。その結果、不正確な光の減衰や非現実的な影の境界が生じ、多くの場合、残留する照明効果が表面のアルベド（albedo）に直接吸収されてしまい、材料と照明の分離（disentanglement）を損なう原因となっている。

手法
著者らは、リライタブル（relightable）なGaussian Splatting表現の中で局所的なエリアエミッターを明示的にモデル化するフレームワークである AEGIR (Area Emitters for Gaussian Inverse Rendering) を提案する。この手法は、以下の3つのコアコンポーネントで構成される：

1. 明示的な局所エリアエミッター:
   点光源やグローバルマップの代わりに、AEGIRは照明を局所的な3Dプリミティブとしてパラメータ化する。各エミッターは以下によって定義される：

   • 空間的特性: 中心位置、局所的な直交軸、および物理的なスケール（異方性楕円体）。
   • 放射プロファイル: RGB放射色と、Super-Gaussian角度減衰分布。
   • 柔軟性: 異方性スケーリングと学習可能なSuper-Gaussianパワーパラメータ（$\rho$）を組み合わせることで、単一のプリミティブで、等方的な点光源から、鋭い、あるいはソフトな減衰を持つ指向性の強い細長い器具（例：蛍光灯）まで、多様な光源を表現できる。
   • 初期化: エミッターは、マルチビュー画像から高輝度ピクセルを逆投影し、DBSCANを用いてクラスタリングし、PCA（主成分分析）を用いて初期パラメータを推定することで初期化される。適応型コントローラーは、エネルギーとスケールの閾値に基づいて、最適化中にエミッターを動的に分割または削除（pruning）する。

2. 遅延レンダリングと光輸送:
   AEGIRは、信頼性の高い法線と幾何学を確保するために、2D Gaussian Splatting (2DGS) と結合した遅延レンダリングパイプラインを利用する。

   • G-Buffer: 2D Gaussianをラスタライズして、アルベド、粗さ（roughness）、金属度（metallic）、および法線を含むバッファを生成する。
   • サンプリング: レンダリング方程式は、複数重要度サンプリング (MIS) を用いたモンテカルロ推定器を使用して評価される。これは、余弦加重ヘミスフェアサンプリング（拡散輸送用）と、明示的なエミッター表面からの直接光サンプリングを組み合わせたものである。
   • 可視性: ソフトシャドウと遮蔽は、2D Gaussianシーンを通じた微分可能なレイトレーシングを介して処理され、累積された不透明度と遮蔽距離を考慮した可視性項を計算する。
   • 間接照明: トレーニング中は二次的なGaussianへのヒットを用いる単一バウンス近似が使用され、推論時にはより厳密な単一バウンス・トレースが使用される。

3. 結合最適化とトレーニングカリキュラム:
   材料と照明の間の曖昧さを解決するために、本フレームワークは、結合損失関数（$L_{total} = L_{photo} + L_{prior} + L_{TV} + L_{light}$）を用いた漸進的な最適化戦略を採用している：

   • コントラスト認識フォトメトリック損失: 高周波の照明手がかりを優先するために、高コントラストのピクセルに重みを付ける。
   • 拡散事前分布 (Diffusion Priors): 学習済みのDiffusionRendererを使用して、材料の疑似グラウンドトゥルースを提供し、照明がアルベドに焼き付くのを防ぐ。
   • エッジ認識全変動 (Edge-Aware Total Variation): 平坦な表面における区分的に定数な材料を促進しつつ、境界を保持する。
   • エミッター正則化: 過度なスケーリングを罰し、色のニュートラル性を強制することで、物理的な妥当性を担保する。
   • カリキュラム: プロセスは幾何学的ベースライン（DN-Splatter）から始まり、幾何学、材料、およびエミッターの結合最適化へと進み、最終段階では材料を変更せずに照明を精緻化するためにエミッターのみを最適化する段階で終了する。

主な貢献

1. 新しいエミッター定式化: 異方性3D楕円体とSuper-Gaussian角度減衰を用いた明示的なエリアエミッター表現により、多様な実世界の光源形状と放射プロファイルをモデル化することを可能にした。
2. 結合最適化フレームワーク: マルチビュー画像から、明示的な光源、シーンの幾何学、および物理ベースレンダリング（PBR）材料（アルベド、粗さ、金属度）を同時に復元するシステムであり、放射学的および幾何学的制約を通じて、より優れた分離を実現する。
3. 物理に基づいたレンダリングモデル: エリアエミッターから直接照明を評価する微分可能なパイプラインを提供し、物理的に一貫したダウンストリームタスクをサポートする。

結果
本手法は、合成データセット（Hypersim, FIPT-Synthetic）および実世界の屋内スキャン（Replica, ScanNet++）において、GS-ID, IRGS, IRIS, NeILF++ などの最先端手法と比較して評価された。

• 照明推定: グラウンドトゥルースの幾何学と材料を用いた制御された再レンダリング実験において、AEGIRは最高のPSNR（屋内照明で31.42 dB）と最低のLPIPSを達成し、環境マップや点光源に依存する手法を大幅に上回った。滑らかな室内のシェーディングと正確なソフトシャドウの復元に成功した。
• 新規視点合成 (NVS) および材料復元: AEGIRは、材料の正確性を犠牲にしてレンダリング品質を高める（照明をアルベドに焼き付ける）傾向があるベースラインとは異なり、高いアルベド精度を維持しながら、優れた、あるいは競争力のあるNVS性能（例：Hypersimで21.50 PSNR）を達成した。
• 効率性: 最適化プロセスは単一のNVIDIA RTX 4090で約55分かかり、これはNeILF++よりも約3倍速く、他の効率的なベースラインと同等である。
• アブレーション研究: 拡散事前分布やフォーカスマップなどのコンポーネントを取り除くと、アルベドの精度と照明推定の両方で大幅な低下が見られ、安定した分離におけるフルパイプラインの必要性が確認された。

意義と限界
論文は、AEGIRが光源の空間的広がりを明示的にモデル化することで、ニューラルシーンモデリングと物理ベースレンダリングの間の溝を埋めるものであると主張している。これにより、幾何学、材料、および照明のより一貫した分解が可能となり、制御されたリライティングや仮想オブジェクトの挿入といった現実的なアプリケーションを可能にする。

著者らは現在の限界についても謙虚に認めている：

• ノイズの多い法線からシェーディングのアーティファクトが生じる可能性がある。
• エミッターの数が増えると、シャドートレーシングの計算コストが増大する。
• 現在の材料モデルは、鏡面反射や透明な材料を扱わない。
• このような技術を欺瞞的なメディアの生成に利用する可能性に関する、より広範な倫理的検討事項が存在する。

これらの限界にもかかわらず、AEGIRは複雑な屋内環境における照明復元のための信頼できるアプローチとして提示されており、現実的なシーン編集のための柔軟な基盤を提供している。