Eulerian Gaussian Splatting using Hashed Probability Pyramids

技術的概要：ハッシュ化確率ピラミッドを用いたオイラー型ガウススプラッティング

問題定義
現在の 3D ガウススプラッティング（3DGS）手法は、離散的なガウスプリミティブでシーンを表現することでリアルタイムレンダリングを実現しています。しかし、これらのシーンの最適化は「適応的密度制御（ADC）」に依存しており、これはトレーニング中にプリミティブを追加または削除するための手動調整されたヒューリスティック（分割、クローン化、カリングなど）のセットです。これらのヒューリスティックは壊れやすく、局所的な最適解に陥る可能性があります。一方、ニューラル放射場（NeRF）は勾配降下法を通じて連続的な体積密度を最適化し、より高い安定性を提供しますが、レンダリング速度が遅いという欠点があります。本論文は、3DGS のレンダリング効率を維持しつつ、連続場に基づく原理的な勾配ベースの最適化を採用し、ヒューリスティックなプリミティブ操作の必要性を排除するフレームワークの必要性に答えるものです。

手法
著者らは、明示的にプリミティブを移動させるラグランジュ的視点から、シーン体積上の確率密度関数を最適化するオイラー的視点へと移行する確率的フレームワークである**オイラー型ガウススプラッティング（EGS）**を提案します。

1. 確率的レンダリングモデル:
   個々のガウス位置を最適化する代わりに、EGS は 3 次元空間上の体積確率密度関数 $p_\theta(\mu)$ を定義します。各トレーニング反復において、この分布から $N$ 個のガウス中心 $\mu_i$ の離散セットがサンプリングされます。これらのサンプリングされた中心は、標準的な 3DGS ラスター化を使用してレンダリングされます。損失は、基礎となる確率分布のパラメータ $\theta$ とガウスの属性 $\phi$（色、スケール、回転、不透明度）を最適化することで最小化されます。

2. ハッシュ化確率ピラミッド:
   高解像度で確率密度 $p_\theta(\mu)$ を効率的に表現し、非現実的なメモリ増大を招かないために、著者らはハッシュ化確率ピラミッドを導入します。

   • 構造: これはマルチスケール階層グリッドであり、確率密度は $L$ レベルにわたる区間定数関数の積としてパラメータ化されます。
   • メモリ効率: パラメータの立方体的な成長を回避するため、ハッシュエンコーディングが使用されます。各レベルにおいて、グリッドは限られた予算（$B$）の $2\times2\times2$ ブロックでタイル状に配置されます。ハッシュ関数がグリッドインデックスをこれらのブロックにマッピングすることで、高解像度の分布（例：$4096^3$）をコンパクトなパラメータセット（$4096^3$ グリッドの場合、約 8600 万パラメータ、わずか 0.33 GB のみ必要）で表現できます。
   • サンプリング: サンプリングは、粗いレベルから細かいレベルへと階層をトラバースすることで効率的に行われます。このプロセスは、決定論的な小数部関数を通じてレベル間をまたいでランダムサンプルを結びつけることで、エンドツーエンドの微分可能性を有するように設計されています。

3. 勾配推定と分散低減:
   確率的勾配降下法による分布の最適化は、高い分散をもたらします。サンプリングプロセスを通じた自動微分を用いる標準的なパスワイズ推定量は不安定であることが判明しました。

   • 制御変量: 著者らは、スコア関数に基づき、制御変量で強化された不偏の勾配推定量を導出します。
   • 重要な洞察: 特定のサンプルの勾配への寄与は、レンダリング画像に対するその個々の影響によって重み付けされます。具体的には、完全な画像 $I$ と $i$ 番目のガウスなしでレンダリングされた画像 $I_{-i}$ の差が使用されます。
   • 効率性: 重要なのは、$(I - I_{-i})$ が標準的なバックワードパス中に不透明度 $o_i$ と損失の不透明度に関する勾配（$\partial I / \partial o_i$）から直接計算できることが証明されている点です。これにより、$M$ 枚の個別の画像をレンダリングする計算コストを回避しつつ、勾配の分散を大幅に低減できます。

4. トレーニング戦略:

   • 防御的サンプリング: 確率密度が後に重要になる可能性のある領域でゼロに崩壊するのを防ぐため、トレーニングの初期段階でサンプルのサブセットにガウスノイズが追加されます。
   • サンプルの丸め: 微細な位置シフトに起因する分散を低減するため、サンプル位置は最も細かいグリッドビン中心に丸められます。
   • 重複除去: 丸めに起因して生じる重複サンプルはレンダリング前に除去され、モデルが最適化するにつれてガウスの数が自然に剪定されます。
   • 精緻化: 確率および属性グリッドの最適化後、最終的な精緻化ステップとして、サンプリングされたガウスの離散セットに対して標準的な勾配ベースの最適化を 5,000 反復実行します。

主要な貢献

• オイラー型定式化: 連続確率場を最適化して離散ガウスの配置を制御することで、ヒューリスティックな密度制御の必要性を排除し、NeRF と 3DGS を架橋する新規アプローチ。
• ハッシュ化確率ピラミッド: 単一 GPU での高解像度最適化を可能にする、メモリ効率が高く、大域的に正規化されたマルチスケール 3D 確率密度表現。
• 低分散勾配推定量: 各ガウスがレンダリング画像に寄与する部分を分離する制御変量ベースの推定量。これにより、標準的なパスワイズ推定量の高い分散なしに、確率分布の安定したトレーニングが可能になります。
• ヒューリスティックフリートレーニング: 構造から運動（SfM）点や手動調整された分割/カリングルールに依存することなく、均一なランダム初期化から出発して最先端の結果を達成する手法。

結果
本手法は、mip-NeRF 360、Tanks & Temples、Deep Blending のデータセットで評価されました。

• 性能: EGS は、ランダム初期化されたモデルの中で最先端の再構成品質を達成し、3DGS-MCMC や Taming-3DGS などのベースラインを全体的な PSNR において上回ります。
• SfM ベース手法との比較: COLMAP 点で初期化されたモデルは一般的にわずかに良い性能を示しますが、ランダム初期化から出発する EGS はこの差の大部分を埋め、堅牢性を示しています。
• アブレーション研究: カスタム勾配推定量が最も重要なコンポーネントとして特定されました。これがない場合、トレーニングは不安定になり、不良な結果に収束します。不透明度正則化と防御的サンプリングも、安定性の面で大きな利益を提供します。
• 効率性: 大規模なサンプル数とハッシュグリッドクエリのため、トレーニングプロセスは標準的な 3DGS よりも遅く、メモリを多く消費しますが、最終的なレンダリング速度は 3DGS と同等のままです。

意義
本論文は、EGS が連続場最適化と離散ガウスレンダリングの間に「原理的な架け橋」を提供すると主張しています。壊れやすいヒューリスティックを学習可能な確率分布に置き換えることで、このフレームワークはシーン幾何学が勾配の手がかりから純粋に現れることを可能にします。これにより、事前の幾何学的初期化（SfM）や手動介入を必要とせず、多様なシーンに汎用するシンプルでエンドツーエンドのトレーニング手順が可能となり、サンプリングベースの定式化が、スプラットベースレンダリングの効率性を維持しながら高品質な再構成を達成しうることを示しています。