Learning Unified Representation of 3D Gaussian Splatting

技術要約：3D Gaussian Splattingの統一表現の学習

問題提起

3D Gaussian Splatting (3DGS) は、高忠実度かつリアルタイムの3D再構成およびレンダリングにおいて強力な手法として確立されているが、そのネイティブなパラメータ化（$\theta = \{\mu, q, s, c, o\}$）は、ニューラルネットワークの学習空間として用いる際に根本的な課題を提示する。著者らは、標準的な3DGSパラメータとニューラルアーキテクチャの誘導バイアスとの間に存在する、3つの決定的な不整合を特定している：

1. 非一意性（曖昧性）: パラメータからレンダリング出力へのマッピングは一対一ではない。クォータニオンの符号の双対性（$q$ と $-q$ が同じ回転を表すこと）や、対称性に起因する分散などの問題があり、「エンベディングの衝突（embedding collisions）」を引き起こす。同一の視覚的出力を生成する異なるパラメータ入力が、相反する教師信号を生成するため、学習の不安定化や収束の悪化を招く。
2. 数値的な不均質性: パラメータ成分は、極めて異なる大きさや分布を持つ（例：$\mathbb{R}^3$ 上の空間位置 vs $SO(3)$ 上の単位正規化されたクォータニオン）。これは、標準的なニューラルネットワークにおいて効果的な勾配フローに求められる、均質な特徴量分布の仮定に違反している。
3. 多様体のミスマッチ: パラメータは異なる数学的多様体に存在している（位置についてはユークリッド空間、回転についてはリー群、色については球面調和関数）。これらの非ユークリッド変数に標準的なユークリッド特徴空間を強制することは、それらの固有の幾何学的構造を破壊し、表現の圧縮、正則化、または効果的な汎化を困難にする。

これらの制限は、不安定なエンコーダ、潜在空間の補間時における幾何学的な「ジッター（震え）」、およびノイズに対する脆弱性を引き起こし、生成、圧縮、編集といったダウンストリームタスクを阻害する。

手法

これらの問題に対処するため、本論文では、等確率曲面上に定義された連続体場を通じて、Gaussianプリミティブの固有情報をカプセル化する**サブマニフォールド・フィールド表現（Submanifold Field Representation）**を提案する。

1. サブマニフォールド・フィールド表現 ($E$):
各Gaussianプリミティブは、生のパラメータではなく、ペア $(M, F)$ として表現される：

• 等確率曲面 ($M$): 方程式 $(x - \mu)^\top \Sigma^{-1} (x - \mu) = r^2$（ここで $r$ は固定半径）によって定義される2次元の部分多様体（楕円体）。この曲面は、幾何学的な形状と方向を捉える。
• カラーフィールド ($F$): $M$ 上の点から、元の球面調和係数に基づく視点依存の色へとマッピングする関数。
  この定式化は、Gaussianの放射場とその表現との間に、証明可能な一意の一対一の対応関係を確立し、パラメータの曖昧性を排除する。

2. サブマニフォールド・フィールド変分オートエンコーダ (SF-VAE):
この連続体場からエンベディングを学習するために、著者らはVAEフレームワークを設計した：

• 離散化: 連続体場は、等確率曲面から $P$ 個の点を一様にサンプリングすることで離散化され、彩色された点群を形成する。
• エンコーダ: PointNetベースのネットワークが、この点群を潜在ベクトル $z$ へとエンコードする。
• デコーダ: 2つの暗黙的なニューラルネットワークが、元の場を再構成する：
  • 座標変換ネットワーク $g_c$ は、潜在ベクトルと単位球座標を3D位置へとマッピングする。
  • カラーフィールドネットワーク $g_f$ は、これらの位置に対する色を予測する。
• パラメータ復元: 元のGaussianパラメータ（$\theta$）は、共分散行列のための主成分分析（PCA）および色係数のための球面調和適合を用いて、デコードされた点群から復元される。

3. マニフォールド距離 (M-Dist):
著者らは、サブマニフォールド・フィールド間の類似性を測定するために、Wasserstein-2距離（最適輸送）に基づく新しい損失関数を導入した。この指標は、空間的な距離と色の差異を共同で考慮し、標準的なパラメータ空間の距離（例：L1）よりも知覚的な品質との高い相関を提供する。

主な貢献

• 限界の形式的な特性付け: 本論文は、ネイティブな3DGSパラメータの非一意性と数値的な不均質性が、ニューラル学習における根本的な障壁であることを形式的に特定し、証明した。
• 統一された表現: Gaussianプリミティブの一意的で、幾何学的に一貫し、数値的に安定したエンコーディングを提供する、サブマニフォールド・フィールド表現を提案した。
• 学習フレームワーク: M-Dist指標を組み込んだSF-VAEフレームワークを開発し、この統一された空間での学習が、パラメトリックなベースラインと比較して優れた結果をもたらすことを示した。

実験結果

著者らは、制御された比較を行うために自作のVAEフレームワークを用いて評価を行い、ドメイン不変性を確保するためにランダムに生成されたGaussianプリミティブのデータセットで学習を行った。

• 再構成品質: オブジェクトレベル（ShapeSplat）およびシーンレベル（Mip-NeRF 360）の両方のデータセットにおいて、サブマニフォールド・フィールド表現はパラメトリックなベースラインを大幅に上回った。
  • ShapeSplatにおいて、SF-VAEはパラメトリック・ベースラインの 37.512 に対し、63.408 のPSNRを達成した。
  • Mip-NeRF 360において、SF-VAEはパラメトリック・ベースラインの 18.818 に対し、29.833 のPSNRを達成した。
  • 知覚的指標（SSIM, LPIPS）および提案されたM-Distも、大幅な改善を示した。
• ゼロショット汎化: 合成ランダムデータで学習されたモデルは、実世界のシーンに対しても効果的に汎化し、特定の現実世界のドメインで学習して他のドメインへ転移させたモデルよりも優れた性能を示した。これは、この表現がドメイン固有の事前分布を取り除いていることを示唆している。
• 堅牢性: サブマニフォールド・エンベディング空間は、ノイズに対して著しく堅牢である。潜在空間にノイズを加えた場合、パラメトリックなエンベディングと比較して、再構成誤差（M-Distで測定）が大幅に小さくなった。
• 潜在空間の規則性: SF-VAEの潜在空間における線形補間は滑らかな幾何学的遷移を生み出すが、パラメトリックな補間は回転やスケールにおいて不自然な「ジッター」を生じさせる。
• ダウンストリームへの適用可能性:
  • 教師なしクラスタリング: グラフクラスタリングタスクにおいて、SFエンベディングは生のパラメータと比較して、より明確な意味的分離を示す。
  • Gaussian Neural Fields (GNF): SFエンベディングをニューラルフィールドのターゲットとして使用すると、生のパラメータを直接回帰する場合（例：ShapeSplatでPSNR 51.6）よりも、高い視覚的忠実度（例：PSNR 58.6）が得られる。

意義と主張

本論文は、提案されたサブマニフォールド・フィールド表現が、3DGSプリミティブとニューラル学習との間の根本的な理論的ミスマッチを解決することを主張している。幾何学的構造を尊重し、一意のマッピングを強制することで、本手法は以下を可能にする：

1. 安定した学習: エンベディングの衝突の排除により、より良い収束を実現する。
2. 高忠実度な学習: この表現は固有の幾何学的および光学的構造を保持し、優れた再構成と汎化を可能にする。
3. 統一されたフレームワーク: 合成データで学習された単一のモデルが多様なドメイン（オブジェクトおよびシーン）にわたって汎化できることは、真に統一された3DGS表現への道を示唆している。

著者らは、このアプローチが生成モデリング、圧縮、意味理解を含む、3DGSにおける将来の学習ベースのタスクのための原則的な基礎を提供すると結論付けている。同時に、単一プリミティブのモデリングに関する現在の限界と、シーンレベルのエンコーダに関する今後の課題についても認めている。