3DGS$^2$-TR: Scalable Second-Order Trust-Region Method for 3D Gaussian Splatting

技術要約: 3DGS2-TR

問題提起
3D Gaussian Splatting (3DGS) は、リアルタイムの新規視点合成において最先端の技術として地位を確立しているが、その学習プロセスは依然として大きなボトルネックとなっている。標準的な3DGSは一次のADAMオプティマイザに依存しており、これは3DGS特有の高度に非凸で不良条件なパラメータ空間において、収束が遅くなるという課題を抱えている。最適化のランドスケープは、幾何学的パラメータ（位置、回転、スケール）と外観パラメータ（不透明度、色）の間の強い結合、およびラスタライズ過程の非線形性と区分的な連続性（深度ベースのソートに起因）によって、特に困難なものとなっている。

既存の二次手法（例：3DGS-LM、3DGS2）は、曲率情報を利用することで収束を加速させることを目的としているが、重大なスケーラビリティの問題に直面している。これらは通常、明示的または密な曲率表現に依存しており、高額なメモリオーバーヘッド（$O(n^2)$ またはそれ以上）と高価な反復あたりのコストを招く。このため、大規模なシーンや分散学習の設定には適していない。さらに、3DGSの損失関数の不連続性は、古典的な二次手法が必要とする滑らかさの仮定を損なうため、不安定さを引き起こすことが多い。

手法: 3DGS2-TR
著者らは、3DGSの学習を加速させつつ、一次手法の計算およびメモリ効率性を維持するように設計された、スケーラブルな二次信頼領域オプティマイザである3DGS2-TRを提案する。本手法は、反復あたりの計算コストの低さ、パラメータ線形なメモリのスケーリング、および信頼領域制約という3つの核となる原則に基づいている。

1. 対角ヘッセ行列近似（行列フリー）:
   完全なヘッセ行列を計算する代わりに、3DGS2-TRはガウス・ニュートン行列（$J^T J$）の対角成分のみを使用して曲率を近似する。これは、ランダムなラデマッハーベクトルを用いてヘッセ行列ベクトル積を計算するハッチソン法（Hutchinson's method）を通じて効率的に推定される。このアプローチにより、計算量とメモリ複雑性の両方がADAMの複雑さと一致する$O(n)$に保たれる。曲率推定を安定させるために、本手法は対角推定値の指数移動平均（EMA）を採用し、毎ステップではなく、定期的に（例：10イテレーションごと）更新を行う。

2. 平方ヘリンジャー距離によるパラメータごとの信頼領域:
   3DGSのラスタライズに固有の強い非線形性と不連続性に対処するため、著者らはパラメータごとの信頼領域テクニックを導入している。グローバルまたはグループレベルの制約とは異なり、この手法は個々のガウス関数のパラメータに対する更新ステップを制限する。

   • 指標: 制約は、更新前後のガウス分布間の平方ヘリンジャー距離に基づいている。この指標は、正規化されていないガウス関数に対して閉形式の解を提供し、レンダリングされた外観の差異を直感的に測定できるため採用された。
   • 正規化: ガウス関数の見かけ上の質量は、視点距離によって任意に変化し得ることを考慮するため、ヘリンジャー距離はスケール行列の行列式（$\det(S)^{-1}$）によって正規化される。
   • メカニズム: 各パラメータに対して、正規化された平方ヘリンジャー距離が閾値 $\epsilon$ を下回るように、信頼領域半径 $\eta$ が計算される。提案される更新ステップはこの半径にクリップ（$\Delta x \cdot \text{clip}(-\eta, +\eta)$）され、これにより、更新がガウスの幾何形状や不透明度に急激で無効な変化を与えないように制御される。

3. 最適化パイプライン:
   アルゴリズムは、確率的ガウス・ニュートン定式化に従う。確率的勾配と（ハッチソン法による）対角ヘッセ推定値を計算し、二次更新ステップ（$\Delta x = -\hat{D}^{-1} \hat{g}$）を算出し、パラメータごとの信頼領域クリッピングを適用してパラメータを更新する。ヘッセ推定のための周期的なサンプリングにより、本手法のオーバーヘッドはわずか（ADAMより約10%増程度）である。

主な貢献

• スケーラブルな二次最適化: 本論文は、計算量とメモリの両方において$O(n)$の複雑さを達成する、3DGS向けの初の二次オプティマイザを提示しており、これにより非常に大規模なシーンや、潜在的には分散学習の設定へのスケーラビリティを実現している。
• 対角ヘッセ推定: 3DGSにSophia (Liu et al., 2023) の軽量なフレームワークを適応させることで、本手法は、高価なフル行列操作のコストを回避しながら、損失曲面の曲率を考慮するための対角ヘッセ推定を利用している。
• ヘリンジャー距離信頼領域: 著者らは、平方ヘリンジャー距離に基づく、パラメータごとの信頼領域制約を提案している。これは、ガウスプリミティブの幾何学的変化を制限するための原理的な方法を提供し、3DGSのラスタライズの非平滑性に起因する不安定性の問題に対処している。

結果
同一のパラメータ初期化条件下において、高密度化戦略を使用しない場合でも、3DGS2-TRは標準的なADAMオプティマイザと比較して優れた性能を示した。

• 収束速度: 標準的なデータセットにおいて、ADAMよりも50%少ない学習イテレーションで、より優れた再構成品質を達成した。
• メモリ効率: 本手法によるピークGPUメモリのオーバーヘッドは1GB未満（ADAMより約17%増）である。対照的に、3DGS-LMのような既存の二次手法は約85%のメモリオーバーヘッドを伴っており、3DGS2-TRのスケーラビリティの優位性が際立っている。

意義
本論文は、3DGS2-TRが、二次手法の収束の利点と、大規模な3Dコンテンツ制作におけるスケーラビリティの要件との間の溝を埋めるものであると主張している。密な曲率表現を回避し、ガウス・スプラッティング特有の不連続性に適した安定化メカニズムを導入することで、本手法は再構成品質やメモリ効率を犠牲にすることなく、より高速な学習を可能にする。この進展は、3DGSパイプラインの主要なボトルネックに対処するものであり、仮想現実（VR）、拡張現実（AR）、ロボティクスなどの迅速なシーン再構成を必要とするアプリケーションにおける幅広い採用を促進する可能性がある。