GrainGS: Gradient-Decoupled Gaussian Splatting for Efficient Dynamic Novel View Synthesis

GrainGSの技術要約：効率的な動的新規視点合成のための勾配分離型ガウス・スプラッティング

問題提起
3D Gaussian Splatting (3D-GS) を用いた動的なシーン再構成は、きめ細かな動きのモデリング、構造的安定性の維持、およびコンパクトな表現の確保という根本的なトレードオフに直面している。既存の手法は、概して以下の2つのカテゴリーに分類され、それぞれに明確な限界がある：

1. プリミティブ単位の手法（Per-primitive methods）: これらは柔軟な局所的変形自由度を提供するが、多くの場合、冗長なプリミティブの増殖や、弱い構造的制約による正準（canonical）ジオメトリの不安定性を招く。
2. アンカーベースの手法（Anchor-based methods）: これらは疎な制御ノードや階層的なスキャフォールド（足場）を通じて空間的な規則性を課すことで、安定性を向上させる。しかし、これらはしばしば隣接するガウスに対して同一の変形信号を伝播させてしまい、きめ細かな局所運動を抑制してしまう。

著者らが特定した、極めて重要でありながら見落とされがちな問題は、**勾配の絡み合い（gradient entanglement）**である。現在のフレームワークでは、正準座標が変形ネットワークへの微分可能な入力として機能する。その結果、フレーム固有の変形勾配が正準表現へと逆伝播し、時間不変な幾何学的参照を乱してしまう。さらに、専用の時系列外観モデルが存在しない場合、時間的なフォトメトリックの変化（例：動く影、鏡面反射）が幾何学的変形パラメータによって誤って吸収され、幾何学的一貫性をさらに低下させる。

手法：GrainGS
GrainGSは、幾何、運動、および外観の最適化経路を分離するように特別に設計された、階層的なアンカー・スキャフォールドとガウスごとの変形を組み合わせた動的ガウス・フレームワークを提案する。本手法は、以下の3つのコアメカニズムを通じて動作する：

1. 静的ウォームアップを伴う階層的アンカー・スキャフォールド:

   • 本手法は、Structure-from-Motion (SfM) データから導出された、疎な3Dアンカーポイントのセットを初期化する。各アンカーは、学習可能なオフセットと共有されたStatic MLPを介して、「子」ガウスのセットを生成する。
   • 静的ウォームアップ（Static Warm-up）: 時系列モデリングが始まる前に、専用のウォームアップフェーズ（イテレーション $1 \sim T_w$）において、全タイムスタンプからサンプリングされた画像を用いて、正準アンカーパラメータとStatic MLPのみを最適化する。この間、変形ネットワークは凍結される。これにより、運動勾配が導入される前に、シーンの全運動範囲をカバーする堅牢で時間不変な幾何学的基盤を確立する。

2. 勾配分離型のガウス単位変形（Gradient-Decoupled Per-Gaussian Deformation）:

   • 結合学習中、正準位置が変形ネットワーク（DeformNet）に供給される前に、**ストップグラディエント（stop-gradient）**操作が適用される。
   • 具体的には、DeformNetへの入力は $sg(x_{can})$ となり、$sg(\cdot)$ が勾配の流れを遮断する。これにより、再構成損失が変形ネットワークを通じて正準ジオメトリの更新へと逆伝播することを防ぐ。
   • 各ガウスは、自身の正準位置と時間埋め込みに基づき、独立して時間的オフセット（$\Delta x, \Delta r, \Delta \rho$）を予測する。これにより、アンカー・スキャフォールドの構造的制約を維持しつつ、局所的に変化する運動を可能にすると同時に、正準参照が安定し、かつ時間不変であることを保証する。

3. 正準残差外観分解（Canonical-Residual Appearance Decomposition）:

   • 時間的なフォトメトリック変化が幾何学的変形を損なうのを防ぐため、外観を2つのブランチに分解する：
     • 正準ブランチ（Canonical Branch）: アンカーの特徴量と視線方向のみに基づき、ベースカラー（$c_{can}$）とニューラル不透明度スコア（$o_{can}$）を予測する、時間不変なView-MLP。
     • 残差ブランチ（Residual Branch）: 有界なカラー（$\Delta c$）と不透明度（$\Delta o$）の残差を予測する、軽量な時間条件付きMLP。
   • 最終的な外観は、これら2つのブランチの合成となる。この明示的な分離により、フレーム固有の照明変化が残差ブランチによってモデル化されることが保証され、幾何学的な変形がフォトメトリックな変化を説明するために強制されることを防ぐ。

主要な貢献

1. GrainGSフレームワーク: 構造的なコンパクトさと詳細な局所運動のキャプチャのバランスを実現するために、構造的に規則的なアンカー・スキャフォールドと、きめ細かなガウス単位の変形を統合した、新しい動的3D-GS手法。
2. 勾配分離戦略: 静的ウォームアップとストップグラディエントによる隔離を組み合わせた2段階の最適化戦略の導入。これにより、変形を介した干渉を効果的に遮断し、正準表現への影響を防ぎ、幾何学的参照を安定させる。
3. 外観分解: 幾何学的変形パラメータが照明変化を説明しなければならないという圧力を軽減する、正準・残差外観モデル。
4. 最先端の性能: 広範な実験により、本手法が競争力のある再構成品質、リアルタイムのレンダリング速度、および非常にコンパクトなモデルストレージを実現していることが示された。

実験結果
著者らは、合成データセットであるD-NeRF（8シーン）と、実世界のマルチビューデータセットであるDG-Mesh（6シーン）を用いてGrainGSを評価した。

• 再構成品質: D-NeRFにおいて、GrainGSは平均PSNR 36.98 dBを達成し、SC-GS (36.73 dB) や MoDec-GS (36.45 dB) といった強力なベースラインを上回った。8つのシーンにおける全24の指標においてトップ3に入った。DG-Meshにおいても、Torus2Sphere シーンでMoDec-GSを0.69 dB上回るなど、6つの全シーンで最高のPSNRを記録した。
• レンダリング効率: GrainGSは平均 435.6 FPS でレンダリングされ、これはD-3DGSより1.4倍、SC-GSより1.7倍高速である。
• ストレージのコンパクト性: 本手法のストレージ容量はわずか 4.67 MB であり、SC-GS (32.49 MB) に対して7.0倍、4D-GS (23.68 MB) に対して5.1倍の削減を実現している。
• 定性的分析: 視覚的な比較により、GrainGSは（Hook シーンの鎧や Jumping Jacks の指の輪郭などの）微細な幾何学的詳細を復元し、（Horse の影などの）複雑な照明変化を、ぼやけや幾何学的アーティファクトを示しやすい競合手法よりも効果的に処理できることが示された。

意義と主張
本論文は、GrainGSが、変形勾配が通常正準ジオメトリを不安定化させるという、動的3D-GSにおける「勾配の絡み合い」という決定的な問題に対処していると主張している。静的な正準スキャフォールドと時間的な変形・外観ブランチを厳格に分離することで、本手法は構造的崩壊を起こすことなく、高忠実度な運動モデリングを可能にする安定した幾何学的参照を提供する。

著者らは、GrainGSが、プリミティブ単位の手法の表現力と、アンカーベースの手法の構造的安定性の間のギャップをうまく埋めていると断言している。結果は、明示的な勾配の隔離と外観の分解が、高品質、リアルタイム、かつストレージ効率の高い動的新規視点合成を実現するために不可欠であることを示唆している。本研究は、すべての動的シーンの課題を解決すると主張するものではなく、既存の最先端手法と比較して、再構成品質、レンダリング速度、およびモデルサイズのバランスにおいて大幅な改善を実現したことを示している。