技術要約: StereoGS

問題提起

3D Gaussian Splatting (3DGS) は、高密度な視点設定においてリアルタイムの新規視点合成 (NVS) に革命をもたらしましたが、疎な視点（sparse-view）の設定に適用すると、深刻な過学習と幾何学的な欠陥が生じます。疎な設定では、視点間の重なりが限定的であり、外観の対応関係が不十分であるため、適切な幾何学的制約が得られません。これらを単眼深度事前分布を用いて緩和しようとする既存の試みは、2つの根本的な限界に直面しています：

1. スケールの曖昧性 (Scale Ambiguity): 単眼深度推定は絶対値ではなく相対的なものです。これらを正則化として強制すると、入力画像から得られるフォトメトリック一貫性と衝突し、最適化における誤った誘導を招くことがあります。
2. 視点間不整合 (Cross-View Inconsistency): 単眼深度マップは各視点に対して独立して推論されるため、異なる視点から見た同一の空間点に対して深度値が一致しません。これを逆投影すると、空間的な位置ずれや幾何学的なアーティファクトが発生します。

さらに、視点間の一貫性を強制しようとする既存の手法（例：ワープされた画像に対するフォトメトリック損失を用いる手法）は、3D Gaussian プリミティブへの直接的な勾配ガイダンスを欠いており、それらをシーンの表面に正確に固定することができません。

手法

StereoGS は、最適化中に信頼性の高い双眼一貫性と絶対スケール制約を確立するために、ステレオ事前分布 (stereo priors) を統合した疎な視点向けの 3DGS フレームワークを提案します。この手法は、以下の3つのコアコンポーネントで構成されています。

1. 一貫性を考慮した高密度初期化 (Consistency-Aware Dense Initialization)

疎な設定における標準的な Structure-from-Motion (SfM) 点群の疎さとノイズを克服するため、StereoGS はゼロショット多視点深度推定器 (MVSAnywhere) と厳格な幾何学的フィルタリングを組み合わせて採用しています。

• 各学習視点に対して、残りの画像をソース視点として使用し、深度マップを推定します。
• 視点間の再投影誤差を用いて外れ値をフィルタリングします。
• フィルタリングされた深度マップを逆投影および融合して、高密度で多視点一貫性のある点群を作成し、Gaussian のための堅牢な幾何学的基盤を提供します。

2. ステレオ深度正則化 (Stereo Depth Regularization)

スケール不変な単眼制約に依存する手法とは異なり、StereoGS は絶対スケールと双眼一貫性を強制するための ステレオ深度正則化 項を導入します。

• 仮想ステレオペアの構築: 最適化中、各学習視点（左カメラとして扱う）に対し、水平方向の移動によって仮想的な右カメラを構築します。
• 参照深度の生成: 真値の左画像とレンダリングされた右視点の画像を基盤となるステレオモデル (FoundationStereo) に入力し、極めて正確な参照視差マップを生成します。これが、スケールを考慮した外部の事前分布として機能します。
• 一貫性フィルタリング: 推定された視差に対して左右一貫性チェックを適用して、遮蔽（オクルージョン）と誤マッチングを特定し、有効性マスク ($M_{valid}$) を生成します。
• 損失関数: 有効なピクセルに対して、レンダリングされた深度とステレオ由来の深度 ($Z_{stereo}$) の間の逆深度空間における L1 誤差を最小化します：
  $$\mathcal{L}_{depth} = \lVert M_{valid} \odot (\frac{1}{\hat{Z}} - \frac{1}{Z_{stereo}}) \rVert_1$$
  このプロセスにより、3D Gaussian が絶対スケールと一貫した構造を学習することを強制します。

3. 勾配を考慮した不透明度減衰 (Gradient-Aware Opacity Decay)

安定した表面構造を無差別に削除することなく、過学習を抑制し冗長なプリミティブ（フローター）を排除するために、StereoGS は周期的な不透明度のリセットに代わり、動的な戦略を採用しています。

• 核心的な洞察: 不透明度の勾配の大きさ ($\nabla_\alpha \mathcal{L}$) は、Gaussian の必要性を反映します。大きな勾配はフォトメトリック誤差を減少させるための重要な寄与を示し、無視できる勾配は冗長性を示唆します。
• メカニズム: 各 Gaussian の勾配の大きさを全 Gaussian の平均勾配の大きさに正規化することで、相対的な勾配 $\beta$ を計算します。
• 減衰係数: $\beta$ に基づく指数関数的なソフト閾値関数を使用して、動的な減衰係数 $\gamma$ を導出します。相対的な勾配が小さい Gaussian はより厳しく罰せられ、更新の要求が大きい Gaussian は保持されます。
  $$\gamma = 1 - (1 - \gamma_{base}) \exp(-s \cdot \beta)$$
  その後、不透明度は $\hat{\alpha} = \gamma \alpha$ としてスケーリングされます。

主な貢献

1. ステレオ深度正則化: 基盤となるステレオモデルを利用して、最適化中に絶対スケール制約と双眼一貫性を強制する新しいメカニズムであり、単眼事前分布に固有のスケールの曖昧さを解決します。
2. 勾配を考慮した不透明度減衰: 相対的な勾配の大きさに基づいて不透明度を調整する動的なプルーニング戦略であり、不可欠なシーンの幾何学を保持しながら、冗長なプリミティブを効果的に排除します。
3. 一貫性を考慮した高密度初期化: ゼロショット多視点深度推定と幾何学的フィルタリングを活用した堅牢な初期化パイプラインにより、高品質な点群基盤を作成します。
4. 最先端の性能: 提案された戦略はすべて学習時のみに適用されるため、追加の推論オーバーヘッドを発生させることなく、疎な視点設定において優れた結果を達成します。

実験結果

StereoGS は、4 つの標準的なデータセット (LLFF, DTU, Mip-NeRF360, Blender) において、疎な学習視点（例：LLFF/DTU では 3, 6, 9 視点、Mip-NeRF360 では 12, 24 視点）を用いて評価されました。

• 定量的性能: StereoGS は、PSNR、SSIM、LPIPS メトリックにおいて、既存の NeRF ベース（例：RegNeRF, FreeNeRF）および 3DGS ベース（例：DNGaussian, FSGS, Binocular3DGS）の手法を一貫して上回っています。例えば、LLFF データセットの 3 視点において、StereoGS は 21.91 の PSNR を達成し、従来の最高値（Binocular3DGS の 21.44）を上回りました。
• 定性的改善: 視覚的な比較により、StereoGS がテクスチャのない領域におけるアーティファクトを大幅に減少させ、ベースラインの手法が再構成に失敗する微細な詳細（物体の境界や草の質感など）を保持していることが示されました。深度マップはより一貫しており正確で、穴やフローターも少なくなっています。
• アブレーション研究: 実験により、各コンポーネント（高密度初期化、ステレオ正則化、勾配を考慮した減衰）が性能に対して増分的に寄与していることが確認されました。いずれかのモジュールを除去すると、定量的指標と視覚的品質の両方において明確な劣化が生じました。

重要性と主張

本論文は、StereoGS が疎な視点における 3D Gaussian Splatting の決定的な課題であるスケールの曖昧性と幾何学的不整合を根本的に解決することを主張しています。基盤となるステレオモデルと勾配を考慮したプルーニング戦略を統合することで、本フレームワークは、3DGS が疎な視点条件下で最先端の新規視点合成品質を達成することを可能にする堅牢な幾何学的基盤を確立します。

主要な主張は、これらの改善が 追加の推論オーバーヘッドなしに 達成されており、バニラな 3DGS のリアルタイムレンダリング効率を維持していることです。著者らは、ステレオモデルが極端にテクスチャのない領域では依然として苦戦する可能性があること、およびオンライン正則化が追加の学習時間を要することを認め、これらを今後の研究方向として特定しています。