技術要約: SSA-3DGS

問題提起

新規視点合成（NVS）の手法、特に3D Gaussian Splatting（3DGS）は、入力画像がクリーンであり、マルチビュー間で一貫しているという仮定に基づいています。しかし、現実世界のキャプチャには、3D空間ではなく2D画像平面に固定された**スクリーン空間のアーティファクト（画面上のノイズ）**が含まれることがよくあります。典型的な例としては、物理的なセンサーの欠陥、環境による遮蔽物（レンズハウジング上の泥や雨）、キャプチャ時の障害物（指やダッシュボード）、およびデジタルオーバーレイ（ウォーターマークやUI要素）が挙げられます。

これらのアーティファクトはカメラセンサーに対しては静止しているため、カメラがシーンを移動するにつれて、ワールドジオメトリ（世界の幾何構造）に対しては「移動」しているように見えます。マルチビューの一貫性を前提とする標準的な3D再構成アルゴリズムは、これらのアーティファクトを排除できず、代わりにそれらを「フローター（カメラ付近に浮遊する3Dガウス分布）」や視点依存の効果として誤って3Dジオメトリに焼き付けてしまい、結果として新規視点レンダリングの忠実度を著しく低下させます。既存のロバスト性向上手法（NeRF-W、RobustNeRF、DeSplatなど）は、主にワールド空間の一時的な物体や動く物体を対象としており、静的なスクリーン空間のノイズとシーンのジオメトリを区別することに苦慮しています。さらに、単一画像の復元技術は3Dの構造的知識を欠いているため、前処理として適用した場合、時間的なちらつきや幾何学的な不整合を引き起こします。

手法: SSA-3DGS

著者らは、3Dシーン表現と学習可能な2Dオーバーレイを共同で最適化することで、スクリーン空間のアーティファクトと基礎となるジオメトリを分離する、教師なしフレームワークであるSSA-3DGSを提案しています。

コア数式

本手法は、すべてのトレーニングビューで共有される学習可能な2Dオーバーレイを導入することで、標準的な3DGSパイプラインを拡張しています。最終的な予測ピクセルカラー $\hat{C}(u)$ は、クリーンな3Dシーンのレンダリング $\hat{C}_{3D}(u)$ とアーティファクト・オーバーレイとの間のアルファブレンディングとしてモデル化されます。
$$\hat{C}(u) = A(u) \cdot W(u) + (1 - A(u)) \cdot \hat{C}_{3D}(u)$$
ここで：

• $W \in \mathbb{R}^{H \times W \times 3}$ は学習可能なアーティファクト・カラーマップです。
• $A \in \mathbb{R}^{H \times W \times 1}$ は学習可能なアーティファクト・アルファマットです。
• $W$ と $A$ は両方ともピクセル座標で定義されており、3Dガウス分布が視点ごとに異なる投影を示すのに対し、すべてのカメラポーズに対して一定です。

最適化と正則化

この分解は制約が不足しており、正則化を行わない場合、モデルが「3Dシーンが均一なオーバーレイによって明るすぎたり暗すぎたりする」状態や、「有効なシーンの詳細がオーバーレイに吸収されてしまう」といった退化した解に陥る可能性があります。これを防ぐため、著者らは複合損失関数を導入しています。
$$\mathcal{L} = \mathcal{L}_{rgb} + \lambda_{sparse}\mathcal{L}_{sparse} + \lambda_{tv}\mathcal{L}_{TV}$$

1. フォトメトリック損失 ($\mathcal{L}_{rgb}$): 合成された予測とグラウンドトゥルースの間の標準的なL1損失およびSSIM損失です。
2. スパース性正則化 ($\mathcal{L}_{sparse}$): アルファマット $A$ が可能な限りゼロになるよう促します。これにより、最適化がまず3Dジオメトリによってピクセルを説明するようにバイアスをかけ、必要な場合にのみオーバーレイを使用するようにします。また、露出崩壊（exposure collapse）という退化した解を防ぎます。
3. 全変動（Total Variation）損失 ($\mathcal{L}_{TV}$): オーバーレイが区分的に滑らかな領域で構成されるように促します。これにより、高周波ノイズの吸収を抑制し、空間的な一貫性を強制します。これは、多くの現実のアーティファクト（例：ウォーターマーク、泥の飛沫）の性質を反映しています。

初期化

オーバーレイを定数で初期化するのではなく、本手法ではトレーニングセットのピクセル統計量を使用して $W$ と $A$ をシード（初期化）します。ビュー間で強度が安定しているピクセル（アーティファクトである可能性が高い）は、ほぼ不透明な状態で始まり、マルチビューでの変化が大きいピクセル（シーンの内容である可能性が高い）は、ほぼ透明な状態で始まります。

主な貢献

1. 教師なし分離: グラウンドトゥルースのマスクや手動の監督なしに、破損したマルチビュー録画から、クリーンな3DGSシーンとスクリーン空間のアーティファクトを同時に抽出する手法。
2. 正則化スキーム: スパース性と全変動制約を組み合わせた新しい手法により、最適化を3D幾何学的説明へと誘導し、アーティファクト層が真のスクリーン空間ノイズのみを捉えることを保証する。
3. 実世界のデータセット: 合成されたコンポジットを超えて本手法をベンチマークするために、実際に物理的なアーティファクト（レンズハウジング上の泥、リグによる遮蔽など）を含む、独自にキャプチャした実世界のデータセットを導入。

結果

著者らは、Mip-NeRF 360データセット（合成アーティファクトを含む）と、独自にキャプチャした実世界のデータセットを用いてSSA-3DGSを評価しました。

• 定量的性能: 合成ベンチマークにおいて、SSA-3DGSは、同じ破損した入力に対して訓練されたバニラ3DGSと比較して、再構成の忠実度を最大で9 dB PSNR向上させました。本手法は、破損した入力に対して、MCMC高密度化を用いた場合に28.43 dBの平均PSNRを達成し、クリーンなデータで訓練された3DGS（29.57 dB）の性能に迫りました。また、最強のディストラクタ耐性を持つ手法であるDeSplatを一貫して上回りました。
  • 実世界の「Mud（泥）」シーンにおいて、本手法は最強のベースラインであるDeSplatに対し、PSNRを3.0 dB向上させました。
• 定性的性能: 視覚的な結果は、SSA-3DGSがアーティファクト（ウォーターマーク、ダッシュボード、泥、UI要素）を正常に除去し、クリーンなジオメトリを復元できることを示しています。一方で、ベースラインの手法は、しばしばこれらのアーティファクトを半透明のフローターとしてシーンに焼き付けてしまいます。また、本手法はアーティファクト自体を別のオーバーレイとして正常に再構成することもできました。
• アブレーション解析: 本研究は、スパース性と全変動正則化の両方が必要であることを確認しています。これらを除去すると、PSNRが約1.0 dB低下し、FLIPスコアが悪化し、モデルがアーティファクトとシーンを適切に分離できなくなることが判明しました。

重要性と主張

本論文は、SSA-3DGSが、センサー平面の不備を明示的にモデル化することで、制約のない「ワイルドな（in-the-wild）」キャプチャからの信頼性の高い3D再構成への実行可能な道筋を提供すると主張しています。前処理として適用される一般的な2Dデノイジングはマルチビューの一貫性を損ないますが、SSA-3DGSは分離ロジックを3D最適化ループに直接組み込むことで、幾何学的一貫性を維持します。

著者らは、本手法がマルチビューの合意（consensus）に依存しているため、十分に密なキャプチャが必要であることを指摘しています。また、アーティファクトが「近似的に」静的である場合（例：視点依存の反射を持つ遮蔽物）については、静的オーバーレイモデルでは完全には捉えきれないという限界も認めていますが、その場合でも手法は緩やかに劣化し、ベースラインよりも優れた性能を維持します。本研究は、センサー平面の障害物を明示的にモデル化することが、現実世界のアプリケーションにおける堅牢なNVSのための重要なステップであることを示唆しています。