技術要約：曖昧なシナリオにおける、エントロピーを用いたディストラクターフリーな3DGSのためのRefineSplat

問題提起

多様で制約のない実世界のシナリオにおける、現実的な3D新規視点合成（NVS）は、「ディストラクター（妨害要素）」の存在によって阻害されている。これには、動的な物体、変化する遮蔽物、あるいは外観の変化といった一時的な要素が含まれる。3D Gaussian Splatting (3DGS) や Neural Radiance Fields (NeRF) に基づく既存の手法は進歩を遂げているものの、曖昧なシナリオにおいては著しく苦戦している。

現在のアプローチは、通常、以下の3つのパラダイムに依存している：

1. 残差ベースのマスキング： フォトメトリック誤差を用いて一時的なマスクを生成する。
2. セマンティックベースのマスキング： DINOv2のようなモデルの機能を利用してディストラクターを特定する。
3. ヒューリスティックベースのマスキング： フォトメトリック誤差に基づき、抽出されたマスク（例：SAM）を条件付ける。

しかし、これらの手法は、ディストラクターが静的な背景要素と類似した色やセマンティック・レベルを共有しているような、曖昧な実世界の環境において決定的な限界に直面する（例：動いている車両と停車している車両、あるいは人間と彫像の区別など）。このような場合：

• フォトメトリック誤差は一時的な要素を区別できず、不正確なマスクを生成する。
• フォトメトリック勾配に基づく密度制御は、Gaussianの配置をずれさせ、レンダリング品質を低下させる。
• セマンティックな特徴のみでは、セマンティックな類似性が高いインスタンスを解決できない。

手法：RefineSplat

著者らは、特に曖昧なシナリオ向けに、一時的なマスクの構築とGaussianの整合を行うために設計された体系的なフレームワークであるRefineSplatを提案する。この手法は、3つのコアコンポーネントで構成されている。

1. エントロピーを考慮した適応型マスキング

色やセマンティクスによる区別が困難な曖昧なディストラクターを捉えるため、RefineSplatはシャノン・エントロピーをインスタンス・マスクと統合する。

• インスタンスレベルの分析： 本手法は、セグメンテーションモデル（Grounded SAM）を使用してインスタンス・マスクを取得する。凍結されたDINOv2モデルから抽出されたセマンティック特徴を用いて、各インスタンスの平均エントロピーを計算する。
• 適応型閾値設定： 曖昧なシーンに共通する歪んだ分布に対して失敗しやすい固定または統計的閾値（平均/分散）を使用する代わりに、RefineSplatは適応型エントロピー閾値 ($T_{ent}$) を採用する。この閾値は、インスタンス・エントロピー分布の低次部分と高次部分の間のエントロピーの総和を最大化するように、学習中に最適化される。
• グローバルな精緻化： 不確実性とエントロピーの比率から導出された不確実性マップをボックスフィルタで平滑化した、グローバルな適応型マスクを構築する。
• 最終的なマスク： 堅牢な最終マスク ($M_{final}$) は、ローカルな適応型マスクとグローバルなマスクの結合である。

2. エントロピーを考慮した密度制御

標準的な3DGSの密度制御は、フォトメトリック損失から導出された位置勾配に依存しており、これは曖昧な領域においてGaussianの配置を狂わせる可能性がある。RefineSplatは新しい密度制御戦略を導入する：

• エントロピー駆動の勾配： 本手法は、エントロピーを組み込んだアイデンティティ損失 ($L_{id}$) の勾配に基づいて新しいGaussianを派生させる。これにより、単なるフォトメトリック誤差ではなく、エントロピーの大きさに基づいてGaussianの複製（クローン）と分割を行うことが可能になる。
• マージ（統合）プロセス： 冗長性とアーティファクトを減らすため、重複するGaussianを統合する。統合の基準として、オーバーラップ率と色の類似性を考慮し、属性（位置、色、不透明度、共分散）を重み付きで集約する。

3. 一貫性正則化

抽出されたインスタンス・マスクの潜在的なエラーを修正するために、一貫性正則化項 ($L_{cr}$) が導入される。この項は、同一セグメント内のピクセル間のエントロピー値の間のカルバック・ライブラー（KL）ダイバージェンスを最小化し、セグメント内のピクセルが一貫したアイデンティティを表すことを保証する。

全最適化損失は、標準的な3DGS損失（最終マスクによって重み付けされる）、アイデンティティ損失、および一貫性正則化を組み合わせたものである。

主な貢献

1. RefineSplat フレームワーク： エントロピーとインスタンス・マスクを活用して、実世界のシナリオにおける曖昧なディストラクターを捉える最初のアプローチであり、従来の残差ベースおよびセマンティックベースの手法の失敗モードに対処している。
2. エントロピーを考慮した密度制御： エントロピーの大きさを位置勾配として用いてGaussianを整列させる新しい戦略であり、曖昧な領域における配置のずれによるアーティファクト問題を効果的に軽減する。
3. Ambiguous Wild データセット： ディストラクターと静的要素の区別が困難な（色やセマンティックの類似性により）18の挑戦的なシーン（屋外11、屋内7）を含む新しいデータセットを作成・公開した。このデータセットは、曖昧な条件下での手法を厳密に評価するために設計されている。
4. 最先端の性能： 広範な実験により、RefineSplatが複数のデータセットにおいて既存の手法を上回り、ディストラクターのない新規視点合成において優れた定量的な指標（PSNR、SSIM、LPIPS）とメモリ効率を実現していることが示された。

実験結果

著者らは、Ambiguous Wild dataset、NeRF On-the-go、Photo Tourism、および Drone Imagery データセットを用いてRefineSplatを評価した。

• 定量的性能： RefineSplatは、WildGaussians、RobustSplat、DroneSplat、GS-Wといったベースラインと比較して、一貫して最高のPSNR、SSIMスコア、および最低のLPIPSを達成した。例えば、Ambiguous Wildデータセットにおいて、PSNR 23.83（ベースラインの20.52に対し）およびLPIPS 0.149を達成した。
• 定性的結果： 可視化により、他の手法ではマスキングに失敗するかアーティファクトが生じるような、曖昧なディストラクター（例：彫像に紛れ込んだ人々、同系色の車両）を、RefineSplatが正常に除去できることが示された。
• 効率性： エントロピーを考慮した密度制御とマージプロセスにより、視覚的品質を維持しながら、ベースラインと比較してGaussianの数とメモリ使用量を大幅に削減し、顕著なメモリ効率を実現した。
• アブレーション研究： 実験により、各モジュール（エントロピー適応型マスキング、密度制御、および一貫性正則化）の必要性が確認された。適応型エントロピー閾値 ($T_{ent}$) は、固定または統計的閾値よりも歪んだ分布に対して堅牢であることが示された。

意義と主張

論文は、RefineSplatが曖昧な実世界シナリオにおける新規視点合成への道を切り開く最初の研究であると主張している。その意義は以下の点にある：

• 根本的なギャップへの対処： 視覚的またはセマンティックな類似性を共有する場合に、一時的な要素を静的なシーンから区別するという、従来の制約のないNVS手法が直面していた特定の課題を解決している。
• 新しいメカニズム： マスキングと密度制御の両方にエントロピーを考慮した手法を定式化することで、単純なフォトメトリックやセマンティックのヒューリスティックを超えたアプローチを実現している。
• コミュニティのリソース： Ambiguous Wild datasetの公開は、これまで文献において過小評価されてきたシナリオである、曖昧なディストラクターを扱う将来の研究のための標準的なベンチマークを提供する。

著者らは限界についても認めており、性能が基礎となるビジョン基盤モデルに依存することや、極端に疎な視点への汎用化が依然として困難であることを指摘している。今後の課題として、拡散モデルを統合して疎な領域をインペイントしたり、大規模な動的シーンへ拡張したりすることを挙げている。