技術概要：HarmoGS：コンフリクト認識型勾配調和による野外におけるロバストな 3D ガウススプラッティング

1. 問題定義

制約のない「野外（in-the-wild）」の画像コレクションから信頼性の高い 3D 表現を再構築することは、コンピュータビジョンにおいて依然として重大な課題です。3D ガウススプラッティング（3DGS）などの最近の進展は、リアルタイムかつ高品質なレンダリングを達成しましたが、これらは通常、一貫した照明と安定したシーン内容を前提としています。現実世界のシナリオでは、トレーニング画像はしばしば一時的なノイズ（transient distractors）（例：移動する歩行者、車両）や、異なる視点間での照明に起因する外観の不一致によって汚染されます。

既存の手法は主に、信頼性の低い教師信号を抑制するために画像レベルのマスクに依存しています。しかし、著者はこのアプローチに 2 つの決定的な限界を特定しています：

1. 残存オクルージョン： マスクは、複雑または意味的に曖昧な一時的なオブジェクトを完全に除外できず、残存ノイズを残すことが多い。
2. 照明コンフリクト： マスクは視点依存の照明の不一致を解決できない。

これらの未解決の問題は、クロスビュー勾配コンフリクトを引き起こします。矛盾する視点を用いて共有ガウス表現を最適化する際、誘発される勾配は互いに反対方向を指し（鈍角を形成し）、最適化プロセスを不安定化させ、目に見える再構築アーティファクトや浮遊プリミティブを引き起こします。

2. 手法

著者は、これらの課題に対処するために、デュアルビュートレーニング戦略と 3 つの中核コンポーネントを通じて問題解決を図るコンフリクト認識型 3DGS フレームワークである HarmoGSを提案します。

A. 意味的一貫性ガイド型マスキング

勾配形成前の教師信号の信頼性を向上させるため、本手法は事前マスクを洗練させる適応的マスキング戦略を導入します：

• 事前マスク： 事前学習済みの SAM（Segment Anything Model）を用いて、一時的な領域の候補を特定するバイナリマスク（$M_{bin}$）を生成します。
• 学習済み一貫性スコア： 凍結された DINOv2 バックボーンによって導かれる軽量予測器（$f_\psi$）が、トレーニング中にピクセル単位の一貫性スコア（$S_i$）を学習します。このスコアは、レンダリング画像とグランドトゥルース画像との間の光度残差と意味的差異の両方から導出されます。
• 適応的洗練： 最終的なマスク（$M_i$）は、バイナリ事前情報と学習済み一貫性スコアを組み合わせます。これは、一時的なノイズなどの信頼性の低い領域を適応的に抑制しつつ、初期バイナリマスクの誤りを修正し、損失計算に寄与する画像証拠を信頼性の高いもののみとするように調整します。

B. コンフリクト認識型勾配調和

マスキングだけでは最適化コンフリクトを完全に排除できないことを認識し、本フレームワークはデュアルビュートレーニングアプローチを採用します。各反復において 2 つの視点がサンプリングされ、それぞれの特定の勾配（$g_1, g_2$）が計算されます。

• コンフリクト検出： 2 つの勾配のドット積が負（$g_1^\top g_2 < 0$）である場合、つまり鈍角（$\theta > \pi/2$）を形成する場合にコンフリクトが検出されます。
• 直交回転： コンフリクトを解決するため、本手法はこれら 2 つの勾配が張る部分空間（$V = \text{span}(g_1, g_2)$）内で両方の勾配を回転させ、直交する（$\tilde{g}_1^\top \tilde{g}_2 = 0$）まで調整します。
  • 全角度補正（$\theta - \pi/2$）は、割り当てパラメータ $\rho$ を用いて 2 つの勾配間に分配されます。
  • この回転は、元の勾配の大きさを保持しつつ、負の方向干渉を排除します。
• 線形結合： 調和された勾配は、解析的に導出された係数を用いて元の勾配の線形結合として合計され（$\tilde{g} = \tau_1 g_1 + \tau_2 g_2$）、表現されます。
• 幾何学的減衰： 幾何学的属性（位置、回転、スケール）については、コンフリクトが検出された場合に追加の減衰因子を適用し、アーティファクトをさらに抑制します。

C. コンフリクト認識型増殖と剪定

本フレームワークは、標準的な 3DGS の構造更新をクロスビューコンフリクトを認識するように拡張します：

• 増殖（Densification）： 単一視点の統計に依存するのではなく、本手法は調和ステップで導出されたコンフリクト認識係数によって変調された、両方のサンプリング視点からのビュー空間勾配を集約します。これにより、より信頼性が高く、コンフリクトが調整されたシグナルを用いてガウスの成長を導きます。
• 剪定（Pruning）： 本手法は、時間経過に伴うガウスごとのクロスビューコンフリクトを追跡します。あるガウスが一貫して高いコンフリクトスコアを示す場合（持続的な不安定性または浮遊アーティファクトを示唆）、その不透明度は周期的に減衰されます。これにより、標準的な剪定プロセスがこれらの不安定なプリミティブを自然に除去することを可能にします。

3. 主要な貢献

1. コンフリクト認識型勾配調和フレームワーク： クロスビュー勾配コンフリクトを直交配置へ回転させることで明示的に調整する、新規のデュアルビュートレーニング戦略。これにより、一時的なノイズや照明の不一致に起因する互換性の低い更新が削減されます。
2. 意味的一貫性ガイド型マスキング： 事前バイナリマスクを洗練させるためにピクセル単位の一貫性スコアを学習する適応的マスキング機構。これにより、勾配形成前に信頼性の低い教師信号を効果的に抑制します。
3. コンフリクト認識型構造更新： ガウスの成長を安定化させ、持続的にコンフリクトするプリミティブを除去するために、コンフリクト認識シグナルを利用する増殖および剪定戦略の導入。
4. 最先端のパフォーマンス： 広範な実験により、既存の NeRF および 3DGS ベースラインと比較して、標準的な野外ベンチマークにおいて優れたレンダリング品質と再構築忠実度が達成されたことが示されました。

4. 実験結果

著者は、HarmoGS を広く使用されている 3 つの野外ベンチマーク：PhotoTourism、NeRF On-the-go、およびRobustNeRFで評価しました。

• 定量的パフォーマンス： 本手法は、すべての指標（PSNR、SSIM、LPIPS）において、RobustNeRF、WildGaussian、SpotLessSplats、AsymGS などの最先端ベースラインを一貫して凌駕しました。例えば、NeRF On-the-go データセットにおいて、HarmoGS は高オクルージョンシーンで 24.67 の PSNR を達成し、以前の最高記録（AsymGS）を大幅に上回りました。
• 定性的結果： 視覚的比較により、HarmoGS が浮遊アーティファクトを効果的に抑制し、複雑な一時的オクルージョンや照明変化を伴うシーンにおいて、より忠実なシーン詳細を備えたクリーンなレンダリングを生成することが示されました。
• アブレーション研究：
  • デュアルビュー設定または勾配調和コンポーネントを除去すると、PSNR および SSIM が顕著に低下し、コンフリクト調整の必要性が確認されました。
  • 学習済み一貫性スコア（$S_i$）とバイナリ事前マスク（$M_{bin}$）の組み合わせは、いずれかのコンポーネント単独を使用する場合よりも良い結果をもたらしました。これらは相補的であることを示しています。
  • コンフリクト認識型増殖と剪定は、高品質を維持しつつ、よりコンパクトなガウス表現（より少ないポイント数）をもたらし、不安定なプリミティブの除去を示唆しました。

5. 意義と主張

本論文は、HarmoGS が最適化不安定性の根本原因であるクロスビュー勾配コンフリクトに対処することで、制約のない環境における 3D 再構築のためのロバストな解決策を提供すると主張しています。

• マスキングを超えて： 本作業は、野外の 3DGS に対して画像空間のマスキングだけでは不十分であることを浮き彫りにしています。本手法は勾配レベルで動作することで、マスキング後も残存するコンフリクトを解決し、より安定した最適化を実現します。
• デュアルビュー最適化： 著者は、2 つの視点を共同で考慮することで、標準的な単一視点最適化パイプラインには欠けているコンフリクトの明示的な検出と調整が可能になると主張しています。
• 汎用性： 本手法は、既存の 3DGS 実装（Mip-Splatting に基づく）と互換性のある汎用フレームワークとして提示されており、複雑なシーン固有のヒューリスティックを必要とすることなく、一時的なノイズや照明変化に対するロバスト性を大幅に向上させます。

著者は、このアプローチが困難な現実世界のシナリオにおいて高忠実度の新規視点合成を可能にし、制約のない画像コレクションに対する 3D ガウススプラッティングの適用性を前進させると結論付けています。