技術概要：RoDyGS：カジュアル動画向けロバストな動的ガウススプラッティング

1. 問題定義

カジュアルに撮影された単眼動画から 4 次元シーン（3 次元幾何学＋時間）を再構築することは、コンピュータビジョンにおける重大な課題です。ニューラル放射場（NeRF）や 3D ガウススプラッティング（3DGS）の最近の進展により、静的な新規視点合成は改善されましたが、単一カメラでキャリブレーションされていない動画からの動的再構築は、以下の 2 つの主要な要因により依然として困難です：

1. カメラ - 物体運動の曖昧性：単一の視点からカメラ軌道と動的シーン幾何学を同時に推定することは、本質的に曖昧です。
2. オクルージョンと時空間一貫性：動的物体は頻繁に遮蔽され、欠落した観測が生じることで、時間経過におけるシーン要素の一貫性が損なわれます。

既存の手法は、しばしば専用キャプチャ設定（多視点、深度センサー）、事前キャリブレーションされたポーズ、または厳格なシーン制約（例：前方向きカメラ、小規模な運動）に依存しており、一般的な「野生（in-the-wild）」シナリオへの適用性を制限しています。さらに、現在のベンチマークでは、真のカメラポーズや同時多視点キャプチャが欠如していることが多く、ポーズフリーの動的手法の厳密な評価を困難にしています。

2. 手法：RoDyGS

著者は、外部センサーや手動キャリブレーションなしに、カジュアルな単眼動画から動的シーン表現を直接再構築するエンドツーエンドのフレームワークである**RoDyGS（Robust Dynamic Gaussian Splatting）**を提案します。この手法は、動的ガウススプラッティングとカメラ運動を同時に最適化します。

コアコンポーネント

• 静的・動的部分の分離：
  シーンは明示的に 2 つのガウス集合、静的（$G_S$）と動的（$G_D$）に分割されます。

  • 静的要素：時間的に一貫した背景表現を確保するため、カメラパラメータと共同で最適化されます。
  • 動的要素：運動制約のために独立して最適化されます。
  • 利点：この分離により、カメラ運動から動的物体の運動を解離でき、曖昧性を大幅に低減し、最適化の安定性を向上させます。

• 初期化：

  • カメラポーズと幾何学：ロバストな初期カメラポーズと点群を提供するデータ駆動型事前モデルであるMASt3R[36] を用いて初期化されます。
  • 運動マスク：動的領域は、移動物体を背景から分離するためにTrack Anything Model (TAM)[65] を使用して識別されます。
  • 深度：幾何学的監督のために、単眼深度マップはDepthAnything[66] を用いて推定されます。

• 時空間正則化：
  物理的に妥当な幾何学と自然な運動を強制するため、RoDyGS は動的ガウスに対して特定の正則化項を導入します：

  1. 距離保存正則化（$L_{dp}$）：時間ステップ間でガウスとその$K$個の最近傍との相対距離を維持することで時間的一貫性を強制します。これにより、オクルージョン中であっても物体の剛性が保持されます。
  2. 表面平滑化正則化（$L_{surf}$）：ガウスがその近傍の平均位置から逸脱することを罰することで局所表面の平滑性を確保し、局所的な擾乱を防ぎます。
  3. 安定運動正則化（$L_{sm}$）：現実世界の運動は短い間隔で一貫しているという仮定に基づき、ドリフトを防ぐために運動基底関数を正則化します。
  4. 重み付け運動正則化：複雑な運動の過剰平滑化を避けるため、運動基底要素に重み付け方式を適用し、異なる運動周波数に対して正則化強度を明示的に制御可能にします。

• 最適化目的：
  フレームワークは、合成損失関数を用いてガウス属性、運動基底パラメータ、カメラポーズを共同で最適化します：

  • フォトメトリック損失（$L_{recon}$）：レンダリング画像とターゲット画像間の L1 および SSIM 損失。
  • 深度損失（$L_{depth}$）：スケーリングの曖昧性を処理するために、レンダリング深度と推定された単眼深度間の線形相関を最大化するピアソン深度損失。
  • 幾何損失（$L_{geo}$）：$L_{dp}$と$L_{surf}$の組み合わせ。
  • 運動損失（$L_{sm}$）：安定運動正則化。

3. 主要な貢献

1. RoDyGS フレームワーク：明示的な部分分離と時空間正則化を通じて高忠実度レンダリングを実現する、カジュアルな単眼動画向けのロバストな再構築手法です。これは、以前のポーズフリー動的新規視点合成アプローチを上回ります。
2. Kubric-MRig ベンチマーク：動的シーンにおけるポーズ推定とレンダリング品質の両方を評価するために設計された、新しい挑戦的なデータセットです。以前のベンチマークとは異なり、Kubric-MRig には以下の特徴があります：
   • 同時多視点キャプチャ（真の値）。
   • 広範なカメラおよび物体運動。
   • 真のカメラポーズ。
   • 背景要素（他の動的データセットではしばしば欠落）。
3. 包括的な評価：Kubric-MRig データセットにおいて最先端のパフォーマンスを実証し、iPhone データセット [15] および Tanks and Temples データセット [30] において競争力のある結果を示しました。これは、動的性を処理しながらも、ポーズフリーの静的手法と同等のレンダリング品質を達成しています。

4. 実験結果

• 動的新規視点合成：Kubric-MRig データセットにおいて、RoDyGS は PSNR、SSIM、LPIPS において、以前のポーズフリー手法（例：RoDynRF [39]、SoM [57]）を大幅に上回ります。また、真のカメラポーズで訓練された手法に対しても競争力のある結果を達成します。
• 静的新規視点合成：静的シーン（Tanks and Temples）で評価された場合、RoDyGS は CF-3DGS [13] と同等のレンダリング品質を達成し、他のベースラインよりも著しく優れていますが、競争力のあるカメラポーズ推定精度を維持しています。
• アブレーション研究：実験により、部分分離と提案された正則化項の両方が重要であることが確認されました。部分分離を除去すると、深刻な不整合と形状の歪みが生じ、正則化項は物体の境界を鮮明にし、構造的な一貫性を維持します。
• ロバスト性：RoDyGS は、大規模なカメラおよび物体運動下でも剛体物体の幾何学を維持しますが、長期的な点追跡に依存するベースラインは、複雑な動的環境における不正確な追跡によりしばしば失敗します。

5. 意義と限界

意義：
本論文は、RoDyGS が、専用ハードウェアや事前キャリブレーションされたポーズに依存することなく、カジュアルな単一カメラ動画からの動的 4 次元シーンの再構築における重要なギャップを埋めると主張しています。真の値と多様な運動を含む包括的なベンチマーク（Kubric-MRig）を導入することで、著者は将来の動的再構築手法を評価するための厳格な基準を提供しています。静的および動的要素を分離する同手法の能力は、曖昧なシナリオにおけるより安定した最適化を可能にします。

限界：
著者はいくつかの限界を認めています：

• オクルージョン：他の 4 次元再構築手法と同様に、RoDyGS は観測されたシーンの部分のみを再構築できます。完全に遮蔽された領域や長期的なオクルージョンは、生成事前知識（例：拡散モデル）なしには回復できません。
• 剛体仮定：正則化項は、動的要素が非常に複雑な非剛体変形（例：人体や緩い衣服）を示さないと仮定しています。そのようなシナリオに一般化するには、パラメトリックモデル（例：SMPL）またはより強力なデータ駆動型事前知識が必要です。
• 初期化依存性：この手法は初期カメラポーズのために MASt3R に依存しており、不正確な初期化はレンダリング品質を低下させる可能性がありますが、共同最適化によってそれらを洗練するのに役立ちます。

結論として、RoDyGS は、日常的にカジュアルに撮影された動画に対する 4 次元再構築を可能にする一歩であり、幾何学的一貫性と運動忠実度のバランスを取ったロバストな解決策を提供します。