技術サマリー: MVFusion-GS

1. 問題提起

変形フィールド（deformation fields）を介して3D Gaussian Splatting (3DGS) を動的シーンへと拡張することは、2つの主要なタスクの中核を成しています：動的シーンの再構成（前景の動きを忠実にモデリングすること）と、ディストラクターのない再構成（一時的な物体を除去することで、クリーンな静止背景を復元すること）です。DeGaussのようなデカップリングされたフレームワークは、シーンを静止ブランチと動的ブランチに分離しますが、これらは決定的な限界を抱えています。それは、明示的なモーション・アウェアネス（動きへの認識性）の欠如です。

標準的な変形ネットワークは、時空間グリッドを通じて潜在特徴をエンコードしますが、個々のガウス関数の運動パターンやその時間的コンテキストを明示的にモデル化することはありません。その結果、これらのネットワークは低振幅または一過性の動きを捉えられないことがよくあります。これは**「擬似静止（pseudo-static）」レジデュアル（残差）**を引き起こします。つまり、動的な前景要素が誤って静止物として分類され、背景ブランチに残されてしまう現象です。この混入は、再構成された静止背景の品質を低下させ、不正確な前景の変形をもたらします。

2. 手法: MVFusion-GS

著者らは、既存の変形ネットワークを2つの補完的なモーション・アウェア・メカニズムによって強化するプラグイン型リファインメント・フレームワークであるMVFusion-GSを提案しています。この手法は、ベースラインとなる変形ネットワークを粗い予測器として扱い、元の変形ヘッドを変更することなく、純粋に特徴空間内で動作する軽量なリファインメント段階を追加します。

全変形は以下のように定式化されます：
$$\Delta \mathcal{G}_d(t) = \Delta \mathcal{G}_d^{\text{base}}(t) + \Delta \mathcal{G}_d^{\text{MR}}(t)$$
ここで、リファインメント項 $\Delta \mathcal{G}_d^{\text{MR}}(t)$ は、ベースラインの特徴と2つの新しいモーション・アウェア・モジュールを組み合わせた融合特徴ベクトルから予測されます。

A. Motion-Variance Guided Refinement (MVG)

このモジュールは、時間を跨いでガウス関数ごとの変形統計量を集約することで、グローバルな運動キューの欠如に対処します。

• グローバル・トラジェトリ・シグネチャ（軌跡特性）: システムは定期的に、複数のタイムステップにわたって各ガウス関数の変形軌跡をサンプリングします。位置の変位、回転の大きさ、およびスケールの変化（等方的および異方性の両方）に関する統計量（平均と分散）を計算します。これらは13次元のグローバル・トラジェトリ・シグネチャ ($v_i$) として集約され、長期的な運動強度に関する事前知識として機能します。
• ローカル・バリアンス・ディクショナリ: 短期的な変動を捉えるために、軽量なディクショナリがスライディング時間窓内での局所的な運動分散をキャッシュします。これにより、補間を通じて任意のクエリ時刻における瞬時的な運動強度スコア ($e_i(t)$) が提供されます。
• 注入: これらのシグネチャは、軽量なMLPを介して変形特徴空間へとエンコードされ、ネットワークに対して、静止ガウス関数と真の移動体を区別するための明示的な事前知識を提供します。

B. MotionFormer Temporal Attention (MFTA)

MVGがグローバルな統計量を提供する一方で、短期的な時間的相互作用には欠けています。MFTAは、局所的な時間依存性をモデル化することでこれに対処します。

• 時間的特徴の構築: 時刻 $t_i$ におけるガウス関数に対し、モジュールは $t_{i-w}, t_i, t_{i+w}$ を含む時間的近傍を構築します。変形特徴、予測された変形、および局所的な運動強度を用いてトークンを形成します。
• クロスアテンション: トランスフォーマーベースのクロスアテンション・メカニズムが、隣接するタイムステップからの情報を集約し、ネットワークがより一貫した変形予測を行うために局所的な時間的コンテキストを活用できるようにします。
• 注入: 得られた時間的運動特徴は、変形ヘッドによってデコードされる前に、ベースラインおよびMVGの特徴と融合されます。

学習戦略

学習は3つのステージで進行します：

1. ベース・ジオメトリ: 変形を無効にした状態で、静止ジオメトリを最適化します。
2. ベース・デフォーメーション: ベースラインの変形ネットワークを活性化し、基本的な変換を学習します。
3. モーション・アウェア・リファインメント: フル機能のMVGおよびMFTAブランチを活性化し、ゼロ初期化された重みを用いて、変形更新をエンドツーエンドで訓練し、リファインメントを行います。

3. 主な貢献

本論文は、主に3つの貢献を特定しています：

1. デュアルタスク・プラグイン・モジュール: 変形ネットワークのモーション・アウェアネスを高め、動的シーン再構成とディストラクターのない再構成の両方のベンチマークにおいて一貫した改善をもたらすフレームワーク。
2. Motion-Variance Guided Refinement (MVG): グローバルな軌跡統計を集約して明示的な運動強度に関する事前知識とし、より正確な動的・静止分離を促進するメカニズム。
3. MotionFormer Temporal Attention (MFTA): クロスアテンションを利用してクロス・テンポラルな運動依存性をモデル化し、変形の精度と時間的一貫性の両方を向上させるトランスフォーマーベースのモジュール。

4. 実験結果

本手法は、NeRF On-the-Go（ディストラクターなし）、RobustNeRF（視点間の不一致があるディストラクターなし）、およびNeu3D（動的シーン再構成）を用いて評価されました。

• ディストラクターのない再構成 (NeRF On-the-Go): MVFusion-GSは、すべての平均指標（PSNR, SSIM, LPIPS）においてSOTA（最先端）の性能を達成しました。特に、テストされた6つの全シーンにおいて最も低いLPIPSを記録しており、優れた知覚的品質を示しています。定性的な結果では、DeGaussのようなベースライン手法の背景に残存していた「幽霊のような」擬似静止レジデュアル（例：ぼやけた歩行者のシルエット）の除去が確認されました。
• 動的シーンの再構成 (Neu3D): 本手法は、最高の平均PSNRおよびLPIPSを達成しました。動的な領域において、SpaceTimeGSやST-4DGSといったSOTA手法を上回り、競合手法がモーションブラーを示すような高度に動的な領域（例：炎、急速に動く物体）においても、よりシャープな構造の詳細を保持しました。
• アブレーション研究: MVGまたはMFTAのいずれかを取り除くと性能が低下し、長期的な運動統計と短期的な時間的コンテキストの両方が必要であることが確認されました。フルモデルは、位置分散のみ、あるいは自己アテンションのみを用いたバリアントよりも優れた性能を示し、グローバル・シグネチャとクロスアテンションの特定の設計の妥当性を証明しました。

5. 意義と主張

本論文は、明示的なモーション・アウェアネスこそが、前景の運動モデリングと静止背景再構成の両方を改善するための鍵であると主張しています。擬似静止ガウス関数を正しく動的ブランチへと再割り当てすることで、本手法は二重の利益をもたらします：

1. よりクリーンな背景: 誤分類された動的要素によるアーティファクトを排除するために不可欠です。
2. より微細な前景の詳細: 標準的な変形ネットワークが見逃してしまう、微妙かつ一過性の動きを捉えるために不可欠です。

著者らは結論において、本手法が信頼できる初期の運動キューを提供するために依然としてベースラインの変形フィールドに依存していることを認め、控えめな立場をとっています。激しい遮蔽（オクルージョン）や極めて弱い運動のエビデンスがある場合、初期の変形がアンダーフィットし、残差アーティファクトが残る可能性があると指摘しており、より堅牢なモーション・アウェアな再割り当てに関する将来の研究の必要性を示唆しています。