技術要約: Multi4D

問題提起

動的な3D Gaussian Splatting (3DGS) は、動きの一貫性（時間を通じたオブジェクトの同一性の追跡）と視覚的忠実度（高周波の詳細のレンダリング）の間にある根本的なトレードオフに直面しています。現在の手法は、一般的に以下の相反する2つの領域に分類され、それぞれが特定の限界を抱えています。

1. 変形ベースのアプローチ (Deformation-based Approaches): これらの手法は、固定された一連の標準的なガウス分布（Canonical Gaussians）を維持し、ニューラルネットワークや軌跡モデリングによってそれらをワープさせます。これらは時間的な対応関係を保持しますが、動きの過剰な因数分解 (motion over-factorization)、すなわち変形フィールドが高周波のダイナミクスを平滑化しすぎてしまう現象に陥ることがよくあります。さらに、複雑な外観の変化（例：鏡面反射）を物理的な動きと誤認し、幾何学的なワープによるアーティファクトを引き起こすことが頻繁にあります。また、すべてのタイムスタンプにおいて個々のプリミティブに対して変形クエリを行うため、計算コストが大幅に増大します。
2. 4Dプリミティブベースのアプローチ (4D-Primitive-based Approaches): これらの手法は、シーンを各タイムスタンプでスライスされた4D時空間ハイパーシリンダーとしてモデル化します。これらは微細な視覚的詳細や一時的な幾何構造を効果的に捉えることができますが、時間的な過剰パラメータ化 (temporal over-parameterization) の問題があります。物理的な動きを一時的な外観の変化としてモデル化してしまう傾向があり、オブジェクトの同一性を破壊する数百万の短命なプリミティブを生成し、深刻なストレージ容量のオーバーヘッドを引き起こします。また、全体的な幾何学的制約の欠如により、疎な、あるいは単眼の監督下での汎化性能に苦慮します。

手法: マルチレベル競争的割り当て (Multi-Level Competitive Allocation)

著者らは、モノリシックな表現に頼るのではなく、3つの構造化されたレベルにモデリング能力を分散させることで、この緊張関係を解消するフレームワークである Multi4D を提案しています。その核心となる哲学は、統一された微分可能なレンダラーの下で、異なるガウス分布のサブセットがフォトメトリック誤差を説明するために動的に競合するという、残差駆動型の割り当て (residual-driven allocation) です。

シーンは、以下の3つのサブセットの和集合として表現されます：$\mathcal{G} = \mathcal{G}_s \cup \mathcal{G}_d \cup \mathcal{G}_t$。

1. 3つのガウス分布サブセット

• 静的ガウス分布 ($\mathcal{G}_s$): シーンの安定した構造的バックボーンを固定するために、高密度（例：COLMAP経由）に初期化された、時間不変の3Dガウス分布。
• 持続的動的ガウス分布 ($\mathcal{G}_d$): 幾何学専用の変形フィールド ($\Phi_g$) によって駆動される標準的なガウス分布。これらのプリミティブは、外観のドリフトを起こすことなく、長期的な同一性と追跡可能性を維持するために剛体的に変形します。
• 一時的ガウス分布 ($\mathcal{G}_t$): 高周波の外観残差および一時的な幾何構造をモデル化することに特化した、短命な4D時空間プリミティブ。

2. 主要な技術コンポーネント

• 統一レンダリングと競争: すべてのサブセットは単一のパスでレンダリングされます。共有された透過率の累積がそれらの勾配を結合し、競争環境を作り出します。あるサブセット（例：$\mathcal{G}_s$）がある領域を説明すると、他のサブセットにおける残差駆動型の高密度化（densification）が抑制され、冗長なモデリングを防ぎます。
• ボトムアップ学習戦略:
  • 初期化: $\mathcal{G}_s$ は高密度に初期化され、$\mathcal{G}_d$ は疎に初期化され、$\mathcal{G}_t$ は空の状態から始まります。
  • 速度を考慮した周期的リフティング (Velocity-Aware Periodical Lifting): 動的・静的分離が安定した後、$\mathcal{G}_d$ のアクティブなプリミティブは定期的に $\mathcal{G}_t$ へと「リフト」されます。このプロセスでは、新しい4Dプリミティブが親の速度を継承し、その4D主軸を時空間軌跡に合わせる 運動量継承 (Momentum Inheritance) が使用されます。これにより、一時的サブセットに対して強力な動きの事前知識を提供します。
  • マスクを考慮したユーティリティベースのプルーニング (Mask-Aware Utility-Based Pruning): 最終的なレンダリングへの寄与度に基づいて低ユーティリティのプリミティブを削除するプルーニングメカニズムが、動的・静的マスクによって制御されます。これにより、$\mathcal{G}_d$ と $\mathcal{G}_s$ が不必要に重なることを防ぎ、固形幾何構造の背後に隠れた一時的なノイズを抑制します。
• 自己教師あり分解: 本フレームワークは、動的なマスクを予測し、静的な領域に投影される持続的なガウス分布にペナルティを与えることで、グラウンドトゥルースの追跡ラベルなしに、静的コンテンツと動的コンテンツを分離するように学習します。

3. ダウンストリームアプリケーション: 4Dセグメンテーション

この表現は、時間を経過してもコンパクトな持続的ガウス分布 ($\mathcal{G}_p = \mathcal{G}_s \cup \mathcal{G}_d$) を明示的に追跡するため、最適化後にセマンティック特徴を埋め込むことができます。セマンティック最適化をこの持続的サブセットに限定することで、一時的な外観ノイズを排除し、効率的かつ正確な4Dセグメンテーションを可能にします。

主な貢献

1. マルチレベル分解: 静的な構造、持続的な動的幾何、および一時的な外観を分離する新しいフレームワークであり、動きの一貫性とフォトメトリックな忠実度を両立させます。
2. 自己正則化訓練: 速度を考慮したリフティングとマスクを考慮したプルーニングを備えたボトムアップ戦略により、事前に割り当てられた分解なしに、構造化された専門化とコンパクトな表現を実現します。
3. パフォーマンスの向上: 著しく少ない動的プリミティブ数で、最先端 (SOTA) のレンダリング品質を達成し、実行性能を向上させます。
4. 効率的な4Dセグメンテーション: 分解された表現が、SOTAの4Dセグメンテーションを自然にサポートし、推論において桁違いの高速化を実現することを示しました。

実験結果

著者らは、3つのタスク（マルチビュー動的新規視点合成 (NVS)、単眼動的NVS、および4Dセグメンテーション）についてMulti4Dを評価しました。

• 新規視点合成 (Technicolor & Neu3D): Multi4Dは、リアルタイムのレンダリング速度（それぞれ161 FPSおよび217 FPS）を維持しながら、SOTAのPSNRスコア（例：Technicolorで34.30 dB、Neu3Dで32.30 dB）を達成しました。これは、変形ベースの手法の時間的ブラーリングと、4Dプリミティブベースの手法の断片的な幾何構造の両方を回避しつつ、高周波の詳細を保持することに成功し、両方の手法を上回りました。
• 単眼NVS (NeRF-DS): 疎な監督下において、Multi4Dは浮遊アーティファクトを生成しがちな4Dプリミティブ手法を大幅に上回りました。Multi4Dは、一貫した幾何構造と微細な鏡面反射の詳細を維持しました。
• 4Dセグメンテーション (Neu3D-Mask): 本手法は 0.9142 というSOTAのmIoUを達成しました。決定的なことに、ベースラインであるTRASEの624k個に対し、わずか 13k個の動的ガウス分布 しか必要とせず、セマンティック特徴のレンダリングを 204 FPS（ベースラインの21 FPSに対して約10倍の高速化）で実現しました。
• 効率性: 4DGSと比較して、Multi4Dは動的ガウス分布の数を 25分の1 に削減し（4.2Mから165kへ）、モデルストレージを2.6 GBから214.7 MBへと削減し、訓練速度は4.6倍速くなりました。

意義と主張

論文は、Multi4Dが物理的な妥当性と視覚的な忠実度の間の緊張関係を根本的に解決すると主張しています。構造的な持続性を一時的なモデリングから明示的に分離することで、以下を可能にします。

• 適応的な専門化: 手動の分解なしに、必要な場所に動的に容量を割り当てることができます。
• コンパクトさと速度: ストレージと計算コストを劇的に削減しながら、レンダリング品質を向上させます。
• 堅牢性: 持続的な幾何学的バックボーンを含めることで、疎な入力や単眼入力に対する汎化性能が向上します。
• ダウンストリームの有用性: 持続的なガウス分布を明示的に追跡することで、その表現は効率的な4Dセマンティック推論に特有に適しており、これは一時的なノイズや変形の複雑さによって妨げられることが多い、他の動的ガウス手法における一般的な課題を克服しています。

著者らは、本手法が最適化を通じて構造的なコンパクトさを達成しているものの、明示的な属性圧縮（例：量子化）はまだ組み込まれておらず、これを今後の研究課題として挙げています。