技術サマリー: 4DSloMo

問題提起

マルチビュービデオからの高速ダイナミックなシーンの再構成は、スポーツ分析、自動運転、VR/ARコンテンツ制作などのアプリケーションにおいて不可欠である。しかし、現在の4Dキャプチャシステムは通常、フレームレートが30 FPS未満（例：15–30 FPS）に制限されており、布の動きや急速な身体動作のような高速な動きを捉えるには不十分である。低FPSの入力から高速な動きを直接再構成しようとすると、既存の手法は複雑で非線形な動きに対して中間フレームを正確に補間できないため、重大なアーティファクトやモーションの歪みが生じることが多い。

専用の高速度カメラを用いてフレームレートを上げることはコストがかかり、データ伝送帯域の要件も増加させる。逆に、純粋なアルゴリズムによるフレーム補間（例：CNNや標準的な拡散モデルを使用）は、急速な動きに必要な物理情報を回復できないことが多く、結果として深刻なアーティファクトや誤った運動軌跡を引き起こす。

手法

著者らは、標準的な低FPSカメラを使用して高速4D再構成を実現するために、新しいハードウェアキャプチャスキームとソフトウェアベースの生成リファインメント・パイプラインを組み合わせたフレームワークである4DSloMoを提案している。

1. 非同期キャプチャスキーム

新しいハードウェアを導入することなく実効フレームレートを上げるために、著者らは非同期キャプチャ戦略を導入している。

• メカニズム: すべてのカメラを同時に同期してキャプチャする代わりに、システム内でカメラの開始時間をずらす。
• 実装: カメラをグループ化する（例：1グループあたり$K$台のカメラ）。グループ内の$i$番目のカメラは、$t_i = i \cdot (\tau/K) + j \cdot \tau$でキャプチャを開始する。ここで$\tau$は基本フレーム間隔（例：1/25s）である。
• 結果: これにより、実効的な時間解像度が$K$倍に向上する。例えば、8台の25 FPSカメラをグループに分けて使用することで、システムは100–200 FPSに相当するキャプチャレートを実現できる。
• 課題: このアプローチは、任意のタイムスタンプにおける利用可能な視点数を減少させるため、疎な視点による再構成問題や目に見える「浮遊物（floater）」アーティファクトを引き起こす。

2. アーティファクト修正ビデオ拡散モデル

疎な視点によって生じるアーティファクトと時間的一貫性を解決するために、著者らは生成リファインメントモジュールを提案している。

• 動機: 画像拡散モデルは空間的なアーティファクトを修正できるが、フレームを独立して処理するため、4D再構成において時間的一貫性が失われる。
• アーキテクチャ: モデルはWan2.1ビデオ拡散モデルに基づいている。Video-VAEを利用して、レンダリングされたビデオを潜在空間に圧縮する。モデルは、ノイズやアーティファクトを含むビデオ（初期の4D Gaussianモデルからレンダリングされたもの）を条件として受け取り、クリーンで時間的に一貫したビデオを生成する。
• 学習戦略:
  • データキュレーション: 既存の4Dシーケンス（DNA-Rendering）を時間的にサブサンプリングして、非同期キャプチャと大きな動きをシミュレートした750組のペアのデータセットを構築した。これらの疎な入力に対して4D Gaussian Splatting (GS4D) モデルを学習させ、「ノイズの乗った」レンダリングを生成し、それらを元のグラウンドトゥルース・ビデオとペアにする。
  • ファインチューニング: エンコーダーとデコーダーを凍結した状態で、DiT (Diffusion Transformer) ブロックに対してLoRA (Low-Rank Adaptation) を用いてファインチューニングを行う。学習目的関数は、生成された潜在変数とターゲットの潜在変数の差を最小化することである。
• 統合: リファインされたビデオは、$L_1$距離と知覚損失（LPIPS）を含む結合損失関数を通じて4D Gaussianモデルを監督するために使用される。これにより、ビデオ拡散の事前知識が4D再構成へと蒸留される。

3. 4D再構成パイプライン

全体のパイプライン（図2に示されている）は以下の手順で進行する：

1. 初期化: 非同期にキャプチャされたマルチビュービデオから、初期の4D Gaussian Splatting (GS4D) モデルを再構成する。
2. レンダリング: この初期モデルから高フレームレートのビデオをレンダリングするが、これには視点の疎さに起因するアーティファクトが本質的に含まれる。
3. リファインメント: アーティファクト修正ビデオ拡散モデルがこれらのレンダリングされたビデオを処理し、クリーンで時間的に一貫した出力を生成する。
4. 最適化: リファインされたビデオを監督として用いて4D Gaussianモデルをさらに最適化し、空間的な詳細度と時間的一貫性の両方を向上させる。

主な貢献

1. ハードウェアソリューション: カメラの開始時間をずらすことで実効フレームレートを向上させる、低コストな非同期キャプチャシステム。これにより、標準的な25–30 FPSカメラを使用して100–200 FPSの再構成が可能になる。
2. ソフトウェアソリューション: 疎な視点の4D再構成を扱うために特別に訓練された、新しいアーティファクト修正ビデオ拡散モデル。画像ベースの手法とは異なり、時空間的な事前知識を活用して「浮遊物」アーティファクトを除去しながら、時間的一貫性を維持する。
3. データセット: 高速で複雑なダイナミックシーンを捉えた非同期マルチビュービデオを含む、最初の現実世界のデータセットを作成し、このアプローチの実用的な実現可能性を検証した。

実験結果

本手法は、合成データセット（DNA-Rendering, Neural3DV）およびカスタムの現実世界キャプチャ設定で評価された。

• 定量的性能: DNA-Renderingデータセットにおいて、提案手法はPSNR 26.76、SSIM 0.845、LPIPS 0.293を達成し、K-Planes、4DGS、GS4Dを含む最先端のベースラインを上回った。Neural3DVデータセットでも同様の改善が見られた（PSNR: 33.48）。
• アブレーション研究:
  • 非同期 vs 同期: 非同期キャプチャは、拡散モデルを使用しない場合でも、大きな動きに対して同期キャプチャよりも再構成品質を大幅に向上させた。
  • ビデオ vs 画像拡散: ビデオ拡散モデルを使用することで、フレーム間でテクスチャの変化を引き起こす画像拡散モデルと比較して、優れた時間的一貫性が得られた。
  • アーティファクト修正: アーティファクト修正モデルの導入により、特に複雑なテクスチャや非線形な動き（例：スカート、振る腕）がある領域において、LPIPSが大幅に減少し、視覚的な忠実度が向上した。
• 現実世界での検証: ダンスやスポーツの現実世界のキャプチャにおいて、本手法は同期キャプチャや標準的な補間法では解決できなかった高速な動きの再構成に成功した。

意義と主張

本論文は、4DSloMoが高速4D再構成のための堅牢なハードウェア・ソフトウェア共同ソリューションを提供すると主張している。非同期トリガリングを通じて、キャプチャのフレームレートをカメラ本来のフレームレートから切り離すことで、本手法は高価な高速ハードウェアを必要とせずに、既存の4Dキャプチャアレイの限界を克服する。

さらに、著者らは、ビデオ拡散ベースのアーティファクト修正アプローチが、画像拡散ベースのリファインメント手法が対処できなかった、4D再構成に固有の時間的一貫性の問題を解決することを強調している。本研究は、キャプチャ戦略と再構成パイプラインが、結果として生じる疎性と運動の複雑さを処理するように共同設計されていれば、通常のビデオカメラを使用して高速な動きの中間フレームを復元できることを示している。最初の非同期マルチビューデータセットの公開は、この領域におけるさらなる研究を促進することを目的としている。