技術概要：MoCam - 構造化されたノイズ除去ダイナミクスによる統合的ニューバルビュー合成

1. 問題定義

生成ニューバルビュー合成は、幾何学的事前知識と外観事前知識の調和において根本的なジレンマに直面している。

• 幾何学的事前知識: 再構成された幾何学（深度マップ、点雲など）に依存する手法は、目標カメラ軌道に対する不可欠な空間的整列を提供する。しかし、大幅な視点変化や単眼入力下では、非表示領域（disocclusion）と深度の精度不足により、これらの事前知識は必然的に疎、不完全、かつ誤ったものとなる。
• 外観事前知識: 元画像や動画は高忠実度の視覚的詳細を提供するが、新しい視点との幾何学的対応関係は欠如している。
• 対立: 既存のアプローチは、（足場に依存することによって）生成プロセス全体に幾何学的誤差を伝播させるか、幾何学と外観を静的に融合させようとする。静的な融合は、強い外観の手がかりが生成の初期段階で幾何学的なドリフトを引き起こすか、あるいは欠陥のある幾何学が生成の終盤で構造的誤差を出力に恒久的に「焼き付ける」ことで、信号の衝突をもたらす。その結果、特に 4D リカメラタスク（動的シーン）や単一画像 3D 再構成において、幾何学的崩壊、視覚的アーティファクト、不安定性が生じる。

2. 手法：MoCam

MoCam は、拡散プロセス内で構造化されたノイズ除去ダイナミクスを採用することで、静的および動的ビュー合成を統合するフレームワークを導入する。核心的な洞察は、拡散モデルが異なるノイズ除去段階において異なる表現ニーズを持つという点にある。つまり、初期段階では粗い構造的アンカーが必要であり、後期段階では高周波の微細化が求められる。

2.1 パイプライン概要

本手法は主に 3 つの段階で動作する。

1. 足場生成: 深度推定器と逆透視投影を用いて、単眼入力動画（または $N$ フレーム用に複製された単一画像）から動的な点雲を構築する。この点雲を目標カメラ軌道に沿ってレンダリングし、粗い「足場動画」（$x_{ren}^{tgt}$）を作成する。この足場は目標運動と空間的に整列しているが、穴や歪みなどの顕著なアーティファクトを含んでいる。
2. 二重条件付けアーキテクチャ: モデルは 2 つの異なる条件付け信号を利用する。
   • 足場条件（$c_{ren}$）: レンダリングされた足場動画から導出され、強力な運動および構造的な事前知識を提供する。
   • 参照外観条件（$c_{src}$）: 元のソース動画から導出され、高忠実度のテクスチャおよび物体の動的挙動を提供する。
3. 段階的生成: これらの信号を静的に融合するのではなく、MoCam はノイズ除去タイムステップ $t$ に基づいてこれらを時間的に分離する。

2.2 構造化されたノイズ除去ダイナミクス

生成プロセスは、事前に定義された閾値 $T_{switch}$（経験的に 0.85 に設定）によるスイッチによって定義される時間依存コンテキスト $c(t)$ によって支配される。

$$c(t) = \begin{cases} c_{ren} & \text{if } t > T_{switch} \quad (\text{初期段階}) \\ c_{src} & \text{if } t \le T_{switch} \quad (\text{後期段階}) \end{cases}$$

• 初期段階（$t > T_{switch}$）: モデルは足場（$c_{ren}$）のみに条件付けられる。潜在変数が主にノイズであるため、主なタスクはグローバルな構造と運動の整合性を確立することである。モデルは目標カメラ軌道に厳密に従うよう強制され、シーンのレイアウトをアンカーするために、足場の幾何学的不完全性を意図的に許容する。
• 後期段階（$t \le T_{switch}$）: モデルはソース外観（$c_{src}$）のみに条件付けを切り替える。この段階では、すでに整合性の取れた低周波構造が確立されている。モデルは高忠実度の参照動画を用いて詳細を合成し、テクスチャを微調整し、足場から継承された幾何学的誤差を積極的に修正し、非表示領域を埋める。これにより、足場の欠陥が最終出力に恒久的に焼き付けられることが防止される。

このフレームワークは、変分オートエンコーダ（VAE）を介して圧縮された潜在空間で動作する、事前学習された潜在動画生成モデル（例：Wan2.2）を基盤としている。

3. 主要な貢献

1. 信号衝突の特定: 本論文は、生成ビュー合成における幾何学的事前知識と外観事前知識の間の根本的な緊張関係を特定し、静的な融合が信号の干渉と誤差の伝播につながることを論じている。
2. 構造化されたノイズ除去ダイナミクス: 著者は、これらの信号を時間的に分離する原理的な解決策を提案する。足場を初期の構造的アンカーリングに、外観を後期の微細化にそれぞれ対応させることで、この手法は堅牢な幾何学 - 外観の分離を実現する。
3. 統合フレームワーク: MoCam は、単一画像 3D 再構成と動画 4D リカメラの両方に適用可能な単一のフレームワークを提示する。この手法は、段階的条件付けが入力モダリティを超えて一般化し、シーンごとの最適化を必要とせずに信頼性の低い幾何学下でのビュー合成の課題に対処することを示している。

4. 実験結果

本手法は、野外の単眼動画である OpenVid-1M データセットと、iPhone 多視点データセットで評価された。

• 定量的パフォーマンス: MoCam は、複数の指標において最先端の手法（GEN3C、TrajCrafter、ReCam）を大幅に上回る。
  • 知覚的品質: VBench 指標（背景の一貫性、被写体の一貫性、画像品質）で優れたスコアを達成し、FVD-V スコアは低い（例：3D 再構成における GEN3C 対 255.16 vs 289.37）。
  • ポーズ精度: 回転および並進誤差が最も低く維持され、精密なカメラ制御を示している。
  • ピクセル単位の指標: iPhone データセットにおいて、MoCam は最高 PSNR、SSIM、最低 LPIPS および FVD を達成し、グランドトゥルースに対する高い忠実度を示している。
• 幾何学的劣化への堅牢性: カメラ運動の大きさ（30°から 90°の軌道）を変化させた実験により、幾何学的な疎性が強まるにつれて MoCam が一貫したパフォーマンスを維持することが示された。競合手法は大幅な視点変化下で壊滅的なドリフトまたは構造的崩壊に陥るのに対し、MoCam の段階的アプローチはドリフトを防止し、疎な誤差を修正する。
• アブレーション研究:
  • 足場のみ: 崩壊した指標となり、永続的な幾何学的条件付けが誤差を焼き付けることを確認した。
  • 足場 - 初期: 最悪のアーティファクトを回避するが、後期外観信号がないため非表示領域でぼやけた詳細を生み出す。
  • 静的 - 両方: 信号干渉により壊滅的な幾何学的不安定性（高い回転/並進誤差）に陥り、時間的分離の必要性を検証した。
  • 一般化: 本手法は異なるバックボーンアーキテクチャ（Wan2.1 および Wan2.2）間で一貫して機能する。

5. 意義と主張

本論文は、MoCam が、ノイズ除去プロセスを「整列」から「リアリズム」への構造化された進行へと変換することで、信頼性の低い幾何学下でのビュー合成という根本的な課題に対処すると主張している。

• 堅牢性: 本手法は堅牢な幾何学 - 外観の分離を達成し、点雲に深刻な穴や歪みが含まれていても、整合性の取れたフォトリアリスティックな結果を生成する。
• 誤差修正: 誤差を伝播させる先行手法とは異なり、MoCam の後期外観条件付けは幾何学的不正確さを積極的に修正する。
• 統合アプローチ: 同じ生成原理が静的および動的ビュー合成の両方に適用可能であることを強調し、高密度な多視点データやシーンごとの最適化を必要とせずに、3D 再構成および 4D リカメラに対する統合的な解決策を提供する。

著者は、不完全な単眼再構成の限界を効果的に緩和する段階的デザインが、制御可能なビュー合成の新たな基準を設定すると結論付けている。