技術的サマリー：Grounded 4D 生成のための幾何学的 4D スティッチング

問題定義

最近の 4D 生成の進展は、生成モデル（例：Video Diffusion Models）を用いてマルチビュー動画を合成し、Neural Radiance Fields（NeRF）や 3D Gaussian Splatting（4DGS）などの放射線ベースの表現に再構成するパイプラインに依存しています。しかし、このパイプラインは 2 つの決定的な限界に直面しています：

1. 幾何学的不整合性：生成モデルは、厳密な 3D 構造的整合性よりも視覚的な妥当性を優先します。新規ビューを合成する際、幾何学的に整合性の取れていないコンテンツを生成することがよくあります。スパースビュー設定では、これらの不整合が増幅され、矛盾する幾何学的証拠が統合された 3D シーンの形成を妨げる、不適切な再構成問題を引き起こします。
2. 非効率性とビュー依存のアーティファクト：放射線ベースの再構成は、これらの幾何学的不整合を、幾何学的な解決ではなく、不透明度や球面調和関数などのビュー依存効果に吸収させようとします。これにより、「インペインティングの崩壊」などのアーティファクトが生じ、下流の操作可能性が制限されます。さらに、スパース観測下では、最適化を通じて密なマルチビュー整合性を達成することは計算コストが高く、安定した解に収束しないことがよくあります。

手法：幾何学的 4D スティッチング（G4S）

著者は、密なシーンレベルの補完から、明示的な領域レベルの幾何学的増強へと 4D 生成を再定義するフレームワーク「Geometric 4D Stitching（G4S）」を提案します。すべてのビューにわたって放射線場を最適化する代わりに、G4S は幾何学的に根拠のある「スティッチ」を選択的に初期アセットに縫い付けることで、明示的な 4D メッシュを構築します。

パイプラインは主に 4 つの段階で構成されます：

1. 初期ビュー 4D アセット生成

ソース動画（観測されたものまたは生成されたもの）が与えられた場合、この手法はフィードフォワード幾何学トランスフォーマー（DA3）を用いてカメラポーズと深度を推定します。画像格子において隣接する有効ピクセルを接続することで三角形メッシュを構築します。頂点は推定された深度とカメラパラメータを用いて 3D 空間に持ち上げられ、時間インデックス付きの生メッシュシーケンスを形成します。この段階で、オクルーションに起因する情報欠損を軽減するために背景補完が行われます。

2. 情報追加領域を伴う新規ビュー合成

全体の新規ビューを合成するのではなく、この手法は本当に新しい情報が必要となる特定の領域を特定します。

• 投影ホール：ソースビューから投影できないターゲットビューのピクセルを欠損として特定します。
• カーテン検出：生メッシュのレンダリングと、同じソースの点群表現のレンダリングを比較します。不一致（特にオクルーション境界を跨ぐ誤ったメッシュ接続によって形成される「カーテン」）は、オクルーションに起因する欠損領域を明らかにします。
• 候補生成：新規ビュー合成（NVS）モジュールは、特定された「情報追加領域」に対してのみコンテンツを生成し、フルフレームの新規ビューではなく候補スティッチパッチを作成します。

3. 階層的微細化による幾何学的整合

生成されたコンテンツが既存のアセットと整合するように、この手法は新規ビュー候補の深度を微細化します。

• ローカルスケールシフト場：グローバルな補正の代わりに、深度の整合不具合を補正するためにパッチ単位でローカルスケールシフト場 $\Theta(x) = (s(x), b(x))$ を推定します。
• ピラミッド最適化：微細化は粗いスケールから細かいスケールへと進行します。目的関数は、有効領域において微細化された深度と既存のアセットからレンダリングされた「アンカー」深度との差を最小化し、同時にアンカーではない領域で幾何学を考慮した滑らかさと安定性を強制します。これにより、新しい幾何学が信頼できるソースビューにアンカーされます。

4. 幾何学的 4D スティッチングと視覚的微細化

• 選択的スティッチング：幾何学的に微細化された候補領域のみを逆投影し、初期 4D メッシュに挿入します。これにより、潜在的に整合性の取れていない NVS 出力で信頼性の高い既存の幾何学を汚染することを回避します。
• レンダリング不一致蒸留：不安定な追加をさらにフィルタリングするために、シーンを観測ビューに再レンダリングします。アンカーレンダリングと一貫して不一致を示す候補は削除されます。
• 視覚的微細化：高周波境界アーティファクトを低減するために、TrajectoryCrafter を使用した軽量な単一ステップの拡散ベースの微細化をレンダリングされたメッシュに適用し、基礎となる幾何学は変更しません。

主要な貢献

1. 根本的な限界の特定：本論文は、現在の NVS モデルの能力の下では、4D 生成のための観測密度を増加させることが、しばしばマルチビュー整合性のコストを悪化させ、幾何学的崩壊を招くことを浮き彫りにしています。
2. 明示的幾何学的スティッチングの定式化：著者は、4D 生成を明示的な幾何学的スティッチング問題として再定式化しました。幾何学的に整合したスティッチを不完全な領域にのみ統合することで、冗長なビュー生成を回避し、整合コストを最小化します。
3. 効率性と根拠のある整合性：この手法は、単一の NVIDIA RTX 5090 GPU 上で 10 分未満で根拠のある 4D シーン表現を構築し、シーンごとの放射線最適化よりも大幅に高速でありながら、厳密な幾何学的整合性を強制します。
4. 実用的な下流アプリケーション：明示的なメッシュ表現は、幾何学的に整合したシーンの外挿や 4D シーン編集（オブジェクトの削除/追加）など、放射線ベースの手法では困難なタスクを可能にします。

実験結果

著者は、SORA2 によって生成されたスパースビュー入力を用いて、G4S を放射線ベースのベースライン（D-NeRF および 4DGS）と比較評価しました。

• 知覚的品質：VBench を使用した評価において、G4S はベースラインと比較して、被写体整合性、背景整合性、画像品質でより高いスコアを達成し、より安定した視覚的に妥当な新規ビューを示しています。
• 幾何学的ロバスト性：レンダリング動画に対するカメラポーズ推定（DA3 使用）の結果、G4S は絶対軌道誤差（ATE）と回転誤差が著しく低いことが示されました。これは、再構成された 4D シーンが意図されたカメラ軌道とより良い空間的整合性を維持していることを確認します。
• 自己整合性：再投影評価は、G4S がクロスビューの不一致が減少した空間的に整合した新規ビューを生成することを示しており、一方、放射線ベースの手法はしばしばビュー依存のフリッカーと構造的歪みを示します。

意義と主張

本論文は、Geometric 4D Stitchingが、密な生成観測に続く放射線場最適化という従来のパラダイムに対する実用的な代替手段を提供すると主張しています。欠損領域を明示的に特定し、既存の幾何学に根ざすことで、この手法はスパースビュー下での生成 4D 再構成の不適切な性質を回避します。

著者は、彼らのアプローチがシーンごとの最適化を必要としないため、効率的でスケーラブルであると強調しています。彼らはこの研究を、密な生成補完の「ブラックボックス」に依存することなく、スパース観測から整合した 4D アセットを構築するための一歩として位置づけています。ただし、彼らは控えめに、性能は依然として基盤となる NVS バックボーンとフィードフォワード幾何学推定器の能力に制限されており、生成された未露出領域は計量的に正確な現実世界の再構成というよりも、創造的またはシミュレーションツールとして扱われるべきであると指摘しています。