技術要約: OrbitForge

問題提起

汎用的なテキスト動画生成モデルは、高品質で意味的に一貫したビデオを生成できる豊かなオープンワールドのシーン・プライア（事前知識）へと進化しているが、それらが直接的に信頼性の高い3Dアセットをもたらすわけではない。生成されたビデオを直接3Dシーンに変換することには、主に3つの課題が存在する：

1. 制御不能なカメラモーション: 生成されたビデオにおけるカメラの軌跡は暗黙的であり、完全な周回（オービット）ではなく、部分的な弧を描くことが多い。
2. 不完全な視点被覆: 生成されたビデオは、オブジェクトの背面、側面、または接地部などの視点が欠落していることが多く、これが不完全な3D再構成につながる。
3. 時間的一貫性の欠如: フレーム間には、オブジェクトの変形、テクスチャの描き変え、背景のドリフトといった不整合が含まれることがあり、これらを3Dガウス・スプラッティング（Gaussian Splatting）に適合させると、フローター（浮遊物）、ぼやけたジオメトリ、および視点依存のアーティファクトが発生する。

既存のアプローチは、プロンプトごとのScore Distillation Sampling (SDS) 最適化（低速で過度な彩度が生じやすい）に依存するか、固定されたカメラ形式を持つ特化したマルチビュー生成器（シーンの文脈を制限してしまう）を必要とするか、あるいは完全な360度の周回を保証することなく局所的な新規視点合成に焦点を当てている。

手法: OrbitForge

OrbitForgeは、新しいマルチビュー・プライアの学習やプロンプトごとのSDS最適化を行うことなく、単一のテキスト生成ビデオを標準的な閉じた軌道（closed-orbit）の3D Gaussian Splattingシーンへと変換するために設計されたアダプターである。このパイプラインは、「再構成—レンダリング—補完」のループで作動する：

1. アンカーとしての予備再構成

テキストプロンプト $p$ が与えられると、凍結されたテキスト動画生成モデル $\Phi$ が初期ビデオ $V_0$ を生成する。

• カメラ推定: 推定器 $E$ が $V_0$ に対してフレームごとのカメラ $\hat{C}_0$ を割り当てる。
• 変形可能な再構成: 変形可能なGaussian Splatting (DeformableGS) バックエンドが、ビデオを3Dシーン $G_0$ へと再構成する。この段階では、生成されたビデオの「擬似的なダイナミクス」（例：オブジェクトのドリフト、テクスチャの変化）を静的なジオメトリとして焼き付けるのではなく、変形フィールドを用いて吸収することで、フレームを共有の3D座標系へと整理する。

2. 静的シーンの統合 (MedianGS)

生成されたビデオには非物理的な擬似ダイナミクスが含まれているため、$G_0$ は安定したアンカーとして機能する静的なプロキシ（代理物） $G^0_{med}$ へと変換される。

• 変形フィールドは、一様に間隔を空けた $T_m$ 個の時間コードにおいて評価される。
• ジオメトリのオフセット（位置、回転、スケール）は、時間軸にわたって**座標ごとの中央値（coordinate-wise median）**を用いて集計される。
• この堅牢な集計により、ビデオ内で共有されている主要な変形状態が抽出され、任意の時間スライスやフレーム依存のアーティファクトを回避した、静的な構造プロキシが生成される。

3. 被覆を考慮した閉じた軌道の補完

静的プロキシ $G^0_{med}$ は、規定の標準的な軌道 $C$（361視点、0°から360°）に沿ってレンダリングされ、欠落している視点を特定する。

• サポート分析: ソースカメラが適合された軌道平面上に投影される。ソースビデオによってサポートされている連続的な弧（$S_{arc}$）が特定され、残りの区間（$U_{gap}$）が未サポートとしてマークされる。
• エンドポイント・ウィンドウ補完: 段階的な視点の拡張ではなく、本手法は、凍結されたテキスト動画生成モデルを再度クエリすることで、欠落した区間を補完する。この補完は**エンドポイント・ウィンドウ（endpoint-window）**タスクとしてフレーム化される。すなわち、モデルは既知の2つのエンドポイント（ソースによってサポートされた弧の末端と始点）の間にある「未知のギャップ」を埋める。
• 最終的なビデオ $\hat{V}_0$ は、元のソースフレーム（$S_{arc}$ 用）と、新たに合成されたフレーム（$U_{gap}$ 用）で構成される。

4. 第二の再構成

補完された軌道ビデオ $\hat{V}_0$ は、規定された標準カメラ（再推定ではない）を用いて、最終的なGaussian Splattingシーン $G_1$ へと再構成される。

• 補完された視点と最終的な3D表現との間の幾何学的な整合性を確保するためには、標準的なカメラシステムを維持することが極めて重要である。
• 最終出力は、標準的な軌道上の静的シーンとしてレンダリングされる $G_1$ である。

主な貢献

1. 閉じた軌道生成の定式化: 本論文は、未校正のカメラ、部分的な被覆、およびビデオの一貫性を明示的に処理しながら、汎用的なテキスト生成ビデオからシーンレベルの閉じた軌道の3Dアセットを生成するというタスクを定義した。
2. 再構成をアンカーとしたアダプター: OrbitForgeは、不完全な第一の再構成を最終的なアセットとしてではなく、フレームを整理し、被覆のギャップを定義するための構造的アンカーとして使用する手法を提案している。
3. MedianGSと被覆を考慮した補完: 静的シーン統合のためのMedianGSの導入、および、進行的な拡張ではなく、欠落した軌道区間をグローバルに埋めるエンドポイント・ウィンドウ補完戦略の導入。
4. 被覆を考慮した評価プロトコル: 著者らは、局所的な滑らかさの指標はフルオービット（全周）のタスクには不十分であると主張している。彼らは、閉じた軌道の生成を公正に評価するために、測定された角度スパン、単調な進行度、および下位テール品質（元々サポートされていなかった最も困難な視点に焦ニル）を測定するプロトコルを導入した。

結果

T3Benchから派生した300個のプロンプトからなる凍結監査セットを用いて評価を行った：

• 被覆率: OrbitForgeは、測定された中央値のスパンで359.0度を達成し、100%のプロンプトに対して軌道を閉じることに成功した。これは、ローカルな新規視点生成手法（例：ViewCrafter、約18.9度をカバー）を大幅に上回り、専門的なマルチビュー手法と同等のスパンを維持しつつ、シーンの文脈を保持している。
• 品質: 下位テール品質指標（Q10 ImageReward）において、OrbitForgeは8.07（未サポートの視点に対するMedianGSのみの再構成）から16.36へとスコアを引き上げ、補完ステージが、以前はサポートされていなかった背面視点の品質を効果的に向上させていることを示した。
• 比較: OrbitForgeは、VideoMVと比較して被覆と品質のトレードオフにおいて競争力を維持しており、オブジェクト中心のSDS手法や特化したマルチビュー生成器と比較して、より多くの地面、背景、およびオブジェクトと環境の関係を保持している。

意義と主張

本論文は、最初の再構成を最終製品ではなく「足場（スキャフォールド）」として扱うことで、OrbitForgeが生成ビデオの事前知識と利用可能な3Dアセットとの間の溝を埋めるものであると主張している。その意義は以下の通りである：

• 効率性: プロンプトごとのSDS最適化の計算コストや不安定性、および新しいマルチビュー生成器の学習に必要なデータ要件を回避している。
• シーンの忠実度: 汎用的なビデオモデルのオープンワールドな意味的詳細を活用することで、オブジェクト中心のアプローチでは失われがちな、地面の接地や背景のコンテキストを含むシーンレベルの3Dアセットを生成する。
• 評価の厳密性: 3D生成の公正な評価においては、局所的な滑らかさ（隣接フレームの一貫性）よりも、被覆（完全な軌道をレンダリングする能力）を優先すべきであることを確立した。

著者らは限界も認めている。補完された背面は合成されたサポートであるため、補完プライア（例：透明な構造や薄い構造に関するエラー）のエラーが、第二の再構成において固定化される可能性がある。しかし、本手法は、汎用的なテキスト動画出力を、閉じた軌道の3D Gaussian Splattingシーンへと変換するための堅牢なインターフェースを提供する。