技術サマリー：VidSplat

問題定義

多視点画像からの 3 幾何形状の再構築は、コンピュータビジョンにおける基本的なタスクであり、Neural Radiance Fields（NeRF）および 3D Gaussian Splatting（3DGS）を通じた最近のブレークスルーが達成されています。しかし、これらのパラダイムは多視点の光度的一貫性に大きく依存しており、入力ビューが少数しかない場合に著しい劣化を招きます。スパースビュー設定では、最適化問題が不適切（ill-posed）となり、制約が不足します。

既存の解決策は一般的に 2 つのカテゴリーに分類されます：大規模データセットで事前学習してクロスビュー対応関係を学習する汎用化手法と、モノキュラーまたはステレオの事前知識を用いて単一シーンに過適合させるシーン固有手法です。これらのアプローチは性能を向上させますが、依然として与えられた入力ビューの可視領域のみの回復に制限されています。入力視野を超えた未視・遮蔽・制約の弱い領域における幾何形状の推論に苦しみ、不完全で断片化された表面をもたらします。さらに、最近の新しい視点合成のための生成アプローチは、高価な事前学習を必要としたり、外挿領域の回復に失敗して（空域を生成したり）、視覚的に説得力はあるが幾何学的に不整合なレンダリングを生成したりする傾向があります。

手法：VidSplat

これらの限界に対処するため、著者はトレーニング不要な生成型再構築フレームワークであるVidSplatを提案します。VidSplat は強力なビデオ拡散事前知識を活用して、欠落した入力カバレッジを補う新しいビューを反復的に合成し、スパース入力（単一の画像さえも）から完全な 3D シーンの回復を可能にします。このフレームワークは、初期化とトレーニングという 2 つの主要な段階を含む反復最適化ループを通じて、生成と再構築を統合します。

1. 最適化フレームワーク

プロセスはスパース入力ビュー $\{V_{input}\}_0$ から始まります。

• 初期化：DUSt3R を使用して初期点群を構築します。これに基づき、システムは可視性に基づくカメラ軌道をサンプリングし、RGB およびマスク画像をレンダリングします。これらをカメラ制御型ビデオ拡散モデル（VDM）に入力して、3D 整合性のあるビデオクリップを合成します。これらのクリップからのキーフレームが生成セット $\{V_{gen}\}_0$ を形成し、入力とマージされて 2D ガウシアンを初期化するためのより高密度な点群を作成します。
• 反復トレーニング：ガウシアンのトレーニング中、システムは複数の精化サイクルを実行します。各サイクル $t$ では、新しい軌道がサンプリングされ、新しいシーケンスが生成されて $\{V_{gen}\}_t$ を形成します。これらは現在のビューセットとマージされてカバレッジを拡大します。初期化フェーズとは異なり、生成されたビューは再初期化には使用されず、モノキュラー深度を介して 3D 空間に逆投影され、追加のガウス中心を作成します。再構築は反復的に精化され、最終的な表面はマーチングテトラヘドラを使用して抽出されます。

2. 可視性に基づくカメラポーズサンプリング

十分にカバーされていない領域を効果的に探索するため、VidSplat は新しいサンプリング戦略を採用します。単純な補間や円形経路の代わりに、カメラ光線とシーン表面の交差点を球面上で周回する軌道を構築します。軌道は、キーフレームの深度とマスクに基づいて検証され、近接平面による遮蔽（例：壁による視界の遮断）を回避し、適切な量の未視領域をカバーすることを保証します。ハルシネーションの蓄積を軽減するため、生成中に軌道を 25% 延長し、尾部フレームを破棄します。

3. 幾何形状誘導型ビデオ生成

核心的な革新は、3D 整合性を保証するために設計されたトレーニング不要の段階的デノイジング戦略にあります。標準的なビデオ生成は、幾何学的制約に違反するコンテンツのドリフトやダイナミクスをもたらすことがよくあります。VidSplat はこれに対処します：

• 逆変換：レンダリングされた RGB およびマスク画像に対して拡散逆変換を採用し、カメラ運動によって誘起されたレイアウト事前知識を符号化するノイズ付き潜在変数を生成します。
• 適応的ブレンド：各デノイジングステップにおいて、モデルは空間マスク $M(t)$ を使用して、予測された潜在変数と逆変換された参照潜在変数をブレンドします。
• 3 段階制御：
  1. 初期段階（$T_0 \to T_1$）：既知領域におけるデノイジング方向は、レンダリングされた参照に従うように厳密に制約されます（$M(t) = M_{ref}$）。これによりシーン構造が固定され、コンテンツのドリフトが防止されます。
  2. 中間段階（$T_1 \to T_2$）：制約が徐々に緩和され、モデルが不完全なレンダリングを精化することを可能にします。
  3. 最終段階（$T_2 \to 0$）：制約が完全に解除され、現実的な局所詳細を合成し、アーティファクトを修復します。

4. 損失関数

最適化目的関数は、入力ビューと生成されたビューの損失を組み合わせます。入力ビューについては、標準的な光度損失、正則化、および法線事前知識を使用します。生成されたビューについては、高周波アーティファクトを軽減するために光度損失がラプラシアン損失に置き換えられ、点群融合から導出されたピクセルごとの信頼度マップが監督の重み付けに使用されます。

主な貢献

1. 生成フレームワーク：ビデオ生成をガウシアンスプラッティング再構築に反復的に組み込む新しいフレームワーク。これにより、継続的な精化が可能となり、スパース入力から完全な 3D シーンの回復が可能になります。
2. 幾何形状誘導型デノイジング：モデルの微調整を必要とせず、ビデオ拡散プロセスを基盤となる幾何形状へと適応的に誘導するトレーニング不要の段階的デノイジング戦略。これにより 3D 整合性が保証されます。
3. 最先端の性能：広く採用されている実世界ベンチマークにおいて、表面再構築および新しい視点合成の両方で優れた結果を達成し、既存のスパースビュー手法および生成手法を上回ります。

実験結果

著者は、室内および屋外の両方のシナリオを網羅するTanks and Temples、Replica、DL3DVを含む多様な実世界データセットで VidSplat を評価しました。

• 表面再構築：Tanks and Temples および Replica データセットにおいて、VidSplat は FSGS、MAtCha、GuidedVD などのベースラインと比較して、チャーマー距離、F スコア、法線整合性などの定量的指標で著しく優れた結果を達成しました。可視化は、5 つの入力ビューのみであっても、穴のない完全で忠実度の高い表面を再構築する能力を示しています。
• 新しい視点合成：DL3DV データセットにおいて、この手法は室内および屋外の両方のシーンで、最高の PSNR、SSIM、LPIPS スコアを達成し、入力によって疎にカバーされている領域でも高品質な詳細を正常にレンダリングしました。
• ビデオ生成：他のカメラ制御型ビデオ拡散手法（ViewCrafter、TrajectoryCrafter など）と比較して、VidSplat は真の幾何形状との優れた整合性と、より高い生成多様性を示しました。
• 単一ビュー生成：このフレームワークは、単一入力画像から完全な 3D シーンを生成し、大きな不可視領域を回復する能力を実証しました。

意義

本論文は、VidSplat が生成ビデオモデルと幾何学的再構築の間のギャップを効果的に橋渡しすることで、スパースビュー 3D 再構築において重要な進歩を遂げたと主張しています。幾何形状誘導型デノイジング戦略を導入することで、著者は 3D 整合性を維持できない、または未視の幾何形状を推論できないという以前の生成手法の重要な限界を克服しました。トレーニング不要（トレーニングフリー）で機能するというフレームワークの能力と、SVD や Hunyuan を含むさまざまなビデオ拡散バックボーンに対する堅牢性は、その実用性とスケーラビリティを浮き彫りにしています。最終的に、VidSplat は極めて限られたデータから完全で忠実度の高い 3D シーンの回復を可能にし、高密度な多視点撮影が現実的ではないデジタルコンテンツ制作、VR/AR、具現化された知能における応用の新たな可能性を開きます。