技術的概要：効率的な 3D コンテンツ再構築と生成

問題定義

自動 3D コンテンツ作成は、テキストや画像から直接 3D アセットを合成または復元できるシステムによって、手作業を要するモデリングやスキャンを置き換えることを目指している。この能力は、ゲーム、仮想現実、ロボティクス、シミュレーションにおける応用にとって不可欠であるだけでなく、基盤モデルを訓練するための大規模な 3D データセットを生成するためにも重要である。しかし、現在の手法は 2 つの主要なボトルネックに直面している。

1. 3D 生成: 既存の手法は一般的に 2 つのパラダイムに従う。最適化ベースの手法（例：Score Distillation Sampling）は強力な 2D 拡散事前分布を利用するが、推論時間が遅い（アセットあたり数時間）という欠点や、「Janus」問題のようなアーティファクトに悩まされている。フィードフォワード手法は高速であるが、2D データに比べて高品質な 3D 訓練データの不足により、指示追従、視覚的忠実度、幾何学的整合性の面で困難に直面することが多い。
2. 3D 再構築: COLMAP などの Structure-from-Motion (SfM) システムは、カメラ姿勢と疎な幾何形状を生成する標準であるが、計算コストが高く、大規模なシーンでは数時間から数日を要することが多い。グローバル SfM 手法（例：GLOMAP）は改善をもたらすものの、依然としてシーンサイズや接続性に対してスケーリングが困難な 2 次最適化（Levenberg-Marquardt）に依存しており、現代の学習システムに必要な規模での実世界データの注釈付け能力を制限している。

手法

本論文は、4 つの明確な貢献を通じて生成と再構築の両方を進展させる。

1. Instant3D: 高速フィードフォワード型テキストから 3D へ

Instant3D は、5〜20 秒で高品質な 3D アセットを生成するように設計された 2 段階のパイプラインである。

• ステージ 1（疎なビュー生成）: 標準的な 2D テキストから画像への拡散モデル（SDXL）を軽く微調整し、整合性のある 4 つのマルチビュー画像の構造化された $2 \times 2$ グリッドを生成する。これは、画像グリッド形式、キュレーションされたデータ、およびクリーンな背景を確保するための推論中の「ガウスブロブ」初期化を用いて達成される。
• ステージ 2（疎なビュー再構築）: 大規模なトランスフォーマーベースの再構築モデル（5 億パラメータ以上）が、生成された 4 つのビューを受け取り、直接トライプレーンベースのニューラル放射場（NeRF）を回帰する。このモデルは、事前学習された ViT を用いてマルチビュー画像を姿勢感知トークンに符号化し、クロスアテンションおよびセルフアテンション層を介してそれらをトライプレーンパラメータに復号化する。

2. Carve3D: マルチビュー整合性のための強化学習

Carve3D は、2D 事前学習から得られる多様性とリアリズムを犠牲にすることなく、マルチビュー拡散モデルにおける整合性の欠如問題を解決する。

• マルチビュー再構築整合性（MRC）指標: 生成されたマルチビュー画像から NeRF を再構築し、同じカメラ姿勢における入力ビューと NeRF によってレンダリングされたビュー間の画像非類似度（LPIPS）を測定することで、生成されたマルチビュー画像の整合性を評価する新しい指標。
• RLFT アルゴリズム: 拡散モデルは、人間のフィードバックからの強化学習（RLFT）の原則を用いて微調整されるが、報酬として MRC スコアを使用する。このアルゴリズムは安定性のための純粋なオンポリシー方策勾配法（REINFORCE）、分布シフトの防止（プロンプト整合性の維持）のための KL 発散正則化、および計算量とデータサイズを最適化するためのスケーリング則を採用している。

3. DMV3D: 3D 向けの単一ステージ拡散

DMV3D は、生成と再構築を統合する単一ステージのアプローチを探求する。

• アーキテクチャ: ノイズのあるマルチビュー画像（およびオプションでテキストプロンプトまたは単一のクリーンな画像）を入力とする大規模なトランスフォーマーベースのデノイザー。
• メカニズム: このモデルは、2D 拡散デノイジングと 3D 再構築を同時に行う。ノイズのある入力からクリーンなトライプレーン NeRF を再構築し、入力ビューおよび新規ビューポイントでデノイズされた画像をレンダリングする。訓練目的は、入力ビューおよび新規ビュー両方におけるレンダリング損失を最小化し、実質的に 2D の $x_0$ 予測タスクを隠れた 3D の $S_0$ 予測タスクへ再配置する。
• 条件付け: CLIP 埋め込みを介したテキスト条件付けと、1 つのビューをノイズフリーに保つビューインペインティング戦略を介した単一画像条件付けをサポートする。

4. FastMap: 効率的な 1 次 SfM

FastMap は、速度と単純さに焦点を当てたグローバル SfM パイプラインであり、最先端の手法に対して最大 10 倍の高速化を達成する。

• 1 次最適化: 2 次手法（Levenberg-Marquardt）を使用する代わりに、FastMap は 1 次勾配降下を利用する。1 次手法のスケーラビリティの問題（通常は 3D 点の数に依存する）を克服するため、各最適化ステップ（回転整合、並進整合、エピポーラ調整）の計算複雑性が 3D 点の数に依存しないようにパイプラインが設計されている。
• カーネル融合: 標準的な Autograd 実装におけるカーネル起動オーバーヘッドとメモリ移動による GPU 利用率のボトルネックに対処するため、FastMap はカスタムの融合 CUDA カーネルを使用する。これらのカーネルは、単一の操作でフォワードパスとバックワードパスを実行し、オーバーヘッドを劇的に削減する。
• パイプライン: このシステムは、区間探索を通じて内部パラメータ（歪みと焦点距離）を推定し、グローバルな回転と並進の整合を行い、マッチを補完するためにトラックを完成させ、再重み付けされたエピポーラ調整を通じて姿勢を微調整する。

主要な結果

• Instant3D: 多様で高品質な 3D アセットを約 20 秒で生成し、最適化ベースの手法（例：DreamFusion, ProlificDreamer）と比較して 200 倍以上高速でありながら、同等またはそれ以上の CLIP スコアと視覚的品質を達成する。
• Carve3D: RLFT アプローチは、ベースモデルおよび広範な教師あり微調整（SFT）を施したモデルと比較して、マルチビュー整合性（MRC による測定）を大幅に改善する。ユーザー調査では、プロンプト整合性やテクスチャの詳細に有意な劣化はなく、Carve3DM の 3D 整合性に対してベースモデルよりも多数が好むことが示された。
• DMV3D: ABO および GSO データセットにおける単一画像 3D 再構築において最先端の結果を達成し、従来の 3D 拡散モデルおよび最適化ベースの手法を上回る。また、アセットごとの最適化なしに強力なテキストから 3D への結果を提供する。
• FastMap: 8 つの多様なデータセット（MipNeRF360、Tanks and Temples、大規模な都市シーンを含む）において、FastMap は GPU 加速された COLMAP および GLOMAP よりも最大 10 倍高速である。厳密な姿勢指標（RTA@1）において一部の困難なシナリオでわずかに低い精度を示す場合もあるが、新規ビュー合成の品質（PSNR）は同等を維持し、他の手法がタイムアウトまたは失敗する大規模なシーンの再構築に成功する。

意義と主張

本論文は、高品質なアセットを大規模かつ効率的に生成または再構築できる領域へと自動 3D コンテンツ作成を移行させることで、この分野を進展させると主張している。

• 生成について: 2D 拡散事前分布と大規模なフィードフォワード再構築モデルを組み合わせることで、3D データのボトルネックを回避し、以前は同時に達成不可能だった速度と品質を実現できることを実証している。マルチビュー整合性のための RLFT の導入は、重厚な SFT に伴う分布シフトなしに拡散モデルを改善する新たな道筋を提供する。
• 再構築について: 正確な SfM には 2 次最適化が必要であるという仮定に挑戦する。1 次最適化が、慎重なシステム設計（点フリーの定式化とカーネル融合）と組み合わせられた場合、スケーラブルで正確な結果をもたらすことを示すことで、将来の基盤モデルを訓練するために必要な大規模な 3D データを生成するための重要なインフラを提供する。

著者は、これらの貢献が collectively 3D コンテンツ作成のコストを削減し、3D AI へのアクセスを民主化し、3D コンテンツを共同で生成、再構築、編集できる統合されたマルチモーダルシステムの道を開くと結論付けている。