技術概要：SphericalDreamer

問題定義

没入感があり、移動可能な 3 次元環境の生成は、空間コンピューティングおよびバーチャルリアリティにとって重要な要件である。しかし、既存の手法は根本的なトレードオフに直面している：すなわち、(i) 完全に没入感のある（水平 360 度、垂直 180 度の完全な全方位カバレッジを提供する）3 次元世界と、(ii) 長距離にわたって移動可能な 3 次元世界を、同時に生成することができないことである。

現在のアプローチは、それぞれ明確な限界を持つ 2 つのパラダイムに分類される：

1. パノラマベースの手法：これらは高解像度の等角投影画像を合成し、それを 3 次元に持ち上げる。完全な没入感を提供する一方で、カメラの移動はパノラマのノード点周辺の狭い領域に制限される。より大きな移動は、幾何学的歪みや合成された幾何形状との衝突を引き起こし、長距離の移動を妨げる。
2. 反復的補完手法：これらは新しいビューをレンダリングし、欠落領域をインペインティングし、それらを 3 次元に逆投影することでシーンを拡張する。長距離の移動を可能にする一方で、完了した領域を再観測しないよう、通常は後方軌道に沿って拡張する。この設計は本質的に視点カバレッジを制限する（例えば、軌道の「後方」をカメラが見ることを防ぐ）ため、没入感を犠牲にする。

手法

SphericalDreamer は、テキストプロンプトから大規模で、完全に没入感があり、移動可能な 3 次元屋外環境を生成するように設計されたフレームワークである。この手法は、パノラマベースの生成をマルチパノラマ設定に拡張し、複数のテキスト生成パノラマを単一の整合的な 3 次元世界に融合させる。プロセスは 3 つの主要な段階から構成される：

1. 球形構築ブロックの生成

この手法は、テキストプロンプトから $N$ 個の層別深度パノラマ（LDP）を生成することから始まる。

• パノラマ生成と深度推定： 直線軌道に沿った各カメラポーズに対して、テキスト条件付き拡散モデル（Flux）を用いて等角投影 RGB パノラマを生成する。パノラマ固有の単眼深度推定器を用いて、高密度な深度マップを推定する。
• 層別深度パノラマ（LDP）： カメラ移動中に発生する被写体隠れアーティファクトに対処するため、各パノラマを前景層と背景層に分解する。
  • 画像セグメンテーション（SAM 使用）と深度の不連続性に基づいて推論を行うことで、前景マスクを生成する。
  • 前景をマスクアウトし、背景をインペインティングして完全な背景パノラマ（$I_{bg}$）を作成する。
  • 背景深度マップ（$D_{bg}$）は、元のパノラマの行ごとの最大深度を取得することで構築され、最も遠いシーンの範囲を捉える滑らかな包絡面を作成する。
• 3 次元への持ち上げ： 前景および背景の RGB-D レヤーを 3 次元に逆投影して「球体」（点群）を形成する。これらの球体が基本的な構築ブロックとして機能する。接続を可能にするため、各球体を幾何学的に変換して左側、右側、または両側を「開き」、接続インターフェースを作成する。

2. 対生成融合

隣接する球体間のギャップを埋めるため、生成融合パイプラインが遷移領域として機能する「充填ブロック」を作成する。

• 中空カプセルの構築： 2 つの連続する球体を互いに向き合うように配置し、中央領域が欠けたカプセル状の形状を形成する。
• 中間レンダリング： カプセルの中心に中間カメラポーズを配置し、等角投影 RGB-D ビューをレンダリングする。このビューは、球体の幾何形状によって隠蔽された欠落領域を空のピクセルとして露呈させる。
• RGB インペインティング： レンダリングされたパノラマの欠落領域を、グローバルなテキストプロンプトを条件とした画像インペインティングモデル（FluxFill）を用いて補完する。
• 深度調和ブレンド： 単眼深度推定器がインペインティングされた領域の深度を予測する。既存の球体との幾何学的整合性を確保するため、新しい調和ブレンド技術が適用される。この手法は、ラプラシアンメッシュ編集に着想を得たグラフベースのエネルギー最小化問題として深度の整合性を定式化する。これは、推定された深度を、ブレンド境界に沿って信頼できるレンダリング深度と滑らかに一致させるように変形させ、目に見える継ぎ目や幾何学的不連続性を防止する。
• 3 次元への持ち上げ： インペインティングされた RGB と調和的にブレンドされた深度を 3 次元に持ち上げて充填ブロック（$B_{fill}$）を形成し、2 つの球体をシームレスに接続する。

3. 世界のアセンブリ

最終的な 3 次元世界は、すべての球形構築ブロックと生成された充填ブロックをアセンブリすることで構築される。その結果、すべての空間位置が完全な全方位カバレッジを提供し、カメラが軌道に沿って長距離を移動できる統合された点群が得られる。

主な貢献

1. 二重能力： SphericalDreamer は、テキストから 3 次元への生成において、完全な全方位ビューカバレッジ（没入感）と長距離移動可能性を同時に達成する最初の手法である。
2. 層別深度パノラマ（LDP）： 明示的な前景/背景の分離と背景深度の再構築を備えた LDP の導入は、単一層パノラマの持ち上げにおける一般的な失敗点である移動中の被写体隠れアーティファクトを効果的に軽減する。
3. 調和ブレンド： 生成されたコンテンツと既存の幾何形状との間の滑らかな幾何学的遷移を確保し、単純な深度合成に典型的な視覚的アーティファクトを排除する、新しいエネルギーベースの深度整合手法。
4. 生成融合パイプライン： カプセルベースの生成融合アプローチを用いて、複数のパノラマ環境を整合的な大規模 3 次元世界に接続するためのフレームワーク。

結果

この手法は、定性的な可視化と定量的指標（画像品質のための BRISQUE、移動可能性のためのシーンのカバレッジ）の両方を用いて、多様な屋外および自然環境で評価された。

• 没入感と移動可能性： 没入感または移動可能性のいずれか一方に優れ他方で失敗するベースライン（LayerPano3D、LucidDreamer、SceneScape、WonderJourney など）とは異なり、SphericalDreamer は回転、移動、および組み合わせ軌道全体でほぼ完璧なカバレッジ（0.999）を達成する。
• 視覚的忠実度： SphericalDreamer は、すべてのカメラ軌道において最先端の BRISQUE スコア（低いほど良好）を達成し、既存の手法と比較して優れた画像品質を示している。
• アブレーション研究： LDP を除去すると被写体隠れアーティファクト（背景の穴）が生じ、調和ブレンドを単純な手法や補間ベースの手法に置き換えると、目に見える幾何学的継ぎ目と深度の不連続性が生じる。
• スケーラビリティ： 生成された世界の品質と意味的一貫性は、世界のサイズが $N=3$ から $N=7$ のパノラマに増加しても安定して維持される。

意義

本論文は、SphericalDreamer が高品質な 3 次元世界生成における新しい最先端を確立すると主張している。パノラマ表現が、生成融合と幾何学的整合メカニズムと組み合わされれば、没入感を犠牲にすることなく大規模環境に拡張可能であることを実証することで、この研究は空間コンピューティングにおける根本的なボトルネックに対処している。著者らは、バーチャルリアリティ、シミュレーション、デジタルコンテンツ制作のための大規模 3 次元シーンの作成に必要なコストと労力を削減する重要な一歩としてこれを位置づけている。この手法は特に自然および屋外環境に適していることが指摘されているが、球状画像における深度推定の固有の課題により、正確な平面幾何形状を必要とするシーン（都市部や屋内設定など）には限界があることも認められている。