技術概要：PanoWorld

問題定義

建築入力（間取り図）とスタイル参照から、没入感があり一貫した家全体バーチャルリアリティ（VR）ツアーを稀疏な入力から合成することは、空間生成において重大な課題です。既存のパラダイムは、写真のようなリアリズムとクロスビュー空間的一貫性の両方の要件を同時に満たすことに苦慮しています：

• 純粋な 2D 生成器： 高品質で写真のようなリアルな照明とテクスチャを持つ単一のパノラマを生成する能力はありますが、永続的な空間記憶を欠いています。視点が変わると、これらのモデルは幾何学形状や素材を「再想像」することが多く、異なるノード間でのドアの形状、壁の位置、家具の配置に不整合が生じます。
• 単一構造の 3D 生成： 大域的な 3D 表現（NeRF、3DGS、メッシュなど）に依存する手法は、一貫性を得るための自然な道を提供しますが、計算コストが高くなり、多室の家環境にスケールすると微細なテクスチャ忠実度が失われます。これらはしばしば高いメモリ使用量、遅い推論、そして 2D モデルを商業的可視化にとって魅力的にする視覚品質の低下に直面します。

現在の商業用 VR ツアーは、連続的な 6 自由度（6-DoF）ナビゲーションではなく、ノードベースのロジック（ユーザーがパノラマに立ち、隣接ノードへジャンプする）で動作しています。しかし、既存の生成モデルはこの離散構造を効果的に活用して、部屋やドアを跨ぐ長距離の一貫性を確保できていません。

手法

PanoWorld は、家全体の合成をノードベースの 360 度パノラマの自己回帰的生成として扱う生成空間世界モデルを導入します。このシステムは、高周波の 2D 合成品質を維持しつつクロスノードの一貫性を確保するために、幾何学的ガイダンスと視覚記憶を分離します。

1. 大域的幾何学プロキシ

システムは、2D 間取り図を壁、床、天井、部屋ラベル、およびドアの接続性を含む粗い3D シェルに変換します。このシェルは最終的な視覚アセットではなく、構造的インターフェースとして機能します。これはターゲット視点および補助視点でレンダリングされ、大規模なレイアウト、開口部、および部屋の範囲を最終テクスチャを決定することなく制約する幾何学プロキシ（法線とセマンティックセグメンテーション）を提供します。

2. 自己回帰的合成ループ

PanoWorld はナビゲーション経路に沿ってパノラマを逐次生成します：

1. 初期化： 開始パノラマは、シェル由来の幾何学プロキシとスタイル参照から合成されます。
2. リフティング： この初期パノラマは、パノラマ型大規模再構築モデル（LRM）を使用して、初期3D ガウススプラッティング（3DGS）キャッシュへリフティングされます。
3. 逐次生成： 各後続ノードに対して、システムは以下を行います：
   • 現在の 3DGS キャッシュから視覚記憶をレンダリングします。
   • この記憶を幾何学プロキシおよび近隣パノラマと組み合わせます。
   • 次の高解像度パノラマを合成します。
   • ローカルな 3DGS 増分でキャッシュを更新します。

3. 主要なアーキテクチャコンポーネント

部屋認識型パノラマ LRM

多視点の 360 度観測を単一パスでローカルな 3DGS 更新へリフティングするための、フィードフォワード型パノラマ LRM が設計されています。

• 円形位置符号化（CPRoPE）： 等角投影パノラマ向けにプラーカー線（Plucker-ray）および PRoPE 符号化を適応させます。これは、外部パラメータのみの線と周期的な水平座標系を使用し、パノラマの継ぎ目全体でアテンションの連続性を確保します。
• 部屋認識型グループアテンション： テクスチャが壁を越えて漏れるのを防ぐため、モデルはマスク付きアテンション機構を採用します。同じ部屋内のノードからのトークンは密に相互作用しますが、部屋間の通信はトポロジ的に接続されたドア/境界ノードにのみ制限されます。これにより、幾何学的障壁を越えて無関係な証拠が混在するのを防ぎます。

トポロジ認識型逐次 3DGS キャッシング

すべてのステップで履歴全体を再構築するのではなく、PanoWorld はローカルな増分を通じて更新される動的キャッシュを維持します。

• コンテキスト構築： 新しいノードに対して、LRM は新しいノード、同じ部屋内の近隣ノード、およびドアを介して接続された境界ノードを含む固定サイズのコンテキストを処理します。
• 保守的マージ： ローカルなガウス更新は、アライメント、信頼度に基づく特徴選択、および可視性プルーニングを使用してグローバルキャッシュにマージされます。重要なのは、高周波の視点依存特徴を保持するために、球面調和関数（SH）係数の積極的な色平均化を回避し、代わりに基本色のみをブレンドし、高次の係数を支配的なガウスから継承することです。
• クロスルーム記憶フィルタリング： 深度ゲートは間取り図シェルを使用して、最初の可視部屋表面の背後にあるキャッシュピクセルをフィルタリングし、古い部屋の壁テクスチャが新しい部屋に漏れるのを防ぎます。

分離型ガイダンス

2D パノラマ生成器（Qwen-Image-Edit ベース）は、2 つの明確な入力を受け取ります：

1. 幾何学プロキシ： 壁、床、およびレイアウトを制約します。
2. 視覚記憶： 以前に観測された領域のための空間的に整列した外観コンテキストを提供します。
   この分離により、2D 生成器は粗い幾何学によって上書きされることなく写真のようなテクスチャ品質を保持しつつ、3D 記憶との一貫性を失うことなく維持されます。

主要な貢献

1. ノードベース世界モデル定式化： 商業的なノードベースツアーのロジックと整合する家全体 VR 合成への新規アプローチ。軽量な 3D メモリを一貫性のために使用しつつ、高解像度パノラマノードを生成します。
2. 部屋認識型パノラマ LRM： 単一のフィードフォワードパスで多視点パノラマからのメトリックスケール多室再構築を設計した初の LRM 型モジュール。クロスルーム特徴干渉を抑制するためにマスク付きアテンションを利用します。
3. トポロジ認識型逐次 3DGS キャッシング： 完全履歴再構築の計算コストを回避し、ローカルなトポロジ認識増分を通じてキャッシュを更新するスケーラブルな空間記憶戦略。
4. 分離型条件付け戦略： 幾何学的制約を外観生成から分離する方法。高密度パノラマノード間でのレイアウトと素材の一貫性を向上させつつ、高周波の 2D 合成品質を保持します。

実験結果

著者は、プライベートデータおよび保持された RealSee3D シーンから派生したカスタムベンチマークで PanoWorld を評価しました。

• パノラマ合成： PanoWorld はオーバーラップ PSNR 22.1365を達成し、2 番目に優れた手法（OmniRoam の 16.3862）を 5.75 dB 上回りました。これは優れたクロスノード一貫性を示しています。単一ノードの美的品質（HPSv3）は競争力がありました（7.9564）が、主な利点はツアー全体にわたる幾何学と素材の幻覚を削減することでした。
• 家全体 LRM 再構築： 50 の保持された RealSee3D シーンにおいて、PanoWorld は比較対象の手法（MVP、Adapt-Splat、WorldMirror 2.0）の中で最高の再構築品質を達成し、8 パノラマ入力で PSNR 29.2361、12 パノラマ入力で 28.8003 を記録しました。
• 定性的分析： 視覚的比較により、PanoWorld はドア周り、廊下、およびクロスルームビューでの整列を保持しているのに対し、ベースライン手法は構造的なドリフト、ぼやけ、または特徴干渉を示すことが示されました。

意義と限界

意義：
PanoWorld は、2D 生成モデルの写真のようなリアリズムと 3D 表現の空間的一貫性の間のギャップを埋めます。幾何学プロキシとレンダリング可能な 3D メモリによって固定された自己回帰的プロセスとして家全体の合成を扱うことで、一貫性があり高忠実度な家全体ツアーを生成し、それを直接ノードベースの VR 体験として提供可能にします。幾何学と外観の分離により、構造的完全性を維持しながら迅速なグローバルなスタイル変更を可能にします。

限界：
著者は、システムの性能が間取り図からシェルへの変換の品質に依存することを認めています。幾何学の誤り、欠落したドアのトポロジ、またはノード間の大きな間隔は、キャッシュガイダンスを弱める可能性があります。さらに、システムは現在、動的オブジェクト、鏡、透明素材、および重い家具の遮蔽に対して困難を抱えています。今後の研究として、シェル推定と生成の共同最適化、およびオブジェクトレベルの編集可能セマンティクスの導入が提案されています。