ShellMaker: Language-Guided Exterior Completion under Structural Constraints

技術要約：ShellMaker：構造的制約下における言語誘導型の外装補完

問題提起
近年の屋内シーン生成における進歩により、構造化されたフロアプランや壁のレイアウトを持つ妥当なインテリアの自動合成が可能になったが、これらのシステムは通常、建物のシェル（外殻）の段階で終了してしまう。これらは、生成されたインテリアと整合性のある、一貫したスタイルの外装（ファサードおよび屋根）を生成することに失敗している。Text-to-3DやImage-to-3Dといった既存の3D生成モデルは、一般に制約がなく、外装補完に求められる厳格な構造的制約を遵守することに苦慮している。具体的には、生成される外装は、インテリアのレイアウトと互換性を保つために、固定された建物のフットプリント、壁の幾何学形状、およびドアや窓の開口部の正確な空間的セマンティクスを厳格に維持しなければならない。既存の手法はこれらの制約に違反することが多く、生成されたアセットは、基礎となるスキャフォールド（足場）に対して幾何学的な不一致や構造的な不整合を引き起こす。また、構造化された建物のレイアウトと完全にテクスチャリングされた外装メッシュを結びつける大規模なペアデータセットは乏しく、この特定のタスクに対する制御可能な生成モデルの訓練を制限している。

手法
ShellMakerは、構造的制約を厳格に遵守しながら、構造化されたスキャフォールドから建物の外装を補完するために設計された、言語誘導型のフレームワークである。本システムは、形式に依存しないスキャフォールド表現（屋内シーン生成器、CityGML、またはCADモデルから派生したもの）と、テキストベースのスタイルプロンプトに基づいて動作する。合成プロセスは、以下の3つの調整されたステージに分解される：

1. 構造生成ステージ：

   • スキャフォールド解析： 異種混合の入力（屋内シーングラフ、CityGML、BIM/CAD）を、壁のセグメント、床のポリゴン、および開口部のメタデータを含む統一されたスキーマに変換する。
   • フットプリント分解： 屋根生成を容易にするため、複雑なフットプリントを、直線スケルトン分解（中央軸分解）または貪欲な矩形分解を用いて単純なサブリージョンに分割する。
   • パラメトリック屋根生成： システムは、ピッチ角やオーバーハングなどのパラメータによって制御される5つの標準的なタイプ（平屋、切妻、ピラミッド、寄棟、半寄棟）から屋根の幾何学形状を生成する。屋根は単一の塊として、あるいは複雑なフットプリント上の細分化された構成として生成可能である。

2. スタイライゼーション・ステージ：

   • パーツ認識型プロンプト精緻化： 指示チューニングされた大規模言語モデル（LLM）が、粗いユーザープロンプト（例：「ヴィクトリア朝様式のベーカリー」）を、個々の建築要素（壁、屋根、窓、ドア）のための構造化されたパーツ固有のプロンプトへと精緻化する。これにより、LLMはコンポジット（合成）を複雑にする環境コンテキストを含めることなく、詳細な幾何学的および装飾的な手がかりを生成できる。
   • 2段階のText-to-3D合成： 精緻化されたプロンプトは、Nano Bananaによって参照画像生成のために処理され、その後、Trellis-2によってPBRマテリアルを備えたテクスチャ付きメッシュへと再構成される。
   • 壁・屋根の結合テクスチャ検索： テクスチャをゼロから生成する代わりに、ShellMakerは互換性を考慮した検索メカニックを採用する。システムは、材料の共起性、色彩の調和（Lab*）、周波数の一致（2D FFT）、および意味的類似性（CLIP）に基づいた互換性行列を事前計算する。実行時には、プロンプトへの適合性と表面間の互換性の両方を最大化する壁と屋根のテクスチャペアを選択する。

3. アセンブリ・ステージ：

   • 幾何学認識型アセンブリ： システムは、スキャフォールド、生成された屋根、およびアセットを単一のメッシュに統合する。
   • 形状適合型カッティング： 生成されたアセットから2D境界ポリゴンを抽出し、ブーリアン減算の駆動に使用することで、定義されたドアや窓の位置と正確に一致させる。
   • UVパラメータ化： テクスチャの支配的な空間周波数に基づいて自動的にリスケーリングされたワールド空間平面UVを割り当て、異なる材料間で一貫した知覚的テクスチャ密度を維持する。
   • ディテーリング： プロシージャル生成により、オプションで屋根のユーティリティ（雨樋、縦樋）や装飾（煙突、ドーマー）を追加し、屋根の幾何学形状に適合するようにクリップする。

主な貢献

1. タスクの定式化： 本論文は、ハードなスキャフォールド制約下での言語誘導型外装補完の問題を定式化し、部分的な建物のスキャフォールドを、完全でスタイルの一貫したアセットへと変換する。
2. モジュール化されたパイプライン： プロシージャルな構造生成、LLM駆動のパーツレベルのスタイライゼーション、および互換性を考慮したマテリアル検索を統合した新しいパイプラインを提案する。このモジュール化されたアプローチは、ステージ間のエラー伝播を抑制し、アセットの再利用を容易にする。
3. 幾何学認識型アセンブリ： フットプリント、壁の境界、および開口部の配置の厳格な保持を強制するアセンブリプロセスを導入し、編集可能でパーツ構造化された外装メッシュを実現する。

結果
著者らは、200個の多様なスキャフォールド（屋内生成器から100個、CityGMLから50個、CADから50個）を用い、60個のスタイルプロンプトと500以上のテクスチャライブラリを用いてShellMakerを評価した。

• 定量的指標： ShellMakerは、Footprint IoU 0.992およびOpening Center L2誤差0.091を達成し、構造的完全性の維持に苦戦したベースライン（Trellis-2, SpaceControl, SAT-Skylines。例：Trellis-2のFootprint IoUは0.492）を大幅に上回った。また、ShellMakerはスタイルの適合性指標（CLIP-SimおよびUNI3D）においてもベースラインと同等またはそれを上回る結果を示した。
• 知覚的評価： GPT-4.1を判定員とした2AFC調査において、ShellMakerはすべてのベースラインに対して70%以上の勝率を記録し、特に構造的な妥当性（Trellis-2に対して84.1%）において高いスコアを獲得した。
• 汎用性： システムは異なる入力形式間で一貫した性能を示したが、ノイズの多い幾何学形状を持つCAD入力では、構造的指標がわずかに低下した。

意義と主張
本論文は、ShellMakerが知覚的なリアリズムとレイアウトへの忠実な外装合成の間のギャップを埋めるものであると主張している。形式に依存しないスキャフォールド上で動作することにより、屋内シーンのパイプラインによる建物の外装を、基礎となるパイプラインを変更することなく自動的に補完することを可能にする。著者らは、本手法が、独立した検索パイプラインや制約のない生成ベースラインと比較して、建築的な一貫性、材料の調和、および制約の充足を向上させると断言している。本研究は、一貫したインテリアと、構造的に有効でスタイルの整合した外装を併せ持つ、完全な建物アセットの自動合成に向けた実用的な一歩である。著者らは、退化したパーツ生成の処理や、現在の階層ごとのファサード描写の欠如といった限界を認め、今後の課題として、ジョイントレイアウト生成や生成的なテクスチャ合成の探索を挙げている。