💻 computer science

RoomPilot: Controllable Indoor Scene Synthesis via Multimodal Semantic Parsing

RoomPilot は、テキストや CAD 平面図などのマルチモーダル入力を構造化された室内ドメイン固有言語（IDSL）にマッピングし、階層的なパイプラインを用いて物理的に整合性があり意味的に一貫した 3D 環境を生成することで、制御可能な室内シーン合成を可能にする統合フレームワークです。

原著者： Wentang Chen, Shougao Zhang, Yiman Zhang, Tianhao Zhou, Ruihui Li

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wentang Chen, Shougao Zhang, Yiman Zhang, Tianhao Zhou, Ruihui Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、RoomPilot論文の説明を、単純な概念と創造的な比喩を用いて分解したものです。

大きなアイデア：「デジタル建築家」

家を建てたいが、建築家、エンジニア、インテリアデザイナーのチームを雇いたくないと想像してみてください。代わりに、「ソファがテレビに向かい合う、居心地の良いリビングが欲しい」と言うか、あるいは間取りのラフなスケッチを渡すだけで、コンピュータが瞬時に完璧で写実的な 3D バージョンを構築してくれるとします。

それがRoomPilotがやることです。これは、テキストの説明や CAD（コンピュータ支援設計）の間取り図を、家具が備え付けられた完全な 3D 室内シーンに変換する新しいコンピュータシステムです。

問題点：なぜこれが難しいのか？

これ以前の試みは、目隠しをして家を建てるようなものでした：

古い「ルール」ベースのシステムは、硬直したロボットのようなものでした。家は建てられますが、「居心地の良い」雰囲気や「モダンな」外観を求められても理解できませんでした。彼らは厳格なスクリプトに従うだけでした。
古い「AI」システムは、物理法則を全く理解しない創造的な芸術家のようでした。部屋を美しく見せることはできましたが、ソファが空中に浮いたり、ベッドが壁の中にあったりするかもしれません。
古い「LLM」システム（大規模言語モデルを使用）は、描画ができない素晴らしい物語作家のようでした。言葉で部屋を完璧に描写することはできましたが、実際に建てようとすると、家具がうまく収まらず、部屋同士が論理的につながりませんでした。

解決策：「汎用翻訳機」（IDSL）

RoomPilot の核心的な魔法は、IDSL（Indoor Domain-Specific Language：室内固有ドメイン言語）と呼ばれるものです。

IDSL を、あなたの乱雑な人間の指示とコンピュータの厳格な建築ルールとの間に位置する汎用翻訳機、あるいは設計図言語と考えてください。

あなたが話す：「リビングに大きなソファが欲しい。」
翻訳機（IDSL）が変換する：「オブジェクト：ソファ。場所：リビング。関係：床の上。サイズ：大。」
建設者：この整理された構造化リストを受け取り、シーンを構築します。

これは極めて重要です。なぜなら、曖昧な言葉に混乱することなく、コンピュータがあなたが何を望んでいるかを正確に理解できるからです。

仕組み：3 段階の組み立てライン

RoomPilot は、外側から内側へと作業する建設チームのように、3 つの明確な層で家を構築します：

骨格（建物レベル）：
まず、全体像を見ます。テキストの説明を与えられた場合、「よし、これは 3 LDK のアパートだ。キッチンがリビングの隣にあり、外に通じるドアがある」と判断します。CAD 図面を与えられた場合は、線を読み取って全く同じ情報を得ます。まず壁と間取り図を構築します。
頭脳（部屋レベル）：
次に、各部屋の詳細を埋め込みます。「寝室には通常何が入るだろう？ベッド、ナイトスタンド、クローゼット」と問いかけます。これらを概念的に配置し、部屋の形状に合うようにします。
筋肉（オブジェクトレベル）：
最後に、実際の 3D 家具を選びます。単に推測するのではなく、膨大な実物家具モデルのライブラリを持っています。説明に合うソファを見つけ、そのスペースに収まるか確認し、配置します。

秘密の武器：「自己調整型」オプティマイザ

ここが最も巧妙な部分です。時にはコンピュータが間違えることがあります。例えば、テーブルをドアの真ん中に置いたり、椅子が浮いていたりするかもしれません。

RoomPilot は自己調整型最適化プロセスを使用します。部屋を歩き回り、物事を修正し続ける、非常に厳格で目に見えないインテリアデザイナーを想像してください：

「構造的」チェック：「このテーブルは壁に衝突している？ランプは浮いている？修正せよ！」（これにより物理法則が現実的であることを保証します）。
「意味的」チェック：「テレビはソファに向かっている？ベッドは窓の近くにある？修正せよ！」（これにより部屋が論理的であることを保証します）。

システムは適応焼きなまし法という技術を使用します。これは熱い金属を冷ますようなものだと考えてください。

最初は（熱い状態）：システムは荒々しく、良いレイアウトを見つけるために大きくて突飛な変化を試みます。
冷めていくにつれて：より慎重になり、すべてが固定されるまで、細部を完璧にするために小さく精密な調整を行います。

結果：なぜこれが優れているのか

この論文は、RoomPilot を他の手法と比較してテストし、以下を発見しました：

よりよく耳を傾ける：5 脚の椅子を求めれば、正確に 5 脚置きます。他の手法はよく間違えて推測します。
よりよく構築する：部屋は物理的に可能です。浮遊する家具も、テーブルを貫通する壁もありません。
複雑さを処理する：キッチンがダイニングルームにつながり、寝室が適切な場所にある、完全な多室アパートメントを、単一の文や間取り図に基づいて構築できます。

要約

RoomPilotとは、あなたの言葉を話し、物理法則を理解し、無限の家具を備えた、超賢く超高速な建築家のようです。それは、あなたの曖昧なアイデアやラフなスケッチを、完璧に整理され、写実的な 3D ホームに変換し、すべてが正しく見え、正しく感じられるよう、その過程で自らの間違いを修正します。

技術概要：RoomPilot：マルチモーダル意味構文解析による制御可能な室内シーン合成

問題定義
制御可能な室内シーンの生成は、ゲーム開発、建築ビジュアライゼーション、具象的 AI の応用において不可欠である。しかし、既存のアプローチは、多室対応、微細な制御性、明示的な空間関係、物理的妥当性の要件を同時に満たすことに苦慮している。

モデルベース手法（例：ATISS、DiffuScene）は、データの不足により多様性に欠け、新規シーンへの汎化性能が低い傾向がある。
ルールベースおよび手続き的システム（例：Infinigen Indoors、ProcTHOR）は物理的妥当性を保証するが、意味的詳細やユーザー意図に対する制御性が限定的である。
ビジョンベースのアプローチは、シーンのレイアウトを精密に制御することに苦慮している。
LLM ベースの手法はオープンボキャブラリ理解を強化するが、物体間の空間関係を精密に制御する能力が不足していることが多い。
主要な障壁は、テキストまたは CAD といった異種入力と、解釈可能で制御可能な 3D 合成を橋渡しする統一されたシーン表現の欠如にある。

手法
著者は、詳細なテキスト記述または CAD 平面図から制御可能な室内シーンを合成する統一フレームワーク「RoomPilot」を提案する。このフレームワークは、3 つの緊密に統合されたモジュールを通じて動作する。

クロスモーダル意味構文解析:
- 入力（テキストまたは CAD）は、初期の**室内ドメイン固有言語（IDSL）**設定（ $S_0$ ）に変換される。
- テキストの場合、階層的 LLM 構文解析戦略（GPT-4 使用）により、グローバル構造（ビルディングレベル）、家具計画（ルームレベル）、精密な空間配置（オブジェクトレベル）が抽出される。
- CAD の場合、幾何学的構文解析パイプラインが、ベクトル化表現（例：SVG）から部屋の輪郭、ドア、窓を抽出し、IDSL へマッピングする。CAD のオブジェクトレベルの内容は、ルームタイプに基づいて LLM によって推論される。
自己調節型シーン最適化:
- 初期 IDSL は、自己調節型のエネルギーベースプロセスを用いて、最適化された設定（ $S^*$ ）へと反復的に洗練される。
- デュアルチャネルエネルギー: 目的関数は、構造的エネルギー（衝突、境界、安定性）と意味的エネルギー（機能的近接、方向整合）に分解される。
- 適応的焼きなまし: 固定スケジュールとは異なり、最適化の重みと温度はルール整合スコア（ $\rho(t)$ ）によって適応的に調節される。構造的制約が満たされるにつれて、焦点は幾何学的実現可能性から意味的組織へと移行する。
- 段階的ルール活性化: 異種目的の早期結合を防ぐため、ルールは段階的（構造的 $\to$ 機能的 $\to$ 様式的）に活性化される。
階層的室内シーン生成:
- 最適化された IDSL は、高忠実度の 3D シーンとしてインスタンス化される。
- ビルディングレベル: 手続き的生成により、ルームポリゴンに基づいて水密な壁メッシュが作成される。
- ルームレベル: ブーリアン演算によりドアと窓がインスタンス化される。
- オブジェクトレベル: ハイブリッドエコシステムが、キュレーションされたデータセット（9,271 件の注釈付きアセット）または公開データセット（Objaverse、3D-FUTURE）からアセットを検索する。検索の信頼度が低い場合、カテゴリ固有の手続き的ジェネレーター（PCG）が幾何形状を合成する。
- 関係性認識型洗練: 配置後の最適化ステップにより、物理的安定性（例：物体が表面に置かれていること）が強制され、浮遊または交差するアーティファクトが排除される。

主要な貢献

RoomPilot フレームワーク: テキスト記述と CAD 平面図の両方を入力としてサポートする、制御可能な室内シーン合成のための統一システム。
室内ドメイン固有言語（IDSL）: 異種入力を解釈可能な意味的および幾何学的仕様に変換する、構造化された階層的中間表現（ビルディング、ルーム、オブジェクトレベル）。これはユーザー意図と 3D 合成の間の制御可能な橋渡しとして機能する。
自己調節型最適化: 固定された冷却スケジュールなしに構造的安定性と意味的整合性を適応的にバランスさせるエネルギーベースアルゴリズム。これにより、一貫性のある多室レイアウトが可能になる。
高忠実度データセット: 現実的なシーン合成を支援するための、豊富な意味注釈を備えたキュレーションされたアセットデータセット。

実験結果
著者は、オープンボキャブラリテキスト生成および CAD 条件付き生成において、RoomPilot を 6 つの最先端手法（例：Holodeck、I-Design、LayoutGPT）と比較評価した。

制御性: RoomPilot は、レイアウト忠実度（LF）、オブジェクト数に関する制約満足率（CSR $_{count}$ ）、関係制約（CSR $_{rel}$ ）において、ベースラインを大幅に上回る性能を示した。
物理的妥当性: この手法は、境界外および衝突事例をほぼゼロに抑え、拡散ベースまたは検索ベースのアプローチと比較して、物理的リアリズムと安定性において優れたスコアを達成した。
CAD 忠実度: CAD 平面図を条件とした場合、RoomPilot は部屋の形状、寸法、開口部の位置を高い幾何学的精度で保持する（壁精度：0.87 対 Holodeck の 0.31）。
ユーザー調査: 人間の評価者は、視覚的品質、レイアウトの妥当性、物理的妥当性において RoomPilot を最高と評価した。
アブレーション研究: IDSL または自己調節型最適化モジュールを除去すると、最も顕著な性能低下が生じ、高品質で制御可能な合成にとってそれらが不可欠であることを確認した。

意義
本論文は、既存のパラダイムの断片化に対処することで、RoomPilot が制御可能な 3D 室内シーン合成に向けた重要な一歩であると主張している。IDSL と自己調節型最適化プロセスを導入することで、このフレームワークは、従来の手法が同時に満たすことができなかった構造的整合性、意味的整合性、および物理的妥当性のバランスを達成する。これにより、複雑なユーザー指示に忠実に応答する構造的に妥当な多室環境の生成が可能となり、具象的 AI や建築ビジュアライゼーションにおける実用的な展開を促進する。著者は、システムは堅牢であるが、離散的な構成と連続的な関係を同時に最適化する際のシミュレーテッド・アニーリングの固有の挙動により、失敗事例（複雑な関係制約における欠落オブジェクトなど）が発生し得ると指摘している。