技術的概要：Code-as-Room

問題定義

インテリアデザイン、仮想現実、ゲーム、および具現化 AI の応用において、現実的で機能的な 3D 室内空間の設計は極めて重要です。しかし、手動による構築は労働集約的であり、既存の自動化手法には重大な限界が存在します。従来の手続き的アプローチは、手作業で設計されたルールと事前に定義されたカテゴリに制約され、複雑な現実世界の空間的関係を捉えることができません。最近のマルチモーダル大規模言語モデル（MLLM）のアプローチは有望ですが、テキスト記述のみに依存する場合、正確な空間情報の取得に苦慮しています。さらに、トップダウンビューから包括的な部屋生成を担う既存の画像条件付きエージェントは、不安定性、無限ループ、微細な空間詳細の回復不能にしばしば陥ります。

本研究が取り組む核心的な課題は、単一のトップダウンビュー画像から、完全で編集可能かつ実行可能な 3D 室内シーンを生成することです。目標は、入力画像の視覚的プリア（事前知識）と厳密に整合する、部屋の構造、物体の配置、幾何学形状、材質、照明を正確に表現する Blender コードを生成することです。

手法：Code-as-Room (CaR)

著者は、構造化された実行ハーネスを備えた MLLM ベースのエージェントフレームワークであるCode-as-Roomを提案します。直接生成手法とは異なり、CaR は複雑なタスクを原理的な多段階パイプラインに分解し、トップダウン画像を実行可能な Blender コードに変換します。

1. 構造化された実行パイプライン

このフレームワークは、10 の専門的なステージに整理された 5 つの明確なフェーズを通じて動作します。

• 画像ベースのシーン構造化:

  • ステージ 1（空間的意味分析）: VLM がトップダウン画像を解析し、機能的な領域、物体の階層、建築要素（壁、ドア、窓）を抽出し、識別子と配置タイプを割り当てます。
  • ステージ 2（シーングラフ構築）: 決定論的なスケルトンを導出し、建築特徴、主要な家具、および小物（後で使用するために「サイドカー」に格納される）間の関係を定義する、物体中心のシーングラフを構築します。

• レイアウトコード生成:

  • ステージ 3（主要レイアウトと視覚的フィードバック）: システムは主要な家具の初期レイアウトコードを生成します。現在のコードをトップダウン画像としてレンダリングし、VLM ベースの批評家が重なり、境界の整合性、空間的関係を評価してレビューし、修正するレンダリング–批評–修正ループを採用します。このループは、レイアウトの安定性を確保するために固定回数（例：5 回）実行されます。
  • ステージ 4（補助レイアウト）: 壁掛け物体や視覚的に顕著な小物（例：ラグ、植物）がレイアウトに追加され、微小な表面固定アイテムは保留されます。

• レイアウトに基づく物体プロファイリング:

  • ステージ 5: システムは固定されたレイアウトを解析して VLM をグラウンディングし、微細な物体の説明（色、材質、スタイル）とグローバルな部屋スタイルの説明を生成します。これにより、視覚的詳細が確立された空間構造と整合するように保証されます。

• 物体レベルのコード生成:

  • ステージ 6（幾何学形状の置換）: 推定された物体プロファイルに基づき、粗いレイアウトのプロキシが詳細な 3D 幾何学プリミティブに置換されます。微小な物体にはハイブリッド戦略が用いられます。まず単純な幾何学的プレースホルダーを作成し、その後ライブラリからのアセット検索を行い、一致する 3D モデルに置換します。

• インテリア装飾コード生成:

  • ステージ 8（材質割り当て）: 物体辞書とグローバルスタイルに基づき、部品レベルの PBR 材質が割り当てられます。
  • ステージ 9（テクスチャ生成）: 大容量の画像生成モデルが床、壁、装飾要素のテクスチャマップを合成し、シーンに注入されます。
  • ステージ 10（照明と事後最適化）: システムは照明スタイル（自然光と人工光）を推論し、レンダリングパラメータを設定します。決定論的な修正パスが、一般的な実装問題（欠落した材質、無効なパスなど）を修正し、局所探索を介して境界または重なり違反を解決します。

2. クロスステージメモリシステム

フレームワークの重要な構成要素は、クロスステージメモリモジュールです。この共有メモリは、パイプラインの永続状態を維持し、各ステージからの型付けされたアーティファクトを格納します。下流のステージは、このメモリの定義済みのビューのみを読み取ります。この設計は、長期的なエージェントワークフローに内在する「コンテキスト忘却」の問題を軽減し、初期ステージで導出された空間情報と物体詳細が保存され、後続のステージで正確に利用されることを保証します。

主要な貢献

1. トップダウン画像誘導パラダイム: 本論文は、単一のトップダウン画像が室内の完全な生成を導くためのグローバルな空間的プリアとして機能する、新たなパラダイムを導入します。これはテキストのみまたは透視図入力を超えたものです。
2. 構造化された実行ハーネス: 著者は、粗い段階から細かい段階へのパイプラインを通じて MLLM を調整する構造化されたエージェントワークフローを提案します。このハーネスは、視覚的フィードバックループを備えた管理可能なステージにタスクを分解することで、安定かつ一貫した 3D 部屋の合成を確保します。
3. 専用ベンチマーク: コードベースの 3D 部屋合成のための新しいベンチマークが導入され、視覚コンテンツの理解、空間推論、ビジョンからコードへの生成、および包括的なシーンの品質に対する多様な評価プロトコルが含まれています。

実験結果

著者は、Code-as-Room を 3 つの主要な VLM バックボーン（Gemini-3 Flash、Gemini-3.1 Pro、GPT-5.5）を使用して評価しました。

• ベンチマーク性能: 直接の単一パス生成および既存の VIGA フレームワークと比較して、Code-as-Room はすべての指標で優れた性能を示しました。
  • 空間推論: CaR はレイアウト IoU（直接 Gemini の 16.8% に対して最大 73.2%）、回転精度、支持精度を大幅に改善しました。
  • コード生成: このフレームワークは高い実行率（Gemini 変種の場合 100% まで）を達成しましたが、直接生成は実行可能なコードを生成できないことが多かったです。
  • 視覚的品質: 人間の評価により、CaR によって生成されたシーンは、入力画像との類似度が高く、使いやすさが優れており、手動修正が少なくて済む（受容性が高い）ことが示されました。
• アブレーション研究:
  • メモリ: クロスステージメモリを除去すると、レイアウト IoU（73.2% から 58.0% へ）と物体リコールが大幅に低下し、空間的一貫性を維持するためのその必要性が確認されました。
  • 視覚的フィードバック: 最大 5 回のフィードバック反復で性能が向上しました。しかし、反復回数を 10 に増やすと指標が低下し、過度な修正がレイアウトのドリフトを引き起こす可能性を示唆しました。

意義と主張

本論文は、Code-as-Room が現在の画像から 3D 部屋生成における不安定性と精度の欠如に対処していると主張しています。3D 部屋を実行可能な Blender コードとして表現することで、このフレームワークは入力画像と視覚的に整合するだけでなく、編集可能、レンダリング可能、構造化されたシーンを可能にします。

著者は、システムの成功は単にベース VLM の能力に依存するのではなく、視覚的解析、空間推論、コード合成を組織化する構造化されたエージェントワークフローに依存していると強調しています。クロスステージメモリモジュールの導入は、複雑な多段階生成タスクにおけるコンテキスト忘却を軽減するための重要な革新として強調されています。

この研究は、特にフロアプランやトップダウンスケッチとの正確な空間的整合が求められるシナリオにおいて、自動化された 3D コンテンツ作成のためのより信頼性が高く実用的なツールへの一歩として位置づけられています。著者は、現在のトップダウンビューへの焦点や、高度に複雑な幾何学的詳細に対するアセット検索への依存といった限界を指摘し、ニューラルレンダリングのための動画生成や任意のビュー入力への対応に関する将来の作業を提案しています。