Imagine a City: CityGenAgent for Procedural 3D City Generation

本論文は、自然言語による指示に基づき、構造的整合性と視覚的整合性を確保するための教師あり微調整と強化学習を段階的に適用する「CityGenAgent」というフレームワークを提案し、高品質で編集可能なプロシージャルな 3D 都市の自動生成を実現するものです。

要約

想像の都市：AI による「3D 都市づくり」の革命

この論文は、**「CityGenAgent（シティー・ジェン・エージェント）」という新しい AI システムについて紹介しています。簡単に言うと、「言葉で指示するだけで、高品質な 3D 都市を自動で作ってくれる魔法の建築士」**です。

これまでの技術では、都市を作るのは大変で、AI が作った都市は「形が崩れている」「指示と違う」「編集しにくい」といった問題がありました。この新しいシステムは、それらをすべて解決しようとしています。

以下に、専門用語を使わず、身近な例え話で解説します。

---

1. 従来の課題：なぜ都市作りは難しかったのか？

これまでの AI による都市作りは、大きく分けて 2 つの悩みがありました。

• 絵画のような AI（レンダリング系）：
  絵を描くのは上手ですが、3 次元の「中身」がボヤけています。まるで**「立体的な写真」**を作っているようなもので、建物の壁を触ったり、窓の位置を動かしたりするのは不可能です。
• ルールベースの AI（従来のプログラム）：
  正確な 3D 模型は作れますが、「マニュアル（ルール）」を人間が全部書かないと動かないため、自由度が低く、手間がかかります。

2. CityGenAgent の仕組み：2 人の天才建築士チーム

このシステムは、都市を作るのを**「2 人の専門家のチーム」**に分けて行います。これが最大の特徴です。

① 都市の設計士（BlockGen）：街のレイアウトを決める

まず、この AI は**「街全体の地図」**を描きます。

• 役割： 「ここに学校、あそこに公園、建物はここに並べて」という配置図を作ります。
• 工夫： 単にランダムに置くのではなく、「建物が道路に重ならない」「緑地が適度に配置されている」といった物理的なルールを厳守します。
• 例え： 料理で言えば、**「献立と食材の配置を決めるシェフ」**です。どこに何を入れるかを決めます。

② 建物の職人（BuildingGen）：建物のデザインを細かく決める

次に、設計図に基づいて、**「個々の建物の外観」**をデザインします。

• 役割： 「窓は青く、壁はレンガ調、屋根は平らに」といった細部のデザインを指定します。
• 工夫： 言葉の指示（プロンプト）と、実際に描かれた建物の見た目が一致しているかを確認します。
• 例え： 料理で言えば、**「食材を切り、味付けをして盛り付けるシェフ」**です。

3. 学習の秘密：2 段階のトレーニング

この AI は、ただ本（データ）を読むだけでなく、**「試行錯誤して上手くなる」**という 2 段階の学習を行います。

1. 基礎学習（SFT）：
   まず、大量の「指示と正解のペア」を見て、**「正しいフォーマットで答えること」**を学びます。
   • 例え： 見習い職人が、先輩の真似をして「正しい手順」を覚える段階です。
2. 実践強化（RL：強化学習）：
   ここが重要です。AI が作ったものを評価し、**「良い点にはご褒美（報酬）、悪い点には罰則」**を与えて、さらに上手にさせます。
   • 空間の報酬： 「建物が重なり合っていないか？」「街のバランスは良いか？」をチェック。
   • 見た目の報酬： 「指示した『赤い壁』が本当に赤く描けているか？」をチェック。
   • 例え： 見習いが実際に料理を作り、味見して「もっと塩を足せ」「火加減を弱めろ」と指導され、**「本物のプロ」**になる段階です。

4. すごいところ：言葉で「編集」できる！

これが最も画期的な点です。
完成した 3D 都市に対して、**「あの建物を中国風に変えて」「建物の高さを低くして」**と自然な言葉で指示すると、AI が即座にプログラムを書き換え、都市を再構築してくれます。

• 従来の方法： 3D ソフトで一つ一つ手作業で動かす必要があり、大変でした。
• CityGenAgent： **「魔法の杖（言葉）」**を振るだけで、都市の構造やデザインが瞬時に変化します。

5. まとめ：なぜこれが重要なのか？

この技術は、「自動運転のテスト場」や「VR ゲームの世界」、**「都市計画のシミュレーション」**などに使えます。

• リアル： 写真のように美しいだけでなく、3D として正確な形を持っています。
• 制御可能： 言葉で自由に編集できます。
• 効率的： 人間が何時間もかけて作る都市を、数分で作れてしまいます。

一言で言うと：

「CityGenAgent は、『言葉という魔法』で、現実の物理法則も守った、自由自在に編集できる 3D 都市を瞬時に創造する、新しい時代の建築マスターです。」

これにより、未来の都市作りや、没入感のある仮想空間作りが、誰でも簡単に、そして高品質に行えるようになるでしょう。

技術概要

Imagine a City: CityGenAgent for Procedural 3D City Generation

技術的サマリー（日本語）

本論文は、自律運転、仮想現実（VR）、具現化された知能（Embodied Intelligence）などの分野において重要な課題である「インタラクティブな 3D 都市の自動生成」に焦点を当てています。既存の手法は、高忠実度なアセット作成、制御性、編集のしやすさにおいて課題を抱えており、これらを解決するためにCityGenAgentという自然言語駆動の階層的生成フレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳述します。

1. 問題定義 (Problem)

従来の都市生成手法には以下の限界がありました：

• ルールベース手法: 道路網や建物の生成に人工的な介入と多大な労力を要する。
• 深層学習ベース（レンダリング/拡散モデル）: 写真のようなリアルな画像を生成できるが、一貫性のある正確な 3D 幾何形状の生成が難しく、下流のシミュレーションタスクや制御可能なシーン編集への適用が制限されている。
• LLM との組み合わせ: 既存の研究（CityCraft, UrbanWorld など）は LLM を利用しているが、主に固定アセットの配置に依存しており、LLM が生成プロセス内で空間推論や理解を直接行うことができていない。これにより、入力条件への厳密な遵守や反復的な編集の柔軟性が損なわれている。
• データ不足: 大規模な屋外都市シーン用の高品質なデータセットが不足している。

2. 手法 (Methodology)

CityGenAgent は、都市生成を**「ブロックプログラム（Block Program）」と「ビルディングプログラム（Building Program）」**という 2 つの解釈可能なコンポーネントに分解する階層的アプローチを採用しています。

2.1 階層的生成パイプライン

1. BlockGen（街区生成エージェント）:
   • ユーザーの自然言語指示を受け取り、街区の配置（建物、緑地など）を定義する構造化された「Block Program」を生成します。
   • 出力には、一意の ID、タイプ、非自己交差の多角形（Footprint）、階数、ファサードの説明などが含まれます。
2. BuildingGen（建物生成エージェント）:
   • Block Program から得られたファサード記述に基づき、建物の外観を構成要素（窓、ドア、屋根など）に分解した「Building Program」を生成します。
   • 各コンポーネントの色、スタイル、素材、装飾詳細を記述します。
3. プログラム実行とアセット組み立て:
   • 生成されたプログラムを実行し、既存の建築データベースからのアセット検索、または Text-to-3D 生成（Hunyuan3D など）を用いて動的にアセットを拡張・配置することで、最終的な 3D 都市シーンを構築します。

2.2 学習戦略（2段階）

モデル（Qwen3-8B ベース）は、以下の 2 段階で微調整（Fine-tuning）されます。

1. 教師あり微調整（SFT）:
   • 指示と対応するプログラム対を用いて、モデルがスキーマ制約（非自己交差の多角形、必須フィールドの完全性など）に従った有効なプログラムを生成する能力を学習させます。
2. 強化学習（RL: PPO）:
   • 生成されたプログラムの品質を向上させるため、報酬モデルを用いた近接方策最適化（PPO）を適用します。
   • Spatial Alignment Reward（空間整合性報酬）: BlockGen 向け。セマンティック整合性（入力指示との一致）と空間構造的整合性（重なりなし、適切な密度）を評価し、物理的に妥当な配置を促します。
   • Visual Consistency Reward（視覚的一貫性報酬）: BuildingGen 向け。生成されたプログラムのレンダリング結果と入力テキストの一致度（色、スタイル、素材の整合性）を VLM（Vision-Language Model）を用いて評価し、視覚的に忠実な出力を導きます。

2.3 自然言語によるインタラクティブ操作

生成されたプログラムは編集可能なプロキシとして機能します。ユーザーは自然言語で「建物の高さを上げる」「スタイルを中国風に変更する」などの指示を出し、対応するエージェントがプログラムを更新して都市を動的に変更できます。

3. 主要な貢献 (Key Contributions)

• 3D 都市生成専用のプログラム形式の提案: 「Block Program」と「Building Program」を導入し、都市を街区、建物、構成要素に分解することで、柔軟な制御と実行を可能にしました。
• CityGenAgent フレームワークの構築: SFT と RL（Spatial Alignment Reward, Visual Consistency Reward）を組み合わせることで、モデルの空間推論能力と視覚的一貫性を大幅に向上させました。
• 高品質な生成と操作: 実験により、既存手法と比較して優れたセマンティック整合性、視覚品質、制御性を示し、自然言語によるインタラクティブな操作を可能にしました。

4. 結果 (Results)

• 定量的評価: テキスト整合性（Text Alignment）と視覚的一貫性（Visual Consistency）において、InfiniCity, CityDreamer, CityCraft, Hunyuan3D などの既存手法を上回る最高スコアを記録しました。
• 幾何学的品質: メッシュの直交性（ROS）が最も高く、過剰なメッシュ分割（OTR）が最小限に抑えられており、効率的で規則的な構造を生成しています。
• 効率性: 1 ブロック（0.75 分）の生成時間は、Hunyuan3D（3 分）や CityCraft（1 分）、手動モデリング（60 分）と比較して非常に高速です。
• アブレーション研究: RL 段階（特に PPO）が、DPO や SFT のみと比較して、衝突回避率の低下や空間的整合性の向上において顕著な効果をもたらすことを示しました。
• 操作能力: 「中国風に変更」などの指示に対し、単なるテクスチャ変更だけでなく、伝統的な建築の幾何学的制約（階数の減少など）を推論して構造を調整する能力を実証しました。

5. 意義 (Significance)

CityGenAgent は、大規模な 3D 都市生成において、**「生成の質」「制御性」「編集の容易さ」**のトレードオフを解決する新たな基盤を確立しました。

• 実用性: 自律運転シミュレーション、ゲーム開発、VR/AR コンテンツ作成など、高忠実度かつ制御可能な 3D 環境が必要とされる分野への応用が期待されます。
• 技術的革新: 単なる画像生成や固定アセットの配置ではなく、LLM に空間推論と構造化されたプログラム生成を統合させることで、より知的で柔軟なコンテンツ生成を実現しました。
• 将来展望: 自然言語による直感的な操作を通じて、専門知識がなくても高品質な 3D 都市を設計・編集できる可能性を開き、インタラクティブなコンテンツ作成の未来を切り拓くものです。

本論文は、2026 年 3 月 2 日のプレプリントとして公開されており、プロジェクトページでデモも利用可能です。