Imagine a City: CityGenAgent for Procedural 3D City Generation

이 논문은 자연어 기반의 계층적 절차적 생성 프레임워크인 CityGenAgent 를 제안하여, 지도 학습과 강화 학습을 결합해 고해상도 3D 도시의 구조적 정확성과 시각적 일관성을 보장하면서도 자연어 편집이 가능한 자동 생성 및 조작 기술을 실현합니다.

핵심

🏙️ "상상해, 도시!" - CityGenAgent: 말로만 듣던 도시를 3D 로 만들어주는 마법사

이 논문은 **"CityGenAgent"**라는 새로운 기술을 소개합니다. 이 기술은 우리가 말로 하는 설명 (자연어) 을 듣고, 바로 고퀄리티의 3D 도시를 자동으로 만들어줍니다. 마치 "이곳에 높은 빌딩이 있고, 옆에는 공원이 있는 현대적인 도시를 만들어줘"라고 말하면, 컴퓨터가 순식간에 그 도시를 설계하고 지어주는 것과 같습니다.

이 기술이 왜 특별하고 어떻게 작동하는지, 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 기술의 문제점: "레고 조립이 너무 힘들어요"

과거에 도시를 만들거나 3D 장면을 만드는 방식은 크게 두 가지였습니다.

• 규칙 기반 방식: 사람이 일일이 "도로는 이렇게, 건물은 저렇게"라고 코드를 짜야 했습니다. 마치 레고 블록을 하나하나 손으로 조립하는 것처럼 시간이 너무 오래 걸리고 사람이 개입해야 할 부분이 많았습니다.
• 이미지 생성 방식 (AI 그림): 최근 AI 가 그림을 잘 그리지만, 3D 공간으로 만들면 건물이 뒤틀리거나, 도로가 겹치는 등 구조가 엉망이 되는 경우가 많았습니다. 마치 2D 그림을 3D 입체로 만들려다 모양이 깨지는 것과 비슷합니다.

CityGenAgent는 이 두 가지의 단점을 모두 해결했습니다.

---

2. CityGenAgent 의 핵심: "도시 설계도 (프로그램) 를 먼저 그리는 두 명의 마법사"

이 시스템은 도시를 만들 때, 바로 건물을 짓지 않고 두 단계로 나누어 설계도 (프로그램) 를 먼저 작성합니다. 이를 위해 두 명의 전문 '에이전트 (마법사)'가 협력합니다.

🧑‍🏭 1 단계: '블록 생성자 (BlockGen)' - 도시의 골격 잡기

• 역할: "이 구역에는 아파트 3 동과 중앙 공원이 있어야 해"라는 말만 듣고, **전체 지도 (블록 프로그램)**를 그립니다.
• 비유: 마치 도시 계획관처럼, "여기에 건물을 짓고, 저기에 공원을 두되, 건물이 서로 부딪히지 않게 배치해라"라고 **지적 (Spatial Reasoning)**을 합니다.
• 특징: 건물이 서로 겹치지 않게 하고, 도로가 자연스럽게 이어지도록 물리 법칙을 준수합니다.

🏗️ 2 단계: '건물 생성자 (BuildingGen)' - 건물의 디테일 채우기

• 역할: 1 단계에서 정해진 각 건물의 외관 설명 (예: "유리창이 많은 현대식 외관") 을 듣고, **건물 상세 설계도 (빌딩 프로그램)**를 그립니다.
• 비유: 마치 건축 디자이너처럼, "창문은 파란색 유리, 지붕은 회색 콘크리트로 만들어줘"라고 세부 사항을 채워 넣습니다.
• 특징: 사용자가 말한 색상, 스타일, 재료가 실제 3D 모델에 정확히 반영되도록 합니다.

---

3. 어떻게 배우나요? "시험 (SFT) 과 실전 훈련 (RL)"

이 두 마법사가 처음부터 잘할 수는 없습니다. 그래서 두 단계로 훈련을 시킵니다.

1. 지도 학습 (SFT - 시험 공부):

   • 수많은 예제 (설명과 정답 설계도) 를 보여주고, 형식을 올바르게 따르는 법을 가르칩니다.
   • 비유: "설계도란 이렇게 JSON 이라는 형식으로 써야 해. 건물이 겹치면 안 돼."라고 기본 규칙을 외우게 합니다.

2. 강화 학습 (RL - 실전 훈련):

   • 여기서부터가 핵심입니다. AI 가 만든 도시를 보고 **"이건 너무 비현실적이야", "건물 색상이 설명과 달라"**라고 **점수 (리워드)**를 매겨줍니다.
   • 공간 정렬 보상: "건물이 서로 겹치지 않고, 공원이 제자리에 있니?"를 평가합니다.
   • 시각적 일관성 보상: "그림이 설명과 정말 비슷하니?"를 평가합니다.
   • 비유: AI 가 실수하면 감점을 주고, 잘하면 점수를 주어 스스로 더 똑똑해지도록 훈련시킵니다.

---

4. 가장 멋진 점: "말 한마디로 도시를 수정할 수 있다"

기존 기술로는 도시를 만든 후 건물을 하나 바꾸려면 다시 처음부터 그려야 했습니다. 하지만 CityGenAgent 는 설계도 (프로그램) 가 수정 가능하기 때문에, 자연어로 명령만 내리면 됩니다.

• 사용자: "이 아파트 건물을 중국의 전통 양식으로 바꿔줘."
• 시스템: "알겠습니다. (설계도를 분석하여) 층수를 줄이고, 지붕 모양을 기와 지붕으로 바꾸고, 창문 스타일을 변경합니다."
• 결과: 건물의 구조와 스타일이 동시에 바뀐 새로운 3D 모델이 나옵니다.

이는 단순히 그림을 입히는 것이 아니라, 건물의 구조 자체를 이해하고 변형한다는 뜻입니다. 마치 레고 조립본을 보고 "이 부분을 다른 모양으로 바꿔줘"라고 말하면, AI 가 그 부품들을 다시 조립해 주는 것과 같습니다.

---

5. 요약: 왜 이 기술이 중요한가요?

• 자율주행 & 가상현실: 실제와 똑같은 3D 도시를 빠르게 만들어 자율주행 자동차 훈련이나 VR 게임을 만들 수 있습니다.
• 조절 가능성: "도로를 더 넓게", "건물을 더 높게"라고 말하면 바로 반영됩니다.
• 고퀄리티: 건물이 뒤틀리지 않고, 실제 도시처럼 물리 법칙을 따릅니다.

결론적으로, CityGenAgent 는 "말만 하면, AI 가 도시 설계도를 짜고, 건물을 짓고, 심지어 수정까지 해주는" 차세대 3D 도시 생성 기술입니다. 이제 우리는 복잡한 코딩 없이, 상상만으로 도시를 지을 수 있게 되었습니다! 🌆✨

기술 요약

Imagine a City: CityGenAgent for Procedural 3D City Generation - 기술 요약

이 논문은 자율 주행, 가상 현실 (VR), 그리고 임베디드 지능 (Embodied Intelligence) 분야에서 중요한 과제로 남아 있는 대화형 3D 도시의 자동 생성 문제를 해결하기 위해 제안된 CityGenAgent라는 프레임워크를 소개합니다. 기존 방법론들이 고충실도 자산 생성, 제어 가능성, 그리고 조작의 어려움에 직면해 있던 반면, CityGenAgent는 자연어 기반의 계층적 절차적 (Procedural) 생성 방식을 통해 고품질의 3D 도시를 생성하고 편집할 수 있는 새로운 패러다임을 제시합니다.

1. 문제 정의 (Problem)

기존의 3D 도시 생성 기술은 다음과 같은 한계를 가지고 있었습니다:

• 기존 절차적 생성 (Rule-based): 수동 개입이 많이 필요하고 노동 집약적이며, 복잡한 도시 구조를 유연하게 생성하기 어렵습니다.
• 렌더링/확산 기반 (Rendering/Diffusion-based): NeRF 나 Diffusion 모델을 사용한 방법들은 시각적 품질은 높일 수 있으나, 3D 기하학적 정밀도 (Geometric Fidelity) 가 부족하고, 사용자가 장면을 정밀하게 제어하거나 편집하기 어렵습니다.
• LLM 기반 접근의 한계: 최근 대규모 언어 모델 (LLM) 을 활용한 시도들이 있었으나, 대부분 고정된 자산을 검색하여 배치하는 방식에 그쳤거나, 공간 추론 (Spatial Reasoning) 능력이 부족하여 입력 조건을 정확히 따르지 못하거나 반복적인 편집이 불가능했습니다. 또한, 도시 규모의 대규모 3D 데이터셋이 부족하다는 문제도 존재합니다.

2. 방법론 (Methodology)

CityGenAgent 는 자연어 프롬프트를 입력받아 계층적으로 구조화된 DSL(Domain-Specific Language) 프로그램을 생성하고, 이를 실행하여 3D 도시를 구축하는 2 단계 아키텍처를 사용합니다.

2.1. 계층적 프로그램 표현 (Hierarchical Program Representation)

도시 생성을 두 가지 해석 가능한 프로그램으로 분해합니다:

1. Block Program (블록 프로그램): 도시 블록의 전체 레이아웃을 정의합니다. 건물, 녹지 공간 등의 배치, 다각형 (Polygon) 형태, 층수, 외관 설명 등을 포함합니다. 건물의 충돌을 방지하고 물리적으로 타당한 밀도를 유지하는 것이 핵심입니다.
2. Building Program (빌딩 프로그램): 각 건물의 세부적인 외관 (파사드) 을 정의합니다. 창문, 문, 지붕 등 구성 요소의 스타일, 색상, 재질, 장식적 디테일을 자연어와 구조화된 형식으로 기술합니다.

2.2. 에이전트 모델 및 학습 전략 (Agents & Training Strategy)

두 가지 전문 에이전트 (BlockGen과 BuildingGen) 를 개발하여 위 프로그램을 생성합니다. 학습은 두 단계로 진행됩니다:

• 지도 미세 조정 (SFT, Supervised Fine-Tuning):
  • 모델이 사용자 지시를 따르고 올바른 JSON 형식의 프로그램을 생성하도록 학습시킵니다.
  • BlockGen 은 유효한 다각형 (비자기 교차, 폐쇄된 형태) 과 필드 완결성을 학습합니다.
  • BuildingGen 은 텍스트 설명을 구성 요소 기반의 프로그램으로 매핑하는 능력을 학습합니다.
• 강화 학습 (RL, Reinforcement Learning):
  • SFT 만으로는 복잡한 공간 추론과 일반화가 어렵기 때문에, PPO(Proximal Policy Optimization) 를 적용하여 성능을 향상시킵니다.
  • Spatial Alignment Reward (공간 정렬 보상): BlockGen 을 위해 설계되었습니다. 의미론적 일관성 (입력 텍스트와의 일치), 전역적 타당성, 기하학적 겹침 방지 (Overlap), 그리고 건물 밀도 (Footprint Density) 를 평가하여 물리적으로 타당한 레이아웃을 유도합니다.
  • Visual Consistency Reward (시각적 일관성 보상): BuildingGen 을 위해 설계되었습니다. 생성된 프로그램을 렌더링한 이미지와 입력 텍스트 간의 정렬, 색상 조화, 스타일 일관성, 재질 일관성을 평가하여 텍스트 설명과 시각적 결과가 일치하도록 유도합니다.

2.3. 실행 및 상호작용 (Execution & Manipulation)

생성된 프로그램은 에디터 (Executor) 를 통해 3D 메시 (Mesh) 와 자산으로 변환됩니다. 중요한 점은 이 프로그램이 편집 가능한 프록시 (Editable Proxy) 역할을 한다는 것입니다. 사용자는 생성된 도시의 특정 블록이나 건물을 자연어 명령 (예: "스타일을 중국식으로 변경", "층수를 줄여라") 으로 수정할 수 있으며, 모델은 이를 반영하여 프로그램을 업데이트하고 3D 장면을 다시 생성합니다.

3. 주요 기여 (Key Contributions)

1. 3D 도시 생성 전용 프로그램 설계: Block Program 과 Building Program 을 도입하여 도시를 블록, 건물, 구성 요소로 분해함으로써 유연한 제어와 실행 가능한 구조를 제공했습니다.
2. CityGenAgent 프레임워크 개발: BlockGen 과 BuildingGen 에이전트를 SFT 와 RL(공간 정렬 보상 및 시각적 일관성 보상 포함) 을 통해 최적화하여, 공간 추론 능력과 시각적 충실도를 동시에 확보했습니다.
3. 자연어 기반 상호작용 및 편집: 외부 도구 없이 자연어 명령만으로 도시의 스타일, 구조, 공간 분포를 정밀하게 조작할 수 있는 시스템을 구현했습니다.

4. 실험 결과 (Results)

• 정량적 평가: 텍스트 정렬 (Text Alignment) 과 시각적 일관성 (Visual Consistency) 에서 기존 방법들 (CityDreamer, CityCraft, Hunyuan3D 등) 보다 우수한 성능을 보였습니다. 특히 기하학적 품질 지표 (ROS: 직교성, OTR: 과도한 테셀레이션 비율) 에서도 가장 높은 점수를 기록하여 더 깔끔하고 구조적인 메쉬를 생성함을 입증했습니다.
• 효율성: 단일 블록 생성에 약 0.75 분이 소요되어, 기존 방법들 (Hunyuan3D: 3 분, CityCraft: 1 분, 수동 모델링: 60 분) 보다 훨씬 빠릅니다. 토큰 효율성 면에서도 성능 향상에 비해 토큰 사용량이 미미하게 증가했습니다.
• 품질 비교: 시각적 비교에서 기존 방법들은 도시 디테일 부족, 비현실적인 스케일, 또는 만화 같은 스타일 제한을 보인 반면, CityGenAgent 는 현실적인 도시 규칙을 따르면서도 깔끔한 평면과 구조적 명확성을 유지했습니다.
• 조작 능력: "중국식 스타일로 변경"과 같은 명령을 통해 단순한 텍스처 변경을 넘어, 전통적인 중국 건축의 구조적 위상 (층수 감소 등) 을 자동으로 추론하여 적용하는 능력을 보여주었습니다.

5. 의의 및 결론 (Significance)

CityGenAgent 는 자연어와 절차적 생성을 결합하여 고품질, 제어 가능, 그리고 상호작용 가능한 3D 도시 생성의 새로운 기준을 제시합니다.

• 확장성: 대규모 도시 시나리오를 위한 컴팩트한 표현 방식을 제공하여 데이터 부족 문제를 우회하고 확장 가능한 생성을 가능하게 합니다.
• 응용 분야: 자율 주행 시뮬레이션, 게임 개발, VR/AR 콘텐츠 제작, 도시 계획 등 다양한 분야에서 고품질의 3D 환경을 신속하게 구축할 수 있는 기반을 마련했습니다.
• 미래 전망: 이 연구는 단순한 이미지 생성을 넘어, 구조적으로 타당하고 의미론적으로 정합적인 3D 세계를 구축하는 데 있어 LLM 의 공간 추론 능력을 극대화하는 중요한 진전으로 평가됩니다.

결론적으로, CityGenAgent 는 텍스트 프롬프트를 통해 복잡한 3D 도시를 생성하고 실시간으로 수정할 수 있는 강력한 도구로서, 디지털 트윈 및 메타버스 생태계의 발전에 중요한 기여를 할 것으로 기대됩니다.