Yo'City: Personalized and Boundless 3D Realistic City Scene Generation via Self-Critic Expansion

이 논문은 오프더셸 대형 모델의 추론 및 구성 능력을 활용하여 'Yo'City'라는 새로운 에이전트 프레임워크를 제안함으로써, 사용자의 맞춤형 요구를 반영하고 무한히 확장 가능한 사실적인 3D 도시 장면을 생성하는 방법을 제시합니다.

핵심

요시티 (Yo'City): 상상만 해도 도시가 만들어지는 마법 같은 AI

이 논문은 **"요시티 (Yo'City)"**라는 새로운 기술을 소개합니다. 쉽게 말해, **"사용자가 말로만 설명하면 AI 가 그 말대로 현실처럼 생생하고 끝없이 넓어지는 3D 도시를 만들어주는 시스템"**입니다.

기존의 방법들은 도시를 만들 때 한 번에 다 만들거나, 지도 데이터가 꼭 필요했지만, 요시티는 인간처럼 생각하면서 (Reasoning) 도시를 설계하고, 사용자와 대화하며 도시를 확장해 나갑니다.

이 복잡한 기술을 누구나 이해할 수 있도록 창의적인 비유로 설명해 드릴게요.

---

1. 기존 방식 vs 요시티: "레고 조립"과 "건축가 팀"의 차이

• 기존 방식 (SynCity 등):

  • 비유: 마치 한 장의 종이 위에 점 하나씩 찍어가며 그림을 그리는 사람 같습니다.
  • 문제점: 한 칸을 그릴 때 앞의 칸만 보고 그리기 때문에, 도시가 커지면 전체적인 균형이 깨집니다. (예: 왼쪽은 고층 빌딩이 빽빽하고 오른쪽은 빈 들판이 되는 식) 또한, 사용자가 "해리포터 테마파크를 만들어줘"라고 해도, 그걸 어떻게 도시 전체에 자연스럽게 녹여낼지 모릅니다.

• 요시티 (Yo'City):

  • 비유: 현명한 건축가 팀 (에이전트) 이 모여 회의를 하는 것 같습니다.
  • 해결책: 도시를 만들 때 한 번에 다 그리지 않고, 상위 계획 (전체 구도) → 중위 계획 (구획 나누기) → 하위 계획 (개별 건물 디자인) 순서로 단계별로 생각하며 만듭니다.

---

2. 요시티가 도시를 만드는 4 단계 과정

요시티는 도시를 만들기 위해 4 명의 '전문가 (AI 에이전트)'가 팀을 이루어 일합니다.

① 글로벌 플래너 (Global Planner) = "도시의 총괄 기획자"

• 역할: 사용자가 "활기찬 비즈니스 도시를 만들어줘"라고 하면, 이 기획자가 도시의 큰 그림을 그립니다.
• 비유: 마치 도시 계획 위원회처럼, "여기는 주거 지역, 저기는 상업 지구, 저기엔 공원"처럼 큰 구역을 나누고, 각 구역이 얼마나 커야 하는지, 어디에 위치해야 하는지 지도 (그리드) 위에 대략적으로 표시합니다.
• 특이사항: 만약 "뉴욕 스타일"이라고 하면, AI 는 위키피디아 같은 자료를 찾아 뉴욕의 실제 구조를 참고하여 더 현실적인 계획을 세웁니다.

② 로컬 디자이너 (Local Designer) = "세부 설계사"

• 역할: 기획자가 그린 큰 구역을 **하나하나의 작은 블록 (그리드)**으로 세분화합니다.
• 비유: 총괄 기획자가 "여기는 아파트 단지"라고 했다면, 이 설계사는 **"30 층짜리 회색 콘크리트 아파트가 줄지어 있고, 사이사이에 작은 광장이 있다"**처럼 아주 구체적인 묘사를 합니다.
• 핵심: 각 블록이 서로 어울리도록 스타일과 분위기를 통일시킵니다.

③ 3D 생성기 (3D Generator) = "현실 구현자"

• 역할: 설계사가 쓴 텍스트를 보고 실제 3D 건물을 만듭니다.
• 비유: 이 부분은 화려한 그림을 그리는 화가가 아니라, **작업실 (공방)**에서 일하는 장인 같습니다.
  1. 만들기 (Produce): 먼저 2D 정면 그림을 그립니다.
  2. 다듬기 (Refine): 그림이 이상하면 (건물이 비뚤어지거나, 바닥이 남았으면) 고칩니다.
  3. 평가 (Evaluate): "이거 진짜 도시 같아?"라고 스스로 평가합니다. 만족스럽지 않으면 다시 그립니다.
  4. 3D 로 변환: 최종적으로 2D 그림을 입체적인 3D 모델로 바꿉니다.

④ 확장 모듈 (Expansion Module) = "도시의 미래 설계자"

• 역할: 이미 만들어진 도시에 새로운 건물을 추가할 때, 가장 적절한 위치를 찾아줍니다.
• 비유: 도시가 이미 있는데 "여기에 대형 쇼핑몰을 짓고 싶어"라고 하면, 이 모듈은 **도시의 관계 지도 (Scene Graph)**를 봅니다.
  • "쇼핑몰은 사람들이 많은 주거 지역 가까이 있어야 해."
  • "하지만 공장이나 시끄러운 지역과는 멀리 떨어져 있어야 해."
  • 이런 논리적 거리와 의미를 고려하여, 도시 전체가 자연스럽게 이어지도록 최적의 자리에 새로운 블록을 배치합니다.

---

3. 왜 이 기술이 특별한가요? (핵심 장점)

1. 끝없는 확장 (Boundless):

   • 기존 기술은 도시가 커지면 망가졌지만, 요시티는 사용자가 "더 넓게 만들어줘"라고 할 때마다 새로운 구역을 자연스럽게 붙여나갈 수 있습니다. 마치 레고를 계속 쌓아 올리는 것처럼요.

2. 개인화된 디자인 (Personalized):

   • "해리포터 테마파크", "고대 실크로드 도시", "미래형 스페이스 시티"처럼 아주 특이하고 구체적인 요청도 잘 받아들여 구현합니다.

3. 현실감 (Realism):

   • 건물의 질감, 창문, 거리 배치 등이 실제 도시처럼 매우 정교합니다. 단순히 블록을 쌓은 게 아니라, 실제 도시의 리듬을 가지고 있습니다.

4. 스스로 비판하고 고침 (Self-Critic):

   • AI 가 만든 결과물을 스스로 "이건 너무 비뚤어졌네", "건물이 너무 적네"라고 **비판 (Self-Critic)**하고 다시 고치는 과정을 거칩니다. 덕분에 결과물의 품질이 매우 높습니다.

---

4. 결론: "상상하는 대로 도시가 펼쳐진다"

요시티는 단순히 그림을 그리는 AI 가 아니라, **도시를 계획하고 설계하고, 확장까지 생각하는 '지능형 건축가'**입니다.

이 기술이 발전하면, 가상 현실 (VR) 게임, 디지털 트윈 (실제 도시의 가상 복제), 영화 배경 등을 만들 때, 개발자가 복잡한 코드를 짜거나 수작업으로 건물을 쌓을 필요 없이, **"이런 도시가 필요해"**라고 말하기만 하면 AI 가 바로 현실 같은 3D 도시를 만들어줄 것입니다.

마치 마법 지팡이를 휘두르면 도시가 생기는 것과 같은 경험을 제공하는 것이 바로 요시티의 목표입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 3D 도시 생성 방법론은 다음과 같은 한계를 가지고 있습니다:

• 개인화 및 확장성 부족: 단일 확산 모델 (Diffusion Model) 에 의존하는 대부분의 기존 방법들은 사용자의 맞춤형 요구사항을 반영하거나, 무한히 확장 가능한 도시 규모의 장면을 생성하는 데 한계가 있습니다.
• 계층적 구조 부재: 실제 도시는 '도시 - 지구 (District) - 격자 (Grid)'와 같은 명확한 위계적 구조를 가지고 있지만, 기존 방법 (예: SynCity) 은 평면적인 (flat) 생성 방식을 사용하여 대규모 도시에서 전역적 일관성 (Global Consistency) 을 유지하기 어렵습니다.
• 현실성 결여: 단순한 기하학적 구조, 만화 같은 외관, 흐릿한 질감 등으로 인해 사실적인 도시 합성이 어렵습니다.
• 상호작용의 부재: 지도 데이터나 위성 이미지에 의존하거나, 사용자 텍스트 입력에 유연하게 대응하지 못하여 디지털 트윈이나 가상 현실과 같은 응용 분야에 적합하지 않습니다.

2. 방법론 (Methodology)

저자들은 Yo'City라는 새로운 에이전트 기반 (Agentic) 프레임워크를 제안합니다. 이는 오프더셸 (off-the-shelf) 대형 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 의 추론 및 구성 능력을 활용하여 사용자 정의 텍스트 입력을 기반으로 개인화되고 무한히 확장 가능한 3D 도시를 생성합니다.

핵심 아키텍처 및 프로세스

1. 계층적 계획 전략 (Hierarchical Planning Strategy):

   • Global Planner (전역 계획자): 사용자의 고수준 텍스트 프롬프트를 해석하여 도시의 전체 레이아웃, 지구 (District) 의 수, 크기, 기능, 위치를 결정합니다.
     • RAG (Retrieval-Augmented Generation): "뉴욕과 같은"과 같은 구체적인 참조를 위해 위키피디아 코퍼스에서 관련 도시 정보를 검색하여 실제 도시의 공간적 논리와 미적 특성을 반영합니다.
   • Local Designer (지역 설계자): 전역 계획자의 청사진을 바탕으로 각 격자 (Grid) 단위에서 상세한 텍스트 설명을 생성합니다. 건축 스타일, 밀도, 랜드마크, 주변 맥락 등을 정의하며, 공간적 및 스타일적 일관성을 유지합니다.

2. 3D 생성 파이프라인 (3D Generator):

   • Produce-Refine-Evaluate Loop (생성 - 정제 - 평가 루프): 각 격자 설명에 대해 2D 등각 투상 (Isometric) 이미지를 생성합니다.
     • Produce: 초기 이미지 생성.
     • Refine: 이미지 편집 모델을 사용하여 플랫폼을 제거하고 기하학적 결함을 수정하며 다양성을 향상시킵니다.
     • Evaluate: 전문 평가자가 텍스트 - 이미지 정렬, 사실성, 레이아웃 합리성을 평가합니다. 기준을 만족할 때까지 루프가 반복됩니다.
   • Image-to-3D: 생성된 고품질 등각 이미지를 사전 훈련된 모델 (Hunyuan3D 등) 을 통해 3D 자산으로 변환합니다.
   • Scene Assembly: 생성된 모든 3D 격자를 미리 정의된 레이아웃에 따라 병렬로 조립하고, 도로 및 지면 요소를 추가하여 완성된 도시 장면을 구성합니다.

3. 관계 기반 확장 메커니즘 (Relationship-guided Expansion):

   • Self-Critic Expansion: 사용자가 도시 확장을 요청하면, VLM 이 기존 장면을 분석하여 새로운 격자의 내용과 기존 지구와의 관계를 추론합니다.
   • Scene Graph Optimization: 새로운 격자와 기존 지구 간의 관계 (예: "가까움", "멀음") 를 인코딩한 장면 그래프를 구축합니다.
   • Distance- and Semantics-aware Optimization:
     • 거리 목적 함수: 기능적 영역 간의 공간적 근접성 원칙 (예: 주거지와 학교는 가까워야 함, 공업지와 주거지는 멀어야 함) 을 반영합니다.
     • 시맨틱 정규화: 새로운 격자의 설명과 주변 격자 간의 의미적 유사성을 최적화하여 맥락적 조화를 보장합니다.
   • 이를 통해 도시는 사용자의 상호작용에 따라 무한히 확장되면서도 공간적으로 일관성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. Yo'City 프레임워크 제안: 사용자 정의 텍스트 지시에 기반한 개인화되고 무한한 3D 사실적 도시 생성을 위한 최초의 다중 에이전트 프레임워크입니다.
2. 계층적 계획 및 확장 메커니즘: '도시 - 지구 - 격자' 구조를 모델링한 상향식 (Top-down) 계획 전략과, 장면 그래프 기반의 거리 및 의미 인식 최적화를 통한 자동화된 도시 확장 메커니즘을 도입했습니다.
3. 다차원 평가 벤치마크 구축: 의미적 일관성, 기하학적 충실도, 질감 명확성, 레이아웃 일관성, 장면 커버리지, 전반적 사실성 등 6 가지 차원에서 생성 품질을 평가하는 새로운 벤치마크와 메트릭을 제시했습니다.

4. 실험 결과 (Results)

• 정량적 평가: VQAScore(의미적 일관성) 및 GPT-5 와 인간 평가자를 통한 6 가지 시각적 품질 지표에서 기존 최첨단 방법 (Trellis, Hunyuan3D, CityCraft, SynCity) 보다 일관되게 우월한 성능을 보였습니다.
  • 특히 Layout Coherence(레이아웃 일관성) 와 Overall Realism(전반적 사실성) 에서 90% 이상의 승률을 기록했습니다.
• 정성적 평가: SynCity 와 같은 기존 방법들은 대규모 도시에서 공간적 불일치, 흐릿한 질감, 비현실적인 기하학적 구조를 보인 반면, Yo'City 는 명확한 질감, 세밀한 디테일 (창문 등), 그리고 일관된 스케일과 간격을 가진 사실적인 도시를 생성했습니다.
• 확장성: 여러 번의 확장 단계 (Expansion Steps) 를 거친 후에도 전역 스타일과 의미적 일관성이 유지되었으며, VQAScore 의 변동 계수 (CV) 가 매우 낮아 (3.34%) 안정성이 입증되었습니다.
• 효율성: 병렬 생성 파이프라인을 통해 SynCity 와 비교하여 더 빠른 생성 시간과 효율적인 GPU 메모리 사용량을 보였습니다.

5. 의의 및 의의 (Significance)

• 새로운 패러다임: 단일 모델 의존에서 벗어나 에이전트 기반의 협력적 추론을 통해 복잡한 3D 도시 생성 문제를 해결했습니다.
• 실용적 응용: 가상 현실 (VR), 디지털 트윈, 게임 개발, 도시 계획 시뮬레이션 등 다양한 분야에서 맞춤형이고 사실적인 대규모 3D 환경을 실시간으로 구축할 수 있는 가능성을 열었습니다.
• 지속 가능한 생성: 사용자가 텍스트로 상호작용하며 도시를 무한히 확장하고 진화시킬 수 있게 함으로써, 정적인 생성이 아닌 동적인 도시 생성의 새로운 지평을 제시했습니다.

이 논문은 생성형 AI 를 활용한 3D 콘텐츠 제작의 한계를 극복하고, 사용자 중심의 고도로 사실적이고 확장 가능한 가상 도시 생성을 가능하게 하는 중요한 기술적 진보를 보여줍니다.