ShellMaker: Language-Guided Exterior Completion under Structural Constraints

기술 요약: ShellMaker: 구조적 제약 조건 하에서의 언어 가이드형 외부 완성(Exterior Completion)

문제 정의
최근 실내 장면 생성 기술의 발전으로 구조화된 평면도와 벽체 레이아웃을 갖춘 그럴듯한 실내 공간을 자동 합성하는 것이 가능해졌으나, 이러한 시스템들은 일반적으로 건물 외피(shell) 단계에서 종료된다. 이들은 생성된 내부 구조와 스타일적으로 일관된 외관(파사드 및 지붕)을 생성하는 데 실패한다. 텍스트-to-3D 및 이미지-to-3D를 포함한 기존의 3D 생성 모델들은 대개 제약 조건이 없으며, 외부 완성 과정에 요구되는 엄격한 구조적 제약을 준수하는 데 어려움을 겪는다. 구체적으로, 생성된 외관은 내부 레이아웃과 호환성을 유지하기 위해 고정된 건물의 점유 면적(footprint), 벽체 기하학, 그리고 문과 창문의 정밀한 공간적 의미론(semantics)을 엄격히 보존해야 한다. 현재의 방식들은 이러한 제약을 위반하여, 생성된 자산이 하부 스캐폴드(scaffold)와 기하학적으로 어긋나거나 구조적으로 부조화한 결과를 초출하는 경우가 많다. 또한, 구조화된 건물 레이아웃과 완전히 텍스처링된 외부 메쉬를 연결하는 대규모 쌍 데이터셋(paired datasets)이 부족하여, 이 특정 작업을 위한 제어 가능한 생성 모델의 학습을 제한하고 있다.

방법론
ShellMaker는 구조적 제약을 엄격히 준수하면서 구조적 스캐폴드로부터 건물 외관을 완성하도록 설계된 언어 가이드형 프레임워크이다. 이 시스템은 형식에 구애받지 않는 스캐폴드 표현(실내 장면 생성기, CityGML 또는 CAD 모델에서 유도됨)과 텍스트 기반 스타일 프롬프트를 기반으로 작동한다. 합성 과정은 세 가지의 조율된 단계로 분해된다:

1. 구조 생성 단계 (Structure Generation Stage):

   • 스캐폴드 파싱 (Scaffold Parsing): 이질적인 입력값(실내 장면 그래프, CityGML, BIM/CAD)을 벽체 세그먼트, 바닥 폴리곤 및 개구부 메타데이터를 포함하는 통합 스키마로 변환한다.
   • 점유 면적 분해 (Footprint Decomposition): 복잡한 점유 면적을 지붕 생성을 용이하게 하기 위해 직선 스켈레톤 분해(medial axis) 또는 그리디 직사각형 분해(greedy rectangle decomposition)를 사용하여 단순한 하위 영역으로 분할한다.
   • 파라메트릭 지붕 생성 (Parametric Roof Generation): 피치 각도(pitch angle) 및 오버행(overhang)과 같은 파라미터에 의해 제어되는 5가지 표준 유형(평지붕, 박공지붕, 피라미드형, 모치형, 반모치형)으로부터 지붕 기하학을 생성한다. 지붕은 단일 질량(single mass) 또는 복잡한 점유 면적 위의 세분화된 구성으로 생성될 수 있다.

2. 스타일화 단계 (Stylization Stage):

   • 부분 인식 프롬프트 정제 (Part-Aware Prompt Refinement): 인스트럭션 튜닝된 대규모 언어 모델(LLM)이 거친 사용자 프롬프트(예: "빅토리아 양식의 빵집")를 개별 건축 요소(벽, 지붕, 창문, 문)를 위한 구조화되고 부분적인 프롬프트로 정제한다. 이는 LLM이 합성 과정을 복잡하게 만들 수 있는 환경적 맥락을 제외하고 상세한 기하학적 및 장식적 단서를 생성하도록 보장한다.
   • 2단계 텍스트-to-3D 합성 (Two-Stage Text-to-3D Synthesis): 정제된 프롬프트는 Nano Banana에 의해 참조 이미지를 생성하는 데 처리되며, 이후 Trellis-2에 의해 PBR 재질을 가진 텍스처드 메쉬로 재구성된다.
   • 결합 벽체-지붕 텍스처 검색 (Joint Wall-Roof Texture Retrieval): 텍스처를 처음부터 생성하는 대신, ShellMaker는 호환성을 고려한 검색 메커니즘을 채택한다. 시스템은 재료 공존성, 색상 조화(Lab*), 주파수 정렬(2D FFT), 그리고 의미론적 유사성(CLIP)을 기반으로 호환성 행렬을 사전 계산한다. 실행 시에는 프롬프트 정렬도와 교차 표면 호환성을 모두 극대화하는 벽체 및 지붕 텍스처 쌍을 선택한다.

3. 조립 단계 (Assembly Stage):

   • 기하학 인식 조립 (Geometry-Aware Assembly): 시스템은 스캐폴드, 생성된 지붕, 그리고 자산을 하나의 메쉬로 통합한다.
   • 형태 순응형 커팅 (Shape-Conforming Cutting): 생성된 자산으로부터 2D 경계 폴리곤을 추출하여 문과 창문의 위치를 사전 정의된 위치와 정밀하게 정렬하기 위한 불리언 차집합(boolean subtraction)을 수행한다.
   • UV 파라미터화 (UV Parameterization): 서로 다른 재료 간에 일관된 지각적 텍스처 밀도를 유지하기 위해, 텍스처의 지배적인 공간 주파수에 따라 자동 리스케일링된 월드 공간 평면 UV를 할당한다.
   • 디테일링 (Detailing): 선택적인 절차적 생성을 통해 지붕 유틸리티(배수구, 선홈통) 및 장식(굴뚝, 도머)을 추가하며, 이는 지붕 기하학에 맞춰 절단(clip)된다.

주요 기여

1. 태스크 정식화: 본 논문은 언어 가이드형 외부 완성을 엄격한 스캐폴드 제약 조건 하에서 수행하는 문제를 정식화하여, 부분적인 건물 스캐폴드를 완전하고 스타일이 일관된 자산으로 변환한다.
2. 모듈형 파이프라인: 절차적 구조 생성, LLM 기반 부분별 스타일화, 호환성 인식 재료 검색을 통합하는 새로운 파이프라인을 제시한다. 이 모듈형 접근 방식은 단계 간 오류 전파를 제한하고 자산 재사용을 용이하게 한다.
3. 기하학 인식 조립: 점유 면적, 벽체 경계 및 개구부 배치를 엄격히 보존하는 조립 프로세스를 도입하여, 편집 가능하고 부분 구조화된 외부 메쉬를 생성한다.

결과
저자들은 200개의 다양한 스캐폴드(실내 생성기 100개, CityGML 50개, CAD 50개)를 대상으로 60개의 스타일 프롬프트와 500개 이상의 텍스처 라이브러리를 사용하여 ShellMaker를 평가하였다.

• 정량적 지표: ShellMaker는 0.992의 Footprint IoU와 0.091의 Opening Center L2 오차를 달성하였으며, 이는 구조적 무결성 유지에 어려움을 겪은 베이스라인 모델들(Trellis-2, SpaceControl, SAT-Skylines)을 크게 상회하는 수치이다 (예: Trellis-2의 Footprint IoU는 0.492). 또한 ShellMaker는 스타일 정렬 지표(CLIP-Sim 및 UNI3D)에서도 베이스라인과 대등하거나 이를 능가하는 성능을 보였다.
• 지각적 평가: GPT-4.1을 심사위원으로 사용한 2AFC 연구에서, ShellMaker는 모든 베이스라인에 대해 70% 이상의 승률을 기록하였으며, 특히 구조적 타당성(84.1% vs. Trellis-2)에서 높은 점수를 받았다.
• 일반화: 시스템은 다양한 입력 형식에 대해 일관된 성능을 보여주었으나, 노이즈가 있는 기하학을 가진 CAD 입력의 경우 구조적 지표가 약간 낮게 나타났다.

의의 및 주장
본 논문은 ShellMaker가 지각적 현실성과 레이아웃 충실도가 높은 외부 합성 사이의 간극을 메운다고 주장한다. 형식에 구애받지 않는 스캐폴드 상에서 작동함으로써, 이 모델은 기존 파이프라인을 수정하지 않고도 실내 장면 파이프라인, CityGML 데이터, 또는 CAD 모델로 생성된 건물의 외부를 자동으로 완성할 수 있게 한다. 저자들은 자신들의 방법이 독립적인 검색 파이프라인 및 제약 없는 생성 베이스라인에 비해 건축적 일관성, 재료 조화, 그리고 제약 조건 만족도를 향상시킨다고 단언한다. 이 연구는 코어러스한 내부와 구조적으로 유효하며 스타일적으로 일관된 외부를 모두 갖춘 완전한 건물 자산을 자동 합성하기 위한 실질적인 단계이다. 저자들은 퇴보적인 부분 생성(degenerate part generation) 처리와 현재의 층별 파사드 분절(articulation) 기능의 부재를 한계점으로 인정하며, 향후 연구에서 공동 레이아웃 생성 및 생성적 텍스처 합성을 탐구할 수 있음을 언급하였다.