Tokenization Allows Multimodal Large Language Models to Understand, Generate and Edit Architectural Floor Plans

이 논문은 기하학적 유효성과 제어 가능성을 갖춘 통합 프레임워크 'HouseMind'를 제안하여, 이산형 방 인스턴스 토큰을 활용하여 텍스트 명령에 따라 건축 평면도를 이해, 생성 및 편집하는 멀티모달 대규모 언어 모델을 소개합니다.

핵심

이 논문은 **'HouseMind(하우스마인드)'**라는 새로운 인공지능을 소개합니다. 이 AI 는 건축가가 평면도 (방 배치도) 를 그릴 때처럼, 자연어 (말) 로 명령하면 방 배치를 이해하고, 만들고, 수정까지 해주는 능력을 가졌습니다.

기존의 AI 들이 그림을 그리는 데는 능숙했지만, "거실은 주방 옆에 있어야 하고, 침실은 화장실과 연결되어야 한다"는 공간적인 논리를 깨닫지 못해 엉뚱한 방 배치를 만들어내곤 했습니다. HouseMind 는 이 문제를 해결했습니다.

이 복잡한 기술을 누구나 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 핵심 아이디어: "방을 레고 블록으로 바꾸다" (토크나이제이션)

기존 AI 는 평면도를 '픽셀'이라는 작은 점들의 집합으로만 봤습니다. 마치 거대한 모자이크 그림을 보듯, "이곳은 빨간색, 저곳은 파란색"이라고만 알 뿐, "저건 주방이고, 저건 침실이야"라는 의미를 모았습니다.

HouseMind 의 비유: "레고 블록 언어"
HouseMind 는 평면도를 레고 블록처럼 쪼개서 이해합니다.

• 전체 집의 윤곽 (Outline): 집의 외곽선을 나타내는 큰 '레고 판'입니다.
• 각 방 (Room): 주방, 침실, 욕실 등은 각각 고유한 모양과 이름이 있는 '레고 블록'입니다.

AI 는 그림을 그리는 게 아니라, **"주방 블록을 거실 블록 오른쪽에 붙여라"**라고 **레고 블록의 언어 (토큰)**로 대화합니다. 이렇게 하면 AI 는 단순히 그림을 그리는 게 아니라, 방들의 관계와 논리를 생각하며 배치를 설계하게 됩니다.

2. 세 가지 능력: "건축가의 3 인조 팀"

HouseMind 는 하나의 모델로 세 가지 일을 모두 해냅니다. 마치 건축 설계 사무소의 팀원들처럼요.

① 이해하기 (Understanding): "방배치도 해설가"

• 상황: 이미 그려진 평면도를 AI 에게 보여줍니다.
• 작업: AI 는 "여기는 거실이고, 주방이 그 오른쪽에 있네요. 침실은 위층에 있고요"라고 말로 설명하거나, JSON(데이터) 형식으로 정리해 줍니다.
• 비유: 복잡한 지도를 보고 "이곳은 쇼핑몰이고, 왼쪽에 주차장이 있네요"라고 정확히 설명하는 해설가입니다.

② 만들기 (Generation): "상상력 있는 건축가"

• 상황: "3 개의 침실과 1 개의 욕실, 그리고 남동쪽에 큰 주방이 있는 집을 만들어줘"라고 말만 합니다.
• 작업: AI 는 집의 윤곽선만 주면, 말한 대로 완벽한 평면도를 그립니다.
• 비유: "내 꿈의 집을 그려줘"라고 하면, 논리적으로 방들이 서로 연결되고 문이 잘 열리는 건축가가 바로 설계도를 그려냅니다.

③ 수정하기 (Editing): "손이 빠른 리모델링 전문가"

• 상황: 이미 만들어진 평면도에서 "현관 옆에 작은 주방을 추가해 줘"라고 말합니다.
• 작업: AI 는 전체 집 구조를 망가뜨리지 않고 딱 필요한 부분만 수정해 줍니다.
• 비유: 기존 집 구조를 해체하지 않고, 새로운 방을 끼워 넣는 전문 리모델링 기사처럼, 다른 방들은 그대로 둔 채 요청한 부분만 정확히 바꿉니다.

3. 왜 이것이 중요한가요? (기존 AI 와의 차이)

• 기존 AI (Diffusion 모델 등): 그림을 그릴 때 픽셀 단위로만 생각해서, "주방이 거실 안에 있거나", "화장실이 지붕 위에 있거나" 같은 논리적 오류를 자주 범했습니다. (마치 그림은 예쁘지만, 문이 벽에 박혀 있는 집)
• HouseMind: 레고 블록 (방) 단위로 생각하기 때문에, **방과 방 사이의 관계 (인접성, 이동 동선)**를 항상 올바르게 유지합니다.

4. 요약: 집착하는 건축가에서 '이해하는' 건축가로

이 연구는 **"AI 가 그림을 그리는 것"을 넘어 "공간을 이해하고 논리적으로 설계하는 것"**으로의 도약을 보여줍니다.

• 과거: AI 는 "그림을 그리는 도구"였습니다.
• HouseMind: AI 는 **"공간을 생각하는 파트너"**가 되었습니다.

이 기술은 건축가들이 반복적인 작업을 줄이고, 더 창의적인 설계에 집중할 수 있게 도와주며, 일반인도 간단한 말로 나만의 이상적인 집 평면도를 쉽게 만들어볼 수 있는 미래를 열어줍니다.

한 줄 요약:

HouseMind 는 평면도를 '그림'이 아닌 '레고 블록'으로 이해하여, 말로만 명령해도 논리적이고 완벽한 집 배치를 이해, 제작, 수정해주는 똑똑한 건축 AI 입니다.

기술 요약

1. 문제 정의 (Problem)

건축 평면도 (Floor Plan) 설계는 기하학적 형태, 기능적 의미 (실의 용도), 그리고 공간적 위계 (인접성, 동선 등) 를 동시에 추론해야 하는 복잡한 작업입니다. 기존 AI 시스템은 다음과 같은 한계를 겪고 있습니다.

• 공간적 일관성 부재: 최근의 확산 모델 (Diffusion) 이나 생성 모델은 시각적 충실도는 높일 수 있으나, 방 단위 (Room-instance) 에서의 명시적 추론이 부족하여 전체적인 공간적 일관성 (예: 방 간의 일관된 인접 관계) 이 결여된 경우가 많습니다.
• 제어 및 해석의 어려움: 대규모 언어 - 비전 모델 (VLM) 은 블랙박스처럼 작동하여 특정 공간 구조를 정밀하게 제어하거나 생성된 결과의 논리를 해석하기 어렵습니다.
• 작업 통합의 부재: 기존 프레임워크는 평면도 '이해', '생성', '편집' 작업을 통합된 단일 아키텍처에서 수행하지 못하며, 대부분 계산 비용이 크고 로컬 배포가 어렵습니다.

2. 제안 방법론: HouseMind

저자들은 HouseMind라는 효율적이고 로컬 배포가 가능한 멀티모달 대형 언어 모델 (MLLM) 을 제안합니다. 이 모델은 **계층적 토큰화 (Hierarchical Tokenization)**를 통해 연속적인 기하학적 구조를 이산적인 시퀀스로 변환하고, 이를 LLM 을 통해 추론하게 합니다.

핵심 구성 요소

1. 방 인스턴스 토큰화 (Room-Instance Tokenization):

   • **VQ-VAE (Vector-Quantized Variational Autoencoder)**를 사용하여 평면도의 외곽선 (Outline) 과 개별 방 (Room) 을 이산적인 토큰 시퀀스로 변환합니다.
   • 외곽선 토큰: 건물의 전체 경계를 표현하는 전역 토큰.
   • 조건부 방 토큰: 각 방의 기하학적 형태를 외곽선 컨텍스트와 함께 인코딩하여 공간적 인접성과 맥락을 반영합니다.
   • 이를 통해 기하학적 구조와 의미론적 정보 (방의 종류) 를 통합된 어휘 (Vocabulary) 로 표현합니다.

2. 멀티모달 정렬 및 지시 미세 조정 (Multimodal Alignment & Instruction Tuning):

   • HouseMind 는 3 단계 학습 파이프라인을 따릅니다.
     • Stage 1 (임베딩 초기화): VQ-VAE 에서 학습된 공간 코드 (Outline/Room codes) 에 고유한 토큰 임베딩을 할당하여 언어 모델의 어휘에 통합합니다.
     • Stage 2 (멀티모달 사전 학습): 텍스트 설명, 외곽선 토큰, 방 토큰이 혼합된 대규모 데이터로 학습하여 언어와 기하학 간의 양방향 정렬을 수행합니다.
     • Stage 3 (지시 미세 조정, SFT): 이해, 생성, 편집이라는 3 가지 핵심 작업에 대한 지시 데이터를 통해 모델의 작업 인식 능력과 공간 추론 능력을 강화합니다.

3. 통합 작업 프레임워크:

   • 이해 (Understanding): 주어진 평면도와 프롬프트를 기반으로 방의 기능, 공간 관계, 위계를 텍스트, 버블 다이어그램, JSON 으로 설명.
   • 생성 (Generation): 텍스트 지시와 외곽선 토큰을 입력받아 일관된 평면도를 생성.
   • 편집 (Editing): 기존 평면도와 편집 지시 (예: "부엌을 추가해라") 를 입력받아 구조를 변경하고 나머지 영역은 유지.

3. 주요 기여 (Key Contributions)

• 공간 토큰화 어휘의 도입: 연속적인 평면도를 '방 인스턴스 토큰'으로 변환하여 심볼릭 추론과 연속적인 기하학 사이의 간극을 해소했습니다.
• 단일 프레임워크 내 3 가지 작업 통합: 이해, 생성, 편집을 하나의 시퀀스 모델링 프레임워크로 통합하여 일관된 추론을 가능하게 했습니다.
• 효율성과 로컬 배포 가능성: 경량화된 아키텍처 (Qwen3-0.6B 기반) 를 사용하여 실시간 추론이 가능하며, 고사양 GPU 없이도 로컬에서 실행 가능합니다.
• 새로운 벤치마크 구축: RPLAN 데이터셋을 기반으로 이해, 생성, 편집을 모두 평가할 수 있는 통합 벤치마크를 구축했습니다.

4. 실험 결과 (Results)

RPLAN 데이터셋을 기반으로 한 정량적 및 정성적 평가에서 HouseMind 는 기존 최첨단 모델들을 압도했습니다.

• 이해 (Understanding):
  • 기존 VLM (LLaVA, Qwen-VL 등) 대비 방 위치 정확도 (LocAcc) 와 인접성 정확도 (AdjAcc) 에서 40% 이상 향상되었습니다.
  • 방 면적 오차 (AreaDiff) 를 수 m²에서 0.6 m² 미만으로 크게 줄였습니다.
• 생성 (Generation):
  • Micro/Macro IoU가 각각 0.71/0.65 로, 기존 모델 (ChatHouseDiffusion 등) 보다 10% 이상 향상되었습니다.
  • FID 점수가 11.3 에서 1.9 로 대폭 개선되어 생성된 평면도의 현실성과 분포적 정확도가 뛰어났습니다.
  • 그래프 수준의 지표 (Node F1, Edge Overlap) 에서도 거의 완벽한 구조적 일관성을 보였습니다.
• 편집 (Editing):
  • 편집 정확도 (∆IoU) 가 0.608 로, 기존 이미지 편집 모델 (FLUX, Qwen-Image-Edit) 보다 월등히 높았습니다.
  • 지시 사항에 따라 방을 추가/삭제할 때 전체적인 공간 논리를 유지하며 정밀한 지역적 수정이 가능했습니다.
• 효율성: 추론 시간이 샘플당 약 2~3 초로, 기존 확산 모델 (240 초 이상) 에 비해 매우 빠릅니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 단순한 픽셀 기반의 생성 (Diffusion) 이나 순차적 텍스트 생성을 넘어, 구조 인식형 (Structure-aware) 멀티모달 추론으로의 전환을 이끌었습니다.
• 해석 가능성과 제어: 토큰화된 공간 표현을 통해 생성 과정의 각 단계를 해석하고, 텍스트 지시를 통해 공간 구조를 정밀하게 제어할 수 있게 되었습니다.
• 실용적 적용: 경량화되고 로컬 배포가 가능하여 실제 건축 설계 워크플로우에 통합될 수 있는 잠재력을 보여줍니다.
• 향후 방향: 복잡한 위상 변환 지원, 문/창/가구 등 세부 요소 모델링, 인간 중심의 미적/안전 기준 정렬 등을 통해 발전할 수 있는 기반을 마련했습니다.

요약하자면, HouseMind 는 건축 평면 설계의 복잡성을 해결하기 위해 '공간 토큰화'를 핵심 메커니즘으로 삼아, 언어 모델이 공간적 논리와 기하학적 구조를 동시에 이해하고 생성하며 편집할 수 있는 새로운 가능성을 제시한 연구입니다.