PolyLayout: Hierarchical VLM-Guided Layout Generation Beyond Rectangular Rooms

기술 요약: PolyLayout

문제 정의

물리적으로 타당한 3D 실내 레이아웃을 생성하는 것은 가구 소매업에서 고객이 자신의 공간에 제품을 시각화할 수 있도록 하는 데 매우 중요합니다. 그러나 학술 연구와 실제 응용 사이에는 상당한 격차가 존재합니다. 기존 솔루션은 주로 이상적인 직사각형 방 내에서의 가구 배치 알고리즘 전략에 집중합니다. 이들은 실제 가정에서 흔히 볼 수 있는 복잡한 비직사각형 기하 구조(예: L자형, T자형 또는 깎인 벽)와 엄격한 건축적 제약 조건(문, 창문, 움푹 들어간 공간)을 대부분 간과합니다. 또한, 순수 데이터 기반 접근 방식은 레이아웃 생성을 블랙박스 매핑으로 취급하여 하드 공간 제약을 강제하지 못하는 경우가 많습니다. 이는 물체가 충돌하거나, 인체공학적 관계를 위반하거나, 경계를 벗어나는 레이아웃으로 이어집니다. 반대로, 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)과 같은 시맨틱 모델은 기능적 추론에는 뛰어나지만, 정확한 좌표 배치를 위한 기하학적 정밀도가 부족하며 불규칙한 다각형 경계를 하드 제약 조건으로 직접 처리할 수 없습니다.

방법론

PolyLayout는 시맨틱 추론과 기하학적 타당성 사이의 간극을 메우기 위해 설계된 하이브리드 계층 구조 프레임워크를 도입합니다. 이 시스템은 레이아웃 생성을 세 가지 단계로 분리하여, 실의 토폴로지(glTF 형식)와 사전 정의된 가구 인벤토리를 처리합니다.

1. 입력 처리 및 기능적 클러스터링 (1단계)

시스템은 먼저 벽의 끝점을 탐색하여 실제 바닥 다각형을 재구성함으로써 비직사각형 평면을 정확하게 보존합니다. 또한 구조적 개구부(문/창문)를 추출하고 벽에 안쪽을 향하는 법선(normals)을 할당합니다.

• 클러스터링: 가구 인벤토리는 규칙 기반 분류 체계를 사용하여 "기능적 번들"(침대와 협탁처럼 일관된 그룹)과 단독 아이템으로 분할됩니다.
• 내부 배치: 각 번들 내에서 아이템은 필수 앵커(예: 작업 영역을 위한 책상)를 기준으로 결정론적인 규칙 기반 템플릿을 사용하여 배치됩니다. 이는 글로벌 배치가 일어나기 전에 미세한 기하학적 요소(여유 공간, 표면 배치)를 해결합니다.

2. VLM 가이드 매크로 라우팅 (2단계)

시각-언어 모델(VLM)은 번들과 단독 아이템의 고수준 시맨틱 배치를 담당합니다.

• 컨텍스트: VLM은 색상으로 구분된 벽과 개구부가 포함된 탑다운(top-down) 렌더링, 치수 및 개구부에 대한 구조화된 텍스트 설명, 아이템 치수라는 멀티모달 입력을 받습니다.
• 검색 증강 생성 (RAG): VLM에 정보를 제공하기 위해 큐레이션된 인테리어 디자인 가이드라인(예: 통로 여유 공간)을 검색하여 공간 계획을 합성합니다.
• 시맨틱 제안: VLM은 원시 좌표가 아닌 상대적인 배치 제안(예: "벽의 중앙", "문 옆", "소파 앞")을 출력합니다. 이러한 제안은 실현 가능성을 보장하기 위해 참조 의존적 집합 내로 제한됩니다.

3. 동적 배치를 통한 기하학적 실현 (3단계)

결정론적 솔버는 시맨틱 제안을 정밀하고 충돌 없는 3D 포즈로 변환합니다.

• 의존성 순서: 객체는 참조 의존성의 너비 우선 탐색(breadth-first traversal)을 기반으로 특정 순서(예: 큰 앵커 우선, 벽 부착 아이템 마지막)로 배치됩니다.
• 타당성 테스트: 후보 포즈는 객체가 바닥 다각형 내에 완전히 있고, 모든 개구부를 확보하며, 이전에 배치된 객체와 겹치지 않는 경우에만 수용됩니다.
• 로컬 탐색: 기본 타겟 포즈가 실행 불가능한 경우, 솔버는 시맨틱 앵커 주변을 이산적 탐색(예: 벽을 따라 이동)하여 유효한 위치를 찾습니다. 제로 오버랩(zero-overlap) 포즈가 존재하지 않으면, 솔버는 강제 충돌을 피하기 위해 전역 최소 오버랩 포즈를 할당하거나 해당 아이템을 미배치 상태로 보고합니다.

주요 기여

1. 하이브리드 계층 파이프라인: 레이아웃 생성을 클러스터링, 매크로 라우팅, 마이크로 정밀화로 분리하여 시맨틱 의도와 기하학적 제약을 효과적으로 분리하는 엔드 투 엔드 아키텍처입니다.
2. 제약 인식 매크로 라우팅: 불규칙한 다각형 경계와 고정된 건축적 개구부를 하드 제약 조건으로 취급하여, 이를 실행 가능한 공간 앵커로 변환하는 VLM 가이드 전략입니다.
3. 산업 현장 적용 가능한 마이크로 배치: 물리적 타당성이 타협 불가능한 리테일 애플리케이션에 적합하도록 충돌을 인지하는 보증을 통해 최종 제약을 해결하는 결정론적 규칙 기반 기하 알고리즘입니다.

실험 결과

시스템은 다양한 실 토폴로지(개구부가 없는 직사각형 방, 문/창문이 있는 직사각형 방, 그리고 5가지 유형의 비직사각형 평면 포함)에 대해 IKEA 제품의 프로덕션 규모 카탈로그를 사용하여 평가되었습니다.

• 직사각형 방에서의 성능: PolyLayout는 베이스라인인 Holodeck 및 LayoutVLM과 비교하여 가장 높은 지각적 타당성 점수(2.74/4.0)를 기록하는 동시에 완벽한 인-바운드(in-bounds) 배치(1.000)와 높은 배치 비율(0.973)을 유지했습니다. 이는 베이스라인들이 겪었던 완전성과 유효성 사이의 트레이드오프를 해결했습니다(LayoutVLM은 완전성은 높으나 타당성이 낮았고, Holodeck은 타당성은 높으나 완전성이 낮았습니다).
• 지연 시간(Latency): PolyLayout는 CPU 수준의 지연 시간(70초)로 작동하며, 이는 LayoutVLM(907초)보다 훨씬 빠르고 Holodeck(~62초)과 유사한 수준입니다.
• 불규칙한 기하 구조에 대한 일반화: PolyLayout는 비직사각형 경계와 고정된 개구부를 네이티브로 처리할 수 있는 유일한 방법이었습니다. 기하학적 복잡성이 증가함에 따라 시스템은 100% 인-바운드 배치와 높은 완전성(>95%)을 유지하며 우아하게 성능 저하를 최소화했습니다.
• 인간 평가: 블라인드 테스트에서 인간 평가자들은 베이스라인보다 PolyLayout의 레이아웃을 61%의 사례에서 더 선호했습니다. VLM 판사의 점수는 인간의 선호도와 높은 상관관계(선호 레이아웃에 대한 일치도 72%)를 보였습니다.

의의 및 주장

논문은 PolyLayout가 학술적 레이아웃 생성과 실제 리테일 요구 사항 사이의 간극을 성공적으로 메웠다고 주장합니다. VLM의 시맨틱 추론 능력과 결정론적 기하 솔버를 결격함으로써, 시스템은 복잡하고 불규칙한 홈 환경 내에서 기능적으로 일관될 뿐만 아니라 물리적으로도 유효한 레이아웃을 생성합니다.

저자들은 이 시스템을 고객이 "빈 방(blank-room)" 문제에 직면했을 때 그 장벽을 낮춰주는 도구로 포지셔닝합니다. 즉, 정교한 수정을 위한 구체적이고 타당한 시작점을 제공합니다. 저자들은 현재 시스템이 특정 카탈로그의 단일 실로 제한되어 있고, 미세 배치 템플릿이 수동으로 작성되어 확장성 비용이 발생한다는 점을 언급하며 한계를 인정합니다. 그러나 이 프레임워크는 하이브리드 접근 방식이 낮은 지연 시간 내에 높은 지각적 품질과 기하학적 준수를 달eric 수 있음을 입증하며, 기존 방식이 네이티브로 지원하지 못하는 불규칙한 경계까지 능력을 확장합니다.