기술 요약: Code-as-Room

문제 정의

실제적이고 기능적인 3D 실내 공간 설계는 인테리어 디자인, 가상 현실, 게임, 그리고 embodied AI 응용 분야에서 중요합니다. 그러나 수동 제작은 노동 집약적이며, 기존 자동화 방법들은 중요한 한계에 직면해 있습니다. 전통적인 절차적 방법은 수동으로 제작된 규칙과 사전 정의된 카테고리에 제한을 받아 복잡한 실제 세계의 공간적 관계를 포착하지 못합니다. 최근 멀티모달 대규모 언어 모델 (MLLM) 접근법은 가능성을 보였으나, 텍스트 설명에만 의존할 때 정밀한 공간 정보를 처리하는 데 어려움을 겪습니다. 또한, 상단 뷰 (top-down view) 에서 전체적인 방 생성을 담당하는 기존 이미지 기반 에이전트들은 불안정성, 무한 루프, 그리고 세밀한 공간적 세부 사항을 복구하지 못하는 문제를 종종 겪습니다.

이 연구가 다루는 핵심 과제는 단일 상단 뷰 이미지로부터 완전하고, 편집 가능하며, 실행 가능한 3D 실내 장면을 생성하는 것입니다. 목표는 입력 이미지의 시각적 사전 지식 (visual priors) 과 엄격하게 일치하도록 방 구조, 물체 배치, 기하학, 재질, 조명 등을 정확하게 표현하는 Blender 코드를 생성하는 것입니다.

방법론: Code-as-Room (CaR)

저자들은 구조화된 실행 장치 (structured execution harness) 를 갖춘 MLLM 기반 에이전트 프레임워크인 Code-as-Room을 제안합니다. 직접 생성 방식과 달리, CaR 은 복잡한 작업을 상단 뷰 이미지를 실행 가능한 Blender 코드로 변환하는 원칙에 기반한 다단계 파이프라인으로 분해합니다.

1. 구조화된 실행 파이프라인

이 프레임워크는 10 개의 전문 단계를 조직화한 5 개의 명확한 단계를 통해 작동합니다.

• 이미지 기반 장면 구조화:

  • 1 단계 (공간 의미론적 분석): VLM 이 상단 뷰 이미지를 분석하여 기능 구역, 물체 계층 구조, 그리고 건축 요소 (벽, 문, 창문) 를 추출하고 식별자 및 배치 유형을 할당합니다.
  • 2 단계 (장면 그래프 구성): 결정론적 골격이 유도되어 건축 요소, 주요 가구, 그리고 작은 물체 간의 관계를 정의하는 물체 중심의 장면 그래프를 구축합니다 (나중에 사용할 수 있도록 "사이드카"에 저장됨).

• 배치 코드 생성:

  • 3 단계 (주요 배치 및 시각적 피드백): 시스템은 주요 가구에 대한 초기 배치 코드를 생성합니다. 여기서는 렌더링–비평–수정 루프를 사용하여 현재 코드를 상단 뷰 이미지로 렌더링하고, VLM 기반 비평가에게 겹침, 경계 일관성, 공간적 관계에 대해 평가받은 후 수정합니다. 이 루프는 배치 안정성을 보장하기 위해 고정된 횟수 (예: 5 회) 로 실행됩니다.
  • 4 단계 (보조 배치): 벽면 부착 물체와 시각적으로 두드러지는 작은 물체 (예: 러그, 식물) 가 배치에 추가되며, 미세한 표면 부착 항목은 지연됩니다.

• 배치 기반 물체 프로파일링:

  • 5 단계: 시스템은 고정된 배치를 분석하여 VLM 을 기반으로 세밀한 물체 설명 (색상, 재질, 스타일) 과 전역적인 방 스타일 설명을 생성하여 시각적 세부 사항이 확립된 공간 구조와 일치하도록 합니다.

• 물체 수준 코드 생성:

  • 6 단계 (기하학 교체): 추론된 물체 프로파일에 따라 조잡한 배치 프록시들이 상세한 3D 기하학 프리미티브로 교체됩니다. 작은 물체의 경우 하이브리드 전략이 사용됩니다: 먼저 간단한 기하학적 플레이스홀더가 생성된 후, 라이브러리에서 에셋을 검색하여 일치하는 3D 모델로 교체합니다.

• 실내 장식 코드 생성:

  • 8 단계 (재질 할당): 물체 사전과 전역 스타일에 기반하여 부분 수준의 PBR 재질이 할당됩니다.
  • 9 단계 (텍스처 생성): 고용량 이미지 생성 모델이 바닥, 벽, 장식 요소에 대한 텍스처 맵을 합성하여 장면 내에 주입합니다.
  • 10 단계 (조명 및 사후 최적화): 시스템은 조명 스타일 (자연광 및 인공광) 을 추론하고 렌더링 매개변수를 설정합니다. 결정론적 수정 패스는 누락된 재질, 잘못된 경로와 같은 일반적인 구현 문제를 수정하고 로컬 검색을 통해 경계 또는 겹침 위반을 해결합니다.

2. 교차 단계 메모리 시스템

프레임워크의 핵심 구성 요소는 교차 단계 메모리 모듈 (Cross-Stage Memory Module) 입니다. 이 공유 메모리는 파이프라인의 영구 상태를 유지하며 각 단계에서 생성된 타입 지정 아티팩트를 저장합니다. 하류 단계는 이 메모리의 사전 정의된 뷰만 읽습니다. 이 설계는 긴 에이전트 워크플로우에 내재된 "컨텍스트 망각" 문제를 완화하여, 초기 단계에서 유도된 공간 정보와 물체 세부 사항이 보존되고 후속 단계에서 정확하게 활용되도록 보장합니다.

주요 기여

1. 상단 뷰 이미지 유도 패러다임: 이 논문은 단일 상단 뷰 이미지를 전역 공간 사전 지식으로 활용하여 실내 공간의 완전한 생성을 안내하는 새로운 패러다임을 제시합니다. 이는 텍스트만 또는 원근감 이미지 입력을 사용하는 것을 넘어섭니다.
2. 구조화된 실행 장치: 저자들은 MLLM 을 조잡한 단계에서 정밀한 단계로 이어지는 파이프라인을 통해 조율하는 구조화된 에이전트 워크플로우를 제안합니다. 이 장치는 시각적 피드백 루프를 가진 관리 가능한 단계로 작업을 분해함으로써 안정적이고 일관된 3D 방 합성을 보장합니다.
3. 전용 벤치마크: 코드 기반 3D 방 합성을 위한 새로운 벤치마크가 도입되었으며, 시각적 콘텐츠 이해, 공간 추론, 비전-to-코드 생성, 그리고 전체적인 장면 품질에 대한 다양한 평가 프로토콜을 포함합니다.

실험 결과

저자들은 Code-as-Room 을 세 가지 주요 VLM 백본인 Gemini-3 Flash, Gemini-3.1 Pro, GPT-5.5를 사용하여 평가했습니다.

• 벤치마크 성능: 직접 단일 패스 생성 및 기존 VIGA 프레임워크와 비교하여 Code-as-Room 은 모든 지표에서 우수한 성능을 보였습니다.
  • 공간 추론: CaR 은 Layout IoU (직접 Gemini 의 16.8% 대비 최대 73.2%), 회전 정확도, 지지 정확도를 크게 개선했습니다.
  • 코드 생성: 이 프레임워크는 높은 실행률 (Gemini 변형의 경우 최대 100%) 을 달성한 반면, 직접 생성은 종종 실행 가능한 코드를 생성하지 못했습니다.
  • 시각적 품질: 인간 평가 결과, CaR 이 생성한 장면은 입력 이미지와의 유사성이 높고, 사용성이 뛰어나며, 더 높은 수용성 (수동 수정이 적음) 을 보였습니다.
• 절차 제거 연구 (Ablation Studies):
  • 메모리: 교차 단계 메모리를 제거하면 Layout IoU (73.2% 에서 58.0% 로) 와 물체 재현율 (Object Recall) 이 크게 감소하여 공간 일관성 유지를 위한 메모리의 필요성이 확인되었습니다.
  • 시각적 피드백: 최대 5 회 피드백 반복까지 성능이 향상되었습니다. 그러나 반복 횟수를 10 회로 늘리면 지표가 하락하여 과도한 수정이 배치 드리프트를 유발할 수 있음을 시사합니다.

중요성과 주장

이 논문은 Code-as-Room 이 현재 이미지-to-3D 방 생성의 불안정성과 정밀성 부족을 해결한다고 주장합니다. 3D 방을 실행 가능한 Blender 코드로 표현함으로써, 이 프레임워크는 입력 이미지와 시각적으로 일치할 뿐만 아니라 편집 가능하고, 렌더링 가능하며, 구조화된 장면을 가능하게 합니다.

저자들은 시스템의 성공이 기본 VLM 능력뿐만 아니라 시각적 분석, 공간 추론, 코드 합성을 조직화하는 구조화된 에이전트 워크플로우에 달려 있음을 강조합니다. 복잡한 다단계 생성 작업에서 컨텍스트 망각을 완화하기 위한 교차 단계 메모리 모듈의 도입은 핵심 혁신으로 부각됩니다.

이 연구는 바닥 계획이나 상단 뷰 스케치와 정밀한 공간 정렬이 필요한 시나리오를 특히 고려하여, 자동화된 3D 콘텐츠 제작을 위한 더 신뢰할 수 있고 실용적인 도구로 나아가는 한 걸음으로 자신을 위치시킵니다. 저자들은 현재 상단 뷰에 초점을 맞추고 있으며 매우 복잡한 기하학적 세부 사항에 대한 에셋 검색에 의존한다는 한계를 지적하며, 신경 렌더링을 위한 비디오 생성 및 임의 뷰 입력 처리에 대한 향후 연구를 제안합니다.