RoomPilot: Controllable Indoor Scene Synthesis via Multimodal Semantic Parsing

기술 요약: RoomPilot: 멀티모달 의미 구문을 통한 제어 가능한 실내 장면 합성

문제 제기
제어 가능한 실내 장면을 생성하는 것은 게임 개발, 건축 시각화, 그리고 embodied AI 응용 분야에서 필수적입니다. 그러나 기존 접근법들은 다중 방 지원, 세밀한 제어 가능성, 명시적 공간 관계, 그리고 물리적 타당성이라는 요구사항들을 동시에 충족시키는 데 어려움을 겪고 있습니다.

• 모델 기반 방법들 (예: ATISS, DiffuScene) 은 데이터 부족으로 인해 다양성이 부족하고 새로운 장면으로의 일반화 능력이 떨어지는 경향이 있습니다.
• 규칙 기반 및 절차적 시스템들 (예: Infinigen Indoors, ProcTHOR) 은 물리적 유효성을 보장하지만 의미적 세부 사항과 사용자 의도에 대한 제어 가능성은 제한적입니다.
• 비전 기반 접근법들 은 장면 레이아웃을 정밀하게 제어하는 데 어려움을 겪습니다.
• LLM 기반 방법들 은 오픈 어휘 이해를 향상시키지만, 객체 간의 공간 관계를 정밀하게 제어하는 데는 종종 부족합니다.
  주요 장애물은 텍스트 또는 CAD 와 같은 이질적인 입력과 해석 가능하고 제어 가능한 3D 합성 사이의 다리를 놓아주는 통합된 장면 표현의 부재입니다.

방법론
저자들은 상세한 텍스트 설명이나 CAD 평면도로부터 제어 가능한 실내 장면을 합성하는 통합 프레임워크인 RoomPilot을 제안합니다. 이 프레임워크는 세 가지 긴밀하게 통합된 모듈을 통해 작동합니다:

1. 교차 모달 의미 구문 분석:

   • 입력 (텍스트 또는 CAD) 은 초기 실내 도메인 전용 언어 (IDSL) 구성 ($S_0$) 으로 변환됩니다.
   • 텍스트의 경우, 계층적 LLM 구문 분석 전략 (GPT-4 사용) 이 건물 수준의 글로벌 구조, 방 수준의 가구 계획, 그리고 객체 수준의 정밀한 공간 배치를 추출합니다.
   • CAD 의 경우, 기하학적 구문 분석 파이프라인이 벡터화된 표현 (예: SVG) 에서 방 윤곽, 문, 창문을 추출하여 IDSL 로 매핑합니다. CAD 에 대한 객체 수준의 콘텐츠는 LLM 이 방 유형에 기반하여 추론합니다.

2. 자기 조절 장면 최적화:

   • 초기 IDSL 은 자기 조절 에너지 기반 프로세스를 사용하여 최적화된 구성 ($S^*$) 으로 반복적으로 정제됩니다.
   • 이중 채널 에너지: 목적 함수는 구조적 에너지 (충돌, 경계, 안정성) 와 의미적 에너지 (기능적 근접성, 방향 정렬) 로 분해됩니다.
   • 적응형 어닐링: 고정된 스케줄과 달리, 최적화 가중치와 온도는 규정 정렬 점수 ($\rho(t)$) 에 의해 적응적으로 조절됩니다. 구조적 제약이 충족됨에 따라 초점은 기하학적 실현 가능성에서 의미적 조직으로 이동합니다.
   • 점진적 규칙 활성화: 이질적 목표들의 조기 결합을 방지하기 위해 규칙들이 단계별 (구조적 $\to$ 기능적 $\to$ 스타일적) 로 활성화됩니다.

3. 계층적 실내 장면 생성:

   • 최적화된 IDSL 은 고충실도 3D 장면으로 인스턴스화됩니다.
   • 건물 수준: 절차적 생성이 방 폴리곤을 기반으로 방수 벽 메쉬를 생성합니다.
   • 방 수준: 불 연산이 문과 창문을 인스턴스화합니다.
   • 객체 수준: 하이브리드 생태계가 선별된 데이터셋 (9,271 개의 주석 달린 애셋) 이나 공개 데이터셋 (Objaverse, 3D-FUTURE) 에서 애셋을 검색합니다. 검색 신뢰도가 낮으면 카테고리별 절차적 생성기 (PCG) 가 기하학을 합성합니다.
   • 관계 인식 정제: 배치 후 최적화 단계는 물리적 안정성 (예: 표면 위에 놓인 객체) 을 강제하고 부유하거나 교차하는 아티팩트를 제거합니다.

주요 기여

• RoomPilot 프레임워크: 텍스트 설명과 CAD 평면도를 모두 입력으로 지원하는 제어 가능한 실내 장면 합성을 위한 통합 시스템.
• 실내 도메인 전용 언어 (IDSL): 이질적인 입력을 해석 가능한 의미 및 기하학적 명세로 변환하는 구조화된 계층적 중간 표현 (건물, 방, 객체 수준) 으로, 사용자 의도와 3D 합성 사이의 제어 가능한 다리 역할을 수행합니다.
• 자기 조절 최적화: 고정된 냉각 스케줄 없이 구조적 안정성과 의미 정렬을 적응적으로 균형 잡는 에너지 기반 알고리즘으로, 일관된 다중 방 레이아웃을 가능하게 합니다.
• 고충실도 데이터셋: 사실적인 장면 합성을 지원하기 위해 풍부한 의미 주석이 포함된 선별된 애셋 데이터셋.

실험 결과
저자들은 오픈 어휘 텍스트 생성 및 CAD 조건부 생성 전반에 걸쳐 RoomPilot 을 Holodeck, I-Design, LayoutGPT 등 여섯 가지 최첨단 방법과 비교 평가했습니다.

• 제어 가능성: RoomPilot 은 레이아웃 충실도 (LF), 객체 수에 대한 제약 충족률 (CSR$_{count}$), 그리고 관계적 제약 (CSR$_{rel}$) 에서 베이스라인을 크게 능가합니다.
• 물리적 타당성: 이 방법은 경계 이탈 및 충돌 사례를 거의 0 에 가깝게 달성하며, 확산 기반 또는 검색 기반 접근법보다 물리적 사실성과 안정성에서 우수한 점수를 기록합니다.
• CAD 충실도: CAD 평면도에 조건부일 때, RoomPilot 은 높은 기하학적 정확도로 방 모양, 치수, 개구부 위치를 보존합니다 (벽 정확도: Holodeck 의 0.31 대비 0.87).
• 사용자 연구: 인간 평가자들은 시각적 품질, 레이아웃의 합리성, 그리고 물리적 타당성 측면에서 RoomPilot 을 가장 높게 평가했습니다.
• 절대 실험: IDSL 이나 자기 조절 최적화 모듈을 제거하면 가장 큰 성능 저하가 발생하여 고품질 제어 가능한 합성을 위해 이들이 필수적임을 확인시켜 줍니다.

의의
이 논문은 RoomPilot 이 기존 패러다임의 단편성을 해결함으로써 제어 가능한 3D 실내 장면 합성을 향한 중요한 진전을 나타낸다고 주장합니다. IDSL 과 자기 조절 최적화 프로세스를 도입함으로써, 이 프레임워크는 기존 방법들이 동시에 충족시키지 못했던 구조적 일관성, 의미적 정렬, 그리고 물리적 타당성 사이의 균형을 달성합니다. 이는 복잡한 사용자 명령에 충실히 반응하는 구조적으로 유효한 다중 방 환경의 생성을 가능하게 하여, embodied AI 와 건축 시각화에서의 실용적 배포를 촉진합니다. 저자들은 시스템이 견고하지만, 이산적 구성과 연속적 관계를 동시에 최적화할 때 시뮬레이션 어닐링의 고유한 행동으로 인해 복잡한 관계적 제약에서 객체가 누락되는 등의 실패 사례가 발생할 수 있음을 지적합니다.