기술 요약: HetScene

문제 정의

제어 가능하고 물리적으로 타당한 3D 실내 장면의 생성은 embodied AI 를 위한 고충실도 시뮬레이션 환경을 구축하는 데 필수적인 전제 조건입니다. 최근 자동회귀 및 확산 모델을 활용한 데이터 기반 접근법들이 생성된 레이아웃의 다양성을 향상시켰지만, 현실적이고 밀집된 실내 환경으로 확장할 때는 상당한 한계에 직면합니다.

기존 방법들은 일반적으로 모든 객체를 통합된 생성 과정 내의 동질적인 인스턴스로 취급합니다. 이러한 "동질적 공식화"는 모델이 전역적인 방 수준의 계획 (예: 벽 정렬, 기능 구역) 과 작은 객체의 국소적, 지지 인식적 배치를 동시에 처리하도록 강제합니다. 결과적으로 이러한 모델들은 다음과 같은 어려움에 직면합니다:

1. 확장성: 높은 객체 수를 가진 장면을 생성하는 데 종종 실패하여 작은 객체의 누락이나 용량 한계를 초래합니다.
2. 물리적 타당성: 전역 및 국소적 의존성의 얽힘은 공중 부양 객체, 구조적 중첩, 약한 국소적 일관성과 같은 아티팩트를 유발합니다.
3. 모델링 불일치: 실제 세계의 장면은 구조적 이질성을 보이며, 여기서 객체들은 distinct한 역할을 수행합니다. 주요 객체 (예: 침대, 테이블) 는 희소하며 전역적 제약을 따르는 반면, 보조 객체 (예: 램프, 책) 는 밀집되어 있으며 주요 객체에 국소적으로 조건 지어집니다. 현재 파이프라인은 이러한 구분을 명시적으로 모델링하지 못합니다.

방법론

이러한 도전을 해결하기 위해 저자들은 실내 장면 합성을 **구조적 레이아웃 생성 (Structural Layout Generation, SLG)**과 **문맥적 레이아웃 생성 (Contextual Layout Generation, CLG)**으로 분해하는 이질성 인식형 2 단계 확산 프레임워크인 HetScene을 제안합니다.

1. 계층적 분해

프레임워크는 의미적 역할과 기하학적 규모에 기반하여 객체를 명시적으로 두 개의 불연속 집합으로 분리합니다:

• 주요 객체 ($S_L$): 방의 골격을 형성하는 대형 핵심 가구 항목들입니다. 이들은 희소하며 전역적으로 제약받습니다.
• 보조 객체 ($S_S$): 물리적 지지와 의미적 공발현을 위해 주요 객체에 의존하는 작고 다수의 항목들입니다.

2. 2 단계 생성 파이프라인

• 1 단계: 구조적 레이아웃 생성 (SLG)
  • 목표: 주요 객체만 포함된 전역적으로 일관된 레이아웃을 생성합니다.
  • 조건부: 모델은 텍스트 설명, 상단 이진 방 마스크, 그리고 **학습 가능한 장면 그래프 (Learnable Scene Graph, LSG)**에 조건 지어집니다.
  • 메커니즘: LSG 는 공간적 관계와 위상적 제약을 조건부 신호로 명시적으로 인코딩하여 방의 전역적 조직을 안내합니다.
• 2 단계: 문맥적 레이아웃 생성 (CLG)
  • 목표: 고정된 주요 레이아웃 주변에 밀집된 보조 객체를 합성합니다.
  • 메커니즘: 생성된 주요 레이아웃 ($\hat{X}_L$) 은 확산 노이즈 없이 고정된 기하학적 앵커로 작용합니다. 보조 객체 ($X_S$) 는 주요 토큰과 연결된 시퀀스로서 노이즈가 제거됩니다.
  • 의존성 모델링: 멀티헤드 셀프 어텐션을 통해 보조 객체 슬롯은 주요 토큰과 다른 보조 토큰 모두로부터 정보를 집계하여, 교차 규모 장거리 의존성과 국소적 지지 관계를 모델링합니다.

3. 주요 아키텍처 혁신

• Transformer 기반 노이즈 제거 백본: 이전 작업 (예: DiffuScene) 에서 사용된 1D-UNet 을 Point·E 스타일의 Transformer 로 대체하여 작업과 무관한 순차적 순서 편향을 제거합니다. 공간 기하학적 단서는 표준 위치 인코딩이 아닌 바운딩 박스 위치에서 파생된 공간 인코딩을 통해 주입됩니다.
• 학습 가능한 공간 - 의미 변조: 밀집된 장면에서 흔히 발생하는 문제인 수치적으로 큰 기하학적 신호가 훈련 중 이산적 의미 속성을 압도하는 것을 방지하기 위해, 저자들은 학습 가능한 스칼라 $\gamma_{pos}$를 도입합니다. 이 스칼라는 공간 임베딩의 주입을 적응적으로 가중하여 균형 잡힌 최적화와 수렴을 보장합니다.
• 학습 가능한 장면 그래프 (LSG) 조건: 암시적 셀프 어텐션에만 의존하는 대신, LSG 는 정점이 객체 인스턴스를 나타내고 간선이 방향성 공간 제약을 나타내는 관계 그래프 $G=(V, E)$를 명시적으로 인코딩합니다. 이들은 경량 Transformer 인코더를 통해 처리되어 교차 어텐션 안내를 위한 전역 그래프 토큰으로 집계됩니다.

실험 결과

이 방법은 3D-FRONT, Matterport3D, Inf3DLayout 을 통합한 대규모 다중 소스 데이터셋인 M3DLayout 벤치마크에서 평가되었습니다. 데이터셋은 최대 20 개의 주요 객체와 100 개의 보조 객체를 포함하는 장면으로 필터링되었습니다.

• 정량적 성능: HetScene 은 전체 테스트 세트와 개별 데이터 소스 (Inf3DLayout, MP3D, 3D-FRONT) 에 걸쳐 모든 평가 지표 (Fréchet Inception Distance [FID], Kernel Inception Distance [KID], CLIP 점수) 에서 최첨단 성능을 달성했습니다.
  • XZ 평면 (바닥 평면) 에서 HetScene 은 두 번째로 좋은 방법 (DiffuScene) 대비 FID 점수를 약 11.7% 감소시켰습니다.
  • 측면 뷰 지표 (XY 및 YZ) 에서 일관된 우위를 보이며, 수직 구조와 객체 적층을 더 잘 처리함을 나타냈습니다.
• Ablation 연구:
  • 1D-UNet 을 Transformer 백본으로 교체하면 전역 의존성 모델링이 개선되었습니다.
  • 이질성 인식 파이프라인 (주요 및 보조 생성의 분리) 은 규모 변동으로 인한 최적화 충돌을 현저히 완화했습니다.
  • LSG 조건 포함은 텍스트 - 의미 일관성 (CLIP 점수 유지) 을 저하시키지 않으면서 공간 논리와 복잡성을 향상시켰습니다.
• 정성적 결과: 시각적 비교에서 HetScene 은 공중 부양 객체나 기준선 모델에서 보이는 구조적 중첩과 같은 일반적인 아티팩트를 피하면서 높은 복잡성을 가진 물리적으로 타당한 레이아웃을 생성함을 보여주었습니다.

중요성 및 기여

이 논문은 HetScene 이 동질적에서 이질성 인식형 생성으로의 전환을 나타낸다고 주장하며, 다음과 같은 기여를 제공합니다:

1. 프레임워크 설계: 전역 방 조직과 국소적 지지 인식 배치를 분리하는 2 단계 프레임워크로, 수십 개에서 수백 개의 객체를 가진 현실적인 장면의 확장 가능한 생성을 가능하게 합니다.
2. 모듈성: 문맥적 레이아웃 생성 (CLG) 단계는 임의의 상류 거친 레이아웃과 호환되는 플러그 - 앤 - 플레이 구성 요소로 설계되었습니다.
3. 훈련 안정성: 학습 가능한 공간 - 의미 변조 메커니즘의 도입은 고밀도 시나리오에서 보조 객체 생성의 수렴을 위해 경험적으로 필요함이 확인되었습니다.
4. 물리적 타당성: 주요 및 보조 객체의 distinct한 통계적 및 기하학적 분포를 명시적으로 모델링함으로써, 생성된 장면의 물리적 타당성을 향상시키고 밀집 환경에서 기존 데이터 기반 접근법의 한계를 해결합니다.

저자들은 이 작업에서 채택된 의미 수준 분해의 원칙이 광범위하게 적용 가능하며, 계층적 조직을 포함하는 다른 레이아웃 및 구조화된 생성 작업으로 확장될 수 있다고 결론지었습니다.