기술 요약: PrITTI

문제 제기

대규모 의미론적으로 구조화된 3D 도시 장면의 생성은 디지털 월드 모델링 및 자율 주행 시뮬레이션에 필수적입니다. 그러나 기존 방법론들은 상당한 장애물에 직면해 있습니다. 대부분의 현재 접근 방식은 볼륨 기반 표현 (voxel-based representations)(예: 볼륨 그리드 또는 계층적 구조)에 의존하는데, 이는 세 가지 근본적인 한계를 겪습니다:

1. 비효율적인 메모리 사용: 해상도에 따른 입방체적 (cubic) 스케일링으로 인해, 조밀한 볼륨 표현은 대규모 환경에서는 과도하게 비용이 많이 듭니다.
2. 제한된 디테일: 고정된 공간 해상도는 종종 높은 요소들 (예: 건물, 나무) 이 잘리거나 왜곡되는 결과를 초래합니다.
3. 낮은 편집성: 볼륨 그리드는 명시적인 객체 인스턴스를 갖지 않습니다. 차량을 이동시키는 것과 같은 간단한 편집은 관련 모든 볼륨을 식별하고 업데이트하며 비워진 공간을 채워야 하므로, 객체와 배경 간의 경계가 모호한 경우 이 과정이 복잡해집니다.

일부 최근 연구들은 추상적인 의미론적 레이아웃을 활용하지만, 이러한 것들은 종종 생성된 출력물이 아니라 수동으로 제작되거나 미리 정의된 입력값입니다. 메모리 효율적이고 구성 가능한 (compositional) 표현을 사용하여 다양하고 사실적이며 편집 가능한 3D 의미론적 도시 장면을 자동으로 생성할 수 있는 프레임워크는 부족합니다.

방법론

저자들은 PrITTI(Controllable and Editable 3D Semantic Urban Scenes 의 원시 기반 생성)를 소개합니다. 이는 **하이브리드 원시 기반 표현 (hybrid primitive-based representation)**과 **잠재 확산 모델 (Latent Diffusion Model, LDM)**을 결합한 프레임워크입니다.

1. 하이브리드 표현

PrITTI 는 볼륨 볼륨 대신 두 가지 고유한 구성 요소를 사용하여 장면을 표현합니다:

• 지면 (Ground Surfaces): 도로, 보도와 같은 2D 폴리곤을 위로 뻗어 모델링합니다. 이러한 폴리곤의 임의적인 기하학적 구조로 인해, 이들은 새의 눈 높이도 (Bird's Eye View, BEV) 높이 지도 및 이진 점유 마스크로 래스터화됩니다.
• 객체 원시 (Object Primitives): 객체 (예: 차량, 식생, 기둥) 는 매개변수화된 3D 원시 (primitives) 로 모델링됩니다. 구체적으로, 대부분의 객체는 3D 직육면체로 표현되는 반면, 식생은 3D 타원체로 표현됩니다.
  • 각 원시는 정규화된 3D 중심 위치와 6D 코쇼스키 (Cholesky) 매개변수로 구성된 9 차원 특징 벡터로 매개변수화됩니다.
  • 양의 정부호 산포 행렬의 코쇼스키 분해는 방향과 크기를 함께 인코딩하는 데 사용됩니다. 이 접근 방식은 쿼터니언 인코딩에서 흔히 발생하는 방향 모호성을 제거하고 훈련 안정성을 향상시킵니다.

2. 2 단계 훈련 파이프라인

이 방법은 2 단계 훈련 프로세스를 사용합니다:

1 단계: 레이아웃 변이 오토인코더 (Layout Variational Autoencoder, LVAE)
공동 VAE 는 3D 장면 레이아웃을 컴팩트하고 구조화된 2D 잠재 공간으로 압축합니다.

• 인코딩: 아키텍처는 지면 및 객체 모달리티를 위한 별도의 인코더를 사용합니다.
  • 지면 인코더 (Ground Encoder)(합성곱 기반) 는 래스터 지도를 잠재 코드로 처리합니다.
  • 객체 인코더 (Object Encoder)(Transformer 기반) 는 고정된 크기의 객체 원시 집합을 처리합니다. 가변적인 객체 수를 처리하기 위해, 장면은 카테고리당 일정한 수의 원시로 패딩됩니다. 결과적으로 생성된 임베딩은 **산포 - 평균 연산 (scatter-mean operation)**을 통해 2D 잠재 그리드에 매핑되어 공간 구조와 순열 불변성을 보존합니다.
  • 지면 및 객체 잠재 공간은 채널별로 연결되어 **분리된 공동 잠재 표현 (disentangled joint latent representation, $\mathbf{z}_{\mathcal{L}}$)**을 형성합니다.
• 디코딩: 디코더는 장면을 재구성합니다. 지면 디코더는 합성곱 아키텍처를 사용하는 반면, 객체 디코더 (DETR 기반) 는 학습 가능한 쿼리를 사용하여 각 원시에 대한 3D 중심, 코쇼스키 매개변수, 존재 확률을 예측합니다.
• 손실 (Loss): 훈련 목적 함수는 재구성 손실 (높이 지도에 대한 L1, 마스크에 대한 BCE, 그리고 헝가리 알고리즘을 통한 원시에 대한 매칭 손실) 과 KL 발산 항을 결합합니다.

2 단계: 잠재 확산 모델 (Latent Diffusion Model, LDM)
확산 트랜스포머 (Diffusion Transformer, DiT) 가 LVAE 에 의해 생성된 공동 잠재 공간에서 훈련됩니다.

• 조건부 (Conditioning): 이 모델은 이산적인 장면 레이블 (예: 식생 밀도: 낮음, 중간, 높음) 을 조건으로 장면을 생성하도록 훈련됩니다.
• 아키텍처: DiT 백본은 adaLN-Zero 블록을 통해 조건부 정보를 통합합니다.
• 잠재 조작을 통한 응용: 추가 미세 조정 없이 사전 훈련된 LDM 은 RePaint 에서 영감을 받은 잠재 조작 전략을 사용하여 하류 작업을 지원합니다:
  • 인페인팅 (Inpainting): 알려지지 않은 영역의 노이즈 제거를 알려진 영역의 노이즈가 추가된 버전과 잠재 공간에서 동기화함으로써 국소적 편집이 수행됩니다. 분리된 구조는 **지면 조건부 객체 생성 (지면은 고정된 채 객체 편집)**을 가능하게 합니다.
  • 아웃페인팅 (Outpainting): 장면은 공간적 일관성을 보장하기 위해 50% 중첩을 사용하는 슬라이딩 윈도우 접근 방식을 통해 원래 공간 범위를 넘어 확장됩니다.

주요 기여

1. 최초의 원시 기반 프레임워크: PrITTI 는 추상적, 의미론적 수준에서 제어 가능하고 편집 가능한 3D 의미론적 도시 장면을 생성하기 위해 거친 3D 바운딩 원시 (직육면체 및 타원체) 를 사용하는 최초의 프레임워크입니다.
2. 분리된 잠재 표현: 제안된 하이브리드 표현은 지면 및 객체 요소가 별도의 채널 그룹에 인코딩되는 분리된 잠재 공간을 가능하게 합니다. 이는 추가 감독 없이 직관적이고 국소적인 조작 (예: 지면 조건부 생성) 을 용이하게 합니다.
3. 안정적인 매개변수화: 3D 객체 방향 및 크기를 위한 코쇼스키 기반 매개변수화의 도입은 쿼터니언 또는 고유값 기반 인코딩에 비해 더 큰 수치적 안정성을 제공하고 방향 모호성을 제거합니다.
4. 효율성 및 편집성: 원시 기반 접근 방식은 볼륨 기반 베이스라인에 비해 메모리 요구 사항이 현저히 낮고 추론 속도가 빠르면서도 최첨단 생성 품질을 달성하며, 볼륨 그리드로는 어렵거나 불가능한 직접적인 인스턴스 수준 편집 (이동, 회전, 크기 조절) 을 지원합니다.

실험 결과

실험은 전체 도시 환경에 대한 조밀한 원시 주석을 제공하는 KITTI-360 데이터셋에서 수행되었습니다.

• 재구성 (1 단계): PrITTI 는 본질적으로 원시 기반임에도 불구하고 볼륨 기반 베이스라인 (SemCity, PDD, XCube) 과 비교하여 경쟁력 있는 재구성 품질 (IoU 및 mIoU) 을 달성합니다. 결정적으로, 이는 동등한 해상도에서 SemCity 가 필요로 하는 8.00 MB 및 XCube 가 필요로 하는 3.05 MB 에 비해 장면당 약 2.52 MB만 필요로 합니다.
• 생성 (2 단계): PrITTI 는 생성 지표 (정밀도, 재현율, FID, IS) 에서 모든 볼륨 기반 베이스라인을 크게 능가합니다.
  • 품질: PrITTI 는 잘 형성된 객체와 명확한 경계를 가진 다양하고 일관된 장면을 생성합니다. 베이스라인들은 종종 불규칙한 형태, 불분명한 경계, 그리고 의미론적 불일치를 보입니다.
  • 속도: PrITTI 는 다단계 처리가 필요한 계층적 베이스라인 (예: 12.84 초의 PDD) 에 비해 장면당 0.58 초로 가장 빠른 생성 시간을 달성합니다.
  • 제어 가능성: 이 모델은 식생 밀도에 조건부인 장면을 성공적으로 생성하여 장면 구성에 대한 효과적인 제어를 입증합니다.
• 하류 응용: 이 프레임워크는 추가 미세 조정 없이 장면 인페인팅, 아웃페인팅, 그리고 (ControlNet 을 사용한) 사진 같은 스트리트 뷰 합성을 성공적으로 수행합니다.

중요성 및 주장

이 논문은 PrITTI 가 3D 도시 장면 합성에서 메모리 효율성, 생성 품질, 편집성 사이의 중요한 트레이드오프를 해결한다고 주장합니다. 볼륨 그리드에서 원시 기반 패러다임으로 전환함으로써, 이 방법은 대규모 장면 생성을 위한 확산 트랜스포머의 모든 능력을 열어줍니다.

저자들은 그들의 접근 방식이 직접적인 인스턴스 수준의 제어를 가능하게 한다고 강조합니다. 이는 볼륨 기반 방법에서 계산 비용이 많이 들고 구조적으로 모호한 직관적인 편집 작업 (예: 차 이동) 을 허용합니다. 또한, 이 방법은 기존 볼륨 기반 방법들이 전역 일관성 문제로 인해 유지하기 어려워하는 반복적 아웃페인팅을 통한 대규모 의미론적으로 일관된 도시 레이아웃 생성을 지원합니다.

현재 프레임워크는 정적 장면과 거친 기하학적 원시에 국한되어 있지만, 저자들은 이 작업이 더 표현력 있는 원시, 동적 환경, 그리고 자율 주행 시뮬레이션을 위한 작업별 렌더링 파이프라인에 대한 향후 연구의 기초를 마련한다고 주장합니다.