SEM-ROVER: Semantic Voxel-Guided Diffusion for Large-Scale Driving Scene Generation

1. 문제 정의 (Problem)

자율주행 시뮬레이션, 데이터 합성, 제어 가능한 장면 편집을 위해서는 다음과 같은 요구사항을 충족하는 3D 장면 표현이 필요합니다:

• 다중 뷰 일관성: 다양한 시점에서 보았을 때 기하학적 구조와 외관이 일관되어야 함.
• 확장성 (Scalability): 넓은 공간 범위 (대규모 도시 환경) 로 확장 가능해야 함.
• 자유로운 렌더링: 사전 정의된 카메라 경로에 국한되지 않고, 임의의 시점에서 렌더링 가능해야 함.

기존 방법론의 한계:

• 이미지/비디오 기반 3D 증류 (Distillation): 2D 생성 모델을 3D 공간으로 변환하는 방식 (예: MagicDrive3D, InfiniCube) 은 기하학적 일관성이 부족하고, 학습된 뷰에 제한되거나 편집이 어렵습니다.
• 밀집 볼륨 (Dense Voxels): 3D 컨볼루션을 사용하는 방식은 메모리 및 연산 비용이 격자 크기에 따라 급격히 증가하여 대규모 장면 생성에 비실용적입니다.
• 임의적 표현 (Implicit Representations): 3DGS 와 같은 방법은 렌더링 효율성이 낮거나 구조화된 편집이 어렵습니다.

---

2. 방법론 (Methodology)

SEM-ROVER 는 3D 공간에서 직접 장면을 생성하며, 크게 네 가지 핵심 단계로 구성됩니다.

2.1 Σ-Voxfield (시그마 - 볼륨필드) 표현

• 정의: 장면의 국소적인 기하학과 외관을 동시에 표현하는 이산적 (discrete) 표면 표현입니다.
• 구조: 각 점유된 볼륨 (voxel) 은 고정된 수 ($n$) 의 색상 표면 샘플 (3D 점 + RGB) 을 저장합니다.
  • 수식: $v_{\Sigma} = \{(x^i, y^i, z^i), (r^i, g^i, b^i)\}_{i \in [1, n]}$
• 장점: 볼륨당 점의 개수가 고정되어 있어 트랜스포머 (Transformer) 아키텍처에서 '토큰'으로 쉽게 처리할 수 있으며, 기하학과 외관을 결합하여 생성합니다.
• 렌더링: 2D 렌더링의 완성도를 높이기 위해 각 점은 표면 법선을 기반으로 정렬된 2D 가우시안 (2D Gaussian) 으로 변환되어 렌더링됩니다.

2.2 의미적 조건부 확산 모델 (Semantic-Conditioned Diffusion)

• 아키텍처: 1D Diffusion Transformer 를 사용하여 Σ-Voxfield 토큰들의 국소 이웃 (local neighborhoods) 에 확산을 적용합니다.
• 입력:
  • 기하/외관 토큰: 각 볼륨의 표면 샘플 좌표와 색상.
  • 3D 위치 인코딩: 공간 구조를 포착하기 위해 볼륨 중심의 3D 좌표에 대한 위치 인코딩을 추가합니다.
  • 의미적 조건 (Semantic Conditioning): 도로, 건물, 차량 등 각 볼륨에 할당된 의미적 레이블을 조건으로 사용합니다.
• 학습: 노이즈가 추가된 토큰 집합에서 원본 토큰을 예측하도록 학습하며, $\ell_2$ 손실 함수를 최소화합니다.

2.3 대규모 장면 생성: 공간적 아웃페인팅 (Spatial Outpainting)

• 전략: 확산 모델은 고정된 크기의 국소 볼륨 집합 ($N_\xi$) 에만 작동하므로, 대규모 장면을 생성하기 위해 점진적 공간 아웃페인팅을 사용합니다.
• 과정:
  1. 생성된 영역을 '알려진 부분 (Known)'으로 고정합니다.
  2. 인접한 미생성 영역을 '목표 부분 (Target)'으로 설정합니다.
  3. Repaint 확산 스케줄러를 사용하여 목표 영역만 디노이즈 (denoise) 하되, 알려진 부분의 정보를 조건으로 활용하여 경계면에서의 기하학적/외관적 연속성을 유지합니다.
• 확장성: 이 방식은 장면 크기에 비례하여 메모리나 연산 비용이 증가하지 않도록 하여, 수만 개의 Σ-Voxfield 를 포함하는 대규모 장면을 효율적으로 생성합니다.

2.4 지연 렌더링 (Deferred Rendering)

• 목적: Σ-Voxfield 는 이산적 표현이므로 직접 렌더링 시 결함이 있을 수 있으며, 하늘이나 원거리 배경이 누락될 수 있습니다.
• 방식: 생성된 Σ-Voxfield 를 3D 버퍼로 렌더링한 후, 이를 입력으로 받는 지연 렌더링 확산 모델을 사용합니다.
  • ASD (Autoregressive SD): 이전 프레임을 조건으로 사용하여 시간적 일관성을 확보합니다.
  • VSD (Video SD): 12 프레임을 한 번에 생성하여 더 높은 시간적 일관성을 제공합니다.
  • 하늘/배경 모델링: 3D 버퍼가 없는 영역 (하늘 등) 에 대한 가시성 마스크를 조건으로 사용하여 할루시네이션을 방지합니다.

---

3. 주요 기여 (Key Contributions)

1. Σ-Voxfield 표현 도입: 국소 볼륨 내에서 기하학적 및 광도학적 필드를 고정 개수의 이산적 표면 토큰으로 표현하는 새로운 3D 생성용 표현 방식을 제안했습니다.
2. 의미적 조건부 3D 확산 모델: 3D 위치 인코딩과 의미적 레이블을 결합한 트랜스포머 기반 확산 모델을 설계하여, 기하학과 외관을 동시에 생성합니다.
3. 점진적 공간 아웃페인팅: 고정된 계산 예산 내에서 무한히 확장 가능한 대규모 장면 생성을 가능하게 하는 효율적인 스케일링 전략을 제시했습니다.
4. 지연 렌더링 파이프라인: 3D 버퍼를 기반으로 한 지연 렌더링을 통해, 장면별 최적화 (per-scene optimization) 없이도 사실적인 다중 뷰 일관성 이미지를 생성합니다.

---

4. 실험 결과 (Results)

• 데이터셋: Waymo Open Dataset (WOD) 과 PandaSet 에서 평가되었습니다.
• 정성적 결과:
  • 생성된 장면은 의미적 볼륨 사전 (semantic voxel prior) 에 따라 글로벌 구조를 잘 따르며, 국소적으로 일관된 기하학과 외관을 보입니다.
  • 다양한 카메라 뷰 (특히 측면 뷰) 에서도 InfiniCube 등 기존 방법보다 기하학적 일관성이 뛰어납니다.
  • 동일한 조건 신호에서 다양한 국소 세부 사항 (텍스처, 모양) 을 가진 다중 생성이 가능합니다.
• 정량적 결과 (FID/KID):
  • 기존 방법 (InfiniCube, GEN3C) 대비 **새로운 뷰 (Novel Views)**에서 FID/KID 점수가 크게 개선되었습니다. 이는 3D 일관성이 뛰어나기 때문입니다.
  • 계산 비용: InfiniCube 는 75GB VRAM 을 사용하는 반면, SEM-ROVER 는 8GB VRAM으로 실행 가능하며, 생성 시간은 약 20 분으로 실용적입니다.
• 응용:
  • **의미적 편집:**semantic 그리드에서 차량을 제거하거나 추가하면, 모델이 주변 환경과 일관되게 장면을 재생성합니다.
  • 장면 인페인팅: 특정 영역을 마스킹하고 재생성하여 배경과 일관된 다양한 전경 생성이 가능합니다.

---

5. 의의 및 결론 (Significance & Conclusion)

SEM-ROVER 는 대규모 3D 주행 장면 생성 분야에서 확장성 (Scalability), 3D 일관성 (3D Consistency), **사실적 렌더링 (Photorealistic Rendering)**이라는 세 가지 핵심 과제를 동시에 해결한 획기적인 접근법입니다.

• 기술적 의의: 2D 생성 모델을 3D 로 증류하는 방식의 한계를 넘어, 3D 공간에서 직접 이산적 표면을 생성하는 새로운 패러다임을 제시했습니다.
• 실용적 가치: 낮은 메모리 비용으로 대규모 도시 환경을 생성할 수 있어, 자율주행 시뮬레이션 및 데이터 증강에 즉시 활용 가능합니다.
• 한계 및 향후 과제: 현재는 정적 (static) 환경 생성에 집중되어 있으며, 이동하는 차량이나 보행자와 같은 동적 요소, 그리고 조명/재질에 대한 세밀한 제어는 향후 연구 과제로 남아있습니다.

이 연구는 구조화된 3D 장면 생성의 새로운 방향성을 제시하며, 향후 동적 환경 모델링 및 richer 한 외관 제어로의 확장을 위한 기반을 마련했습니다.