기술 요약: 중심점 기반 주행 장면 생성의 확장

1. 문제 제기

주행 장면 생성은 실제 데이터 수집에 대한 의존도를 줄여주기 때문에 자율주행 (AD) 개발, 특히 인식 및 계획 평가에 필수적입니다. 그러나 기존 생성 모델은 세 가지 주요 한계에 직면해 있습니다:

1. 데이터 부족: 고성능 중심점 기반 방법은 주석 처리된 의미론적 중심점 (semantic occupancy) 데이터에 의존하는데, 이는 여전히 희소하며 규모가 제한적입니다 (예: 이전 연구들은 Nuscenes 데이터셋에 의존함).
2. 모달리티 분열: 현재 접근 방식은 일반적으로 단일 형식 (예: RGB 비디오) 으로 데이터를 생성하거나, 실제 세계 장면의 정교한 분포를 포착하지 못하는 거친 기하학적 조건 (BEV 맵, 3D 바운딩 박스) 에 의존하여 최적의 충실도를 달성하지 못합니다.
3. 확장성 제약: 이전의 통합 프레임워크 (예: UniScene) 는 제한된 시나리오 다양성과 데이터셋 규모에 의해 제약받아 대규모 하위 작업에서의 활용도를 저해합니다.

2. 방법론: UniScenev2

본 논문은 대규모 4D 동적 장면 생성을 위해 설계된 통합적이고 중심점 기반의 프레임워크인 UniScenev2를 제안합니다. 이 시스템은 계층적 시공간 분리 아키텍처를 통해 고품질 의미론적 중심점, 다중 뷰 비디오, LiDAR 포인트 클라우드를 합성합니다.

A. 데이터셋: Nuplan-Occ

데이터 부족 문제를 해결하기 위해 저자들은 현재까지 가장 큰 의미론적 중심점 데이터셋인 Nuplan-Occ를 구축했습니다.

• 규모: Nuscenes-Occupancy보다 약 19 배 더 많은 주석 처리된 장면과 18 배 더 많은 프레임을 포함하며, 고해상도 볼록 주석 (400×400×32) 을 가진 약 360 만 프레임의 총량을 가집니다.
• 주석 전략: 이 데이터셋은 전경 - 배경 분리 집계 (FBSA) 파이프라인을 사용합니다:
  1. 분리: 포인트 클라우드는 바운딩 박스를 기반으로 배경 (정적) 과 전경 (동적 객체) 으로 분리됩니다.
  2. 집계 및 등록: 배경 포인트는 노이즈를 줄이고 기하학을 정렬하기 위해 통계적 필터링과 반복적 등록 (Kiss-ICP) 을 거칩니다. 전경 포인트는 로컬 좌표계에서 집계됩니다.
  3. 재구성: 신경 커널 표면 재구성 (NKSR) 을 사용하여 배경과 객체 모두에 대해 조밀한 메쉬를 생성합니다.
  4. 라벨링: 전경 객체에 대한 바운딩 박스 주석과 배경 영역에 대한 BEV 맵 주석을 결합한 하이브리드 라벨링 방식을 사용하여 정밀한 의미론적 라벨을 할당합니다.

B. 4D 중심점 생성

이 프레임워크는 시공간 분리 아키텍처를 사용하여 4D 장면 합성을 두 가지 보완적인 작업으로 분해합니다:

1. 공간 확장: 공간 중심점 Diffusion Transformer(DiT) 가 노이즈 또는 선택적 BEV 레이아웃으로부터 확장된 글로벌 의미론적 중심점 그리드를 생성합니다.
2. 시간 예측: 시간 중심점 DiT 는 정적 자기 운동과 동적 객체 운동을 기반으로 미래 중심점 시퀀스를 예측합니다.

• 데이터 필터링: 이러한 서로 다른 구성 요소를 훈련하기 위해 데이터셋이 필터링됩니다: 공간 데이터는 차량 운동이 포함된 장면을 포함하고, 시간 데이터는 차량은 정지해 있지만 주변 교통이 움직이는 장면을 포함합니다.
• 아키텍처: 시스템은 압축을 위해 4D 중심점 VAE(3D CNN 및 축적 어텐션 포함) 를 사용하고, 노이즈 제거를 위해 DiT 백본을 사용합니다.

C. 다중 뷰 비디오 생성

3D 중심점과 2D 비디오 간의 격차를 해소하기 위해 저자들은 가우스 스플래팅 기반 희소 포인트 맵 렌더링 전략을 도입합니다:

• 희소 렌더링: 중심점 그리드는 3D 가우스 원시 (primitive) 로 변환되어 희소 의미론적 및 깊이 포인트 맵으로 렌더링됩니다. 기하학적 정밀도를 보장하기 위해 작은 가우스 스케일 (0.01) 이 사용됩니다.
• 강건한 보정: 대규모 데이터 (Nuplan) 에서의 센서 정렬 불일치 및 렌즈 왜곡 문제를 해결하기 위해 Unscented Transform(UT) 이 투영 파이프라인에 통합됩니다. 이는 비선형 카메라 모델 하에서 3D 가우스의 분포를 근사화하여 다중 뷰 이미지와의 정밀한 정렬을 보장합니다.
• 생성: 이러한 렌더링된 맵은 비디오 Diffusion Transformer(DiT) 를 위한 강건한 조건부 가이드로 작용하여 다중 뷰 비디오를 합성합니다.

D. LiDAR 포인트 클라우드 생성

현실적인 LiDAR 데이터를 시뮬레이션하기 위해, 프레임워크는 센서별 임베딩 전략을 사용합니다:

• 센서 인식: 모델은 푸리에 인코딩과 플뤼커 좌표를 사용하여 LiDAR 센서 리그 데이터 (위치 및 광선 기하학) 를 명시적으로 인코딩합니다.
• 유연한 시뮬레이션: 리샘플링 네트워크가 통합된 LiDAR 리그 임베딩을 생성하여, 모델이 다양한 LiDAR 구성 및 패턴을 유연하게 시뮬레이션할 수 있도록 합니다.
• 광선 부드러움 정규화: 새로운 손실 항은 유사한 히스토그램 특징을 가진 광선 간의 깊이 부드러움을 장려하여 평평한 표면 (예: 도로) 에서 LiDAR 스캔 라인의 연속적인 특성을 모방합니다.
• 출력: 모델은 각 광선에 대해 깊이, 반사 강도 및 광선 드롭 확률을 예측합니다.

3. 주요 기여

1. 확장 가능한 통합 프레임워크: UniScenev2 는 모델 아키텍처와 훈련 데이터를 함께 확장함으로써 이전의 규모 제한을 극복하고, 중심점, 비디오, LiDAR 의 고품질 생성을 달성합니다.
2. 시공간 분리: 분리된 아키텍처와 전용 데이터 필터링 전략의 도입은 4D 동적 장면에 대한 강건한 공간 확장과 시간 예측을 가능하게 합니다.
3. 모달리티 연결 기술:
   • 노이즈에 강건한 비디오 조건부 설정을 위한 Unscented Transform 보정이 포함된 가우스 스플래팅 기반 희소 렌더링 방법.
   • 유연하고 현실적인 다중 LiDAR 시뮬레이션을 위한 센서별 임베딩 체계.
4. Nuplan-Occ 데이터셋: 새로운 FBSA 주석 파이프라인을 갖춘 대규모 고해상도 의미론적 중심점 벤치마크 (360 만 프레임) 의 공개.

4. 실험 결과

Nuplan-Occ 미니 및 전체 검증 세트에 대한 광범위한 실험은 우수한 성능을 입증합니다:

• 중심점: 재구성에서 98.5% mIoU, 생성에서 33.41% mIoU(전체 세트) 를 달성하여 UniScene 및 OccSora 를 크게 능가합니다.
• 비디오: 전체 검증 세트에서 7.59 FID 및 61.42 FVD를 달성하여 Vista 및 MagicDrive 와 같은 최첨단 방법을 능가합니다.
• LiDAR: 전체 세트에서 0.575 × 10⁻⁵의 MMD 를 달성하여 UniScene 대비 54.25% 개선을 보입니다.
• 하위 작업 활용도: UniScenev2 가 생성한 합성 데이터는 NAVSIM/Nuplan 테스트 세트에서 하위 계획 지표 (과실 없음 충돌 및 주행 가능 영역 준수) 를 개선합니다. 생성된 데이터 양을 Nuplan-Occ 의 10% 에서 100% 로 확장하면 계획 성능에서 매력적인 개선이 나타납니다.
• 일반화: 모델은 다른 센서 구성 (6 개의 어안 카메라 + 전면 LiDAR) 을 가진 내부 데이터셋에서 강력한 일반화 능력을 보여줍니다.

5. 중요성 및 주장

본 논문은 데이터 부족과 모달리티 분열이라는 중요한 병목 현상을 해결함으로써 UniScenev2 가 주행 장면 생성 분야에서 중요한 진전을 이루었다고 주장합니다. 방대한 Nuplan-Occ 데이터셋과 통합된 중심점 기반 접근 방식을 활용함으로써, 이 방법은 다양하고 고품질의 4D 동적 장면 합성을 가능하게 합니다. 저자들은 이 프레임워크가 최첨단 생성 충실도를 달성할 뿐만 아니라, 확장 가능하고 고품질의 합성 데이터를 통해 하위 인식 및 계획 작업의 성능을 향상시킴으로써 자율주행 연구에 실용적인 가치를 제공한다고 주장합니다.