1. 문제 정의 (Problem Definition)

자율주행 시스템을 훈련하고 평가하기 위해서는 고해상도, 편집 가능하며 자유 시점 (Free-viewpoint) 을 지원하는 사실적인 주행 시뮬레이터가 필수적입니다. 기존 방법들은 다음과 같은 한계를 가지고 있습니다:

• 기반 재구성 (Reconstruction-based) 방법 (예: PVG, OmniRe): 기록된 카메라 궤적 (Trajectory) 에만 의존하여 고화질 뷰를 렌더링할 수 있습니다. 따라서 기록된 궤적에서 벗어난 자유 시점 (Novel Trajectory) 을 생성할 때 기하학적 왜곡 (Floating artifacts) 이 발생하거나 품질이 급격히 저하됩니다.
• 생성 - 재구성 하이브리드 방법 (예: ReconDreamer, DriveDreamer4D): 생성 모델을 사용하여 새로운 뷰를 합성하지만, 생성된 뷰와 실제 뷰를 결합할 때 시점 일관성 (View Consistency) 이 부족하거나 디테일이 흐려지는 문제가 발생합니다. 또한, 장면 편집 (Scene Editing) 기능이 제한적입니다.
• 기반 생성 (Diffusion-based) 방법 (예: Vista, MaskGWM): 카메라 포즈를 coarse 하게만 제어할 수 있으며, 명시적인 3D 표현이 없어 3D 일관성을 보장하지 못합니다.

2. 방법론 (Methodology)

저자들은 GA-Drive를 제안하며, 핵심 아이디어는 **기하학 (Geometry) 과 외관 (Appearance) 의 분리 (Decoupling)**입니다. 이를 통해 정확한 3D 구조를 유지하면서 외관을 자유롭게 편집하고 새로운 궤적을 생성할 수 있습니다.

2.1. 4D 기하학 재구성 (4D Geometry Reconstruction)

• OmniRe 기반: 기존 OmniRe(가aussian Scene Graph) 를 기반으로 하되, 제한된 시점과 센서 오차로 인한 기하학적 불확실성을 해결하기 위해 두 가지 기법을 도입합니다.
  • 밀집 깊이 감독 (Dense Depth Supervision): LiDAR 데이터가 부족한 영역 (상단부 등) 에 대해 Marigold 를 활용한 상대적 깊이 추정과 LiDAR 절대 깊이를 정렬하여 밀집된 깊이 손실 (Loss) 을 적용합니다.
  • 깊이 왜곡 정규화 (Depth Distortion Regularization): Mip-NeRF 360 의 기법을 도입하여 레이 (Ray) 를 따라 가우시안 분포가 표면 근처에 집중되도록 하여 'Floating Gaussians'를 방지합니다.

2.2. 기하학 유도 가시도 (Pseudo-View) 합성

• 새로운 카메라 포즈에서 가상의 뷰 (Pseudo-view) 를 생성합니다.
  1. 3D 점 구하기: 목표 뷰의 깊이 맵을 기반으로 3D 공간에 점을 반전 (Unproject) 시킵니다.
  2. 원본 뷰 투사: 이 3D 점들을 기록된 원본 이미지 (Source views) 로 투사합니다.
  3. 가시성 확인 및 색상 샘플링: 투사된 점이 원본 이미지의 깊이보다 뒤에 있으면 (가려진 경우) 마스킹하고, 그렇지 않으면 가장 가까운 원본 뷰에서 색상을 샘플링합니다.
• 이 과정에서 생성된 Pseudo-view 는 구멍이나 가려진 영역이 있을 수 있으나, 3D 공간 관계와 가시성 패턴을 정확히 인코딩한 강력한 Prior 역할을 합니다.

2.3. 비디오 확산 모델 (Video Diffusion Model)

• 세그먼트 단위 생성: 긴 주행 궤적을 생성하기 위해 세그먼트 단위로 비디오 확산 모델을 적용합니다.
  • 이전 세그먼트의 마지막 생성 프레임을 다음 세그먼트의 첫 번째 조건 (Condition) 으로 사용하여 시간적 일관성을 보장합니다.
  • 나머지 조건 프레임으로는 앞서 합성된 Pseudo-view 를 사용하여 기하학적 및 외관적 가이드를 제공합니다.
• 아키텍처: CogVideoX 기반의 I2V(Image-to-Video) 아키텍처를 사용하며, 3D VAE 를 통해 인코딩된 잠재 공간에서 노이즈 제거 과정을 수행합니다.

2.4. 가시도 시뮬레이션 파이프라인 (Pseudo-view Simulation Pipeline)

• 문제: 공개된 주행 데이터셋은 단일 궤적만 제공하므로, 학습을 위해 '원본 뷰 (Ground Truth)'와 '새로운 Pseudo-view (Condition)' 쌍을 구하기 어렵습니다.
• 해결책: 단일 궤적 데이터에서 학습 쌍을 시뮬레이션하는 파이프라인을 제안합니다.
  • 가우시안 필터링, 랜덤 블렌딩, 랜덤 마스킹, 깊이 급변 영역 마스킹 등을 적용하여 실제 Pseudo-view 에서 발생하는 아티팩트 (블러, 구멍, 가려짐) 를 모방합니다.
  • 이를 통해 Waymo 나 OpenDV 와 같은 대규모 단일 궤적 데이터셋으로 비디오 확산 모델을 학습시킬 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 기하학 - 외관 분리 (Geometry-Appearance Decoupling): 주행 시뮬레이션에서 기하학과 외관을 분리하여, 기하학적 구조를 유지한 채 날씨 변경, 차량 외관 변경 등 유연한 편집을 가능하게 했습니다.
2. 가시도 시뮬레이션 파이프라인: 다중 궤적 데이터가 없는 환경에서도 비디오 확산 모델을 학습할 수 있도록 단일 궤적 데이터에서 학습 쌍을 생성하는 효율적인 파이프라인을 개발했습니다.
3. 성능 향상: 제안된 프레임워크가 기존 방법들 (PVG, ReconDreamer 등) 보다 NTA-IoU(차량 일관성), NTL-IoU(차선 일관성), FID(화질) 지표에서 압도적인 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가: Waymo 검증 세트를 기반으로 한 실험에서, 차선 변경 시나리오 (4m 이동) 에서 모든 메트릭 (NTA-IoU, NTL-IoU, FID) 에서 SOTA 방법들을 능가했습니다. 특히 FID 점수가 49.77 로 가장 낮아 사실적인 이미지 생성 능력을 입증했습니다.
• 정성적 평가: 기존 방법들은 새로운 궤적에서 객체의 형태 왜곡이나 블러가 발생하지만, GA-Drive 는 원본 뷰와 높은 일관성을 유지하며 선명한 디테일을 생성합니다.
• 편집 가능성: 기록된 비디오의 외관 (날씨, 차량 색상 등) 을 수정하면, 이를 기반으로 생성된 모든 새로운 궤적의 뷰가 자동으로 업데이트되어 전역 일관성을 유지합니다.
• 강건성 (Robustness): 3D 가우시안 표현에 심한 노이즈 (80% 제거 등) 를 주입하여 Pseudo-view 를 생성하더라도, 확산 모델이 이를 보정하여 최종 결과물의 성능 저하가 미미함을 확인했습니다.

5. 의의 및 결론 (Significance)

GA-Drive 는 자율주행 시스템 개발을 위한 고품질, 편집 가능, 자유 시점 시뮬레이터의 새로운 기준을 제시합니다.

• 기술적 혁신: 생성 모델과 재구성 기법을 단순히 결합하는 것을 넘어, '기하학/외관 분리'라는 구조적 접근을 통해 3D 일관성과 편집 유연성을 동시에 달성했습니다.
• 실용성: 단일 궤적 데이터셋만으로도 대규모 학습이 가능하게 하여 데이터 수집 비용을 절감하고, 다양한 주행 환경 (안개, 눈 등) 에 대한 시뮬레이션 능력을 확장했습니다.
• 미래 전망: 자율주행 알고리즘의 훈련 및 평가, 그리고 디지털 트윈 구축에 있어 강력한 도구로 활용될 수 있으며, 향후 기하학적 편집 기능 확장 및 롤링 셔터 보정 등을 통해 더욱 발전할 것으로 기대됩니다.