1. 문제 정의 (Problem Statement)

자율주행 시나리오의 대규모 동적 장면을 재구성하는 작업은 다음과 같은 고유한 어려움으로 인해 여전히 큰 도전 과제로 남아 있습니다.

• 극단적인 깊이 변화와 규모 차이: 자율주행 장면은 차량 근처의 정밀한 구조물부터 멀리 있는 도시 구조물까지 광범위한 깊이 범위를 포함합니다. 기존 방법들은 주로 단일 스케일 가우시안 밀집화 전략을 사용하여 멀리 있는 영역에 불필요한 원시적 요소 (redundant primitives) 를 생성하거나, 멀리 있는 구조물의 기하학적 일관성을 해칩니다.
• 동적 객체의 복잡한 운동: 차량 (강체) 과 보행자/자전거 (비강체) 가 혼재되어 있으며, 비강체 객체의 국부적 변형과 전역적 운동을 동시에 모델링하기 어렵습니다.
• 기하학적 일관성 부족: 기존 가우시안 스플래팅 (Gaussian Splatting) 기반 방법들은 새로운 뷰포인트 (Novel View) 에서 시각적으로 그럴듯하지만 기하학적으로 일관성이 떨어지는 재구성을 생성하는 경향이 있으며, LiDAR 데이터의 희소성으로 인해 먼 거리 구조물에 대한 심도 감독이 부족합니다.

2. 방법론 (Methodology)

DriveSplat은 정적 배경과 동적 객체를 통합된 단일 가우시안 기반 표현 프레임워크 내에서 재구성하는 통일된 신경 가우시안 (Neural Gaussian) 프레임워크를 제안합니다.

A. 대규모 주행 배경 표현 (Large-scale Driving Background Representation)

주행 환경의 기하학적 특성을 고려한 장면 인식형 (Scene-aware) 학습 가능한 LOD(세부 수준) 모델링 전략을 도입했습니다.

• 다중 스케일 분할 가우시안 표현: 공간 앵커 (anchor) 를 여러 해상도 레벨에 매핑하여, 근접 영역에는 세밀한 기하학을, 원거리 영역에는 일관된 글로벌 기하학을 표현합니다.
• 기하학 가이드 장면 분할 (Geometry-guided Partitioning): PCA 를 통해 주된 기하학적 방향을 파악하고, 장면을 근접 (Near), 중간 (Mid), 원거리 (Far) 영역으로 분할합니다. 각 영역에 따라 다른 공간 해상도를 할당합니다.
• 학습 가능한 LOD 할당 (Learnable LOD Allocation): 고정된 깊이 레이블 대신, 현재 카메라 뷰포인트에 따라 각 앵커의 가시성과 적절한 LOD 레벨을 동적으로 선택합니다. 이는 카메라 이동에 따른 시각적 중요도 변화를 반영하여 불필요한 연산을 줄이고 근접 영역의 디테일을 보존합니다.

B. 동적 객체 모델링 (Dynamic Actor Modeling)

동적 객체를 강체 (차량) 와 비강체 (보행자 등) 로 구분하여 통합적으로 모델링합니다.

• 전역 강체 변환 (Global Rigid Transformation): 각 객체의 전역적인 이동과 회전을 시간 가변적인 강체 변환으로 모델링합니다.
• 앵커 중심 비강체 변형 (Anchor-centric Non-rigid Deformation):
  • AnchorFlow: 희소 집합의 앵커에 대해 연속적인 흐름장 (flow field) 을 학습하는 MLP 를 사용하여 비강체 운동의 시간적 진화를 모델링합니다.
  • 변형 전파: 앵커의 운동 정보를 신경 가우시안 속성 (위치, 색상, 불투명도 등) 으로 전파하여, 가우시안 간의 일관된 기하학적 변형을 보장하면서도 개별 가우시안의 외관 변화를 유연하게 처리합니다.

C. 기하학 강화 최적화 (Geometry Enhanced Optimization)

• 프리트레인된 모델 기반 사전 지식 활용: DepthAnything-V2, ZoeDepth, Omnidata 등 사전 학습된 모델을 사용하여 밀집 심도 (Dense Depth) 및 표면 법선 (Surface Normal) 사전 지식을 생성합니다.
• 손실 함수: 렌더링 색상 손실뿐만 아니라, 심도 손실 (상대/절대 심도) 과 법선 손실 (오차 및 방향 정렬) 을 추가하여 기하학적 정확도와 표면 일관성을 크게 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 통합된 표현 프레임워크: 대규모 주행 장면의 정적 배경과 동적 객체를 단일 신경 가우시안 표현 하에서 일관되게 재구성하는 통일된 아키텍처를 제안했습니다.
2. 장면 인식형 LOD 전략: 주행 환경의 근접/중간/원거리 구조를 명시적으로 고려하고, 카메라 뷰에 적응적으로 다중 스케일 가우시안을 할당하여 근접 영역의 기하학적 정밀도를 향상시켰습니다.
3. 앵커 기반 비강체 모델링: 시간적 운동을 연속 변형장으로 모델링하고 이를 가우시안 속성으로 전파하는 효율적인 메커니즘을 통해 비강체 객체의 안정적인 재구성을 가능하게 했습니다.
4. 기하학적 일관성 향상: 밀집 심도와 표면 법선 사전 지식을 통합하여 기존 방법들보다 우수한 기하학적 정확도와 시각적 품질을 달성했습니다.

4. 실험 결과 (Results)

Waymo 및 KITTI 벤치마크에서 광범위한 실험을 수행했습니다.

• 성능: 새로운 뷰 합성 (NVS) 과 장면 재구성 모두에서 기존 최첨단 방법 (StreetGS, OmniRe, Desire-GS 등) 을 능가하는 SOTA(State-of-the-Art) 성능을 달성했습니다. 특히 PSNR, SSIM, LPIPS 지표에서 모두 최상위권을 기록했습니다.
• 기하학적 품질: 심도와 법선 지도 (Normal Map) 가 기존 방법보다 훨씬 정확하고 일관성이 높으며, 멀리 있는 건물이나 도로 표지선과 같은 디테일한 부분에서도 아티팩트가 적습니다.
• 효율성: Desire-GS 와 같은 복잡한 2 단계 학습 방식에 비해 훈련 시간이 약 69 분 (Desire-GS 는 180 분 이상) 으로 빠르며, 실시간 렌더링 속도 (73.5 FPS) 도 우수합니다.
• 비강체 객체 재구성: 보행자 등 비강체 객체가 포함된 시퀀스에서 변형 네트워크를 사용하는 다른 방법들보다 높은 PSNR* (동적 영역 성능) 을 기록했습니다.

5. 의의 및 중요성 (Significance)

• 자율주행 시뮬레이션의 고도화: 고충실도 3D 재구성은 자율주행 시스템의 폐루프 테스트 및 검증, 그리고 지각/의사결정 모델의 훈련 데이터 생성에 필수적입니다. DriveSplat 은 대규모 동적 환경에서 기하학적 일관성을 유지하며 고품질의 가상 환경을 제공합니다.
• 확장성: 기존에 주로 실내나 소규모 객체 중심에 국한되었던 가우시안 스플래팅 기술을, 복잡한 외부 주행 환경으로 성공적으로 확장했습니다.
• 실용적 가치: 빠른 훈련 속도와 실시간 렌더링 능력은 실제 자율주행 시스템의 온라인 맵 업데이트나 실시간 시뮬레이션에 적용 가능한 잠재력을 보여줍니다.

결론적으로, DriveSplat 은 대규모 동적 주행 장면 재구성의 핵심 문제인 규모 변화, 비강체 운동, 기하학적 일관성을 통합적으로 해결하여, 자율주행 분야에 있어 새로운 기준을 제시하는 중요한 연구입니다.