DeblurSplat: SfM-free 3D Gaussian Splatting with Event Camera for Robust Deblurring

DeblurSplat 기술 요약: 이벤트 카메라를 이용한 강건한 디블러링을 위한 전통적인 SfM-free 3D 가우시안 스플래팅

문제 정의
3D 재구성 및 신규 시점 합성(NVS)을 수행하는 기존의 3D 가우시안 스플래팅(3D-GS) 및 NeRF와 같은 방법들은 이상적인 조건에서 캡처된 고품질 입력을 가정한다. 저조도 또는 장노출로 인해 발생하는 모션 블러(motion blur)가 포함된 실제 시나리오에서 이러한 방법들은 심각한 성능 저하를 겪는다. 모션 블러는 가장자리를 번지게 하고 질감을 평탄화하여 특징점 검출 및 매칭 프로세스를 혼란스럽게 한다. 결과적으로, 전통적인 구조 복원(Structure-from-Motion, SfM) 파이프라인(예: COLMAP)은 정확한 카메라 포즈를 추정하거나 신뢰할 수 있는 초기 포인트 클라우드를 생성하는 데 실패한다. 이러한 포즈 오류는 최종 재구성에 전파되어 왜곡된 기하 구조, 불완전한 표면 및 아티팩트를 초래한다. 이벤트 카메라는 높은 동적 범위(HDR)와 모션 블러가 없는 특성을 제공하지만, 기존의 이벤트 기반 디블러링 3D 재구성 방법들은 여전히 초기화를 위해 전통적인 SfM에 의존하며, 이로 인해 심한 블러가 발생할 때 동일한 실패 모드에 취약하다.

방법론
저자들은 모션 디블러링을 위한 강건한 SfM-free 3D 가우시안 스플래팅 프레임워크인 DeblurSplat을 제안한다. 이 파이프라인은 흐릿한 이미지로부터 정확한 초기 포즈 추정의 필요성을 우회하기 위해 밀집 스테레오 학습(dense stereo learning)과 이벤트 카메라 데이터를 통합한다. 이 방법은 세 가지 핵심 구성 요소로 이루어져 있다:

1. DUSt3R를 통한 SfM-free 초기화:
   본 방법은 COLMAP 대신 사전 학습된 밀집 스테레오 모듈인 DUSt3R를 활용한다. DUSt3R는 전역적인 구조 레이아웃을 포착하는 트랜스포머 기반 아키텍처를 사용하여 흐릿한 이미지로부터 3D 좌표와 신뢰도 추정치를 직접 회귀(regress)한다. 이 접근 방식은 블러 조건에서 발생하는 부정확한 카메라 포즈 추정과 관련된 오류의 누적을 방지한다. 저자들은 모션 블러가 고주파 세부 사항을 저하시키는 저역 통과 필터(low-pass filter)로 작용하지만, DUSt3R는 중간 및 저주파 기하 통계량(전역 레이아웃 및 상대적 깊이)을 보존하여 구조적으로 일관되되 노이즈가 섞인 사전 정보(prior)를 제공한다는 점에 주목한다.

2. 신뢰도 균형 샘플링 (Confidence Balanced Sampling):
   DUSt3R에서 생성된 포인트 클라우드를 효과적으로 활용하기 위해, 저자들은 신뢰도 균형 샘플링 전략을 도입한다. 모든 점을 사용하거나 신뢰도가 높은 점만 사용하는 단순한 전략은 최적이 아니다. 신뢰도가 높은 점들은 주로 중첩 영역에 밀집되는 반면, 낮은 신뢰도의 점들도 필수적인 공간 구조를 인코딩하고 있기 때문이다. 제안된 방법은 신뢰도 범위를 구간별로 나누고 각 구간 내의 신뢰도에 비례하여 점을 샘플링한다. 이는 고신뢰 영역으로의 과도한 집중을 방지하면서도 낮은 신뢰도 영역으로부터의 기하학적 완결성을 보존함으로써 균형 잡힌 공간 커버리지를 보장한다.

3. 이벤트 스트림을 통한 점진적 정렬 (Progressive Alignment with Event Streams):
   잔여 아티팩트를 해결하고 재구성을 정교화하기 위해, 프레임워크는 이벤트 스트림을 통합한다.

   • 잠재 선명 이미지 분리 (Latent Sharp Image Decoupling): 이벤트 기반 이중 적분(Event-based Double Integral, EDI) 방법을 사용하여, 시스템은 비동기 이벤트 데이터에 기반하여 모션 블러가 있는 RGB 이미지를 여러 개의 잠재적인 선명 이미지로 분리한다.
   • 잠재 모션 모델링 (Latent Motion Modeling): 노출 기간은 카메라 궤적을 따르는 일련의 잠재 이미지 시퀀스로 모델링된다. 시스템은 블러 형성을 유발하는 궤적을 복구하기 위해 Lie 대수 보간(Lie algebra interpolation in SE(3))을 사용하여 카메라 포즈를 매개변수화하고 최적화한다.
   • 최적화: 점진적 정렬 전략은 잠재적인 선명한 외형(appearance)과 카메라 모션을 반복적으로 정교화한다. 손실 함수는 표준 3D-GS 재구성 손실(잠재 렌더링의 평균을 블러 처리된 입력과 정렬)과 이벤트 가이드 손실을 결합한다. 이벤트 가이드 손실은 렌더링된 선명한 이미지의 그레이스케일 버전을 이벤트로부터 유도된 잠재 이미지와 정렬하여, 기하학적으로 일관된 재구성을 유도하도록 미세한 감독(supervision)을 제공한다.

주요 기여

• DeblurSplat 프레임워크: DUSt3R의 광범위한 사전 지식과 이벤트 카메라의 높은 동적 범위 정보를 효과적으로 통합하여, 모션 디블러링을 위한 최초의 전통적인 SfM-free 3D-GS 프레임워크를 구축하였다.
• 신뢰도 균형 샘플링: DUSt3R의 신뢰도 추정치를 활용하여 고품질의 초기 포인트 클라우드를 추출하는 동시에 필요한 공간 커버리지를 유지함으로써, 공격적인 가지치기(pruning)나 과도한 집중의 함정을 피하는 새로운 샘플링 전략을 제시하였다.
• 점진적 정렬: 이벤트 스트림 단서를 결を用いて 잠재적인 선명 이미지와 카메라 모션을 추정함으로써, 장면 재구성 최적화를 위한 미세한 가이드를 제공하는 메커즘을 구현하였다.
• 포괄적인 평가: 복잡한 조명과 대규모 카메라 움직임을 포함하는 7개의 도전적인 합성 "Hard" 장면과 제어된 모션 블러 수준을 가진 실제 데이터셋을 구축하여, 기존 벤치마크를 넘어선 체계적인 평가를 수행하였다.

실험 결과
합성 데이터셋(Normal 및 Hard 장면)과 실제 데이터셋에 대해 광범위한 실험이 수행되었다.

• 성능: DeblurSplat은 B-NeRF, B-3DGS, BAD-NeRF, BAD-GS 및 기타 이벤트 기반 접근 방식(E2EGS, EDNeRF)을 포함한 최신 기술(SOTA)들을 일관되게 능가한다. "Hard" 합성 카테カテゴリ에서 DeblurSplat은 차순위 모델인 EDNeRF(24.20)보다 높은 26.94의 PSNR을 달성했다. 실제 시나리오에서도 25.93의 PSNR을 기록하며 경쟁 모델들을 크게 앞질렀다.
• 효율성: 본 방법은 우수한 초기화 효율성을 보여준다. 선명한 이미지에 대한 COLMAP 초기화는 시간이 훨씬 더 오래 걸리고 블러 처리된 입력에서는 자주 실패하는 반면, DeblurSplat은 Hard 장면에서 평균적으로 약 2.96배 더 빠르게 초기화를 달면서도 성공한다.
• 절제 연구 (Ablation Studies): 실험을 통해 신뢰도 균형 샘플링과 점진적 정렬 모두가 매우 중요하다는 것이 확인되었다. 두 구성 요소 중 하나라도 제거하면 PSNR, SSIM, LPIPS 지표에서 눈에 띄는 하락이 발생한다.

의의 및 주장
본 논문은 DeblurSplat이 전통적인 SfM에 의존하지 않고 모션 디블러링 문제를 해결하기 위해 밀집 스테레오 모듈(DUSt3R)을 활용한 최초의 시도라고 주장한다. SfM에 대한 의존성을 제거함으로써, 블러로 인해 특징점 매칭이 실패하는 시나리오에서도 신뢰성을 높인다. 이벤트 카메라의 통합은 고동적 범위의 시맨틱 사전 정보를 제공하여 잠재적인 선명 이미지와 카메라 포즈의 복구를 가이드하며, 이를 통해 심한 모션 블러 하에서도 고충실도(high-fidelity)의 신규 시점 합성을 가능하게 한다. 저자들은 이 접근 방식이 고충실도 신규 시점을 생성할 뿐만 아니라, 기존 SOTA 디블러 3D-GS 방법들과 비교하여 상당한 렌더링 효율성을 달성한다고 강조한다.