기술 요약: AsyncEvGS

문제 제기

3D 가우스 스플래팅 (3DGS) 과 신경 방사장 (NeRF) 은 사실적인 새로운 뷰 합성을 달성하지만, 고품질이고 선명한 입력 이미지에 크게 의존합니다. 실제 세계의 손으로 들고 촬영하는 3D 캡처에서는 심각한 모션 블러가 흔하여 표준 방법들을 무효화시키고 기하학적 왜곡과 흐릿한 재구성을 초래합니다. 기존 계산적 디블러링 접근법들은 문제의 부적절성 (ill-posed nature) 으로 인해 어려움을 겪습니다.

이벤트 카메라는 모션 블러에 강인한 고시간분해능의 비동기적 모션 단서를 제공함으로써 해결책을 제시합니다. 그러나 현재 이벤트 보조 3D 재구성 방법들은 실용적인 손으로 들고 촬영 사용에 두 가지 중요한 장벽에 직면해 있습니다:

1. 낮은 센서 해상도: 대부분의 방법은 저해상도 이벤트 센서 (예: 346 × 260) 에 의존하여, 현대의 멀티메가픽셀 RGB 카메라에 비해 재구성 충실도를 근본적으로 제한합니다.
2. 엄격한 동기화 요구사항: 고해상도 솔루션은 종종 RGB 카메라와 이벤트 카메라 간의 경직된 하드웨어 수준의 시간 동기화를 요구하여, 그러한 동기화 기능이 없는 일반적인 손으로 들고 촬영 장치 (예: 스마트폰) 와 호환되지 않습니다.

방법론

저자들은 유연하고 비동기적이며 고해상도인 RGB-이벤트 듀얼 카메라 시스템을 사용하여 고품질 3D 재구성을 위한 AsyncEvGS를 제안합니다. 파이프라인은 세 가지 주요 구성 요소로 구성됩니다:

1. 하드웨어 시스템

저자들은 고해상도 (1280 × 720) Prophesee EVK-3 HD 이벤트 카메라와 표준 RGB 카메라 (예: iPhone 13) 를 짝짓는 새로운 듀얼 카메라 장치를 소개합니다. 중요하게도, 이 시스템은 하드웨어 수준의 시간 동기화 없이 작동하여 상용 장치에서의 "야외 (in-the-wild)" 캡처를 가능하게 합니다.

2. 교차 도메인 포즈 추정을 통한 견고한 초기화

COLMAP 과 같은 전통적인 모션으로부터의 구조 (SfM) 도구는 도메인 간격과 블러로 인해 모션 블러가 있는 RGB 프레임과 이벤트에서 유도된 회색조 이미지를 공동으로 등록할 때 실패합니다.

• 이벤트에서 강도 (Intensity) 로의 재구성: E2VID 를 사용하여 원시 이벤트 스트림을 일련의 선명한 회색조 이미지로 변환합니다.
• VGGT 초기화: COLMAP 에 의존하는 대신, 저자들은 흐린 RGB 프레임과 선명한 이벤트 재구성 회색조 프레임 모두를 처리하기 위해 시각 기하학 트랜스포머 (VGGT) 를 활용합니다. 이는 모션 블러가 있는 시나리오에서 전통적인 SfM 의 실패 모드를 극복하며, 두 모드 모두에 대한 견고하고 밀집된 포인트 클라우드 및 정확한 카메라 포즈 초기화를 제공합니다.

3. 최적화 프레임워크

3DGS 표현은 데이터의 비동기적 특성과 디블러링의 부적절성을 처리하도록 설계된 다목적 손실 함수를 사용하여 최적화됩니다:

• 디블러링 손실 ($L_{blur}$): Deblurring 3DGS 기반이며, MLP 가 렌더링한 $N$개의 선명한 이웃 뷰를 평균화하여 흐린 이미지를 합성하고 캡처된 흐린 RGB 입력과 비교합니다.
• 이벤트 구조 손실 ($L_{struct}$): 강도 차이만 제약하는 고전적 이벤트 손실의 부적절성을 해결하기 위해, 저자들은 구조 주도 손실을 제안합니다. 이는 구조 추출기와 멀티 스케일 고주파수 일관성에서 유도된 신뢰도 맵을 사용합니다. 이 손실은 렌더링된 이미지와 이벤트 재구성 목표 간의 구조적 유사성 (SSIM) 지수를 신뢰도로 가중하여 계산합니다. 이는 절대 강도보다 구조적 정확성에 초점을 맞춰 밝기 불일치와 노이즈를 완화합니다.
• 일관성 정규화제:
  • RGB 일관성 ($L_{reg-r}$): 디블러링 모듈이 개별 뷰의 오류가 서로 상쇄되는 퇴화 솔루션으로 수렴하는 것을 방지합니다. 렌더링된 이미지가 이웃 선명한 프레임과 관찰된 흐린 입력 모두에 가깝게 유지되도록 강제합니다.
  • 이벤트 색상 일관성 ($L_{reg-e}$): 이벤트 뷰에는 색상이 없으므로, RGB 이미지로 훈련된 거친 3DGS 모델이 참조 역할을 합니다. 이 정규화제는 이벤트 뷰 렌더링이 색상에서 벗어나지 않도록 하여 RGB 색상 정보를 이벤트 뷰로 증류합니다.

주요 기여

1. 새로운 고해상도 비동기 시스템: 저해상도 이벤트 센서의 해상도 한계와 산업용 설정의 동기화 제약을 극복하는 유연한 1280 × 720 RGB-이벤트 장치를 사용한 고품질 3D 재구성을 위한 최초의 실용적 파이프라인.
2. 견고한 교차 도메인 알고리즘 프레임워크:
   • 흐린 RGB 와 이벤트에서 유도된 이미지 간의 도메인 간격을 처리하여 COLMAP 이 실패하는 곳에서 안정적인 초기화를 가능하게 하는 VGGT 를 사용한 포즈 추정 파이프라인.
   • 고주파수 이벤트 세부 정보를 견고하게 활용하는 새로운 이벤트 구조 손실과 디블러링 및 색상 추정을 안정화하는 일관성 정규화제를 특징으로 하는 맞춤형 최적화 프레임워크.
3. AsyncEv-Deblur 데이터셋: 제안된 비동기 시스템으로 캡처된 새로운 고해상도 RGB-이벤트 데이터셋으로, 심각한 모션 블러가 있는 다양한 장면과 해당 정답 (ground truth) 을 포함합니다.

실험 결과

이 방법은 새로운 AsyncEv-Deblur 데이터셋과 합성 Ev-DeblurBlender 데이터셋에서 평가되었습니다.

• 성능: 이 접근법은 모든 지표 (PSNR, SSIM, LPIPS) 에서 최첨단 성능을 달성하여 RGB 전용 방법 (예: 3DGS, BAGS, DeblurringGS) 과 기존 이벤트 보조 베이스라인 (예: 새로운 형식에 적응된 LSENeRF) 을 크게 능가합니다.
• 초기화: 제거 실험 (Ablation studies) 은 VGGT 초기화가 모션 블러가 있는 도전적인 시나리오에서 100% 의 프레임을 성공적으로 등록하는 반면, COLMAP 은 흐린 RGB 프레임의 상당 부분을 등록하지 못함을 보여줍니다.
• 구성 요소 분석: 이벤트 구조 손실 ($L_{struct}$) 이나 일관성 정규화제를 제거하면 성능이 크게 저하되어 미세한 세부 사항 복원과 색상 열화를 방지하는 데 필수적임을 확인합니다.
• 2D 파이프라인과의 비교: 종단간 (end-to-end) 접근법은 먼저 2D 디블러링 네트워크를 적용한 후 표준 3DGS 를 적용하는 파이프라인보다 크게 우월하여, 공동 최적화와 다중 뷰 일관성의 이점을 강조합니다.

중요성

이 논문은 AsyncEvGS 가 고해상도 3D 캡처와 모션 블러가 있는 시나리오에 필요한 강인성 사이의 간극을 효과적으로 연결한다고 주장합니다. 하드웨어 동기화 필요성을 분리하고 고해상도 센서를 활용함으로써, 이 방법은 스마트폰과 같은 일반적인 손으로 들고 촬영 장치에 이벤트 보조 3D 재구성을 실현 가능하게 만듭니다. 이 연구는 특수 최적화 프레임워크를 통해 RGB(색상) 와 이벤트 (고주파수 모션) 모달리티의 상호 보완적 강점을 활용함으로써 심각한 모션 블러 하에서 재구성 강인성과 충실도를 크게 향상시킬 수 있음을 보여줍니다.