💻 computer science

E2GS: Event Enhanced Gaussian Splatting

E2GS는 기존 NeRF 기반 접근법에 비해 훨씬 빠른 학습 및 렌더링 속도로 고품질 새로운 뷰 합성과 효과적인 이미지 디블러링을 달성하기 위해 이벤트 카메라 데이터와 가우스 스플래팅을 통합한 새로운 방법입니다.

원저자: Hiroyuki Deguchi, Mana Masuda, Takuya Nakabayashi, Hideo Saito

게시일 2026-05-21

📖 3 분 읽기☕ 가벼운 읽기

원저자: Hiroyuki Deguchi, Mana Masuda, Takuya Nakabayashi, Hideo Saito

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

빠르게 움직이는 장면, 예를 들어 레이싱 카나 회전하는 팬의 아름다운 사진을 찍으려 한다고 상상해 보세요. 표준 카메라를 사용하면 카메라가 속도를 따라가지 못해 결과물은 종종 흐릿한 얼룩무늬가 됩니다. 수년 동안 컴퓨터 과학자들은 수학적으로 이러한 흐릿한 사진을 '흐림 제거'하고, 심지어 카메라가 실제로 보지 못한 장면의 새로운 각도까지 생성해 내려고 노력해 왔습니다.

이 논문은 E2GS(사건 강화 가우스 스플래팅, Event Enhanced Gaussian Splatting) 라는 새로운 도구를 소개합니다. 이는 단순히 흐릿한 사진이 어떻게 보일지 추측하는 것이 아니라, 흐림이 발생하는 동안 정확히 무슨 일이 일어났는지 보여주는 특별한 '두 번째 쌍의 눈'을 활용하는 초고성능 사진 편집기라고 생각하시면 됩니다.

다음은 이를 간단한 개념으로 분해한 작동 원리입니다:

1. 문제: '모션 블러'의 혼란

표준 카메라는 영화 카메라처럼 작동합니다. 즉, 1/30 초마다 한 장의 스냅샷을 찍습니다. 그 아주 짧은 시간 동안 무언가가 너무 빠르게 움직이면 이미지가 번집니다.

과거의 방식: 과학자들은 NeRF라는 방법을 사용하여 이를 수정하려고 시도했습니다. NeRF를 상상해 보면, 공중을 통과하는 수백만 개의 미세한 레이저 빔을 발사하여 내부에 무엇이 있는지 추측함으로써 전체 3D 세계를 재구성하려는 매우 느리고 매우 신중한 예술가와 같습니다. 이는 놀라운 이미지를 생성하지만, 훈련하는 데 이틀이 걸리고 실시간으로 감상하기에는 너무 느립니다.
새로운 방식 (가우스 스플래팅): 최근 '가우스 스플래팅 (Gaussian Splatting)'이라는 더 빠른 방법이 등장했습니다. 레이저를 쏘는 대신, 수백만 개의 미세하고 흐릿한 3D 구름 (가우스) 으로 3D 세계를 페인트칠하는 것입니다. 레이저 대신 스프레이 페인트 통을 사용하는 것과 같습니다. 이는 놀라울 정도로 빠르지만, 흐릿한 사진을 입력으로 주면 단지 흐릿한 3D 세계를 페인트칠할 뿐입니다.

2. 비밀 재료: '이벤트 카메라'

저자들은 표준 카메라가 속도를 포착하는 데는 약하지만, 이벤트 카메라 (Event Camera) 라는 다른 종류의 카메라가 있다는 점을 깨달았습니다.

비유: 표준 카메라를 1 초마다 방의 사진을 찍는 경비원으로 생각하세요. 도둑이 사진과 사진 사이를 달리고 지나가면 경비원은 그들을 놓칩니다.
이벤트 카메라: 이는 사진을 찍지 않고 대신 "여기 무언가가 움직였어요! 더 밝아졌어요!" 또는 "저기 무언가가 움직였어요! 더 어두워졌어요!"라고 외치는 경비원과 같습니다. 이는 변화만 보고합니다. 전체 그림에는 관심이 없으며, 오직 행동에만 관심을 가집니다. 즉각적으로 반응하므로 모션 블러가 전혀 없습니다.

3. E2GS 가 이들을 결합하는 방법

이 논문의 핵심 아이디어는 표준 카메라의 '흐릿한 사진'과 이벤트 카메라의 '움직임 외침'을 혼합하는 것입니다.

과정:
1. 설정: 장면의 흐릿한 사진과 사진이 찍히는 동안 발생한 '이벤트 데이터 (움직임의 외침)' 스트림을 가지고 있습니다.
2. 재구성: E2GS 시스템은 이벤트 데이터를 사용하여 흐림 동안 빛이 어떻게 변했는지 정확히 파악합니다. 이는 흐림이 발생하는 타임랩스 비디오를 가진 것과 같아, 시스템이 선명한 이미지를 역추적 (reverse-engineer) 하는 데 도움을 줍니다.
3. 페인팅: 그런 다음 '가우스 스플래팅' 기술 (스프레이 페인트 구름) 을 사용하여 3D 모델을 구축합니다. 이벤트 데이터 덕분에 빛이 어떻게 움직였는지 정확히 알기 때문에, 입력 사진이 흐릿했음에도 불구하고 선명하고 뚜렷한 3D 장면을 페인트칠할 수 있습니다.

4. 이것이 큰 이슈인 이유

이 논문은 이전의 최선 방법들 (E2NeRF 등) 에 비해 두 가지 주요 승리를 주장합니다:

속도: 이전 방법 (NeRF) 은 달팽이처럼 느려, 장면을 학습하는 데 2 일이 걸렸고 초당 0.04 프레임 (기본적으로 슬라이드 쇼) 으로 움직이는 비디오를 생성했습니다. 반면 새로운 E2GS 방법은 치타처럼, 50 분 만에 장면을 학습하고 초당 140 프레임 (부드러운 실시간 속도) 으로 비디오를 렌더링할 수 있습니다.
품질: 빠르면서도 이미지가 더 선명합니다. 가상의 (합성) 및 실제 세계 사진으로 테스트했을 때, E2GS 는 이전의 느린 방법들보다 더 선명한 이미지와 더 나은 3D 뷰를 생성했습니다.

요약

간단히 말해, E2GS는 흐리고 흔들리는 사진을 선명한 3D 세계로 변환하는 새로운 방법입니다. 이는 표준 카메라와 특수한 '모션 감지' 카메라를 팀으로 구성하여 이를 달성합니다. 그 결과, 이전의 최선 기술보다 훈련 속도가 60 배 빠르고 렌더링 속도가 3,500 배 빠른 시스템이 되었을 뿐만 아니라, 훨씬 더 선명한 이미지를 생성합니다.

저자들은 현재 이는 정적인 장면 (장면 내에서 움직이지 않는 것들, 카메라는 움직일 수 있음) 을 위한 것이며, 앞으로는 빠르게 움직이는 스포츠 장면 등에 도움이 될 것으로 보지만, 당분간은 흐릿한 사진을 수정하고 3D 뷰를 즉시 생성하는 데 있어 획기적인 돌파구라고 말합니다.

기술 요약: 이벤트 강화 가우시안 스플래팅 (E2GS)

문제 제기

최근 3D 장면 재구성과 새로운 뷰 합성 분야의 발전은 신경 방사장 (NeRF) 과 더 최근의 3D 가우시안 스플래팅에 의해 주도되었습니다. 3D 가우시안 스플래팅은 NeRF 에 비해 빠른 학습 및 렌더링 능력을 제공하지만, 이러한 방법들은 일반적으로 이상적인 입력 조건을 가정합니다. 따라서 객체 운동, 카메라 흔들림, 또는 렌즈 초점 이탈로 인해 발생하는 흔한 아티팩트인 모션 블러가 포함된 이미지가 입력될 경우 심각한 어려움을 겪습니다.

반면, 이벤트 카메라 (동적 비전 센서) 는 비동기적으로 픽셀 밝기 변화를 포착함으로써 높은 동적 범위, 모션 블러 부재, 그리고 낮은 지연 시간을 제공합니다. 이전의 이벤트 기반 3D 재구성 방법들, 예를 들어 E2NeRF 는 흐린 RGB 이미지와 함께 이벤트 데이터를 활용하여 선명한 장면을 재구성하는 데 성공했습니다. 그러나 이러한 접근법들은 NeRF 패러다임에 의존하는데, 이는 광범위한 광선 샘플링 전략을 필요로 하므로 과도하게 긴 학습 시간과 느린 렌더링 속도를 초래합니다. 따라서 가우시안 스플래팅의 효율성과 이벤트 데이터의 모션 블러 내성을 결합한 방법이 여전히 필요합니다.

방법론

저자들은 모션 블러가 포함된 입력을 처리하기 위해 이벤트 스트림 데이터를 3D 가우시안 스플래팅 파이프라인에 통합하는 이벤트 강화 가우시안 스플래팅 (E2GS) 프레임워크를 제안합니다. 이 방법은 세 가지 주요 단계를 통해 작동합니다:

1. 전처리 및 초기화

이벤트 기반 디블러링: 흐린 이미지 세트와 이에 대응하는 이벤트 스트림이 주어지면, 이 방법은 각 이미지의 노출 시간을 $N$ 개의 동일한 타임스탬프로 나눕니다. 이벤트 기반 더블 적분 (EDI) 모델을 사용하여 이벤트 데이터를 누적함으로써 일련의 선명한 중간 이미지 ( $I_i$ ) 를 추정합니다. 흐린 이미지는 이러한 중간 프레임들의 평균으로 모델링됩니다.
초기화: 추정된 디블러링된 이미지 시퀀스는 초기 3D 가우시안 좌표와 카메라 포즈를 생성하기 위해 구조로부터 운동 (SfM) 파이프라인 (COLMAP) 에 입력됩니다. 이 단계는 표준 SfM 이 흐린 이미지로 직접 초기화될 경우 종종 실패하기 때문에 매우 중요합니다.

2. 학습 프레임워크

E2GS 는 재구성을 감독하기 위해 두 가지 서로 다른 손실 함수를 사용하여 3D 가우시안 매개변수를 최적화합니다:

이미지 렌더링 손실 ( $\mathcal{L}_{blur}$ ): 흐린 입력에 가우시안 스플래팅을 적응시키기 위해, 이 방법은 타임스탬프에 해당하는 $N$ 개의 중간 뷰를 렌더링하고 이를 평균화하여 흐린 그라운드 트루스를 시뮬레이션합니다. 손실은 시뮬레이션된 평균과 입력 흐린 이미지를 비교하는 L1 손실과 D-SSIM (비유사성 구조적 유사성) 의 조합입니다.
이벤트 렌더링 손실 ( $\mathcal{L}_{event}$ ): 이벤트 데이터의 높은 시간 해상도를 활용하기 위해, 이 방법은 렌더링된 시퀀스에서 두 프레임을 무작위로 선택하고, 이를 로그 도메인 강도로 변환한 후 강도 차이와 임계값 $C$ 를 기반으로 예상되는 이벤트 수를 계산합니다. 이 추정된 이벤트 빈은 평균 제곱 오차 (MSE) 를 사용하여 그라운드 트루스 이벤트 빈과 비교됩니다. 이 손실은 정적인 평균뿐만 아니라 블러링의 연속적인 시간 과정과 일관성을 강제합니다.

총 손실 함수는 가중 합입니다: $\mathcal{L} = \mathcal{L}_{blur} + w_{event}\mathcal{L}_{event}$ .

주요 기여

가우시안 스플래팅으로의 이벤트 최초 통합: E2GS 는 NeRF 의 볼륨 렌더링 패러다임을 넘어 이벤트 데이터를 가우시안 스플래팅 프레임워크에 통합한 최초의 접근법입니다.
효율적인 디블러링 및 합성: 이 방법은 흐린 RGB 이미지와 이벤트 스트림을 모두 효과적으로 활용하여 고품질 이미지 디블러링과 새로운 뷰 합성을 달성합니다.
중요한 속도 개선: 광선 샘플링을 미분 가능한 래스터화 (differentiable rasterization) 로 대체함으로써, E2GS 는 NeRF 기반 이벤트 방법들에 비해 계산 비용을 획기적으로 줄입니다.

실험 결과

저자들은 합성 데이터셋 (Blender 에서 시뮬레이션한 카메라 흔들림) 과 실제 세계 데이터셋 (DAVIS346 이벤트 카메라로 촬영) 에서 E2GS 를 평가했습니다.

정량적 성능:
- 이미지 디블러링: 합성 데이터에서 E2GS 는 PSNR 30.84를 달성하여 표준 가우시안 스플래팅 (22.92) 보다 우수했고, E2NeRF (29.77) 와 비슷하거나 약간 상회했습니다. 실제 세계 데이터에서 E2GS 는 더 높은 자연스러움을 나타내는 가장 낮은 BRISQUE 점수를 달성하여 평균 32.50을 기록했으며, 이는 E2NeRF 의 36.59 보다 낮습니다.
- 새로운 뷰 합성: E2GS 는 합성 데이터에서 표준 GS 와 E2NeRF 에 비해 PSNR, SSIM, LPIPS 지표에서 우수하거나 경쟁력 있는 결과를 보여주었습니다. 실제 세계의 새로운 뷰 합성에서 E2GS 는 다시 한번 평균 32.77의 가장 좋은 BRISQUE 점수를 달성했습니다.
효율성:
- 학습: E2GS 는 E2NeRF 에 비해 학습 시간을 60 배 단축했습니다 (50 분 대 2 일).
- 렌더링: E2GS 는 140 FPS의 렌더링 속도를 달성하여 E2NeRF (0.04 FPS) 대비 3500 배의 속도 향상을 보였습니다.

중요성 및 주장

이 논문은 E2GS 가 이벤트 기반 NeRF 방법의 고품질 재구성과 가우시안 스플래팅의 계산 효율성 사이의 간극을 성공적으로 메웠다고 주장합니다. 저자들은 그들의 방법이 시각적으로 매력적인 렌더링을 생성하면서도 훨씬 더 빠른 학습 및 렌더링 속도를 제공하여, 모션 블러가 포함된 이벤트 강화 데이터로부터의 실시간 또는 준실시간 3D 재구성을 가능하게 한다고 주장합니다.

저자들은 그들의 방법이 정적 장면을 효과적으로 처리하지만, 향후 연구 방향으로는 현재 RGB 전용 또는 정적 장면 중심 접근법들이 여전히 어려움을 겪고 있는 빠른 움직임을 하는 대상 (예: 스포츠) 이 포함된 동적 장면을 다루는 것을 포함한다고 결론지었습니다.