EvBS: Event-guided Blur Synthesis for Domain-adaptive Motion Deblurring

당신이 날아가는 벌새의 완벽한 사진을 찍으려 한다고 상상해 보세요. 카메라가 조금만 느려도 새는 흐릿한 잔상으로 남게 됩니다. 이것이 바로 컴퓨터 비전의 한 분야인 모션 디블러링(motion deblurring)의 세계입니다. 과학자들은 컴퓨터에게 흐릿한 이미지에서 선명한 세부 정보를 찾아내어 복원하는 법을 가르칩니다. 수년 동안 이를 수행하는 가장 좋은 방법은 컴퓨터에게 흐릿한 사진과 선명한 사진의 수천 가지 예시를 보여주어 그 패턴을 학습하게 하는 것이었습니다. 하지만 여기에는 함정이 있습니다. 햇살 가득한 공원에서 찍은 사진을 흐릿함을 제거하도록 배운 컴퓨터는, 비 내리는 도시 거리에서 찍은 사진을 처리하라고 하면 완전히 혼란에 빠질 수 있습니다. '블러(blur)'의 모습이 장소마다 다르기 때문인데, 과학자들은 이를 '도메인 시프트(domain shift)'라고 부릅니다. 이는 마치 누군가에게 마른 도로에서 운전하는 법을 가르쳐 놓고, 추가 연습 없이 눈보라 속에서도 운전할 수 있기를 기대하는 것과 같습니다.

이를 해결하기 위해 연구자들은 '이벤트 카메라(event camera)'라는 특별한 종류의 카메라를 사용하기 시작했습니다. 일반적인 카메라는 몇 분의 일 초마다 사진을 찍지만, 이벤트 카메라는 무언가 움직일 때만 '듣는' 매우 민감한 귀와 같습니다. 이들은 전체 장면을 보는 것이 아니라, 빛의 미세하고 빠른 변화만을 기록하여 이미지가 엉망인 상황에서도 컴퓨터에게 사물이 어떻게 움직였는지 정확히 알려주는 데이터 스트림을 생성합니다. 'EvBS'라는 제목의 이 논문은 영리한 질문을 던집니다. 만약 이벤트 카메라를 사용하여 '움직임'과 '이미지'를 분리할 수 있다면, 이 분리된 정보를 이용해 우리가 본 적 없는 새로운 실제 환경에서도 작동할 수 있도록 블러를 제거하는 컴퓨터를 가르칠 수 있을까요?

문제점: "박혀 있는" 블러

저자들은 현재 기술의 주요 골칫거리를 지적합니다. 일반적인 영상에서 블러와 물체는 하나로 '박혀(baked)' 있습니다. 자동차가 흐릿하게 보인다면, 그 블러는 자동차의 움직임 때문에 발생한 것입니다. 그 블의 형태를 자동차에서 떼어내어 나무에 입힌 뒤, 나무가 그 속도로 움직였다면 어떻게 보였을지 확인하는 것은 불가능합니다. 기존 방식들은 흐릿한 영상에서 선명한 패치를 찾아내어 다시 블러 처리를 하는 방식을 시도했지만, 루프에 갇히고 말았습니다. 즉, 해당 특정 패치에 이미 붙어 있는 움직임만을 사용할 수 있었던 것입니다. 이는 새로운 동작을 배우려 하기보다 이미 알고 있는 스텝만을 반복하며 춤을 배우려는 것과 같았습니다.

해결책: "모션 스왑(Motion Swap)" 기술

EvBS(Event-guided Blur Synthesis) 팀은 이 루프를 깨뜨릴 방법을 고안했습니다. 그들은 '움직임'과 '물체'를 두 개의 별개 재료로 취급합니다. 요리 쇼에서 셰프(물체)와 소스(움직임)가 있다고 상상해 보세요. 보통 셰프는 자신이 현재 입고 있는 소스에 묶여 있습니다. EvBS는 이벤트 카메라 데이터를 사용하여 한 셰프에게서 소스를 씻어낸 뒤 다른 셰프에게 뿌리는 방식을 사용합니다.

그들의 단계별 과정은 다음과 같습니다:

1. 탐정 작업 (Dual Source Extractor): 먼저, 시스템은 실제 세상의 흐릿한 영상을 스캔합니다. 이 시스템은 탐정처럼 두 가지를 찾습니다:

   • 선명한 콘텐츠(Sharp Content): 물체가 무엇인지 여전히 식별 가능한 선명한 영역(예: 선명한 얼굴이나 명확한 표지판).
   • 움직임 소스(Motion Sources): 매우 흐릿하지만 명확한 움직임 패턴을 보이는 영역(예: 빠르게 달리는 차나 흔들리는 팔).
     시스템은 이벤트 카메라 데이터를 사용하여 이미지가 흐릿한 상황에서도 어디에서 움직임이 발생하는지 파악합니다.

2. 두 가지 전략 (Blur Synthesis): 재료를 확보한 후, 시스템은 새로운 훈련 데이터를 만들기 위해 두 가지 서로 다른 레시피를 사용합니다:

   • 고유 블러 (Intrinsic Blur, "셀카" 방식): 선명한 물체를 그것 자신의 자연스러운 움직임을 사용하여 흐릿하게 만듭니다. 사람이 걷고 있다면, 걷는 것처럼 흐릿하게 만드는 것입니다. 이것은 표준적인 방식이지만 여전히 유용합니다.
   • 외적 블러 (Extrinsic Blur, "바디 스왑" 방식): 이것이 마법 같은 부분입니다. 시스템은 선명한 물체(예: 정지해 있는 나무)를 가져와 완전히 다른 물체(예: 질주하는 자동차)의 움직임 패턴을 강제로 부여합니다. 이는 나무 사진을 찍은 뒤 디지털로 경주용 자동차의 블러를 나무 위에 덧칠하는 것과 같습니다. 이벤트 카메라 데이터가 움직임과 물체를 분리해주기 때문에, 컴퓨터는 혼란 없이 이 스왑을 수행할 수 있습니다.

3. 새로운 훈련 클래스: 이러한 "셀카" 블러와 "바디 스왑" 블러를 혼합하고 조합함으로써, 시스템은 방대하고 다양한 훈련 예시 라이브러리를 구축합니다. 이제 단순히 발견된 흐릿한 것들로부터만 배우는 것이 아니라, 해당 환경에서 가능한 모든 객체와 움직임의 조합으로부터 배울 수 있게 된 것입니다.

결과: 그 어느 때보다 선명하게

연구진은 일반적인 사진만 보는 모델과 이벤트 카메라를 사용하는 모델을 포함하여 여러 가지 컴퓨터 모델에 대해 이 새로운 프레임워크를 테스트했습니다. 그들은 표준 데이터셋으로 훈련된 모델들을 EvBS가 만들어낸 다양하고 새로운 데이터로 "미세 조정(fine-tuning)"했습니다.

결과는 인상적이었습니다. EVRB 데이터셋에서 모델들은 선명도 점수(PSNR로 측정)를 약 2.24 dB 개선했습니다. REVD 데이터셋에서는 2.35 dB, HighREV 데이터셋에서는 무려 2.63 dB까지 향상되었습니다. 이를 체감하기 위해 설명하자면, 이미지 처리 분야에서 단 1 de dB의 차이도 매우 중요하며, 2 dB 이상의 이득은 엄청난 도약입니다.

EvBS를 모델을 새로운 환경에 적응시키려는 다른 최신 방법들과 비교했을 때, EvBS는 일관되게 우위를 점했습니다. 예를 들어, NAFNet 모델에서 EvBS는 차세대 최선책보다 1.01 dB 더 높은 성적을 거두었습니다. 시각적 결과물 또한 다른 방식들이 흐릿하게 남겨두었던 나뭇잎의 질감이나 건물의 모서리와 같은 미세한 디테일을 복원해 냈음을 보여주었습니다.

이것이 중요한 이유

이 논문은 단순히 이 방식이 작동한다고 주장하는 데 그치지 않고, 시스템의 특정 부분을 제거하는 실험을 통해 이를 증명했습니다. 만약 움직임의 방향을 확인하지 않고 무작위로 움직임을 교체했을 때, 성능은 원래 모델보다 오히려 떨어졌습니다. 이는 움직임의 방향을 맞추는 그들의 구체적인 방법이 매우 중요하다는 것을 확인시켜 줍니다. 또한, 그들은 자신들의 "이벤트 가이드형" 데이터(FEDA)가 단순히 방향만을 나타내는 표준 모션 맵보다 더 낫다는 것을 보여주었는데, 이는 FEDA가 움직임의 방향뿐만 아니라 강도까지 포착했기 때문입니다.

요약하자면, EvBS는 이벤트 카메라를 사용하여 움직임과 물체를 분리함으로써 컴퓨터를 훨씬 더 유연하게 만들 수 있음을 시사합니다. 실험실에서 배운 흐릿한 패턴에 갇혀 있는 대신, 이제 컴퓨터는 실제 세상의 무질서하고 예측 불가능한 블러에 적응할 수 있습니다. 이는 자율주행 자동차나 로봇 공학처럼, 흐릿한 상황에서도 명확하게 보는 것이 안전과 직결되는 분야에서 훨씬 더 신뢰할 수 있는 기술이 될 것입니다.