💻 computer science

EvReflection: Event-Driven Micro-Dynamics for Reflection Removal

본 논문은 이벤트 카메라에 의해 포착된 마이크로 다이내믹스를 활용하여 반사와 투과 층을 분리함으로써, 반사 제거 작업에서 최첨단 성능을 달성하는 동시에 이 작업을 위한 최초의 실제 환경 벤치마크 데이터셋을 도입하는 이벤트 기반 프레임워크인 EvReflection을 제안한다.

원저자: Jiaxiao Wang, Dachun Kai, Huyue Zhu, Quanquan Hu, Zhenyang Xu, Xiaoyan Sun

게시일 2026-08-07

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jiaxiao Wang, Dachun Kai, Huyue Zhu, Quanquan Hu, Zhenyang Xu, Xiaoyan Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

박물관에 걸려 있는 아름다운 그림을 사진으로 찍으려고 한다고 상상해 보세요. 그런데 그림 앞의 유리 케이스에 당신의 얼굴과 카메라 플래시가 반사되고 있습니다. 그 결과는 엉망진창입니다: 보고 싶은 그림은 당신의 반사된 모습이라는 유령 같은 층 아래에 파묻혀 버립니다. 이것이 컴퓨터 비전에서의 고전적인 문제인 "반사 제거(reflection removal)" 문제입니다. 오랫동안 컴퓨터는 단 하나의 정지된 사진을 보고 어떤 부분이 그림에 속하고 어떤 부분이 반사에 속하는지 추측하며 이 문제를 해결하려 노력해 왔습니다. 이는 마치 하나의 정적인 녹음본을 듣는 것만으로 동시에 연주되는 두 개의 서로 다른 곡을 분리하려고 애쓰는 것과 같습니다. 매우 어려운 일이며, 컴퓨터는 종종 혼란을 느껴 잔상을 남기거나 실제 장면의 일부를 실수로 지워버리곤 합니다.

설상가상으로, 많은 고급 방법들은 비디오를 촬영하여 카메라를 격렬하게 흔들어 반사가 배경과 다르게 움직이는 것을 포착함으로써 이 문제를 해결하려고 합니다. 하지만 현실에서 우리는 카메라를 그렇게 많이 움직일 수 없거나, 표준 카메라가 느리고 일정한 속도로 사진을 찍는 동안 움직임이 너무 미세하여 보이지 않을 수도 있습니다. 여기서 "이벤트 카메라(event camera)"라고 불리는 특별한 종류의 카메라가 등장합니다. 플립북처럼 스냅샷을 찍는 일반 카메라와 달리, 이벤트 카메라는 빛의 변화를 감지할 때만 작동하는 초고속, 초민감 센서입니다. 이들은 초당 수백만 번 발생하는 아주 미세하고 찰나적인 밝기 변화를 기록합니다. 이를 통해 손을 아주 조금만 움직여도 발생하는 빛의 미세하고 거의 보이지 않는 꿈틀거림까지 잡아낼 수 있습니다.

이 논문에서 연구진은 이러한 초고속 이벤트 카메라를 사용하여 반사의 수수께끼를 해결하는 새로운 시스템인 EvReflection을 소개합니다. 정지된 이미지 하나에 의존해 추측하거나 카메라를 격렬하게 흔들 필요 없이, 이들의 방식은 이벤트 카메라가 포착한 "마이크로 다이내믹스(micro-dynamics)"—즉, 고속의 미세한 빛의 변화—에 귀를 기울입니다. 반사(유리 표면)와 실제 장면(유리 뒤쪽)은 서로 다른 거리에 있기 때문에, 아주 미세한 카메라의 움직임만으로도 반사와 배경은 서로 약간씩 다르게 흔들리게 됩니다. 이벤트 카메라는 이 미묘한 차이를 즉각적으로 포착합니다. 연구진은 이 미세한 흔들림을 완벽하게 반사와 실제 이미지를 분리하는 비밀 코드로 사용하는 스마트 네트워크를 구축했습니다. 그들은 컴퓨터로 생성된 장면과 직접 만든 새로운 실제 데이터셋 모두에서 테스트를 진행했으며, 그 결과는 기존 기술보다 훨씬 더 깨끗하게 이미지를 정리하여, 실제 디테일을 흐리게 만들지 않으면서도 "유령"을 효과적으로 제거함을 보여주었습니다.

문제: 유리 속의 유령

비 오는 날 창밖을 내다보는 모습을 상상해 보세요. 당신은 거리(전송 레이어)를 보고 있지만, 동시에 유리창에 비친 당신의 얼굴과 방 안의 모습(반사 레이어)도 함께 보고 있습니다. 컴퓨터에게 이 두 층은 하나로 뒤섞인 흐릿한 덩어리에 불과합니다. 수년간 과학자들은 이 두 층을 풀어내기 위해 인공지능을 사용해 왔습니다.

기존 방식은 단 한 장의 사진을 보고 어떤 픽셀이 반사에 속하는지 추측하는 것이었습니다. 하지만 이는 스무디에서 원래의 과일을 다시 추출해 내려는 것과 같으며, 더 많은 단서 없이는 수학적으로 확실히 알 수 없는 일입니다. 때때로 반사가 배경과 똑같이 보일 때가 있어 컴퓨터를 혼란에 빠뜨리고, 사진을 망치는 이상한 얼룩이나 이중 이미지 같은 "아티팩트(artifacts)"를 남기기도 합니다.

또 다른 접근법은 비디오를 촬영하여 움직임을 찾는 것이었습니다. 카메라를 움직이면 반사된 유리는 배경과 깊이가 다르기 때문에 배경과는 다른 속도로 움직입니다. 그러나 표준 카카메라는 이 미세한 움직임을 포착하기에는 너무 느리기 때문에, 카메라를 크게 움직이지 않으면(예: 가벼운 손 떨림 정도) 일반 카메라는 정지된 이미지만 보여줄 뿐이며 컴퓨터는 다시 막히게 됩니다.

해결책: "마이크로 다이내믹스"에 귀 기울이기

저자들은 일반 카메라가 미세한 움직임을 놓칠 때, 이벤트 카메라는 놓치지 않는다는 점을 깨달았습니다. 이벤트 카메라는 빛의 변화가 있을 때만 신호를 보내는 특수 센서입니다. 이 카메라는 마이크로초 단위의 변화를 감지할 만큼 매우 빠릅니다.

팀의 아이디어는 단순하지만 천재적이었습니다: 손의 아주 미세하고 거의 보이지 않는 움직임을 사용하여 반사와 실제 장면을 구분하는 것입니다.

카메라를 아주 가만히 들고 있더라도, 손은 결코 완벽하게 고정되어 있지 않습니다. 미세한 떨림이 존재합니다. 반사는 유리 표면에 있고 실제 장면은 그 뒤에 있기 때문에, 이러한 미세한 떨림은 반사와 배경을 서로 약간 다른 양으로 이동시킵니다. 일반 카메라는 이 차이를 보기에는 너무 느리지만, 이벤트 카메라는 이를 즉각적으로 포착합니다. 이는 마치 방 안에서 두 사람이 거의 같은 말을 속삭이고 있더라도, 그 차이를 들을 수 있는 초민감한 마이크를 가진 것과 같습니다.

EvReflection의 작동 원。

연구진은 일반 사진(RGB)을 보는 눈과 이벤트 카메라의 고속 데이터를 듣는 눈을 가진 탐정처럼 작동하는 새로운 AI 시스템인 EvReflection을 구축했습니다.

마이크로 다이내믹스 디커플러 (MDD): 시스템의 첫 번째 부분입니다. 이벤트 카메라의 원시 데이터를 가져와 반사와 배경이 정확히 어떻게 다르게 움직이는지 파악합니다. 이는 반사의 "흔들림"과 배경의 "흔들림"을 분리하여 각 레이어가 어디에 있는지 보여주는 명확한 지도로 변환하는 필터와 같습니다.
패럴랙스-어텐션 렉티파이어 (PAR): 시스템이 레이어의 움직임을 파악하면, 이 두 번째 부분이 그 지도를 사용하여 일반 사진을 정교하게 다듬습니다. 이 부분은 사진을 보고 "아, 이 부분은 반사처럼 움직이니 제거해야겠다. 이 부분은 배경처럼 움직이니 유지해야겠다"라고 판단합니다. 특수한 "어텐션(attention)" 메커피니즘을 사용하여 수정이 필요한 부분에만 집중함으로써, 최종 이미지가 선명하고 유령 같은 얼룩이 없도록 보장합니다.

결과: 공기를 맑게 하다

아이디어를 테스트하기 위해 팀은 한 가지 문제를 해결해야 했습니다. 이벤트 카메라 데이터가 포함된 실제 사진이 없어 훈련할 데이터가 부족했습니다. 그래서 그들은 무엇이 깨끗한 이미지인지 정확히 알 수 있는 수천 개의 가짜이지만 사실적인 예시를 만드는 시뮬레이션 파이프라인을 구축했습니다. 또한, 다양한 두께의 유리를 통과해 촬영된 EVR2라는 새로운 실제 데이터셋을 캡처하기 위해 모터가 달린 슬라이드 장치를 제작했습니다.

EvReflection을 테스트했을 때 결과는 인상적이었습니다:

표준 테스트 세트에서, 이 방식은 이미지 품질(PSNR) 면에서 기존 최고의 방법들보다 1.6 dB 이상 앞섰습니다.
새로운 실제 데이터셋에서도 경쟁 모델보다 1.2 dB 앞섰습니다.
시각적으로, 다른 방법들이 명확한 고스팅 현상이나 흐릿한 가장자리를 남기는 반면(논문의 비교 이미지 참조), EvReflection은 반사를 성공적으로 제거하여 깨끗하고 선명한 배경을 드러냈습니다.

이 논문은 이 접근 방식이 특히 반사가 복잡한 이중 이미지를 만들어 다른 시스템을 혼란스럽게 하는 "두꺼운" 유리를 처리하는 데 탁월하다고 제안합니다. 고속 모션 데이터를 활용함으로써, 시스템은 추측할 필요 없이 어떤 레이어가 진짜인지에 대한 물리적 증거를 갖게 됩니다.

이것이 의미하는 바

이 연구는 이벤트 카메라를 결합하는 것이 컴퓨터 비전 분야에서 오랫동안 난제로 남아있던 문제들을 해결할 수 있음을 시사합니다. 우리는 레이어를 분리하기 위해 카메라를 격렬하게 움직일 필요가 없으며, 적절한 센서로 포착한다면 아주 미세하고 자연스러운 움직임만으로도 엉킨 것을 풀어낼 충분한 정보를 얻을 수 있다는 것을 보여줍니다. 현재 이 시스템은 특정 유형의 카메라와 강력한 컴퓨터를 필요로 하지만, 이는 로봇, 자율주행 자동차, 그리고 사진작가들이 유리창이 가로막고 있더라도 세상을 선명하게 볼 수 있게 해주는 미래형 카메라의 길을 열어줍니다.

기술 요약: EvReflection: 반사 제거를 위한 이벤트 기반 마이크로 다이내믹스

1. 문제 정의

반사 제거(Reflection removal)는 특히 유리창과 같은 투명한 매체를 통해 촬영된 이미지에서 발생하는 매우 난해한(ill-posed) 컴퓨터 비전 과제입니다. 핵심 과제는 투과 층(배경 장면)과 반사 층(고스트 이미지) 사이의 내재적인 모호성을 해결하는 것입니다.

기존의 접근 방식은 크게 두 가지 범주로 나뉘며, 두 방식 모두 상당한 한계가 있습니다:

단일 이미지 방식: 정적 공간 사전 정보(예: 그래디언트 희소성, 고스트 단서)에 의존하여 층을 구분합니다. 그러나 반사 패턴이 배경의 질감과 유사할 경우, 이러한 방식은 모호성을 해결하지 못해 심각한 잔류 아티팩트를 초 yields 합니다.
다중 프레임 방식: 모션 패럴랙스(Motion parallax)를 활용하여 깊이 차이에 따라 층을 분리합니다. 효과적이기는 하지만, 충분한 광학 흐름(Optical flow)을 생성하기 위해 상당한 카메라 움직임(큰 베이스라인)이 필요합니다. 이는 움직임이 미미하거나 제한적인 일반적인 핸드헬드 상황에서의 실용성을 저해합니다.

본 논문은 정적 또는 저동작 시나리오에서 반사와 배경 사이의 모호성을 해결할 보완적 단서가 부족하다는 점이 주요 병목 현상이라고 상정합니다.

2. 방법론

저자들은 미세한 카메라 움직임에 의해 유도되는 **마이크로 다이내믹스(micro-dynamics)**를 포착하기 위해 **이벤트 카메라(event cameras)**를 활용하는 새로운 이벤트 기반 프레임워크인 EvReflection을 제안합니다. 프레임 기반 카메라가 노출 시간 동안 강도를 통합하는 것과 달리, 이벤트 센서는 마이크로초 단위의 해상도로 비동기적인 밝기 변화를 기록합니다.

핵심 통찰

약한 카메라 움직임(예: 손 떨림)이 있는 상황에서도, 반사 층(유리 표면)과 투과 층(배경)은 서로 다른 깊이에 위치합니다. 결과적으로 이들은 서로 다른 움직임 패턴(모션 패럴랙스)을 보입니다. 이벤트 카메라는 기존 카메라가 낮은 프레임 레이트나 해상도로 인해 놓치는 물리적 근거가 있는 단서를 제공하며, 이러한 마이크로 다이내믹스를 정밀하게 포착합니다.

네트워크 아키텍처

EvReflection 프레임워크는 두 단계의 협력 구조로 작동합니다:

마이크로 다이내믹스 디커플러 (MDD):
- 입력: 원시 이벤트 스트림으로부터 파생된 시공간 복셀 그리드(spatiotemporal voxel grid).
- 기능: 이 모듈은 혼합된 이벤트 다이내믹스를 층별 움직임 패턴으로 분리합니다. RAFT에서 영감을 받은 이중 브랜치 순환 아키텍처를 사용하여 두 개의 진화하는 특징 상태인 투과 다이내믹스( $D^i_T$ )와 반사 다이내믹스( $D^i_R$ )를 반복적으로 정교화합니다.
- 메커니즘: MDD는 "이중 브랜치 순환 디스인탱글먼트(Dual-Branch Recurrent Disentanglement)" 과정을 사용합니다. 이는 저수준 RGB 특징을 주입하여 구조적 경계를 제공함으로써 이벤트 기반 움직임 추정을 가이드합니다. 출력값은 시각적 혼합 없이 두 층의 구조적 움직임 경계를 인코딩하는 텍스처 불가지론적 다이내믹 프리어(dynamic prior)( $F_{dyn}$ )입니다.
패럴랙스-어텐션 렉티파이어 (PAR):
- 입력: 혼합된 RGB 이미지와 MDD로부터 얻은 다이내믹 프리어( $F_{dyn}$ ).
- 기능: 이 모듈은 다이내믹 단서를 풍부한 광도 세부 정보와 통합하여 깨끗한 투과 층을 복원합니다.
- 메커니즘: 단순한 결합 대신, PAR은 **교차 모달 어텐션 메커니즘(cross-modal attention mechanism)**을 사용합니다. 시각적 특징을 쿼리(Query)로, 다이내믹 프리어를 키(Key)로 취급하여 어텐션 맵( $M$ )을 생성합니다. 이 맵은 소프트 마스크 역할을 하여, 국부적 시각 질감이 투과 마이크로 다이내믹스와 일치하는 영역(높은 점수)과 반사 간섭이 발생하는 영역(낮은 점수)을 식별합니다. 이후 특징들은 반사 아티팩트를 억제하면서 투과 세부 정보를 보존하도록 공간적으로 변조됩니다.

데이터 생성 및 벤치마킹

RGB-이벤트 쌍 데이터의 부족 문제를 해결하기 위해 저자들은 다음을 개발했습니다:

패럴랙스 인식 시뮬레이션 파이프라인: 광학 기하 구조와 3D 카메라 궤적을 모델링하여 물리적으로 일관된 이벤트 스트림과 혼합 이미지 시퀀스를 합성하는 시스템입니다. 비디오 보간법을 사용하여 프레임을 업샘플링한 후 ESIM 시뮬레이터를 통해 이벤트로 변환함으로써, 마이크로초 해상도와 정확한 극성(polarity)을 보장합니다.
EVR2 데이터셋: 이 과업을 위한 최초의 실제 벤치마크 데이터셋입니다. 부드럽고 반복 가능한 모션 패럴랙스를 보장하기 위해 전동 리니어 슬라이드에 장착된 고해상도 Event-RGB 하이브리드 카메라를 사용하여 수집되었습니다. 이 데이터셋은 다양한 고스트 심각도를 평가하기 위해 세 가지 두께(3mm, 5mm, 8mm)의 유리판을 사용하여 촬영된 140개의 장면을 포함합니다.

3. 주요 기여

새로운 관점: 미세한 카메라 움직임으로부터 발생하는 마이크로 다이내믹스를 활용하여 반사와 배경 사이의 모호성을 깨뜨리는 이벤트 신호의 도입을 통해, 대규모 움직임 없이도 문제를 해결합니다.
EvReflection 프레임워크: 층별 움직임을 분리하는 MDD와 RGB 특징을 공간적으로 변조하여 아티팩트를 제거하는 PAR을 포함하는 특화된 네트워크를 제안합니다.
데이터 인프라: 패럴랙스 인식 시뮬레이션 파이프라인과 EVR2 실제 벤치마크 데이터셋을 구축하여 이 분야의 연구를 촉진합니다.

4. 실험 결과

합성(SIR2) 및 실제(EVR2) 벤치마크 모두에서 광범에한 실험이 수행되었습니다.

SIR2 성능 (합성): EvReflection은 최적의 경쟁 방법(DAI)보다 PSNR에서 1.6 dB(29.09 dB vs 27.46 dB) 앞서며 최첨단(SOTA) 성능을 달성했습니다. Objects, Postcards, Wild 서브셋 전체에서 모든 단일 이미지 및 다중 이미지 베이스라인을 능가했습니다.
EVR2 성능 (실제): 실제 캡처된 데이터셋에서 EvReflection은 가장 우수한 경쟁 방법보다 PS-NR에서 1.2 dB(27.25 dB vs 25.97 dB) 앞섰습니다.
강건성: 층 간의 공간적 오프셋이 더 크고 고스트 현상이 심한 두꺼운 유리(8mm)에서도 우수한 성능을 입증했습니다. 타 방법들이 유리 두께 증가에 따라 성능이 급격히 저하된 반면, EvReflection은 높은 충실도를 유지했습니다.
절제 연구(Ablation Studies): 이벤트 모달리티를 제거하거나 MDD/PAR 모듈을 제거했을 때 성능이 크게 저하되어, 정적 RGB 데이터만으로는 불충분하며 특정 디커플링 및 어텐션 메커니즘이 결정적임을 확인했습니다.
효율성: 무거운 백본(FocalNet)을 사용함에도 불구하고, EvReflection은 비교된 방법 중 가장 빠른 추론 속도(21.0 FPS)를 달성했습니다. 이는 복잡한 반복적 광학 흐름 추정의 필요성을 줄여주는 효율적인 이벤트 기반 움직임 단서 덕분입니다.

5. 의의 및 주장

본 논문은 EvReflection이 이벤트 가이드 이미지 분리 연구의 견고한 토대를 마련한다고 주장합니다. 이 연구의 주요 의의는 이벤트 신호를 통해 엄격한 물리적 제약을 도입함으로써, 단일 이미지 반사 제거라는 미결정(under-determined) 문제를 잘 결정된(well-posed) 문제로 전환했다는 점에 있습니다.

저자들은 자신들의 접근 방식이 특히 대규모 카메라 움직임이 불가능한 시나리오에서 기존 방법들을 괴롭히던 내재적 모호성을 효과적으로 해결한다고 단언합니다. 이벤트 카메라가 포착한 마이크로 다이내믹스가 가산적 이미지 층(additive image layers)을 분리할 수 있음을 입증함으로써, 본 연구는 사진, 감시, 로보틱스 분야에서 강건한 이미지 복원을 위한 새로운 길을 열었습니다.

인정된 한계점:
저자들은 세 가지 한계점을 솔직하게 언급했습니다:

유용한 이벤트 신호를 생성할 움직임이 없는 엄격한 정적 장면(예: 삼각대 설정)에서는 어려움을 겪습니다.
극한의 저조도 환경은 두 모달리티 모두를 저하시키는 센서 노이즈를 유발합니다.
대형 백본에 대한 의존도는 상당한 계산 오버헤드를 발생시키지만, 핵심적인 이벤트 구동 모듈은 경량입니다.