BiEvLight: Bi-level Learning of Task-Aware Event Refinement for Low-Light Image Enhancement

이 논문은 저조도 이미지 향상 (LLIE) 시 이벤트 카메라의 내재적 노이즈와 이미지 신호 대 잡음비 저하로 인한 성능 병목 현상을 해결하기 위해, 이미지와 이벤트 간의 강한 기울기 상관관계를 활용한 경향성 기반 이벤트 정제 사전 지식을 도입하고, 향상 작업에 적응적으로 최적화되도록 이벤트 정제를 상하위 레벨 최적화 문제로 재정의한 'BiEvLight' 프레임워크를 제안합니다.

핵심

🌙 1. 문제 상황: "어두운 밤, 두 가지의 불행"

우리가 밤에 사진을 찍을 때 겪는 두 가지 큰 문제가 있습니다.

1. 일반 카메라 (프레임 카메라) 의 한계: 어두우면 셔터 속도를 늦춰야 하므로, 움직이는 물체는 흐릿하게 (모션 블러) 찍히거나, 빛을 잡으려고 감도 (ISO) 를 높이면 **노이즈 (쌀알 같은 점들)**가 가득 차게 됩니다.
2. 이벤트 카메라의 함정: 최근 나온 '이벤트 카메라'는 빛의 변화만 아주 빠르게 감지해서 움직임을 잘 잡습니다. 하지만 어두운 밤에는 이 카메라도 **자신 내부의 오작동 (배경 잡음)**으로 인해 엉뚱한 신호를 쏟아냅니다. 마치 귀가 예민해져서 바람 소리까지 다 '귀신 소리'로 착각하는 것과 같습니다.

기존 연구들은 이 두 가지 데이터를 합치는 데만 집중했는데, **"이벤트 카메라 자체의 잡음 (Background Activity Noise)"**을 제대로 제거하지 못해, 오히려 흐릿한 사진에 더러운 잡음을 섞어주는 결과가 나왔습니다.

---

💡 2. 해결책: BiEvLight (양쪽을 동시에 생각하는 똑똑한 시스템)

이 논문은 "잡음 제거 (Denoising)"와 "화질 개선 (Enhancement)"을 따로 하는 게 아니라, 서로 대화하며 함께 발전시키는 방식을 제안합니다.

🎨 비유: "화가와 미술평론가의 협력"

기존 방식은 **미술평론가 (잡음 제거)**가 먼저 그림을 다듬어서 **화가 (화질 개선)**에게 넘겨주는 방식이었습니다.

• 문제: 평론가가 "이건 잡음이다"라고 너무 과하게 지워버리면, 화가는 중요한 디테일 (눈썹, 옷 주름 등) 을 잃어버려서 그림을 못 그립니다. 반대로 잡음을 다 지우지 못하면, 화가는 더러운 캔버스 위에서 그림을 그려야 합니다.

BiEvLight 의 방식:
이제 화가와 평론가가 서로 대화하며 그림을 그립니다.

1. **화가 (화질 개선)**가 "이 부분은 중요한 눈썹이니까 지우지 마!"라고 신호를 보냅니다.
2. **평론가 (잡음 제거)**는 그 신호를 받고 "아, 이 부분은 지우면 안 되겠구나. 여기만 잡음만 골라내자"라고 전략을 바꿉니다.
3. 이렇게 잡음이 제거된 깨끗한 데이터를 다시 화가에게 주면, 화가는 훨씬 더 선명한 그림을 그릴 수 있습니다.

이처럼 **"누가 먼저 할지 정하는 게 아니라, 서로의 필요에 따라 잡음 제거 기준을 실시간으로 조정"**하는 것이 이 방법의 핵심입니다.

---

🔍 3. 핵심 기술 두 가지 (어떻게 작동할까?)

① "그림자 따라잡기" (Gradient-guided Denoising)

• 원리: 빛이 변하는 곳 (물체의 가장자리) 에는 이벤트 카메라의 신호도 강하게 나옵니다.
• 비유: 어두운 방에서 물체의 **윤곽선 (그림자)**을 보고, 그 윤곽선 위에 있는 것만 진짜 신호로 믿고 나머지는 잡음으로 버리는 것입니다.
• 효과: 평범한 필터는 "모든 곳의 잡음을 똑같이 지우려다" 중요한 윤곽선까지 지워버리지만, 이 방법은 사진의 윤곽선을 지도로 삼아 잡음만 정교하게 제거합니다.

② "양방향 피드백" (Bi-level Learning)

• 원리: 잡음 제거와 화질 개선을 하나의 팀으로 묶어, 한쪽이 잘되면 다른 쪽도 더 잘하도록 훈련시킵니다.
• 비유: 축구 경기에서 **수비수 (잡음 제거)**가 공을 막아내면, **공격수 (화질 개선)**가 골을 넣기 쉽습니다. 반대로 공격수가 "공을 더 정확히 넘겨줘"라고 요청하면, 수비수는 그 요청에 맞춰 공을 더 정확히 막아냅니다.
• 결과: 서로가 서로를 도와주면서, 기존에 없던 최고 수준의 화질을 만들어냅니다.

---

🏆 4. 결과: 얼마나 좋아졌나요?

이 방법을 실제 데이터 (SDE, SDSD) 로 테스트한 결과, 기존에 가장 좋았던 방법들보다 압도적으로 좋은 점수를 받았습니다.

• 선명도 (PSNR): 기존 최고 기술보다 약 1.3~2.0 점이나 더 높았습니다. (사진으로 치면, 흐릿한 안개 낀 사진이 맑은 날 사진처럼 변한 수준입니다.)
• 구조적 정확도 (SSIM): 물체의 모양과 디테일이 훨씬 잘 살아났습니다.
• 시각적 효과: 확대해서 보면, 잡음 때문에看不清 (보이지 않던) 글씨나 텍스트가 선명하게 드러나는 것을 확인할 수 있습니다.

---

📝 요약

BiEvLight는 "어두운 밤에 찍은 흐릿한 사진"을 복원할 때, 이벤트 카메라의 잡음을 단순히 지우는 게 아니라, 사진을 더 잘 만들기 위해 잡음 제거 방식을 실시간으로 조정하는 똑똑한 시스템입니다.

마치 화가와 평론가가 서로의 의견을 존중하며 함께 명작을 만들어내는 과정처럼, 두 가지 기술이 서로 협력하여 어두운 밤의 사진을 맑고 선명하게 만들어낸 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 저조도 환경 (야간, 어두운 실내 등) 에서 고품질 이미지를 획득하는 것은 자율 주행 및 감시 시스템에 필수적입니다. 기존 프레임 기반 카메라는 장노출로 인해 모션 블러와 심한 노이즈가 발생하며, 기존 저조도 이미지 향상 (LLIE) 방법들은 구조적 정보 손실을 완전히 해결하지 못했습니다.
• 이벤트 카메라의 잠재력: 높은 동적 범위 (HDR) 와 마이크로초 단위의 시간 해상도를 가진 이벤트 카메라는 이러한 문제를 해결할 수 있는 새로운 패러다임으로 부상했습니다.
• 핵심 문제 (Dual Degradation):
  1. 이벤트 데이터의 열화: 저조도 환경에서는 센서의 민감도를 높이기 위해 임계값을 낮추게 되며, 이로 인해 내부 회로의 무작위 요동 (Dark Current) 이 '배경 활동 (Background Activity, BA) 노이즈'를 대량으로 유발합니다. 이는 이벤트 스트림의 신뢰성을 떨어뜨립니다.
  2. 노이즈 커플링 (Noise Coupling): 기존 연구들은 주로 이미지와 이벤트의 융합 전략에 집중했으나, 이벤트의 심한 노이즈와 이미지의 낮은 신호대잡음비 (SNR) 가 결합된 '이중 열화' 문제를 간과했습니다.
  3. 고정된 전처리 방식의 한계: 기존 방법들은 이벤트 노이즈 제거 (Denoising) 를 향상 (Enhancement) 작업 전에 수행되는 고정된 전처리 단계로 간주했습니다. 이는 과도한 노이즈 제거 (세부 정보 손실) 와 불충분한 노이즈 제거 (잔여 노이즈 전파) 사이의 딜레마를 초래하며, 특정 향상 작업의 요구 사항에 적응하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 BiEvLight라는 계층적이고 작업 인식 (Task-Aware) 이 가능한 프레임워크를 제안했습니다. 이는 이벤트 노이즈 제거와 이미지 향상의 내재적 상호의존성을 활용하여 두 작업을 협력적으로 최적화합니다.

가. 공간 적응형 그라디언트 유도 노이즈 제거 (Spatially-adaptive Gradient-guided Denoising)

• 원리: 이미지와 이벤트는 강한 그라디언트 상관관계를 가집니다. 이벤트는 물체 가장자리의 밝기 변화에서 발생하므로, 이미지의 그라디언트는 이벤트의 유효성을 판단하는 공간적 방향성 사전 지식 (Prior) 이 됩니다.
• 전략: 저조도 이미지의 반사도 (Reflectance) 성분의 그라디언트를 활용하여 이벤트 스트림의 노이즈 제거를 유도합니다.
  • 공간 적응형 임계값: 전역적인 마스크 적용 대신, 지역적 그라디언트 분포에 따라 노이즈 제거 강도를 자동으로 조절합니다. 매끄러운 영역에서는 희소한 이벤트를 보존하고, 질감 영역에서는 노이즈를 효과적으로 억제합니다.

나. 작업 인식 이계 최적화 (Task-Aware Bi-level Learning)

• 개념: 이벤트 노이즈 제거를 독립적인 전처리가 아닌, 이미지 향상 작업에 의해 제약받는 이계 최적화 (Bi-level Optimization) 문제로 재정의합니다.
  • 하위 문제 (Lower-level): 이미지 향상 네트워크가 입력 (저조도 이미지 + 정제된 이벤트) 을 받아 고화질 이미지를 생성합니다.
  • 상위 문제 (Upper-level): 이벤트 노이즈 제거 네트워크가 향상 네트워크의 성능 피드백을 받아 이벤트 표현을 최적화합니다.
• 작동 방식:
  1. 향상 작업이 이벤트의 정제 정도에 따라 성능 변화 (Gain) 를 생성합니다.
  2. 이 피드백이 상위 노이즈 제거 작업으로 전달되어, "어떤 이벤트가 향상 작업에 가장 유익한가"를 학습하게 합니다.
  3. 이를 통해 노이즈 억제와 구조적 충실도 (Structural Fidelity) 사이의 미묘한 균형을 적응적으로 달성합니다.

다. 최적화 알고리즘

• 중첩된 이계 구조를 해결하기 위해, 하위 문제의 최적 해를 근사하는 1 단계 절단 반복 미분 (One-step Truncated Iterative Differentiation, ITD) 전략을 사용합니다. 이는 헤시안 (Hessian) 행렬의 명시적 역계산 없이 효율적으로 상하위 계층의 파라미터를 동시에 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. BiEvLight 프레임워크: 이벤트 노이즈 제거와 LLIE 간의 내재적 상호의존성을 활용하여, 노이즈 제거를 하위 향상 작업에 의해 제약받는 상위 최적화 문제로 재정의하고 협력적 최적화를 달성했습니다.
2. 공간 적응형 그라디언트 유도 노이즈 제거: 이미지와 이벤트 간의 강한 그라디언트 상관관계를 활용하여, 노이즈가 심한 영역에서도 정밀한 노이즈 억제와 세부 정보 보존을 동시에 이루는 전략을 제안했습니다.
3. 성능 검증: SDE 및 SDSD 와 같은 실제 저조도 이벤트 - 이미지 데이터셋에서 최신 기법 (SOTA) 을 능가하는 성능을 입증하고, 정성적/정량적 분석을 통해 방법론의 유효성을 검증했습니다.

4. 실험 결과 (Results)

• 데이터셋: SDE (실제 저조도 이벤트 - 이미지 데이터셋) 및 SDSD 데이터셋에서 평가 수행.
• 정량적 성능 (Quantitative):
  • SDE 데이터셋: 기존 SOTA 방법 (EvLight) 대비 평균 PSNR 1.30dB, PSNR 2.03dB*, SSIM 0.047 향상.
  • SDSD 데이터셋: 실내 (SDSD-in) 및 실외 (SDSD-out) 시나리오 모두에서 최상위 성능 기록. 특히 PSNR* 지표에서 유의미한 개선을 보임.
• 정성적 성능 (Qualitative):
  • 어두운 영역에서도 선명한 에지 재구성을 보여줌.
  • 원본 이벤트 스트림은 노이즈로 인해 정보가 가려져 있었으나, BiEvLight 를 통해 정제된 이벤트는 텍스트 정보 등 명확한 구조적 정보를 드러냄.
• Ablation Study:
  • 단순 결합 학습 (Joint Learning) 이나 번갈아 학습 (Alternating Learning) 보다 제안된 이계 학습 (Bi-level Learning) 이 노이즈 제거와 향상 작업 간의 그라디언트 충돌을 해결하고 성능을 극대화함을 확인.

5. 의의 및 결론 (Significance)

이 논문은 저조도 환경에서의 이벤트 기반 이미지 향상 분야에서 다음과 같은 중요한 통찰을 제공합니다:

• 패러다임 전환: 이벤트 노이즈 제거를 단순한 전처리 단계가 아닌, 최종 향상 목표에 맞춰 동적으로 조정되는 작업 인식 (Task-Aware) 과정으로 재정의했습니다.
• 상호 보완적 최적화: 이미지와 이벤트 간의 상호 피드백 메커니즘을 통해, 노이즈가 심한 환경에서도 구조적 세부 사항을 보존하면서 노이즈를 효과적으로 제거하는 균형을 달성했습니다.
• 실용성: 자율 주행 및 야간 감시와 같이 저조도 및 고속 동적 환경이 요구되는 응용 분야에서 고품질 시각 데이터 획득을 위한 강력한 솔루션을 제시합니다.

결론적으로, BiEvLight 는 기존 방법들의 한계였던 '노이즈 커플링'과 '고정된 전처리' 문제를 해결하여, 이벤트 카메라의 잠재력을 저조도 이미지 향상 분야에서 최대한 끌어올린 획기적인 접근법입니다.