NEC-Diff: Noise-Robust Event-RAW Complementary Diffusion for Seeing Motion in Extreme Darkness

이 논문은 극도로 낮은 조도 환경에서 RAW 이미지와 이벤트 카메라의 상호 보완적 특성을 활용한 노이즈 강건한 확산 모델 NEC-Diff 와 대규모 저조도 데이터셋 REAL 을 제안하여, 기존 방법들이 간과했던 노이즈와 이벤트 자체의 잡음을 고려한 고화질 영상 재구성을 가능하게 합니다.

핵심

이 논문은 **"어둠 속에서 선명한 영상을 만드는 새로운 기술 (NEC-Diff)"**에 대해 설명합니다. 아주 쉽게 비유를 들어 설명해 드릴게요.

🌑 문제: "어둠 속에서 카메라가 망가진 이유"

상상해 보세요. 아주 깜깜한 밤에 사진을 찍으려는데, 카메라는 빛 (광자) 이 거의 없기 때문에 두 가지 큰 문제에 직면합니다.

1. 노이즈 (잡음): 빛이 부족하면 카메라는 "무슨 소리야?"라고 오해하며 화면에 쌀알 같은 노이즈를 뿌립니다.
2. 세부 정보 손실: 어두운 곳에서는 물체의 질감이나 윤곽이 뭉개져서 보이지 않습니다.

기존 방법들은 노이즈를 지우려고 하면 세밀한 부분까지 지워버리고 (너무 매끄러워짐), 세밀한 부분을 살리려고 하면 노이즈가 너무 심해집니다. 마치 진흙탕에서 보석을 찾으려다 보석까지 흙으로 덮어버리는 상황과 비슷합니다.

---

💡 해결책: "두 개의 눈으로 보는 NEC-Diff"

이 연구팀은 **"일반 카메라 (RAW)"**와 **"이벤트 카메라 (Event Camera)"**라는 두 가지 다른 눈을 함께 쓰는 방법을 고안했습니다.

1. 두 가지 카메라의 특징 (비유)

• 일반 카메라 (RAW): 전체적인 밝기와 색감을 잘 잡아내지만, 너무 어두우면 노이즈가 심해집니다. (예: 어두운 방에서 전체 분위기를 잘 보는 사람)
• 이벤트 카메라: 빛의 **변화 (움직임, 가장자리)**에 매우 민감합니다. 아주 어두운 곳에서도 물체의 윤곽을 빠르게 포착하지만, 그 자체로 '가짜 신호 (노이즈)'가 많이 섞여 있습니다. (예: 어두운 방에서도 움직이는 물체의 윤곽만 빠르게 눈치채는 사람)

2. NEC-Diff 의 마법: "서로 도와주는 팀워크"

이 기술은 두 카메라의 정보를 서로 보완하게 만듭니다.

• 상호 denoising (잡음 제거):

  • 일반 카메라가 제공하는 "밝기 정보"를 이용해 이벤트 카메라의 가짜 신호 (노이즈) 를 걸러냅니다.
  • 반대로, 이벤트 카메라가 잡아낸 "명확한 윤곽선"을 이용해 일반 카메라의 뭉개진 부분을 선명하게 만들어줍니다.
  • 비유: 한 사람이 "이곳은 어두구나 (밝기)"라고 알려주면, 다른 사람은 "그럼 이 부분은 가짜 신호겠지?"라고 판단하여 노이즈를 제거하는 식입니다.

• 신뢰도 기반 융합 (SNR 가이드):

  • 화면의 어떤 부분은 일반 카메라가 더 잘 보고, 어떤 부분은 이벤트 카메라가 더 잘 봅니다. NEC-Diff 는 **"지금 이 부분에서 누가 더 잘 보고 있나?"**를 실시간으로 계산하여, 더 잘 본 사람의 정보를 우선적으로 섞어 넣습니다.
  • 비유: 어두운 숲속에서 길을 찾을 때, 나무가 많은 곳은 나침반 (이벤트) 을 보고, 탁 트인 곳은 지도 (일반 카메라) 를 보는 것처럼 상황에 맞춰 가장 신뢰할 수 있는 정보를 선택합니다.

• 확산 모델 (Diffusion):

  • 마지막으로, 이렇게 정제된 정보를 바탕으로 **AI 가 마치 안개 낀 풍경을 천천히 맑게 만드는 과정 (확산 모델)**을 통해 최종적으로 선명한 영상을 만들어냅니다.

---

📸 새로운 데이터셋: "REAL"

이 기술을 검증하기 위해 연구팀은 실제 어두운 환경에서 촬영한 새로운 데이터셋 (REAL) 을 만들었습니다. 기존에는 시뮬레이션된 데이터만 있었지만, 이 데이터셋은 실제 차량이 움직이며 찍은 아주 어두운 (0.001~0.8 lux) 장면들을 포함하고 있어, 실제 적용 가능성을 높였습니다.

🏆 결론: 왜 이것이 중요한가요?

기존 기술들은 "노이즈 제거 vs 세부 정보 보존" 사이에서 타협을 해야 했지만, NEC-Diff 는 두 마리 토끼를 다 잡았습니다.

• 결과: 극도로 어두운 밤이나 빠른 움직임이 있는 상황에서도 선명하고 노이즈 없는 영상을 만들어냅니다.
• 의의: 자율주행차의 야간 주행, 감시 카메라, 혹은 어두운 곳에서의 의료 영상 등 빛이 부족한 모든 분야에서 혁신을 가져올 수 있습니다.

한 줄 요약:

"어둠 속에서 일반 카메라와 이벤트 카메라가 서로 잡음을 제거해주고, 각자 잘 보는 부분을 합쳐서 AI 가 선명한 영상을 만들어내는 기술입니다."

기술 요약

1. 문제 정의 (Problem Definition)

극도로 어두운 환경 (Photon-starved conditions) 에서 동적인 장면을 촬영할 때 기존 카메라는 다음과 같은 심각한 한계에 직면합니다:

• 광자 부족 (Photon Scarcity): 센서에 도달하는 광자가 극히 적어 심각한 노이즈와 텍스처 손실이 발생합니다.
• 노이즈와 텍스처의 트레이드오프: 기존 저조도 이미지 향상 (LLIE) 방법들은 노이즈를 제거하려다 미세한 텍스처가 과도하게 평활화되거나, 반대로 텍스처를 보존하려다 노이즈가 잔류하는 딜레마가 존재합니다.
• 기존 방법의 한계:
  • RAW 이미지 기반: ISP 파이프라인을 거치지 않아 노이즈 모델링에 유리하지만, 짧은 노출 시간으로 인한 정보 손실은 근본적으로 해결하지 못합니다.
  • 이벤트 카메라 (Event Camera): 높은 다이나믹 레인지 (120dB) 와 미세한 시간 해상도로 모션 에지를 잘 포착하지만, 저조도 환경에서는 자체적인 광자 샷 노이즈 (Shot Noise) 가 심하며, 밝기가 일정한 영역에서는 정보가 없습니다.
  • 기존 퓨전 방법: 이벤트와 이미지를 단순히 결합하거나 필터링하는 방식은 약한 신호를 보존하면서 노이즈를 정밀하게 제거하는 데 한계가 있습니다.

2. 제안 방법: NEC-Diff (Methodology)

저자들은 NEC-Diff라는 확산 모델 (Diffusion Model) 기반의 이벤트-RAW 하이브리드 이미징 프레임워크를 제안합니다. 이 프레임워크는 크게 세 가지 핵심 모듈로 구성됩니다.

가. 핵심 통찰 (Key Insights)

1. 물리 기반 제약: RAW 이미지의 선형적인 빛 반응 특성과 이벤트의 밝기 변화 특성을 결합하여, 두 모달리티가 서로를 보조하며 노이즈를 제거하는 물리 기반의 제약을 수립합니다.
2. SNR 기반 적응적 퓨전: 두 모달리티의 신호 대 잡음비 (SNR) 를 동적으로 추정하여, 각 영역에서 더 신뢰할 수 있는 신호를 선택적으로 융합하고 이를 확산 과정에 주입합니다.

나. 주요 모듈 구성

1. ECNS (Event–RAW Collaborative Noise Suppression):

   • 이벤트 기반 노이즈 제거: RAW 이미지가 제공하는 조명 정보 (Illumination Prior) 를 활용하여 이벤트의 샷 노이즈를 제거합니다.
   • 이미지 기반 노이즈 제거: 노이즈가 제거된 이벤트의 고다이나믹 레인지 에지 정보를 활용하여 이미지의 텍스처를 보존하면서 노이즈를 억제합니다.
   • 강도 일관성 손실 (Intensity Consistency Loss): RAW 이미지와 이벤트 간의 물리적 관계 (로그 관계) 를 모델링하여, 두 모듈의 출력이 물리적으로 일관되도록 강제합니다.

2. SRIE (SNR-Guided Reliable Information Extraction):

   • 저조도 환경에서는 이미지의 밝은 영역과 이벤트의 에지 영역 등 공간별로 신뢰도 (SNR) 가 다릅니다.
   • 각 모달리티의 SNR 맵을 생성하고, 이를 기반으로 가중치를 동적으로 할당하여 높은 SNR 을 가진 특징만 선택하여 추출합니다. (예: 어두운 평탄한 영역에서는 이미지 신호를, 에지 영역에서는 이벤트 신호를 우선시)

3. CAD (Cross-Modal Attentive Diffusion):

   • ECNS 와 SRIE 를 통해 추출된 신뢰할 수 있는 특징들을 양방향 교차 모달 어텐션 (Bidirectional Cross-modal Attention) 을 통해 융합합니다.
   • 융합된 특징을 확산 모델 (Diffusion Model) 의 조건 (Condition) 으로 입력하여, 극도로 낮은 SNR 환경에서도 고충실도 (High-fidelity) 의 이미지를 재구성합니다.

3. 주요 기여 (Key Contributions)

1. NEC-Diff 프레임워크: 광자 부족 환경에서 노이즈와 텍스처 보존의 트레이드오프를 해결하기 위해, 이벤트의 텍스처 단서와 RAW-이벤트 간의 물리적 일관성을 활용한 새로운 확산 기반 하이브리드 아키텍처를 제안했습니다.
2. SNR 기반 적응적 퓨전: 단순히 정보를 합치는 것이 아니라, 각 모달리티의 신호 신뢰도 (SNR) 를 실시간으로 평가하여 가장 신뢰할 수 있는 정보를 선택적으로 확산 모델에 주입하는 메커니즘을 도입했습니다.
3. REAL Dataset 구축: 기존 데이터셋의 한계를 극복하기 위해, 0.001~0.8 lux 의 극저조도 조건에서 정렬된 (Pixel-aligned) RAW 이미지, 이벤트, 고품질 GT 를 포함하는 REAL (Raw and Event Acquired in Low-light) 데이터셋을 구축했습니다. (약 47,800 개의 샘플 포함)

4. 실험 결과 (Results)

• 데이터셋: 합성 데이터 (LLRVD-simu) 와 제안한 실제 데이터 (REAL) 에서 평가 수행.
• 성능:
  • 정량적 지표: REAL 데이터셋에서 PSNR 24.51, SSIM 0.742, LPIPS 0.201 을 기록하여 기존 SOTA 방법들 (sRGB 기반, RAW 기반, 이벤트 기반, 하이브리드 방법 등) 보다 우수한 성능을 보였습니다.
  • 정성적 평가: 극도로 어두운 환경에서도 선명한 에지, 자연스러운 색상, 그리고 미세한 텍스처를 잘 보존하며, 과도한 노이즈나 블러링 현상이 거의 관찰되지 않았습니다.
• Ablation Study:
  • ECNS 모듈 제거 시 PSNR 이 3.45 dB 하락하여 협업적 노이즈 제거의 중요성을 입증했습니다.
  • 단일 SNR 기반 퓨전 대비 Dual SNR 기반 퓨전이 모든 영역에서 더 일관된 성능 향상 (평균 PSNR 0.76dB 증가) 을 보였습니다.

5. 의의 및 결론 (Significance)

• 극저조도 이미징의 새로운 패러다임: 기존에 해결하기 어려웠던 '동적 장면에서의 극저조도 촬영' 문제를 이벤트 카메라와 RAW 이미지의 상호 보완적 특성을 통해 성공적으로 해결했습니다.
• 물리 기반 딥러닝: 단순한 데이터 드리븐 접근을 넘어, 센서의 물리적 특성 (광자 통계, 로그 관계 등) 을 모델에 통합함으로써 모델의 견고성 (Robustness) 을 크게 향상시켰습니다.
• 오픈 소스 및 데이터셋 공개: NEC-Diff 코드와 대규모 REAL 데이터셋을 공개하여, 극저조도 이미징 및 이벤트 기반 비전 연구 커뮤니티의 발전을 촉진할 것으로 기대됩니다.

이 논문은 극도로 제한된 광자 환경에서도 고품질의 동적 장면을 재구성할 수 있는 강력한 솔루션을 제시하며, 자율 주행, 감시, 야간 촬영 등 다양한 응용 분야에서 중요한 기여를 할 것으로 예상됩니다.