EPOFusion: Exposure aware Progressive Optimization Method for Infrared and Visible Image Fusion

1. 문제 정의 (Problem Definition)

기존의 적외선 (Infrared) 과 가시광선 (Visible) 이미지 융합 기술은 정상적인 조명 환경에서는 우수한 성능을 보이지만, **과노출 (Overexposure)**이 발생하는 실제 시나리오 (강한 햇빛, 심한 야간 반사광 등) 에서는 심각한 한계를 드러냅니다.

• 기존 방법의 한계:
  • 과노출 영역의 정보 손실: 가시광선 센서는 과노출 영역에서 픽셀 포화 (Saturation) 가 발생하여 유효한 그라디언트나 질감 정보가 사라집니다. 이때 기존 방법들은 포화된 가시광선 강도에 지배되어 적외선의 열적 세부 정보를 완전히 잃어버리거나, 반대로 적외선 정보를 과도하게 보존하려다 센서 노이즈를 증폭시켜 이미지 선명도를 떨어뜨립니다.
  • 고정된 손실 함수의 비효율성: 기존 손실 함수 (Loss Function) 는 과노출 영역과 정상 영역을 구분하지 못해, 과노출 영역에서도 질감 보존과 강도 보존 간의 최적 균형을 찾지 못합니다.
  • 데이터 부족: 과노출 영역을 정확히 주석 (Annotation) 한 공개 데이터셋이 부재하여 모델을 학습시키기 어렵습니다.

2. 제안 방법론 (Methodology: EPOFusion)

저자들은 이러한 문제를 해결하기 위해 과노출 인지형 점진적 최적화 (Exposure-aware Progressive Optimization) 프레임워크인 EPOFusion을 제안합니다.

A. 핵심 아키텍처

1. 가이드 모듈 (Guidance Module):
   • 과노출 영역에서 적외선 세부 정보를 추출하도록 인코더의 주의를 집중시키기 위해 설계되었습니다.
   • 과노출 영역에 대한 적외선 마스크를 예측하여 네트워크가 해당 영역의 열적 세부 구조를 정확히 복원하도록 유도합니다.
2. 반복적 디코딩 융합 모듈 (Iterative Decoding Fusion Module):
   • DDPM(Denoising Diffusion Probabilistic Models) 의 아이디어를 차용하여, 융합 이미지를 한 번에 생성하는 것이 아니라 반복적으로 점진적으로 최적화합니다.
   • DDIM (Denoising Diffusion Implicit Models) 샘플링 패러다임을 사용하여, 잠재 공간에서의 특징 정제 (Feature Purification) 를 통해 노이즈를 제거하고 중요한 구조를 강화합니다.
3. 다중 스케일 컨텍스트 융합 모듈 (MSCF, Multi-Scale Context Fusion Module):
   • 반복적 최적화에서 나온 정제된 특징을 활용하기 위해 설계되었습니다.
   • 맥락 융합 브랜치 (CFB): 확장 컨볼루션 (Atrous Convolution) 을 사용하여 전역적 컨텍스트 정보를 수집합니다.
   • 고충실도 브랜치 (HFB): 표준 및 그룹 컨볼루션을 사용하여 원본 이미지의 미세한 질감과 에지 정보를 보존합니다.
   • 두 브랜치의 특징을 융합하여 최종 이미지를 생성합니다.

B. 적응형 손실 함수 (Adaptive Loss Function)

과노출 여부에 따라 손실 함수가 동적으로 작동하도록 설계되었습니다.

• 정상 영역: 가시광선과 적외선 간의 최적 강도 분포와 질감을 보존하기 위해 강도 손실 ($L_{int}$) 과 질감 손실 ($L_{grad}$) 을 적용합니다.
• 과노출 영역: 가시광선 정보가 신뢰할 수 없으므로, 적외선 가이드에서 생성된 **의사 정답 (Pseudo Ground Truth)**을 기준으로 융합 이미지를 유도합니다. 이 영역에서는 적외선 특징을 강조하는 가중치 ($\gamma$) 를 적용하여 열적 정보를 우선시합니다.

C. IVOE 데이터셋 구축

• 기존 데이터셋의 부족을 해결하기 위해 IVOE (Infrared-Visible Overexposure) 데이터셋을 최초로 구축했습니다.
• 공개 데이터셋 (MFNet, LLVIP 등) 의 이미지 쌍을 기반으로, SAM (Segment Anything Model) 을 활용하여 과노출 영역의 객체를 자동으로 식별하고 주석했습니다.
• 가우시안 광점 (Gaussian light spots) 을 합성하여 다양한 강도와 색조로 과노출을 시뮬레이션하고, 2,315 쌍의 학습 데이터와 176 쌍의 실전 테스트 데이터를 구성했습니다.

3. 주요 기여 (Key Contributions)

1. EPOFusion 프레임워크: 과노출 영역에서 적외선 세부 정보를 효과적으로 보존하는 지역 가이드 및 과노출 인지형 반복적 최적화 프레임워크를 제안했습니다.
2. 다중 스케일 및 적응형 손실: 다중 스케일 컨텍스트 융합 모듈과 적응형 동적 손실 함수를 통해 극한 조명 조건에서도 세부 목표물을 정확히 추출하고 강건성을 확보했습니다.
3. IVOE 데이터셋: 과노출 영역의 세부 사항에 대한 정밀한 주석이 포함된 최초의 적외선 - 가시광선 과노출 데이터셋을 구축하고 공개했습니다.
4. 성능 입증: 다양한 벤치마크 (MSRS, FMB, IVOE) 에서 기존 SOTA 방법들보다 우수한 정량적/정성적 성능을 보였으며, 하류 작업 (분할, 탐지) 의 정확도도 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 정량적 평가: MSRS, FMB, IVOE 데이터셋에서 엔트로피 (EN), 상호 정보량 (MI), 시각적 정보 충실도 (VIF), QAB/F, SSIM 등 5 가지 주요 지표에서 대부분 1 위 또는 2 위를 기록했습니다. 특히 IVOE 데이터셋에서 MI(5.137) 와 VIF(0.912) 등에서 압도적인 성능을 보였습니다.
• 정성적 평가:
  • 과노출 영역: 하늘이나 차량 번호판 등 강한 빛이 비치는 영역에서도 적외선의 열적 세부 정보 (예: 차량의 열적 윤곽, 번호판 글자) 를 선명하게 복원했습니다.
  • 노이즈 제거: 기존 GAN 기반 방법들이 도입하던 불필요한 적외선 노이즈나 아티팩트를 제거하고 자연스러운 색감 유지했습니다.
• 효율성: 반복적 디코딩과 이중 브랜치 구조로 인해 계산 복잡도가 다소 증가했으나, 파라미터 수 (33.87M) 와 추론 시간 (74.80ms) 면에서 실시간 적용 가능한 수준을 유지하며 품질과 효율성의 균형을 이뤘습니다.
• 하류 작업: 생성된 융합 이미지를 사용한 객체 탐지 및 의미론적 분할 작업의 정확도가 기존 방법 대비 크게 향상되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 적외선 - 가시광선 융합 분야에서 오랫동안 간과되어 왔던 '과노출' 문제에 집중하여, 단순한 이미지 합성을 넘어 시각적 충실도와 하류 작업 성능을 동시에 극대화하는 새로운 패러다임을 제시했습니다.

• 기술적 혁신: 확산 모델 (Diffusion Model) 의 반복적 최적화 원리를 융합에 적용하고, 과노출 영역에 특화된 적응형 손실 함수를 도입함으로써 기존 방법들의 한계를 극복했습니다.
• 실용적 가치: 자율주행, 야간 감시, 군사 감시 등 극한 조명 환경이 빈번한 실제 응용 분야에서 신뢰할 수 있는 융합 이미지를 제공할 수 있는 기반을 마련했습니다.
• 데이터 기여: IVOE 데이터셋의 공개는 향후 과노출 인지형 융합 연구의 표준 벤치마크로 작용할 것으로 기대됩니다.