기술 요약: WREN - Retinex 이론 기반의 Double U-Net 구조를 이용한 저조도 이미지 향상

1. 문제 정의

저조도 이미지 향상(LLIE)은 교통사고, 재난, 범죄 등이 주로 어두운 환경에서 발생하는 야간 투시, 수색 및 구조, 감시와 같은 응용 분야에서 매우 중요합니다. 기존의 LLIE 방법들은 일반적으로 다음과 같은 세 가지 주요 과제에 직면해 있습니다:

1. 비자명한 Retinex 분해(Non-trivial Retinex Decomposition): 이미지를 반사율(고유 색상)과 조도(조명 조건)로 분해하는 과정은 유일하지 않으며 불량한 문제(ill-posed problem)를 가집니다.
2. 엔드 투 엔드 학습의 불안정성: 조도 보상과 정제 단계를 공동으로 훈련하는 것은 종종 불안정한 수렴을 초래합니다.
3. 동적 범위에 대한 민감도: 많은 최첨단 방법들은 다양한 조명 조건에 걸쳐 일반화하는 데 실패하며, 테스트 장면의 동적 범위가 학습 데이터와 다를 경우 종종 과도한 향상(over-enhancement) 또는 과소 향상(under-enhancement)을 초래합니다.

현재의 2단계 접근 방식(분해 후 정제)에서 식별된 특정 한계점은 **과도한 평활화(over-smoothing)**입니다. 정제 단계는 합성된 정상 광도 이미지(반사율과 조도의 곱)를 대상으로 작동하기 때문에, 반사율 맵에 노이즈가 존재한다고 암묵적으로 가정합니다. 그러나 Retinex 이론에 따르면 반사율 맵은 노이즈가 없어야 합니다. 결과적으로 결합된 이미지를 평활화하는 것은 의도치 않게 반사율 맵을 평활화하여 질감과 디테일을 저하시킵니다.

2. 방법론: WREN 아키텍처

저자들은 과도한 평활화와 동적 범위 민감도를 극복하기 위해 Retinex 이론 원칙을 엄격히 준수하도록 설계된 신경망인 WREN을 제안합니다. WREN은 두 개의 서브 네트워크로 구성된 Double U-Net 유사 구조를 채택합니다.

3.1. Retinex 분해 네트워크 ($U_1$)

이 네트워크는 공유 인코더와 두 개의 별도 디코더를 사용하여 입력 저조도 이미지($I_{low}$)를 다음으로 분해합니다:

• 반사율 맵 ($R$): 고유한 표면 색상을 나타냅니다.
• 조도 맵 ($L_{low}$): 입사광의 강도를 나타냅니다.

핵심 설계 선택: 다른 접근 방식들과 달리, WREN은 분해된 반사율 맵 $R$을 변경하지 않고 유지합니다. 이는 반사율은 조명 조건에 불변하며 노이즈가 없어야 한다는 Retinex 가정을 엄격히 따르는 것입니다.

3.2. 조도 보상 네트워크 ($U_2$)

이 네트워크는 $U_1$에서 얻은 조도 맵($L_{low}$)을 향상시키는 데에만 집중합니다. 이 네트워크는 다음과 같은 특정 구성 요소를 갖춘 커스텀 U-Net 아키텍처를 사용합니다:

• Transformer 블록: 비국소적(non-local) 특징을 포착하고 비국소적 조도 평활성을 촉진하여 노이즈 제거를 돕기 위해 인코더와 디코더 사이에 삽입되었습니다.
• Attention 블록: 관련 특징에 집중하기 위해 통합되었습니다.
• 학습 가능한 가이드 필터(Trainable Guided Filters): 엣지와 질감을 보존하면서 저조도 영역을 강력하게 노이즈 제거하기 위해 디코더에서 사용됩니다.
• Residual 블록: 특징의 무결성을 유지하기 위해 사용됩니다.

최종 향상된 이미지는 변경되지 않은 반사율 맵($R$)과 향상된 조도 맵($L_{normal}$)을 요소별 곱셈을 통해 재결합하여 재구성됩니다: $I_{recon} = R \odot L_{normal}$.

3.3. 손실 함수

WREN은 견고함을 위해 설계된 복합 손실 함수를 사용하여 엔드 투 엔드로 훈련됩니다:

• 분해 손실 ($L_{decomp}$): 재구성 충실도 항과 척도 불변(Scale-Invariant, SI) 손실을 포함합니다. SI 손실은 조도 맵의 전역적 재스케일링에 대해 수학적으로 불변하므로, 동적 범위 변화에 대한 견고성을 제공하는 데 결정적입니다.
• 향상 손실 ($L_{enh}$): 다중 스케일 구조적 유사도(MS-SSIM), 지각 손실(VGG-16 특징), CIE $L^*a^*b^*$ 색상 거리, 그리고 값이 1.0을 초과하는 것을 방지하기 위한 힌지 페널티(hinge penalty)의 조합입니다.

3. 주요 기여

1. Double U-Net 구조: 분해와 조도 향상을 분리하여, 반사율이 노이즈가 없고 불변하다는 Retinex 가정을 엄격히 준수하는 새로운 아키텍처를 제안했습니다.
2. 척도 불변 훈련: 모델이 다양한 동적 범위와 조명 조건에서도 견고하게 유지되도록 보장하는 척도 불변 손실 함수를 도입하여, 기존 LLIE 방법들의 흔한 실패 지점을 해결했습니다.
3. 타겟형 조도 노이즈 제거: Transformer 블록과 가이드 필터를 사용하여 조도 맵을 격리하여 향상시킴으로써, 결합된 이미지를 정제할 때 발생하는 전형적인 과도한 평활화 아티팩트를 방지합니다.

4. 실험 결과

저자들은 LOLv1, SICE, LIEQ, NTIRE 2024, MIT-Adobe FiveK의 5개 데이터셋에 대해 WREN을 평가했습니다. 모델은 LOLv1에서 학습되었으며, 일반화 능력을 입증하기 위해 모든 데이터셋에서 테스트되었습니다.

• 정량적 성능: WREN은 6개의 베이스라인(ReDDiT, Retinexformer, RetinexNet, SNR-Net, KinD++, Zero-DCE, LIME)과 비교하여 모든 지표(PSNR, SSIM, LPIPS, MAE)에서 최첨단(SOTA) 결과를 달성했습니다. 특히, 최근의 ReDDiT 방법보다 PSNR에서 >1 dB, LPIPS에서 >0.1 더 높은 성능을 보였습니다.
• 정성적 성능:
  • 어두운 영역: WREN은 순수하게 어두운 영역에서 최상위 방법들과 대등한 성능을 보였습니다.
  • 혼합 조명: 혼합 조명(예: 하늘과 어두운 지면)이 있는 장면에서, WREN은 정상 광도 영역을 과다 노출시키지 않으면서 저조도 영역을 성공적으로 향상시켰습니다. 반면, Retinexformer와 같은 방법은 하늘의 색상 변화를 일으켰고, 다른 방법들(ReDDiT, RetinexNet 등)은 과다 노출된 이미지를 생성했습니다.
  • 노이즈 처리: 센서 노이즈를 증폭하는 방법들(예: RetinexNet, LIME)과 달리, WREN은 불쾌한 색상 변화를 유발하지 않으면서 어두운 영역의 노이즈를 효과적으로 억제했습니다.

5. 의의 및 주장

본 논문은 WREN의 의의가 Retinex 이론의 이론적 가정을 엄격히 따름으로써 다양한 동적 범위를 가진 여러 데이터셋에 대해 견고한 최첨단 성능을 달s성하는 능력에 있다고 주장합니다. 조도 정제를 반사율 보존으로부터 분리함으로써, 이 방법은 다운스트림 컴퓨터 비전 작업들을 제한하는 과도한 평활화 아티팩트를 제거합니다. 저자들은 이 접근 방식이 기존의 딥러닝 기반 LLIE 방법들에 비해 학습 데이터의 특정 동적 범위에 덜 민감한 안정적인 엔드 투 엔드 솔루션을 제공한다는 점을 강조합니다.