Lightweight Low-Light Image Enhancement via Distribution-Normalizing Preprocessing and Depthwise U-Net

1. 문제 정의 (Problem)

저조도 이미지 향상 (LLIE, Low-Light Image Enhancement) 은 가시성 저하, 심한 노이즈, 색상 왜곡 등의 문제를 해결하여 시각적 품질을 높이고 객체 감지, 세그멘테이션과 같은 하류 작업 (downstream tasks) 의 성능을 개선하는 것을 목표로 합니다.

기존의 최신 방법론 (RetinexFormer, HVI-CIDNet 등) 은 Transformer 기반의 U-Net 아키텍처와 학습 가능한 전처리 (learned preprocessing) 를 결합하여 높은 성능을 보이지만, 다음과 같은 한계가 있습니다:

• 높은 파라미터 수: 대규모 모델 복잡도로 인해 메모리 및 연산 비용이 큽니다.
• 경량화 시 성능 저하: 파라미터 수를 줄여 (Sub-1M) 경량화할 경우, 학습된 전처리 모듈이 충분한 채널 폭과 깊이를 확보하지 못해 성능이 급격히 떨어집니다.
• 복합 작업의 어려움: 저조도 네트워크가 밝기 복구, 색상 보정, 노이즈 제거를 동시에 학습하기에는 작은 모델의 가설 공간 (hypothesis space) 이 부족합니다.

이 논문은 1MB (fp16) 이내의 저장 공간에 들어갈 정도로 극도로 경량화되면서도, 기존 대형 모델과 경쟁 가능한 지각적 품질 (perceptual quality) 을 달성하는 것을 목표로 합니다.

2. 제안 방법론 (Methodology)

저자들은 2 단계 프레임워크를 제안하며, 밝기 보정과 색상 복원을 분리하여 처리합니다.

2.1. 1 단계: 분포 정규화 전처리 (Distribution-Normalizing Preprocessing)

학습 가능한 네트워크의 부담을 줄이기 위해 고정된 (frozen) 알고리즘 기반 전처리를 사용합니다.

• 핵심 아이디어: 입력 이미지의 밝기 분포를 정규화하여 네트워크가 '밝기 복구' 대신 '잔여 색상 보정 (residual color correction)'에만 집중하도록 합니다.
• 구현 방식:
  1. CPGA-Net: 채널 사전 지식과 감마 보정을 활용한 경량 네트워크 (학습 데이터에 맞춰 학습 후 고정).
  2. CLAHE: CIE Lab 공간의 L 채널에 적용된 제한적 적응 히스토그램 평활화 (국소적 대비 향상).
  3. 입력 구성: 원본 저조도 이미지 + CPGA 출력 + CLAHE 출력을 채널 단위로 연결하여 9 채널 입력 텐서를 생성합니다.
• 효과: 이미지 간 (inter-image) 및 이미지 내 (intra-image) 밝기와 대비의 분산 (variance) 을 줄여, 네트워크가 학습해야 할 데이터 분포를 Ground Truth 영역에 가깝게 이동시킵니다.

2.2. 2 단계: 경량 Depthwise U-Net

전처리된 9 채널 입력을 받아 최종 이미지를 생성하는 학습 가능한 네트워크입니다.

• 아키텍처: Transformer 블록 대신 **Depthwise Separable Convolution (DWConv)**만 사용하여 구성된 3 단계 U-Net 입니다.
• 구성 요소:
  • 인코더/디코더 구조 (3 단계 계층).
  • 각 블록은 GroupNorm, GELU 활성화 함수, 잔여 연결 (residual connection) 을 가진 Depthwise Separable 3x3 컨볼루션으로 구성됩니다.
  • 최종 출력에는 CPGA 의 전처리가 적용된 이미지에 대한 글로벌 잔여 연결 (global residual) 을 추가합니다.
• 손실 함수: 픽셀 단위 L1 손실과 지각적 손실 (LPIPS) 을 결합하여 훈련합니다.

3. 주요 기여 (Key Contributions)

1. 1MB 이내의 초경량 프레임워크: 고정된 알고리즘 전처리와 경량 DWConv U-Net 을 결합하여 1MB (fp16) 이내의 파라미터로 경쟁력 있는 성능을 달성했습니다.
2. 분포 정규화의 중요성 증명: 특정 알고리즘의 선택보다는 **상호 보완적인 밝기 보정 뷰 (complementary brightness-corrected views)**를 제공하여 입력 분포의 변동을 줄이는 것이 핵심임을 밝혔습니다.
3. 파라미터 효율성 비교: 동일한 파라미터 예산 (약 338K) 하에서 기존 모델 (RetinexFormer, HVI-CIDNet) 을 경량화한 버전보다 우수한 성능을 보여주어, 고정 전처리가 학습 가능한 프론트엔드보다 효율적임을 입증했습니다.
4. 성공적인 도전: CVPR 2026 NTIRE Efficient Low-Light Image Enhancement Challenge 에서 4 위를 기록했습니다.

4. 실험 결과 (Results)

• LOLv1 테스트셋:
  • Ours-Mid (859K 파라미터): LPIPS 0.099 달성.
  • 비교: 1.6M 파라미터의 RetinexFormer (LPIPS 0.161) 를 크게 능가하며, 2M 파라미터의 HVI-CIDNet (LPIPS 0.086) 과 유사한 수준을 기록했습니다.
  • 경량 비교 (약 338K): Ours-Tiny 는 RetinexFormer-Tiny 및 HVI-CIDNet-Tiny 보다 PSNR, LPIPS, DISTS 모든 지표에서 우세했습니다.
• LOLv2 (Real/Synthetic):
  • LOLv2-Real 에서 RetinexFormer 대비 절반의 파라미터로 유사한 PSNR 을 기록하며 더 나은 LPIPS 를 보였습니다.
  • LOLv2-Synthetic 에서도 HVI-CIDNet 에 근접하는 성능을 낮은 파라미터로 달성했습니다.
• Ablation Study:
  • 전처리: CPGA 대신 단순 감마 보정 (Gamma) 과 CLAHE 를 조합해도 유사한 성능을 보여, 알고리즘의 구체적 선택보다는 '다양한 밝기 보정 뷰 제공'이 핵심임을 확인했습니다.
  • 손실 함수: LPIPS 손실을 추가함으로써 LPIPS 점수가 56% 개선되는 등 지각적 품질이 크게 향상되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 저조도 이미지 향상 분야에서 **"학습된 밝기 추정" 대신 "고전적 알고리즘을 통한 입력 정규화"**를 통해 모델의 파라미터 효율성을 극대화하는 새로운 패러다임을 제시합니다.

• 실용성: 모바일 및 임베디드 장치와 같이 메모리 제약이 심한 환경에서 고품질 저조도 이미지 처리를 가능하게 합니다.
• 설계 철학: 네트워크가 모든 하위 작업 (밝기, 색상, 노이즈) 을 끝에서 끝까지 (end-to-end) 학습하려 하지 않고, 밝기 보정은 고정 알고리즘에 위임하고 네트워크는 색상 보정에 집중하도록 하는 것이 경량화 시 성능을 유지하는 핵심 전략임을 증명했습니다.

이 연구는 CVPR 2026 NTIRE 챌린지에서의 성과를 바탕으로, 효율적인 LLIE 를 위한 새로운 표준 설계 방향을 제시합니다.