기술 요약: 비지도 저조도 이미지 향상을 위한 구조적 조명 학습 (RISE)

1. 문제 정의

저조도 이미지 향상(LLIE)은 노출 부족 관측값으로부터 적절히 노출된 이미지를 복원하는 것을 목표로 한다. 지도 학습 방식이 존재하지만, 이는 비용이 많이 들고 편향된 쌍(paired) 데이터에 의존하므로, 비지도 학습으로의 전환이 요구된다. 그러나 현재의 비지도 LLIE 방식들은 세 가지 주요 한계점에 직면해 있다:

1. 고정된 노출 목표: 많은 방법론이 통계적 사전 지식이나 고정된 노출 값을 대리 감독(surrogate supervision)으로 사용한다. 이는 다양한 장면을 균일한 밝기 수준으로 강제하는 "장면 무관(scene-agnostic)" 기준을 생성하여, 변화하는 조명 조건에 적응하지 못하게 만든다.
2. 조명 추정 편향: 심각한 노출 부족 상황에서 픽셀 관측값은 센서 노이즈(낮은 신호 대 잡음비, SNR)에 의해 지배된다. 기존 방식은 저조도 이미지 전체를 균일하게 신뢰할 수 있는 것으로 취급하는 경우가 많아, 어두운 영역은 여전히 어둡게 남고 밝은 부분은 과하게 노출되는 불안정한 향상을 초래한다.
3. 얽힌 표현(Entangled Representation): 현재의 접근 방식은 일반적으로 단일한 향상 표현(예: 조명 맵 또는 곡선)을 예측하며, 이는 공간적으로 변화하는 상대적 조명 구조(밝기 관계)와 절대적 노출 수준(전역 밝기)을 서로 얽히게 만든다. 이는 독립적인 제어와 해석 가능성을 방해한다.

2. 방법론: RISE 프레임워크

저자들은 상대적 조명 구조를 절대적 노출로부터 분리하고, 신뢰할 수 있는 밝은 영역으로부터 조명을 추론하는 RISE(Relative Illumination Structure Estimation) 프레임워크를 제안한다.

2.1 상대적 조명 구조 추정

빛의 물리적 전파에서 영감을 얻은 RISE는 조명을 단일 수치가 아니라 **핵심 조명 단서(Key Illumination Cues, KICs)**로부터 유도된 구조화된 장(field)으로 모델링한다.

• KIC 선택: 이 방법은 입력 이미지에서 공간적으로 분산된 $N$개의 밝은 패치를 선택한다. 이 영역들은 더 높은 SNR을 가지며 추정을 위한 신뢰할 수 있는 앵커 역할을 한다.
• 상대적 조명 맵: 입력을 휘도 채널 $Y$로 변환한 후, 로그 비율 정규화를 통해 전역 밝기를 제거하여 상대적 조명 맵 $Z$를 계산한다: $Z = \log(P / \text{mean}(P))$.
• 관계적 장 모델링: RISE는 KIC $\{k_n\}$와의 관계를 바탕으로 임의의 패치 $p$의 상대적 휘도를 추정한다. 모델은 다음을 결합한다:
  • 편차($\delta$): 패치와 KIC 사이의 관측된 휘도 차이.
  • 공간 감쇠($\rho$): 3D 장면 재구성이 필요 없이 빛의 감쇄를 시뮬레이션하는 이미지 평면 거리 기반의 소프트 감쇠 사전 지식.
  • 장면 컨텍스트: 조명 맵의 전역 통계량을 인코딩하여 장면 수준의 변화를 처리한다.
• 분리(Decoupling): 최종 향상 이득 $\hat{G}$는 상대적 구조 항 $S(p)$와 절대적 노출 항 $\eta$의 합으로 공식화된다:
  $$\hat{G}(p) = \underbrace{b + \beta^\top c_{scene} + R(p)}_{\text{상대적 구조 } S(p)} + \underbrace{\eta}_{\text{절대적 노출}}$$
  이를 통해 구조적 파라미터($\Theta$)는 동일한 장면에 대해 다양한 노출에서도 안정적으로 유지되는 한편, $\eta$는 전역적인 강도 변화를 흡수할 수 있다.

2.2 이중 측정 노출 참조 (Dual-Metering Exposure Reference, DMER)

고정된 노출 목표를 대체하기 위해, RISE는 두 개의 상보적인 미터(meter)를 사용하여 입력 이미지 각각으로부터 노출 참조를 생성하는 DMER을 도입한다.

1. 절대 미터(Absolute Meter): 보수적인 그레이 월드(gray-world) 가정을 사용하여 전역 노출 경향을 추정하며, 안정적인 베이스라인을 제공한다.
2. 상대 미터(Relative Meter): 신뢰할 수 있는 휘도 단서(신뢰도가 높은 영역)를 확산시켜 "광장(light-field) 맵"을 구축함으로써 공간적 조명 변화를 모델링한다. 이는 지역 간 상대적 조명 강도를 포착한다.
   최종 참조 $T$는 이 두 미터의 혼합물이며, 모델이 다양한 조명 분포 전반에 걸쳐 일반화 가능한 노출 매핑을 학습하도록 유도하는 입력 의존적 감독을 제공한다.

2.3 학습 목적 함수

프레임워크는 DMER에 의해 가이드되는 비지도 학습 목적 함수로 훈련된다:

• 노출 제어 손실(Exposure Control Loss): 출력 휘도, 이득 및 KIC 휘도를 DMER 참조와 일치시킨다.
• 스케일 등변성 정규화(Scale Equivariance Regularizer): 입력이 스케일링될 때 구조적 파라미터가 안정적으로 유지되도록 보장하여, 절대적 노출 항이 강도 변화를 흡수하도록 강제한다.
• 멱등성 정규화(Idempotence Regularizer): 이미 향상된 출력에 대해 추가적인 향상이 발생하는 것을 방지한다.
• 에지 인식 매끄러움(Edge-Aware Smoothness): 휘도 에지에 의해 뒷받침되지 않는 이득 변화를 억제한다.

3. 주요 기여

1. 새로운 문제 정식화: 본 논문은 비지도 LLIE를 상대적 조명 구조를 절대적 노출로부터 명시적으로 분리하는 구조적, 관계적 문제로 재구성한다.
2. RISE 프레임워크: 희소하고 신뢰할 수 있는 밝은 영역(KICs)으로부터 조명 구조를 추론하여, 저(低) SNR 영역으로 인한 불안정성을 줄이는 새로운 아키텍처를 제안한다.
3. DMER: 고정된 목표를 대체하여 입력 의존적 노출 참조 메커니즘을 제공함으로써, 장면 적응형 향상과 다양한 데이터셋에 대한 개선된 일반화 성능을 실현한다.

4. 실험 결과

7개의 쌍(paired) 벤치마크(LOLv1, LOLv2-Real/Synthetic, LSRW, UHD-LL, SICE)와 5개의 비쌍(unpaired) 실제 환경 데이터셋(DICM, LIME, MEF, NPE, VV)에 대해 광범한 실험을 수행하였다.

• 정량적 성능: RISE는 모든 벤치마크에서 비지도 방식 중 최첨단(SOTA) 성능을 달야한다. 특히, 다른 방법들과 비교하여 훨씬 적은 파라미터(0.35M)와 연산 자원(1.43 GFLOPs)을 사용하면서도 LOLv2-Real(21.33 dB) 및 LOLv2-Synthetic(18.72 dB)에서 가장 높은 PSNR을 달성했다.
• 일반화: 재학습 없이 미학습된 실제 장면(예: iPhone 16 Pro 사진)에 적용했을 때, RISE는 자연스러운 색상 충실도와 다이내믹 레인지를 보존하며 우수한 일반화 능력을 보여준다. 이는 모든 비쌍 데이터셋에서 참조 없는 지표(IQA, IAA)를 통해 경쟁 모델들을 압도한다.
• 절제 연구(Ablation Studies): 실험을 통해 다음을 확인하였다:
  • 가장 밝은 KIC를 선택하는 것이 매우 중요하며, 무작위 또는 가장 어두운 KIC를 사용하면 성능이 저하된다.
  • DMER의 절대 미터와 상대 미터가 모두 필수적이며, 하나만 사용할 경우 성능이 감소한다.
  • 구조와 노출의 분리가 필수적이며, 이 분리를 제거하면 불안정한 향상이 발생한다.

5. 의의 및 주장

본 논문은 RISE가 비지도 LLIE에 접근하는 근본적인 변화를 제공한다고 주장한다. 조명을 전역 평균이 아닌 신뢰할 수 있는 단서로부터 유도되는 구조적 양으로 취급하고, 구조와 노출를 분리함으로써, RISE는 비지도 설정에서 이전에 도달할 수 없었던 견고함과 적응성을 달성한다.

저자들은 RISE가 시각적으로 자연스러운 결과를 생성하며, 쌍 데이터나 데이터셋별 재학습 없이도 다양한 조명 조건에서 효과적으로 일반화된다는 점을 강조한다. 다만, 신호가 센서 노이즈 플로어 아래로 떨어질 경우 노출 교정만으로는 누락된 콘텐츠를 복구할 수 없다는 한계를 인정하며, 향ًا 연구에서는 생성적 복원 기술을 통합할 필요가 있음을 시사한다.