기술 요약: 적응형 색상 디바이어싱(Debiasing) 및 채도 정칙화를 통한 색상 충실도가 높은 저조도 이미지 향상 연구

1. 문제 정의

저조도 이미지 향상(LLIE)은 저하된 관측값으로부터 가시성을 복원하고 충실한 색상을 복구하는 것을 목표로 한다. 최근의 방법론들은 밝기 복원 측면에서 상당한 진전을 이루었으나, 충실한 색상 복원은 여전히 중요한 과제로 남아 있다. 저조도 이미징은 낮은 신호 대 잡음비(SNR), 하드웨어 한계, 그리고 카메라 내부의 자동 프로세싱으로 인해 내재된 색상 편향(color bias)을 유발한다. 이러한 이미지를 밝게 만들 때, 내재된 색상 변화가 더욱 두드러지게 나타나 전체적인 색상 편향과 국부적인 채도 이상(채도 부족 및 과포화)을 초래한다.

기존 방식들은 주로 RGB 공간에서 작동하며, 이 공간에서는 밝기와 색상 복원이 밀접하게 결합되어 있어 강력한 향상 과정에서 심각한 색상 왜곡을 일으킨다. 다른 방법들은 Retinex 기반의 분해나 변환된 색 공간(예: HSV, HVI, YUV)을 사용하여 휘도와 색도를 분리하려고 시도한다. 그러나 이러한 방법들은 저조도 입력에 이미 내재된 색채 교란(chromatic disturbance)을 제거하는 데 실패하는 경우가 많다. 대신, 이 교란은 향상 파이프라인을 통해 전파되어 복구된 색상 분포가 밝은 이미지의 분포로부터 벗어나게 만든다. 또한, 단순한 색 공간 변환(예: CIELab으로의 변환)은 표현 방식을 재구성할 뿐, 편향을 본질적으로 수정하거나 향상 과정에서 발생하는 채도 이상을 조절하지는 못한다.

2. 방법론: CAGE 프레임워크

저자들은 다양한 LLIE 백본에 통합될 수 있는 플러그 앤 플레이(plug-and-play) 프레임워크인 CAGE(적응형 색상 디바이어싱 및 색역 조화 채도 정칙화를 갖춘 원통형 색상 교정 프레임워크)를 제안한다. CAGE는 AdaLAB과 AdaCCT라는 두 가지 핵심 혁신을 중심으로 순방향 변환, 백본 향상, 역방량 변환을 통해 작동한다.

2.1 AdaLAB: 적응형 원통형 LAB 색 공간

이 프레임워크는 AdaLAB이라는 원통형 적응형 LAB 색 공간을 도입한다. 이는 CIELab의 휘도($L$) 및 대립 색축($A, B$)을 계승한다. 표준 LAB와 달리, AdaLAB은 색채 평면에서의 균일한 색상 이동과 스케일링을 수용하는 분리된 이미지 특화 기저(basis) 역할을 수행하여, 저조도 색상 변화를 체계적으로 정리할 수 있는 일관된 구조를 제공한다.

2.2 AdaCCT: 적응형 원통형 색 변환

AdaLAB을 기반으로 구축된 AdaCCT는 다운샘플링된 입력 이미지로부터 이미지 적응형 원통형 파라미터를 예측하는 학습 가능한 변환이다. 이 파라미터들은 다음을 포함한다:

• 휘도 민감도 정점(Lightness Sensitivity Vertices): 색상 편향과 채도의 비균일한 분포를 포착하기 위한 휘도 축을 따른 적응형 구간.
• 색도 스케일링 강도(Chroma-Scaling Intensity): 서로 다른 휘도 수준 간의 색채 분포를 정렬하기 위한 전역 상호작용 값.
• 색조 이동 방향 및 크기(Hue-Shift Direction and Magnitude): 일관된 색상 이동 패턴을 모델링하기 위한 공유된 전역 이동 방향 벡터와 휘도 의존적 크기.

변환은 두 단계로 작동한다:

A. 순방향 변환 (향상 전):
이미지가 향상 백본에 들어가기 전, AdaCCT는 입력을 RGB에서 AdaLAB으로 매핑한다. 이는 다음을 수행한다:

1. 색조 방향적 색채 디바이어싱(Hue-directional Chromatic Debiasing): 내재된 색상 편향을 억제하기 위해 휘도 인지적 색조 이동 벡터를 따라 색채 표현을 이동시킨다.
2. 휘도 인지적 색도 스케일링(Lightness-aware Chroma Scaling): 색채 표현을 휘도 의존적 강도 값에 따라 스케일링하여 재구성함으로써, 백본을 위한 더 구조화된 표현을 생성한다.

B. 백본 향상:
향상된 백본(예: Retinexformer, DarkIR, 또는 HVI-CIDNet)은 AdaLAB 공간 내에서 이미지를 처리하여 가시성과 구조를 복원한다.

C. 역변환 (향상 후):
향상 후 이미지는 다시 RGB로 매핑된다. 이 단계에는 다음이 포함된다:

1. 색도 스케일링 복원(Reverting Chroma Scaling): 색채 표현을 예측된 스케일링 강도로 나눈다.
2. 색역 이탈 휘도 보상(Out-of-Gamut Lightness Compensation, OOGLC): 색역을 벗어난 색상을 직접 클리핑(이는 아티팩트를 유발함)하는 대신, 초과된 색채를 휘도 보상으로 전환한다. 이는 채도와 밝기의 균형을 맞추어 고채도 영역에서의 색상 충실도를 보존한다.
3. RGB 변환: 최종 LAB 맵을 RGB로 변환한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. 색채 교란 관점에서의 LLIE 재고찰: 저자들은 휘도와 색채를 분리하는 것만으로는 내재된 색상 편향을 제거하기에 불충분함을 밝혀냈다. 이들은 이러한 편향이 향상을 통해 지속되며, 전역적 색상 이동과 채도 이상으로 나타남을 입증했다.
2. 통합 색상 교정 설계 (AdaLAB & AdaCCT): 저조도 색상 변화를 위한 일관된 기저로서 AdaLAB을 도입하고, 향상 전에는 적응형 색조 이동과 색도 스케일링을 통해 편향을 억제하며, 향상 후에는 색역 조화 보상을 통해 채도를 정칙화하는 메커니즘으로서 AdaCCT를 도입했다.
3. 성능 및 호환성: 광범가한 실험을 통해 CAGE가 최소한의 계산 오버헤드로 다양한 LLIE 백본에서 색상 충실도를 일관되게 개선하고, 채도 이상을 줄이며, 전반적인 시각적 품질을 향상시킨다는 것을 보여주었다.

4. 실험 결과

저자들은 6개의 쌍을 이룬 벤치마크(LOLv1, LOLv2-real, LOLv2-synthetic, SDSD-indoor, SDSD-outdoor, SID)와 여러 비쌍(unpaired) 데이터셋(DICM, LIME, MEF, NPE, VV)에서 CAGE를 평가했다.

• 정량적 성능: Retinexformer, DarkIR, HVI-CIDNet과 같은 백본과 통합되었을 때, CAGE는 일관된 개선을 달성했다. 예를 들어, LOLv1에서 기존 백본 대비 평균 0.98 dB의 PSNR 향상을 보였으며, SDSD-indoor와 같은 까다로운 데이터셋에서는 강력한 베이스라인 대비 1.12 dB의 PS별 향상을 기록했다.
• 효율성: 이 프레임워크는 무시할 만한 수준의 계산 비용(약 0.07M 파라미터 및 <0.01G FLOPs)을 추가하며, 이는 성능 향상이 모델 용량의 증가가 아닌 개선된 색상 모델링에서 기인함을 나타낸다.
• 정성적 결과: 시각적 비교를 통해 CAGE가 베이스라인에 비해 전역적 색상 편향을 줄이고, 국부적 채도를 안정화하며, 어둡고 디테일이 풍부한 영역에서 더 자연스러운 색채 전이를 생성함을 입 demonstrated 했다.
• 절제 연구(Ablation Studies): 실험을 통해 색조 이동 교정이 편향 억제를 위한 가장 중요한 구성 요소임을 확인했으며, 색도 스케일링과 휘도 민감도가 구조적 일관성을 개선함을 확인했다. AdaLAB 공간은 RGB, YUV, HVI 및 표준 CIELab 공간보다 우수한 성능을 보였다.

5. 의의 및 주장

본 논문은 분리된 원통형 표현에서 색채 교란을 명시적으로 모델링하고 교정하는 것이 색상 충실도가 높은 저조도 이미지 향상을 위한 더 신뢰할 수 있는 솔루션을 제공한다고 주장한다. 색상 편향의 근본 원인(내재된 교란)을 해결하고 색역 조화 보상을 통해 채도를 조절함으로써, CAGE는 밝기 복원과 충실한 색상 복원 사이의 간극을 메운다. 저자들은 CAGE를 모든 LLIE 방법을 대체하는 독립적인 모델이 아니라, 기존의 최첨단 백본의 색상 충실도를 높여주는 다재다능한 플러그 앤 플레이 모듈로 포지셔닝한다.

논문은 한 가지 한계를 인정한다: 현재의 공식은 단일 이미지 레벨의 색조 이동 방향을 예측한다. 따라서 서로 다른 이동 방향을 보이는 공간적으로 분리된 영역이 존재하는 혼합 조명 장면에서는 잔류 국부 편향이 존재할 수 있다. 향에 대한 작업으로 로컬 색채 콘텐츠를 방향 예측에 포함하는 것이 제안되었다.