RetinexDualV2: Physically-Grounded Dual Retinex for Generalized UHD Image Restoration

1. 문제 정의 (Problem Statement)

초고해상도 (UHD) 이미지의 품질 저하 (저조도, 안개, 비, 그림자 등) 를 복원하는 것은 컴퓨터 비전 및 시각적 추론의 핵심 과제이나, 다음과 같은 한계가 존재합니다.

• 계산 비용: UHD 이미지의 방대한 데이터 양으로 인해 기존 고해상도 복원 모델은 과도한 계산 자원을 요구합니다.
• 정보 손실: 다운샘플링 - 향상 - 업샘플링 방식은 고주파수 세부 정보를 잃을 수 있으며, 주파수 도메인 기반 방법은 국소적인 공간적 저하 (예: 국소적 비나 그림자) 에 덜 효과적일 수 있습니다.
• 일반화 부족: 기존 Retinex 기반 모델들은 주로 저조도 향상 (LLIE) 에 특화되어 있으며, 다양한 저하 유형 (비, 안개, 그림자 등) 에 대해 물리적 근거 (Physical Grounding) 없이 학습되어 복잡한 시나리오에서 성능이 제한적입니다.

2. 제안 방법론 (Methodology)

저자들은 RetinexDualV2를 제안했습니다. 이는 물리적으로 근거된 (Physically-Grounded) 이중 분기 (Dual-Branch) 프레임워크로, Retinex 이론을 기반으로 하되 다양한 저하 유형에 적응할 수 있도록 설계되었습니다.

핵심 구성 요소

1. 작업별 물리적 기반 모듈 (TS-PGM, Task-Specific Physical Grounding Module):

   • 입력 이미지의 저하 특성에 따라 물리적 사전 지식 (Priors) 을 추출합니다.
   • 비 제거 (Deraining): 잔류 강우 마스크 (Residual Rain Intensity Mask) 생성.
   • 저조도 향상 (Low-light): 구조 인식 조명 사전 (Structure-Aware Illumination Prior, Weberized invariant).
   • 야간 안개 제거 (Dehazing): 다크 채널 사전 (Dark Channel Prior).
   • 그림자 제거 (Shadow Removal): 로그-크로마티시티 그림자 저항 표현 (Log-Chromaticity Shadow-Resistant Prior).

2. 이중 분기 아키텍처 (Dual-Branch Framework):

   • 입력 이미지를 **반사율 (Reflectance)**과 조명 (Illumination) 성분으로 분해합니다.
   • PG-SAMBA (Physical-Grounded Scale Attentive Mamba): 반사율 성분을 보정. 공간적 적응형 세부 정보 보존에 중점을 둡니다.
   • PG-FIA (Physical-Grounded Frequency Illumination Adaptor): 조명 성분을 보정. 주파수 도메인 처리를 통해 전역적 대비 및 색상 편향을 효율적으로 수정합니다.

3. 물리 조건부 멀티헤드 셀프 어텐션 (PC-MSA, Physical-conditioned Multi-head Self Attention):

   • TS-PGM 에서 추출된 물리적 지도 (Physical Map) 를 어텐션 메커니즘의 값 (Value) 벡터에 결합하여 조절합니다.
   • 이를 통해 모델이 물리적 제약 조건을 준수하면서 특징을 정제하도록 유도하여, 물리적으로 타당한 복원 결과를 보장합니다.

4. 학습 전략:

   • 다중 레벨 (Multi-level) 감독 학습을 통해 다양한 해상도에서 출력을 생성하며, Charbonnier, SSIM, FFT, 지각적 (Perceptual) 손실을 결합한 총 손실 함수를 사용합니다.

3. 주요 기여 (Key Contributions)

• RetinexDualV2 개발: RetinexDual 의 확장판으로, 특수 서브네트워크 내에서 반사율 및 조명 성분 복원을 평가하는 물리적으로 근거된 아키텍처를 제시했습니다.
• TS-PGM 구현: 작업별 물리적 특성 (다크 채널, 비 ROI, 조명 불변 엣지 등) 을 입력에서 추출하여 복원 과정을 안내하는 모듈을 도입했습니다.
• PC-MSA 메커니즘: 물리적 지도를 변조된 셀프 어텐션 메커니즘에 주입하여 출력의 물리적 타당성을 보장하고 정규화합니다.
• 효율성과 일반화: 단일 아키텍처로 다양한 저하 (비, 안개, 그림자, 저조도) 를 처리하며, 약 4.8M 개의 파라미터로 NTIRE 2026 챌린지에서 경쟁력 있는 성과를 거두었습니다.

4. 실험 결과 (Results)

논문은 NTIRE 2026 챌린지 및 여러 벤치마크 데이터셋 (4K-Rain13K, UHD-LL) 에서 실험을 수행했습니다.

• NTIRE 2026 랭킹:
  • Day and Night Raindrop Removal Challenge: 4 위 (PSNR 27.24 dB, SSIM 0.806).
  • Joint Noise Low-light Enhancement (JNLLIE) Challenge: 5 위 (PSNR 18.69 dB, SSIM 0.65).
  • 또한 야간 안개 제거 및 그림자 제거 챌린지에서도 경쟁력 있는 성능을 보였습니다.
• 벤치마크 성능 (UHD-LL 및 4K-Rain13K):
  • 기존 SOTA 모델 (Restormer, UDR-Mixer, ERR 등) 대비 더 높은 PSNR 과 SSIM 을 기록했습니다.
  • 특히 4K-Rain13K 에서 34.56 dB PSNR, 0.973 SSIM 을 달성하며, DRSformer(33.65M 파라미터) 와 같은 거대 모델보다 훨씬 적은 파라미터 (4.8M) 로 우수한 성능을 보였습니다.
• Ablation Study:
  • 이중 분기 구조, 물리적 사전 지식 (TS-PGM), PC-MSA 가 모두 결합되었을 때 최적의 성능 (28.91 dB PSNR) 을 보임을 확인했습니다. 각 요소가 제거될 경우 성능이 유의미하게 저하되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 물리 기반 접근법의 유효성 증명: 순수 데이터 기반의 블랙박스 모델의 일반화 한계를 극복하고, 물리 법칙 (광학, 대기 산란 등) 을 명시적으로 통합함으로써 다양한 저하 환경에서 견고한 복원 성능을 달성했습니다.
• 효율적인 UHD 복원: 복잡한 UHD 이미지를 처리하면서도 파라미터 수를 최소화하여 실제 적용 가능성을 높였습니다.
• 범용성: 작업별 구조적 수정 없이 하나의 통합 프레임워크로 다양한 이미지 복원 작업 (저조도, 비, 안개, 그림자) 을 성공적으로 처리할 수 있음을 입증했습니다.

결론적으로, RetinexDualV2 는 물리적 사전 지식과 심층 학습을 효과적으로 융합하여, 해석 가능하고 효율적인 차세대 UHD 이미지 복원 모델의 가능성을 제시한 연구입니다.