CANDLE: Illumination-Invariant Semantic Priors for Color Ambient Lighting Normalization

1. 문제 정의 (Problem Definition)

다색 조명 (Multi-colored Illumination) 하의 환경 조명 정규화 (ALN) 는 기존 그림자 제거나 단일 백색 조명 보정보다 훨씬 어려운 문제입니다.

• 핵심 난제: 다양한 색상의 조명, 강한 색수차 (Chromatic shifts), 하이라이트 포화 (Highlight saturation), 그리고 재료에 따른 반사율 차이로 인해 객체의 고유한 색상 (Intrinsic color) 을 복원하기가 매우 어렵습니다.
• 기존 방법의 한계:
  • 기하학적 Prior: 표면 법선 (Surface normals) 과 같은 기하학적 정보는 국소적인 그림자 구조는 설명할 수 있으나, 강한 색수차가 발생했을 때 객체의 고유 색상을 식별하는 데는 한계가 있습니다.
  • 주파수 기반/저수준 Prior: 단순한 노출 보정이나 주파수 분해만으로는 조명에 의한 색상 왜곡과 재료의 고유 색상을 분리 (Disentanglement) 하기 어렵습니다.
  • 결과: 기존 모델들은 조명 변화에 민감하여 색상 왜곡이나 공간적 불일치를 초래합니다.

2. 핵심 관찰 (Key Observation)

저자들은 DINOv3의 자기지도 학습 (Self-supervised) 특징이 조명 변화에 대해 불변 (Invariant) 이며 일관된다는 것을 발견했습니다.

• 실험 결과: 다색 조명 입력과 정상적인 조명 (Ambient-lit) 의 Ground Truth 간 비교에서, DINOv3 의 패치 (Patch) 특징은 CLIP 이나 ResNet-50 과 달리 색상 왜곡이 심한 지역에서도 높은 유사성을 유지했습니다.
• 의미: DINOv3 는 외관 (Appearance) 변화에 불변하면서 객체와 재료의 일관된 의미적 구조를 보존하므로, 색상 분리 (Chromatic disentanglement) 에 이상적인 Prior 로 작용합니다.

3. 제안된 방법론: CANDLE

CANDLE (Color Ambient Normalization with DINO Layer Enhancement) 은 DINOv3 의 의미적 특징을 활용한 새로운 프레임워크입니다.

A. DINO Omni-layer Guidance (D.O.G.)

• 개념: 단일 층의 특징이나 기하학적 Prior(표면 법선) 대신, 다중 층 (Multi-layer) DINOv3 특징을 적응적으로 선택하여 인코더의 각 단계에 주입합니다.
• 구현:
  • Prompt Selection Fusion (PSF): 각 인코더 단계 (Stage) 에 따라 가장 적합한 DINOv3 층 (얕은 층은 질감, 깊은 층은 객체 정체성) 을 가중치 ($\alpha$) 로 선택하여 융합합니다.
  • DINO-Residual Fusion Block (DRFB): 선택된 의미적 특징을 쿼리 기반 크로스 어텐션 (Cross-attention) 을 통해 백본 네트워크에 주입합니다. 이는 단순 연결 (Concatenation) 보다 효과적으로 외부 가이드를 학습합니다.
• 효과: 조명 변화에 강인한 의미적 일관성을 복원 계층 전체에 강제합니다.

B. Color-Frequency Refinement (디코더 측 개선)

디코더 측에서 발생할 수 있는 두 가지 실패 모드 (하이라이트 영역의 색상 붕괴, 스킵 연결을 통한 조명 오염 전파) 를 해결합니다.

• Bifurcated Feature-Adaptive Color Guidance (BFACG):
  • 디코더의 특징을 구조 (Structure) 와 색상 (Chromatic) 두 가지 병렬 브랜치로 분리합니다.
  • 에지 (Edge) 정보를 기반으로 브랜치 간 융합을 조절하여, 경계선은 구조 복원에, 평탄한 영역은 색상 보정에 집중하도록 합니다.
• Spectral Feature Fusion Block (SFFB):
  • 해어 웨이블릿 (Haar wavelet) 분해를 통해 스킵 연결 (Skip connection) 의 특징을 저주파 (전체 색상 편향) 와 고주파 (구조적 디테일) 로 분리합니다.
  • 조명에 민감한 저주파 성분을 학습된 게이트로 억제하고, 고주파 성분을 유지하여 디테일 오염을 방지합니다.

4. 주요 기여 (Key Contributions)

1. Prior 설계 관점의 전환: DINOv3 의 자기지도 학습 특징이 기하학적 또는 주파수 기반 Prior 보다 다색 조명 환경에서 더 강력하고 견고한 가이드임을 입증했습니다.
2. D.O.G. (DINO Omni-layer Guidance): 인코더의 각 단계에 적응적으로 다중 층 의미 특징을 주입하는 새로운 메커니즘을 제안하여 조명 불변성을 확보했습니다.
3. Color-Frequency Refinement (BFACG + SFFB): 디코더 측에서 구조와 색상을 분리하고, 스킵 연결을 통한 조명 누출을 차단하는 아키텍처를 설계했습니다.
4. State-of-the-Art 성능: CL3AN 벤치마크 및 NTIRE 2026 ALN 챌린지에서 최상위 성능을 기록했습니다.

5. 실험 결과 (Results)

• CL3AN 벤치마크:
  • 기존 최강 방법 (RLN2) 대비 PSNR 1.22 dB 향상 (21.066 dB 달성).
  • PromptNorm 대비 1.85 dB 향상.
  • 정성적 평가에서 강한 조명 하에서도 객체의 고유 색상과 날카로운 경계를 잘 복원했습니다.
• NTIRE 2026 ALN 챌린지:
  • Color Lighting Track: 전체 평가에서 3 위 (Perceptual Ranking), LPIPS 0.1964 기록.
  • White Lighting Track: Fidelity 2 위, FID 1 위 (49.838, 가장 낮음). 이는 색상 보정뿐만 아니라 밝기 중심 조명 조건에서도 뛰어난 일반화 능력을 보임을 의미합니다.

6. 의의 및 결론

이 논문은 기하학적 Prior 의 한계를 넘어, 자기지도 학습된 의미적 특징 (Semantic Priors) 을 조명 보정 문제의 핵심 해법으로 제시했다는 점에서 의의가 큽니다. 특히 DINOv3 의 특징이 다색 조명 환경에서 객체의 본질적인 색상을 복원하는 데 필수적임을 증명하고, 이를 인코더 - 디코더 구조에 효과적으로 통합한 CANDLE 아키텍처는 향후 조명 불변성 (Illumination Invariance) 을 요구하는 다양한 이미지 복원 작업에 중요한 기준이 될 것입니다.