Frequency-Decomposed INR for NIR-Assisted Low-Light RGB Image Denoising

1. 문제 정의 (Problem Definition)

• 저조도 환경의 한계: 드론 (UAV) 등 자율 주행 시스템이 새벽, 황혼, 밤, 숲속 그늘 등 저조도 환경에서 작동할 때, 작은 센서로 인해 광자 수가 부족하여 양자 잡음과 전자 잡음이 심하게 발생합니다.
• RGB 이미지의 결함: 이러한 잡음은 고주파수 텍스처를 가리고 색상 편이 (color bias) 와 대비 저하를 유발하여, 장면 이해나 객체 탐지 같은 하위 작업의 신뢰성을 떨어뜨립니다.
• 기존 방법의 한계:
  • 단일 모드 (Single-modal): 기존 저조도 향상 방법 (Retinex 기반 또는 딥러닝) 은 잡음 제거와 디테일 보존 사이의 트레이드오프로 인해 과도한 평활화 (over-smoothing) 나 아티팩트를 발생시킵니다.
  • 다중 모드 융합 (Multi-modal fusion): 가시광선 (RGB) 과 근적외선 (NIR) 을 융합하는 기존 방법들은 주로 공간 도메인 (Spatial domain) 에서 직접 융합하거나 분해를 수행합니다. 이는 물리적 불일치 (재료 반사율 차이 등) 로 인해 색상 왜곡과 아티팩트를 유발하며, 이산적 (discrete) 인 그리드 기반 표현은 연속적인 해상도 적응과 정밀한 주파수 신뢰도 모델링에 한계가 있습니다.

2. 제안 방법론 (Methodology: FD-INR)

저자들은 주파수 분해형 암시적 신경 표현 (Frequency-Decoupled Implicit Neural Representation, FD-INR) 을 제안합니다. 이는 RGB-NIR 교차 모달 주파수 상관관계의 통계적 사전 지식에 기반합니다.

• 핵심 아이디어:

  • RGB: 저주파수 신호 (전체 윤곽, 색상) 가 상대적으로 신뢰할 수 있음.
  • NIR: 고주파수 신호 (텍스처, 구조) 가 저조도에서도 높은 신호대잡음비 (SNR) 를 가짐.
  • 이를 바탕으로 이미지를 명시적으로 주파수 성분으로 분해하여 복원합니다.

• 아키텍처 (이중 분기 구조):

  1. 저주파수 일관성 분기 (Low-frequency Consistency Branch, $F_{LF}$):
     • 저조도 RGB 이미지를 주된 감독 신호로 사용하여 자연스러운 색상과 전역 밝기를 복원합니다.
     • 희소 특징 그리드 (Sparse feature grids) 를 사용하여 고주파수 잡음을 필터링하는 저역통과 특성을 갖도록 설계됩니다.
  2. 고주파수 구조 향상 분기 (High-frequency Structure Enhancement Branch, $G_{HF}$):
     • 고품질 NIR 신호의 구조적 정보를 추출하여 잡음에 가려진 RGB 고주파수 디테일을 보강합니다.
     • 밀집 특징 그리드 (Dense feature grids) 를 사용하여 서브픽셀 수준의 구조를 고신뢰도로 복원합니다.
  3. 암시적 표현 (Implicit Representation):
     • 이미지를 이산적인 그리드가 아닌, 좌표 $(x, y)$ 를 입력으로 받아 픽셀 값을 출력하는 연속 함수로 모델링합니다. 이를 통해 임의의 해상도에서 재구성 (Arbitrary-resolution reconstruction) 이 가능합니다.

• 주요 기술적 요소:

  • 멀티스케일 웨이블릿 분해 (Multi-scale DWT) 감독:
    • 예측된 저주파/고주파 성분을 웨이블릿 도메인으로 투영하여, 각 분기가 특정 주파수 대역 (LL: 저주파, LH/HL/HH: 고주파) 에만 에너지를 갖도록 주파수 분해 정규화 (Spectral Decoupling Regularization) 를 적용합니다. 이는 모달 간 주파수 혼입 (aliasing) 을 방지합니다.
  • 적응형 가중치 손실 함수 (Adaptive Weighting Loss):
    • 동질적 불확실성 (Homoscedastic Uncertainty) 을 학습 가능한 파라미터로 모델링하여, 잡음 수준에 따라 저주파 (색상) 와 고주파 (구조) 작업 간의 손실 가중치를 자동으로 조정합니다.
  • 제로-평균 중심 제약 (Zero-mean Centering Constraint):
    • 고주파수 분기 ($G_{HF}$) 가 전역 밝기 성분을 포함하지 않고 순수한 잔차 텍스처만 학습하도록 하여 색상 왜곡을 방지합니다.
  • 최적화:
    • 고차원 좌표 매핑의 수렴 효율을 높이기 위해 Muon 옵티마이저를 사용하여 MLP 선형 레이어를 최적화합니다.

3. 주요 기여 (Key Contributions)

1. FD-INR 프레임워크 제안: 웨이블릿 분해를 기반으로 한 암시적 신경 표현 방법론으로, "RGB 는 저주파를, NIR 은 고주파를 강화한다"는 물리적 사전 지식을 연속 함수 공간에 통합했습니다. 이는 기존 공간 도메인 융합의 모달 충돌과 특징 에일리어싱 문제를 해결합니다.
2. 적응형 메커니즘 및 최적화: 동질적 불확실성 기반의 적응형 가중치 할당 메커니즘과 직교 옵티마이저 (Muon) 를 도입하여 색상 보존과 디테일 복원 사이의 균형을 달성하고 학습 효율성을 높였습니다.
3. 성능 및 일반화: 다양한 저조도 벤치마크에서 SOTA 성능을 달성했으며, 암시적 표현의 연속성 덕분에 임의의 해상도에서 재구성할 수 있는 능력을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Dark Vision Dataset (DVD) 의 실제 저조도 RGB-NIR 쌍을 사용하여 평가 (Zero-shot 설정).
• 정성적 평가:
  • 기존 방법 (Naive DWT Fusion, DVN 등) 은 색상 탈색, 스펙트럼 누출, 아티팩트, 경계 부근의 흐림 등을 보였습니다.
  • FD-INR 은 날카로운 에지와 순수한 색상 매니폴드를 유지하면서도 NIR 의 구조적 디테일을 효과적으로 복원했습니다.
• 정량적 평가:
  • NIQE (Natural Image Quality Evaluator): 2.896 (가장 낮음, 자연스러움 우수).
  • NCC (Normalized Cross-Correlation): 0.961 (가장 높음, 구조적 충실도 우수).
• Ablation Study:
  • 적응형 오프셋 ($\beta$) 과 제로-평균 중심 제약이 없으면 과노출 및 색상 탈색이 발생했습니다.
  • 주파수 분해 정규화 ($L_{reg}$) 가 없으면 고주파 구조가 저주파 색상에 의해 흐려지는 현상이 발생했습니다.
  • 경계 도메인 감독 (Gradient loss) 이 없으면 "유화 (oil-painting)" 효과로 인해 에지가 무뎌졌습니다.

5. 의의 및 결론 (Significance)

• 물리적 인과관계 반영: 단순한 데이터 피팅을 넘어, RGB 와 NIR 의 물리적 특성 (주파수별 신뢰도 차이) 을 명시적으로 모델링하여 저조도 복원의 근본적인 한계를 극복했습니다.
• 연속적 표현의 강점: 이산적 그리드 기반의 한계를 넘어, 임의 해상도에서의 재구성이 가능하여 다양한 센서 및 응용 환경에 유연하게 적용 가능합니다.
• 실용적 가치: UAV 등 저조도 환경에서의 자율 주행 및 객체 탐지 성능을 향상시켜, 극한 환경에서의 시각 인식 신뢰도를 크게 높이는 데 기여합니다.

이 논문은 저조도 이미지 복원 분야에서 단일 모달의 한계를 넘어, 주파수 도메인에서의 명시적 분리와 암시적 신경 표현을 결합한 새로운 패러다임을 제시했습니다.