기술 요약: GuidNoise

문제 정의

이미지 디노이징(Denoising)은 컴퓨터 비전의 근본적인 과제이지만, 효과적인 딥러닝 모델을 훈련시키기 위해서는 대규모의 고품질 쌍(paired) 노이즈-클린 이미지 데이터셋이 필요합니다. 실제 세계의 데이터를 확보하는 것은 매우 어렵고 비용이 많이 드는데, 이는 복잡한 노이즈 패턴을 정확하게 모델링하기 위해 특정 카메라 메타데이터(예: ISO, 셔터 속도)를 포함하여 동일한 장면을 노이즈가 있는 센서와 클린 센서 모두로 캡처해야 하기 때문입니다.

최근의 생성 모델(GAN, Normalizing Flows, Diffusion models)들이 데이터 부족 문제를 완화하기 위해 현실적인 노이즈를 합성하려는 시도를 해왔으나, 기존 방식들은 다음과 같은 중대한 한계점을 가집니다:

1. 메타데이터 의용성: 많은 접근 방식이 특정 이미징 시스템을 모사하기 위해 특정 카메라 메타데이터를 요구합니다.
2. 데이터 쌍 요구 사항: 일부 방식은 타겟 특정적인 노이즈-클린 이미지 쌍에 크게 의존하며, 이는 다양한 기기, ISO 설정 또는 장면 변화에 대한 일반화 능력을 제한합니다.
3. 일반화 실패: 특정 환경에서 훈련된 모델은 재학습이나 상세한 설정 없이는 다양하고 보이지 않는 조건에 적응하는 데 어려움을 겪습니다.

방법론

저자들은 일반화된 노이즈 합성을 위해 설계된 단일 쌍 가이드 확산 모델(single-pair guided diffusion model)인 GuidNoise를 제안합니다. 핵심 전제는 타겟 도메인으로부터 얻은 단 하나의 노이즈-클린 이미지 쌍(가이드)만 있으면, 카메라 메타데이터나 해당 타겟을 위한 광범한 쌍 데이터 없이도 임의의 클린 이미지에 대해 현실적인 노이즈를 합성할 수 있다는 것입니다.

아키텍처 및 훈련

GuidNoise는 v-prediction을 사용하여 안정성을 확보한 DDPM(Denoising Diffusion Probabilistic Model) 프레임워크 내의 조건부 U-Net 아키텍처를 기반으로 구축되었습니다. 이 방법은 두 가지 핵심 혁신을 도입합니다:

1. 캐스케이드 디코딩 아키텍처 (Cascade Decoding Architecture):
   모델은 입력 노이즈 이미지($x_t$), 클린 이미지($c$), 그리고 가이드 쌍($x_r, c_r$)으로부터 특징을 추출하기 위해 병렬 인코더 $E$를 사용합니다. 또한 도메인 특화 노이즈 정보를 디코더에 주입하기 위해 가이드 인식 어파인 특징 수정(Guidance-aware Affine Feature Modification, GAFM) 모듈을 도입했습니다.

• 가이드 쌍은 인코딩되어 노이즈 인식 가이드 모듈 $\tau$에 의해 처리되며, 이를 통해 가이드 임베딩 $h$를 생성합니다.
• 이 임베딩 $h$는 시간 임베딩 $t$와 결합되어, 다층 퍼셉트론(MLP)에 의해 생성된 어파인 파라미터($\alpha_i, \beta_i$)를 통해 디코더의 잔차 블록(residual blocks)을 조절합니다.
• 이 메커니즘은 모델이 가이드 쌍으로부터 미세한 노이즈 분포를 포착하고, 원시 특징을 직접 복사하는 대신 이를 생성 과정에 적용함으로써 일반화 성능을 높일 수 있게 합니다.

2. 노이즈 인식 정밀 손실 (Noise-Aware Refine Loss):
   표준 확산 손실(L2)은 노이즈 정보가 존재하는 고주파 성분을 억제하는 경향이 있습니다. 이를 해결하기 위해 저자들은 역방향 확산 과정의 마지막 단계에서 적용되는 **정밀 손실(Refine Loss, $L_{refine}$)**을 도입했습니다.

• 이 손실은 미분 가능한 히스토그램과 Kullback-Leibler 발산(KLD)을 활용하여, 합성된 노이즈 이미지의 분포를 실제 가이드 노이즈와 일치시킵니다.
• 전체 손실 함수는 표준 확산 손실과 정밀 손실의 조합으로 구성됩니다: $L = L_{Diffusion} + \lambda L_{Refine}$.

추론 (Inference)

추론 시, 모델은 클린 이미지 $c$와 타겟 도메인의 단일 가이드 쌍 $(x_r, c_r)$을 입력으로 받습니다. 모델은 $x_r$의 노이즈 분포를 모사하는 노이즈 이미지 $\hat{x}$를 합성합니다. 결정적으로, 이 과정은 생성 단계에서 타겟 클린 이미지에 대응하는 실제 노이즈 쌍을 요구하지 않으며, 카메라 메타데이터도 필요하지 않습니다.

주요 기여

1. GuidNoise 프레임워크: 단 하나의 가이드 쌍만을 사용하여 현실적인 노이즈 이미지를 생성하는 단일 쌍 가이드 확산 모델로, 카메라 메타데이터나 대규모 타겟 특정 쌍 데이터셋의 필요성을 제거했습니다.
2. 가이드 인식 어파인 특징 수정 (GAFM): 어파인 변조를 통해 가이드 쌍으로부터 미세한 노이즈 분포를 확산 과정에 임베딩하는 새로운 메커니즘을 도입하여 효과적인 도메인 적응을 가능하게 했습니다.
3. 노이즈 인식 정밀 손실 (Refine Loss): 히스토그램 매칭을 통해 합성된 노이즈 분포를 실제 값과 일치시킴으로써 고주파 노이즈 디테일을 보존하도록 설계된 손실 함수로, 생성된 노이즈의 현실성을 향상시켰습니다.
4. 자기 증강 능력 (Self-Augmentation Capability): 추론 시 효율적으로 합성된 노이즈-클린 쌍을 생성할 수 있어, 특히 데이터가 제한적이거나 경량 모델을 사용하는 시나리오에서 훈련 데이터를 증강하여 디노이징 성능을 높일 수 있습니다.

실험 결과

저자들은 SIDD-Validation, SIDD+, PolyU, Nam 데이터셋에서 C2N, Flow-sRGB, NeCA, NAFlow와 같은 최신 기법들과 비교하여 GuidNoise를 평가했습니다.

• 노이즈 유사도: GuidNoise는 우수한 유사도 지표를 달성했습니다. SIDD-Validation 데이터셋에서 NAFlow 및 NeCA-W보다 낮은 KLD(0.014)와 AKLD(0.113) 점수를 기록했습니다.
• 일반화: 모델은 주로 스마트폰 기반의 SIDD 데이터셋에서 훈련되었음에도 불구하고, 서로 다른 카메라 유형(DSLR vs. 스마트폰) 및 데이터셋(PolyU, Nam)에 대해 강력한 일반화 능력을 보여주었습니다. 특정 훈련 없이도 보이지 않는 장치의 노이즈 분포를 성공적으로 합성했습니다.
• 디노이징 성능: 디노이징 네트워크(DnCNN 및 NAFNet)를 훈련할 때, GuidNoise로 생성된 데이터는 실제 노이즈 이미지로 훈련했을 때와 거의 동일한 성능을 냈습니다. SIDD-Benchmark에서 GuidNoise로 훈련된 NAFNet은 37.48의 PSNR을 달성하였으며, 이는 실제 데이터로 훈련한 37.60에 근접한 수치입니다.
• 자기 증강: 실험 결과, 자기 증강(실제 데이터와 합성 데이터를 혼합)은 특히 작은 모델과 제한된 데이터셋에서 성능을 크게 향-상시켰습니다. 실제 데이터의 1/16만 사용하여 훈련된 자기 증강 NAFNet-Small은 전체 실제 데이터를 사용하여 훈련된 NAFNet-Medium보다 더 나은 성능을 보였습니다.

의의

본 논문은 기존의 생성적 노이즈 합성 방식의 전제 조건을 완화함으로써 이미지 디노이징의 핵심적인 병목 현상인 데이터 획득 문제를 해결한다고 주장합니다. 메타데이터나 광범한 쌍 데이터셋 대신 단 하나의 가이드 쌍에 의존함으로써, 이 방법은 다양한 실제 환경에서 노이즈 합성을 일반화할 수 있는 유연하고 견고한 솔루션을 제공합니다. 저자들은 이 접근 방식이 합성된 노이즈의 품질을 개선할 뿐만 아니라, 자원이 제한된 환경에서 디노이징 성능을 높이는 실질적인 데이터 증강 전략을 가능하게 한다고 강조합니다.