Degradation-Aware and Structure-Preserving Diffusion for Real-World Image Super-Resolution

1. 문제 정의 (Problem Statement)

실제 세계의 이미지 초해상도 (Real-World SR) 는 확산 모델 (Diffusion Models) 에게 다음과 같은 심각한 도전 과제를 안겨줍니다.

• 복잡하고 이질적인 열화 (Degradation): 실제 이미지는 단순한 바이큐빅 (bicubic) 다운샘플링이 아닌, 흐림 (blur), 잡음 (noise), 압축 아티팩트 등 복잡하고 공간적으로 변하는 열화에 노출됩니다. 기존 방법들은 이러한 열화를 명시적으로 모델링하지 못해 복원 시 모호성이 발생합니다.
• 구조 정보의 손실: 기존 확산 모델 훈련은 공간적으로 균일한 가우시안 잡음을 적용합니다. 이는 에지 (edge) 나 경계와 같은 고주파 구조 영역이 평탄한 영역보다 잡음에 더 민감하다는 사실을 무시합니다. 결과적으로 중요한 구조적 단서가 조기 소멸되어 모델이 기존 구조를 유지하는 대신 '새로이' 기하학을 생성 (hallucination) 하도록 강요받습니다.
• 조건부 학습의 한계: 기존 확산 기반 SR 방법들은 저해상도 (LR) 입력을 단순한 연결 (concatenation) 또는 잠재 임베딩으로 처리하여, 열화 패턴과 이미지 콘텐츠를 명시적으로 분리하지 못합니다. 이로 인해 과도한 복원이나 비자연스러운 환상 (hallucination) 이 발생합니다.

2. 제안된 방법론 (Methodology)

저자들은 기존 확산 SR 프레임워크의 구조를 근본적으로 바꾸지 않고, **조건부 학습 (Conditioning)**과 **훈련 잡음 설계 (Training Noise Design)**에 두 개의 경량 모듈을 추가하여 문제를 해결합니다.

A. 열화 인지 토큰 주입 (Degradation-aware Token Injection, DTI)

• 목적: LR 입력에서 열화 특성을 명시적으로 추출하여 모델에 전달합니다.
• 작동 원리:
  1. LR 이미지 (회색조 변환 후) 에서 6 차원의 열화 통계량 벡터 ($\mathbf{d}$) 를 추출합니다.
     • 구성 요소: 흐림 정도 (Laplacian 분산), 잡음 수준, JPEG 블로킹 아티팩트, 에지 밀도, 밝기, 대비.
  2. 이 벡터를 경량 MLP(2 층) 를 통해 이미지 크로스 어텐션 (Cross-Attention) 차원 ($D=512$) 의 '열화 토큰'으로 매핑합니다.
  3. 생성된 토큰을 UNet 과 ControlNet 의 이미지 크로스 어텐션 레이어에 추가 토큰으로 주입합니다.
• 효과: 모델이 다양한 열화 시나리오에 대해 더 표적화된 (targeted) 복원 조건을 갖게 되어, 열화 유형과 심각도를 인지하고 더 정확한 복원을 수행합니다.

B. 공간적 비대칭 잡음 주입 (Spatially Asymmetric Noise Injection, SANI)

• 목적: 훈련 과정에서 구조적 영역 (에지 등) 의 기하학적 골격을 보존합니다.
• 작동 원리:
  1. Sobel 필터를 사용하여 LR 이미지에서 에지 강도 맵 ($\mathbf{E}$) 을 생성합니다.
  2. 표준 가우시안 잡음 ($\epsilon$) 을 에지 강도 맵에 따라 변조합니다: $\epsilon' = \epsilon \odot (1 - \lambda \mathbf{E})$.
  3. 에지가 강한 영역 (구조적 중요도가 높은 곳) 에는 잡음 진폭을 줄이고 ($\lambda$만큼 감소), 평탄한 영역에는 표준 잡음을 유지합니다.
• 효과: 훈련 중 구조적 영역에 가해지는 과도한 교란을 줄여, 모델이 기존 구조를 '다듬는' 방향으로 학습하게 하며, 훈련과 추론 간의 불일치는 미미하여 성능 향상에 기여합니다.

3. 주요 기여 (Key Contributions)

1. DTI (Degradation-aware Token Injection): LR 입력의 열화 특성을 명시적으로 인코딩하여 확산 모델이 다양한 실제 세계의 손상 (corruptions) 에 더 효과적으로 대응하도록 하는 경량 모듈 제안.
2. SANI (Spatially Asymmetric Noise Injection): 국소적인 이미지 기하학 (에지 강도) 에 기반하여 잡음 수준을 조절함으로써 에지와 미세한 질감을 보존하는 구조 인지 훈련 전략 제안.
3. 성능 및 효율성: DIV2K 및 RealSR 벤치마크에서 기존 최신 방법들 (SOTA) 대비 경쟁력 있는 비참조 (no-reference) 지각 품질을 달성하면서도, 파라미터 증가와 실행 시간 오버헤드가 극히 적음 (파라미터 증가 0.01%, 이미지당 0.1 초 증가).

4. 실험 결과 (Results)

• 데이터셋: DIV2K (합성 데이터) 와 RealSR (실제 촬영 데이터) 에서 평가.
• 평가 지표: PSNR/SSIM(왜곡 지표) 과 NIQE, NRQM, PI, CLIP-IQA, MUSIQ(지각/비참조 지표) 를 모두 사용.
• 주요 성과:
  • 지각 품질: 제안된 방법은 DIV2K 와 RealSR 모두에서 NIQE, NRQM, PI, MUSIQ 등 주요 비참조 지각 메트릭에서 가장 높은 점수 (또는 동점 1 위) 를 기록했습니다. 이는 실제 인간의 시각적 인지와 더 부합하는 자연스러운 질감과 선명한 구조를 복원함을 의미합니다.
  • Perception-Distortion Trade-off: PSNR/SSIM 은 회귀 기반 방법 (Real-ESRGAN 등) 에 비해 다소 낮지만, 이는 더 선명하고 사실적인 질감을 생성하기 위한 의도적인 선택이며, 실제 SR 응용 (사진 보정, 콘텐츠 생성) 에 더 적합합니다.
  • Ablation Study: DTI 와 SANI 는 상호 보완적입니다. DTI 만으로는 지각 품질이 향상되지만 구조가 약해질 수 있고, SANI 만으로는 구조는 보존되나 열화 적응력이 부족할 수 있습니다. 두 모듈을 결합했을 때 가장 우수한 전반적인 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 실제 세계의 이미지 초해상도 문제를 해결하기 위해 명시적인 열화 모델링과 구조 인지 확산 설계의 중요성을 입증했습니다.

• 실용성: 복잡한 실제 열화 환경에서도 지각적으로 만족스러운 결과를 제공하면서도, 기존 확산 모델에 비해 추가적인 계산 비용이 거의 없어 실용적입니다.
• 방법론적 기여: 열화와 콘텐츠를 분리하여 명시적으로 조건부 학습을 수행하고, 훈련 잡음을 공간적으로 변조하여 구조적 일관성을 유지하는 새로운 패러다임을 제시했습니다.
• 한계 및 향후 과제: 다단계 확산 모델의 높은 추론 비용, 매우 복잡하거나 새로운 형태의 혼합 열화에 대한 descriptor 의 한계, 그리고 다양한 확산 백본으로의 확장 가능성 등이 향후 연구 과제로 남았습니다.

요약하자면, DASP-SR 은 열화를 인지하고 구조를 보존하는 두 가지 경량 모듈을 통해 확산 모델 기반의 실제 세계 초해상도 성능을 크게 향상시킨 획기적인 연구입니다.