A Noise Constrained Diffusion (NC-Diffusion) Framework for High Fidelity Image Compression

논문 요약: 고충실도 이미지 압축을 위한 잡음 제약 확산 (NC-Diffusion) 프레임워크

1. 연구 배경 및 문제점 (Problem)

• 배경: 확산 모델 (Diffusion Models) 의 이미지 생성 성공으로 인해, 이를 이미지 압축에 적용하려는 연구가 활발해지고 있습니다. 기존 학습 기반 이미지 압축 방법은 양자화 (Quantization) 과정에서 발생하는 노이즈로 인해 재구성 시 흐릿하거나 모호한 결과가 나오는 경향이 있습니다. 이를 개선하기 위해 생성 모델을 활용한 접근이 시도되고 있습니다.
• 핵심 문제: 기존 확산 기반 압축 방법들은 대부분 **랜덤 가우시안 잡음 (Random Gaussian Noise)**에서 시작하여 역방향 확산 과정을 통해 이미지를 생성합니다.
  • 잡음 불일치 (Noise Mismatch): 이미지 압축에서 발생하는 노이즈는 '양자화 잡음 (Quantization Noise)'으로, 원본과 재구성된 이미지 사이의 오차에 기반한 구체적인 분포를 가집니다. 반면, 기존 확산 모델은 완전히 무작위인 가우시안 잡음을 사용합니다.
  • 결과: 이 두 가지 잡음 분포의 불일치로 인해, 확산 모델이 압축된 이미지를 복원할 때 원본과 다른 무작위적인 변형 (Deviation) 이 발생하여 고충실도 (High Fidelity) 복원이 어렵고, 불필요한 아티팩트가 생성됩니다. 또한, 무작위 잡음에서 시작하는 방식은 추론 (Inference) 효율성을 저하시킵니다.

2. 제안 방법 (Methodology)

저자들은 NC-Diffusion (Noise Constrained Diffusion) 프레임워크를 제안하여 압축 과정의 양자화 잡음을 확산 모델의 노이즈로 직접 매핑하고 제약하는 방식을 도입했습니다.

• A. 잡음 제약 확산 (Noise Constrained Diffusion):

  • 개념: 기존 확산 모델의 '무작위 가우시안 잡음 추가' 대신, 이미지 압축 과정에서 발생하는 양자화 잡음 ($\epsilon_q$) 을 확산 과정의 노이즈 ($\epsilon_n$) 로 간주합니다.
  • 전진 과정 (Forward Process): 원본 이미지 ($I_0$) 에서 양자화 잡음이 추가되어 초기 압축 결과 ($I_T$) 가 되는 과정을 확산의 전진 과정으로 정의합니다. 즉, $I_T = I_0 + \epsilon_n$ 관계가 성립하도록 모델링합니다.
  • 역전 과정 (Reverse Process): 초기 압축 결과 ($I_T$) 에서 시작하여 학습된 확산 네트워크 ($\epsilon_\theta$) 를 통해 양자화 잡음을 제거하고 원본에 가까운 이미지를 재구성합니다.
  • 효과: 무작위 잡음을 추가하지 않고 압축 과정에서 발생한 실제 잡음만을 제거하므로, 원본과의 불일치를 최소화하고 추론 효율성을 극대화합니다.

• B. 적응형 주파수 영역 필터링 모듈 (Adaptive Frequency-domain Filtering, AFF):

  • 목적: U-Net 기반 확산 아키텍처의 스킵 연결 (Skip Connection) 을 강화하여 고주파수 세부 정보 (텍스처 등) 를 복원합니다.
  • 구현: 스킵 연결된 특징 맵을 푸리에 변환 (FFT) 하여 주파수 영역으로 변환한 후, 학습 가능한 마스크 ($\alpha_k$) 를 통해 고주파수 성분을 적응적으로 증폭시킵니다.
  • 손실 함수: 고주파수 세부 정보 보존을 위해 웨이블릿 변환 (Wavelet Transform) 을 기반으로 한 고주파수 손실 ($L_{high}$) 을 추가합니다.

• C. 제로샷 샘플 가이드 향상 (Zero-shot Sample-guided Enhancement):

  • 목적: 추론 단계에서 재구성된 이미지의 지각적 품질 (Perceptual Quality) 을 추가로 향상시킵니다.
  • 구현: CLIP 이미지 인코더를 활용하여 초기 압축 결과 ($I_T$) 와 재구성된 이미지 ($I_0$) 간의 의미적 유사성을 유지하도록 유도하는 CLIP 손실 ($L_{CLIP}$) 을 계산합니다. 이 손실의 그래디언트를 확산 역과정의 평균값에 적용하여, 무작위성 없이 원본의 의미적 내용을 충실히 유지하면서 세부 사항을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. NC-Diffusion 프레임워크 제안: 이미지 압축과 확산 모델 간의 잡음 불일치 문제를 해결하기 위해, 양자화 잡음을 확산 과정의 제약된 노이즈로 변환하는 새로운 접근법을 제시했습니다. 이는 불필요한 무작위성을 제거하고 재구성 충실도를 높입니다.
2. 플러그 앤 플레이 주파수 필터링 모듈: U-Net 아키텍처에 적용 가능한 적응형 주파수 필터링 모듈을 개발하여 스킵 연결의 고주파수 특징 전달을 강화했습니다.
3. 성능 향상: 제로샷 샘플 가이드 방법을 통해 추론 시 지각적 품질을 추가적으로 개선하며, 기존 방법 대비 Rate-Distortion 및 Rate-Perception 성능에서 우수한 결과를 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: CLIC2020 및 Kodak 데이터셋에서 다양한 기존 방법 (HiFiC, DiffEIC, CDC, Stable Diffusion 기반 방법 등) 과 비교 평가했습니다.
• 성능 지표:
  • Rate-Distortion (PSNR): 기존 확산 기반 방법들보다 높은 PSNR 을 달성하여 객관적 왜곡이 적음을 보였습니다.
  • Rate-Perception (FID, LPIPS, MS-SSIM): 지각적 품질 지표에서도 우수한 성능을 보였으며, 특히 FID 점수에서 원본 분포와의 정렬도가 높았습니다.
  • 비교 분석: MS-ILLM, HiFiC 등은 LPIPS 점수는 높지만 원본의 세부 텍스처 (예: 글자 등) 를 왜곡하거나 잃어버리는 경우가 많았습니다. 반면, NC-Diffusion 은 원본의 텍스처를 충실히 보존하면서도 지각적 품질을 향상시켰습니다.
• 추론 속도: 무작위 잡음에서 시작하는 기존 방법 (CDC, DiffEIC 등) 에 비해, 초기 압축 이미지에서 시작하는 NC-Diffusion 은 훨씬 빠른 추론 속도를 보였습니다 (단일 디노이징 단계로도 고품질 결과 도출 가능).

5. 의의 및 결론 (Significance)

이 논문은 확산 모델을 이미지 압축에 적용할 때 발생하는 '무작위성'과 '잡음 불일치'라는 근본적인 문제를 해결했습니다.

• 충실도 보장: 확산 모델이 가진 생성 능력을 활용하면서도, 원본 이미지에서 벗어나지 않는 고충실도 (High Fidelity) 복원을 가능하게 했습니다.
• 효율성: 무작위 잡음 생성 및 긴 추론 과정 없이, 압축된 데이터에서 직접 시작하여 효율적인 복원을 가능하게 했습니다.
• 향후 방향: 학습된 압축 코덱과 확산 모델 간의 노이즈 매핑을 정교하게 연결함으로써, 생성형 AI 를 활용한 이미지/비디오 코딩의 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.