기술 요약: 생성적 압축을 통한 지각 기반 이미지 잡음 제거

1. 문제 정의

이미지 잡음 제거는 구조적 세부 사항과 지각적 현실성을 유지하면서 잡음을 제거하는 것을 목표로 합니다. 그러나 픽셀 단위 왜곡 지표 (예: 평균 제곱 오차 또는 PSNR) 에 최적화된 기존 방법들은 특히 강한 잡음이나 분포 변화 하에서 과도하게 평활화된 재구성을 초래하는 경향이 있습니다. 이는 왜곡 최소화만으로는 지각적 품질을 보장하기에 불충분하기 때문이며, 왜곡을 지각적 제약 조건 없이 최소화하는 것은 Rate-Distortion-Perception(RDP) 트레이드오프가 공식화하듯 미세한 질감과 자연스러운 이미지 통계를 상실하게 만듭니다.

기존의 지각적 복원 방법들, 예를 들어 조건부 Wasserstein GAN(WGAN) 들은 불안정한 학습과 자연스러운 이미지 다양성의 포착 부족으로 고통받을 수 있습니다. 반면, 확산 모델은 안정적인 학습과 강력한 모드 커버리지를 제공하지만, 잡음과 자연 신호의 구조적 특성을 효과적으로 처리하기 위해서는 압축 원칙과의 통합이 필요합니다.

2. 방법론

본 논문은 엔트로피 부호화된 잠재 표현으로부터 이미지를 재구성함으로써 잡음 제거를 달성하는 생성적 압축 프레임워크를 제안합니다. 핵심 전제는 자연 신호는 낮은 복잡성을 보이는 반면, 잡음은 비구조적이라는 것입니다. 잡음 강도와 일치하는 왜곡 수준에서 압축기를 작동시킴으로써, 고복잡도 잡음은 억제되고 구조화된 콘텐츠는 보존됩니다.

저자들은 이 프레임워크의 두 가지 상호 보완적인 구체화를 도입합니다:

2.1. 조건부 WGAN 기반 압축 잡음 제거기 (CGanDeCompress)

이 접근법은 학습된 손실 압축과 조건부 적대적 학습을 통합합니다.

• 아키텍처: 인코더 ($E$) 는 잡음이 포함된 입력 $y$를 양자화된 잠재 표현 $z$로 매핑합니다. 디코더 ($G$) 는 $z$로부터 잡음이 제거된 이미지 $\hat{x}$를 재구성합니다.
• 레이트 제어: 잠재 $z$는 학습된 확률 모델 $P$를 사용하여 엔트로피 부호화되며, 이를 통해 레이트 $r(z) = -\log P(z)$가 도출됩니다.
• 학습 목적 함수: 시스템은 결합된 손실 함수를 최소화합니다:
  $$L_{EGP} = \mathbb{E}_y[\lambda r(z) + d(x, \hat{x}) - \beta \log D(\hat{x}, z)]$$
  여기서 $d(x, \hat{x})$는 MSE 와 학습된 지각적 이미지 패치 유사성 (LPIPS) 손실을 결합합니다. 조건부 WGAN 판별자 $D$는 $z$에 조건부인 깨끗한 이미지와 재구성된 이미지를 구별하여 지각적 현실성을 증진시킵니다.
• 제어: 매개변수 $\lambda$와 $\beta$는 레이트 - 왜곡 - 지각 (RDP) 트레이드오프를 명시적으로 제어합니다.

2.2. 조건부 확산 기반 재구성 (DiffDeCompress)

이 접근법은 압축된 잠재에 의해 안내되는 생성적 사전 지식으로서 확산 모델을 활용합니다.

• 아키텍처: 확률적 인코더는 $y$를 컴팩트한 잠재 $z$로 매핑합니다. 디코더는 역확산 과정을 통해 조건부 분포 $p(x_0|z)$를 모델링합니다.
• 과정: 역과정은 $z$에 조건부이며, 이는 의미적으로 일관된 재구성을 향해 잡음 제거 궤적을 안내합니다. 중간 잠재 변수는 미세 규모의 세부 사항 합성을 가능하게 합니다.
• 학습 목적 함수: 모델은 명시적인 LPIPS 손실이 추가된 확산 음의 로그 가능도 (negative log-likelihood) 에 대한 변분 상한을 최적화합니다:
  $$L = \rho L_p + (1-\rho)L_c$$
  여기서 $L_p$는 LPIPS 손실이며, $L_c$는 레이트 제약과 확산 재구성 손실을 포함합니다.

3. 이론적 기여

본 논문은 가산 백색 가우시안 잡음 (AWGN) 하의 압축 기반 최대 가능도 (ML) 잡음 제거에 대한 비점근적 보장을 확립합니다.

• 재구성 오차 한계: 저자들은 재구성 오차 $\|x - \hat{x}\|$에 대한 상한을 압축 레이트 $R$, 왜곡 $D(P)$, 그리고 지각 수준 $P$의 관점에서 유도합니다. 이 한계는 높은 확률로 오차가 이론적 왜곡 - 지각 한계 $D(P)$에 근접함을 나타냅니다.
• 디코딩 오차 확률: 논문은 ML 잡음 제거기가 잘못된 코드워드를 선택할 확률에 대한 한계를 제공하며, 이 확률이 압축 레이트 $R$에 따라 지수적으로 감소함을 보여줍니다.
• RDP 이론과의 연결: 이론적 프레임워크는 잡음 제거 성능을 RDP 이론과 명시적으로 연결하여, 제안된 방법들이 왜곡 - 지각 트레이드오프의 이론적 한계 내에서 작동함을 입증합니다.

4. 실험 결과

이 방법들은 합성 가우시안 잡음 (KODAK 및 DIV2K 데이터셋) 과 실제 세계 잡음 (형광 현미경 데이터셋 및 스마트폰 이미지 잡음 제거 데이터셋 - SIDD) 에서 평가되었습니다.

• 합성 잡음:

  • 지각적 품질: 제안된 두 방법 모두 지각적 지표 (FID, LPIPS, PI) 에서 고전적 (BM3D) 및 학습 기반 (N2C, N2N, Deep Decoder) 베이스라인보다 일관되게 우수한 성과를 거두었습니다.
  • 왜곡 트레이드오프: N2C 와 같은 지도 학습 방법은 더 높은 PSNR/SSIM 을 달성했으나, 과도하게 평활화된 출력을 나타내는 훨씬 더 높은 FID 및 LPIPS 점수를 보였습니다. 제안된 방법들은 경쟁력 있는 왜곡 성능을 유지하면서 우수한 지각적 현실성을 달성했습니다.
  • 구체적 사항: $\sigma=15$에서 CGanDeCompress 는 가장 낮은 FID 와 LPIPS 를 달성했습니다. 더 높은 잡음 수준 ($\sigma=50$) 에서 DiffDeCompress 는 KODAK 에서 최고의 지각적 품질 (최저 PI) 을 달성한 반면, CGanDeCompress 는 DIV2K 에서 분포 유사성 (FID) 에서 뛰어난 성과를 보였습니다.

• 실제 세계 잡음:

  • FMD 및 SIDD 데이터셋에서 CGanDeCompress 는 도메인 변화와 복잡한 실제 세계 잡음에 대한 강인함을 입증했습니다.
  • FMD: LPIPS 는 0.439(잡음 포함) 에서 0.035 로 개선되었으며, PSNR 은 28.45 dB 에서 36.71 dB 로 증가했습니다.
  • SIDD: LPIPS 는 0.646 에서 0.093 으로 감소했고, PSNR 은 26.35 dB 에서 32.70 dB 로 증가했으며 구조적 유사성 (SSIM) 에서 상당한 향상을 보였습니다.

5. 중요성 및 주장

본 논문은 제안된 생성적 압축 프레임워크가 왜곡 주도형과 지각 주도형 잡음 제거 간의 간극을 성공적으로 연결한다고 주장합니다. 손실 코덱에 의해 유도된 저복잡도 신호 클래스로의 투영으로서 잡음 제거를 해석함으로써, 이 방법은 다음을 달성합니다:

1. 명시적 제어: 학습된 압축 모델을 통해 RDP 트레이드오프를 명시적으로 관리할 수 있는 능력.
2. 지각적 충실도: MSE 최적화 방법에서 종종 손실되는 사실적인 질감과 미세 세부 사항의 생성.
3. 이론적 기반: 압축 레이트와 잡음 제거 오차를 연결하는 비점근적 한계의 확립 및 정보 이론적 원칙을 통한 접근법 검증.
4. 강인성: 도메인 변화와 복잡한 잡음 분포를 포함하는 합성 벤치마크 및 까다로운 실제 세계 시나리오 전반에 걸친 일관된 성능.

저자들은 생성적 압축이 경쟁력 있는 왜곡 성능을 희생하지 않으면서 향상된 지각적 충실도를 달성하는 지각 기반 이미지 잡음 제거를 위한 강력한 패러다임을 제공한다고 결론지었습니다.