A Wavelet Diffusion GAN for Image Super-Resolution

기술 요약: 이미지 초해상도를 위한 웨이블릿 확산 GAN

문제 제기
확산 모델은 고충실도 이미지 생성을 위해 생성적 적대 신경망 (GAN) 보다 우월한 대안으로 부상했지만, 실시간 시나리오에서의 적용은 느린 학습 및 추론 속도로 인해 크게 저해받고 있습니다. 전통적인 픽셀 공간 확산 모델은 고품질 샘플을 생성하기 위해 수천 개의 시간 단계를 필요로 하며, 이미지당 수 분의 시간이 소요되는 경우가 많습니다. 잠재 공간 확산 모델은 변분 오토인코더 (VAE) 를 학습시켜 이를 완화하려 시도하지만, 여전히 대규모 데이터셋에 의존하며 상대적으로 높은 실행 시간을 보입니다. 반면, 확산 GAN 은 무조건부 생성 속도를 가속화했지만, 특히 고충실도 출력과 계산 효율성 간의 트레이드오프를 해결하는 단일 이미지 초해상도 (SISR) 의 특정 과제를 다루는 해결책에 대한 필요성은 여전히 존재합니다.

방법론
저자들은 이미지 초해상도를 수행하기 위해 조건부 확산 GAN 과 이산 웨이블릿 변환 (DWT) 을 통합한 새로운 프레임워크인 WaDiGAN-SR을 제안합니다. 이 방법론은 다음과 같은 핵심 메커니즘을 통해 작동합니다:

1. 웨이블릿 공간 확산: 픽셀 공간에서 확산을 수행하는 표준 접근법과 달리, 이 방법은 웨이블릿 도메인에서 확산 과정을 적용합니다. 고해상도 이미지는 DWT 를 사용하여 저주파 및 고주파 성분을 나타내는 네 개의 서브밴드 (LL, LH, HL, HH) 로 분해됩니다. 이 분해는 입력의 공간 차원을 (각 서브밴드당 $H \times W$에서 $H/2 \times W/2$로) 줄이면서도 이미지 선명도에 필수적인 고주파 세부 정보를 보존합니다.
2. 조건부 확산 GAN 아키텍처:
   • 전진 과정: 고해상도 이미지 ($x_0$) 의 웨이블릿 분해에 순차적으로 노이즈가 추가되어 순수 가우시안 노이즈 ($x_t$) 만 남을 때까지 진행됩니다.
   • 역과정: 생성기 $G(x_t, x_{lr}, t)$는 노이즈가 섞인 웨이블릿 이미지와 저해상도 입력의 웨이블릿 분해 ($x_{lr}$) 를 조건으로 받습니다. 노이즈를 직접 예측하는 대신, 생성기는 깨끗한 이미지 $x_0$를 예측합니다.
   • 단계 크기 축소: 실제 및 가짜 $(x_{t-1}, x_t)$ 쌍을 구분하는 GAN 판별기를 활용함으로써, 모델은 역확산 과정에서 더 큰 단계 크기를 허용합니다. 이로 인해 필요한 시간 단계가 수천 개에서 사전 정의된 숫자 (예: $T \leq 8$) 로 줄어들어 추론이 크게 가속화됩니다.
3. 최적화: 학습 목적 함수는 생성된 분포가 실제 데이터 분포와 일치하도록 보장하는 적대적 손실과 생성된 깨끗한 이미지와 정답 (ground truth) 간의 재구성 손실 ($L_1$) 을 결합합니다. 이 이중 접근법은 주파수 정보 손실을 방지하고 웨이블릿 서브밴드 전반에 걸쳐 일관성을 유지합니다.

주요 기여

• SISR 을 위한 최초의 웨이블릿 기반 조건부 확산 GAN: 이 논문은 이미지 초해상도에 웨이블릿 기반 조건부 확산 GAN 을 적용한 최초의 접근법을 소개합니다. 이는 공간 차원 축소와 고주파 웨이블릿 서브밴드를 통한 향상된 세부 정보 복원을 활용합니다.
• 효율성과 품질의 균형: 제안된 방법은 학습 및 추론 시간을 모두 단축하면서도 이미지 품질 측면에서 최첨단 방법론들을 능가합니다. 이는 초해상도 분야에서 확산 모델의 실시간 응용을 위한 발판 역할을 합니다.
• 아키텍처 혁신: U-Net 유사 생성기 내의 주파수 인식 블록과 잔차 연결의 통합으로 인해 모델이 고주파 성분에 매우 민감해져, 표준 픽셀 공간 확산의 계산 부담 없이 더 선명한 출력을 생성합니다.

실험 결과
저자들은 CelebA-HQ 데이터셋에서 8 배 확대 작업 ($16 \times 16 \to 128 \times 128$) 을 위해 모델을 평가하고, Shipspotting 데이터셋에서 제거 실험 (ablation study) 을 수행했습니다.

• 정량적 성능: 자원 제약으로 인해 25,000 회 반복만 학습되었음에도 불구하고, 모델은 ESRGAN, SR3, DiWa 보다 우수한 지표를 달성했습니다. 구체적으로, PSNR 은 23.38(ESRGAN 의 21.13 대비), SSIM 은 0.68, LPIPS 는 0.061로 현저히 낮았습니다.
• 효율성: 모델은 추론 시간을 획기적으로 단축하여 생성을 0.12 초에 완료했으며, 이는 SR3 의 60.3 초와 DiWa 의 34.7 초에 비해 빠른 속도입니다. 또한 모델은 경량화되어 57M 개의 파라미터를 포함하며, 이는 확산 기반 모델 (98M 및 92M) 보다 적은 수치입니다.
• 정성적 분석: 시각적 결과는 다른 기준 모델들에서 흔히 발생하는 아티팩트 (예: 격자 무늬 패턴 및 색상 이동) 가 크게 감소했음을 나타냈습니다. 생성된 이미지는 더 미세한 세부 정보를 보존하고 더 높은 시각적 충실도를 보여주었습니다.

의의 및 주장
이 논문은 WaDiGAN-SR 이 시간 민감형 응용 분야에서 확산 모델의 고유한 단점을 효과적으로 극복한다고 주장합니다. 확산 모델의 안정성과 유연성, GAN 의 속도, 그리고 웨이블릿 변환의 차원 축소를 결합함으로써 이 접근법은 자원 효율성을 갖춘 최첨단 품질을 제공합니다. 저자들은 실험이 하드웨어 제약 (더 작은 이미지 크기와 더 적은 반복 횟수에서의 학습) 으로 제한되었음을 지적하지만, 그 결과들이 모델의 효율성과 실시간 초해상도 적합성을 검증한다고 밝힙니다. 이 연구는 하드웨어 제약 하에 운영되면서도 전통적인 확산 모델의 prohibitive 한 계산 비용 없이 고충실도 출력이 필요한 연구자들에게 실현 가능한 해결책을 제시합니다.