Quaternion Wavelet-Conditioned Diffusion Models for Image Super-Resolution

기술 요약: ResQu – 이미지 초해상도를 위한 쿼터니온 웨이블릿 조건부 확산 모델

문제 제기
이미지 초해상도 (SR) 는 객체 감지 및 분할과 같은 하위 컴퓨터 비전 응용에 필수적인 작업인 저해상도 (LR) 입력으로부터 고해상도 (HR) 이미지를 재구성하는 것을 목표로 합니다. 딥러닝이 SR 을 크게 발전시켰음에도 불구하고, 특히 높은 업스케일링 비율에서 지각적 품질과 구조적 충실도 사이의 균형을 잡는 재구성을 달성하는 것은 여전히 어렵습니다. 기존 확산 기반 SR 방법은 아티팩트나 흐림을 도입하지 않고 세밀한 디테일과 사실적인 질감을 보존하는 데 종종 어려움을 겪습니다. 또한 많은 접근 방식이 실제 시나리오로의 일반화를 제한하는 사전 정의된 열화 모델에 의존합니다.

방법론: ResQu 프레임워크
저자들은 쿼터니온 웨이블릿 전처리 파이프라인을 잠재 확산 모델 (LDM) 에 통합한 새로운 SR 프레임워크인 ResQu를 제안합니다. 이 아키텍처는 특히 Stable Diffusion (SD) 과 같은 사전 훈련된 파운데이션 모델의 생성적 사전 지식을 활용하면서, 전문화된 조건부 메커니즘을 도입합니다.

1. 쿼터니온 웨이블릿 변환 (QWT) 과 QUAVE:
   이동 불변성과 위상 정보가 부족한 표준 이산 웨이블릿 변환 (DWT) 과 달리, ResQu 는 쿼터니온 웨이블릿 변환을 사용합니다. QWT 는 이미지를 네 개의 서브밴드 (스케일링 및 세 가지 방향 웨이블릿) 로 분해하여 저주파 근사치와 고주파 세부 사항을 모두 포착하는 풍부한 다차원 표현을 제공하는 16 개의 실수 서브밴드를 생성합니다. 중복성을 피하기 위해 프레임워크는 가장 정보량이 많은 QWT 서브밴드에서 특징을 추출하는 학습 기반 접근 방식인 QUAVE를 사용합니다.

2. 쿼터니온 웨이블릿 및 시간 인식 인코더:
   핵심 혁신은 LR 입력을 처리하여 쿼터니온 웨이블릿 임베딩을 생성하는 새로운 인코더입니다. 이러한 임베딩은 시간 단계 임베딩과 함께 확산 과정에 동적으로 통합됩니다.

   • 멀티스케일 조건부: 인코더는 공간 특징 변환 (SFT) 을 통해 이러한 특징을 U-Net 백본의 중간 특징 맵에 주입합니다.
   • 적응형 가이드: 인코더는 '시간 인식'을 가지며, 이는 확산 시간 단계에 따라 조건부 강도를 조정함을 의미합니다. 초기 노이즈 제거 단계 (낮은 신호 대 잡음비) 에서는 무결성을 보존하기 위해 강력한 구조적 가이드를 제공합니다. 잠재 표현이 정제됨에 따라 (높은 신호 대 잡음비), 인코더는 그 영향을 줄여 확산 모델이 세밀한 질감 생성에 집중할 수 있도록 합니다.

3. 훈련 전략:
   ResQu 는 처음부터 훈련하는 대신 사전 훈련된 Stable Diffusion 모델을 미세 조정합니다. VAE 인코더와 디코더는 고정된 상태로 유지되며, U-Net 백본은 새로운 쿼터니온 웨이블릿 및 시간 인식 인코더로 적응됩니다. 이 접근 방식은 방대한 데이터셋에서 학습된 광범위한 생성적 사전 지식을 활용하면서 계산 요구 사항을 크게 줄입니다.

주요 기여

1. 새로운 통합: 생성적 사전 지식과 쿼터니온 웨이블릿 특징을 독특하게 통합한 이미지 SR 을 위한 잠재 확산 모델의 도입.
2. 전문 인코더: 노이즈 제거 중 여러 스케일에서 조건부 과정을 강화하여 Stable Diffusion 과 같은 사전 훈련된 파운데이션 모델의 성능을 향상시키는 쿼터니온 웨이블릿 및 시간 인식 인코더의 제안.
3. 성능 검증: 지각적 품질 (LPIPS, FID) 과 정량적 지표 (PSNR, SSIM) 모두에서 기존 방법보다 ResQu 가 우수함을 보여주는 광범위한 실험.
4. 애블레이션 및 도메인 분석: 아키텍처 설계 (예: 제어 가능한 특징 래핑) 에 대한 엄격한 애블레이션 연구와 도메인별 데이터셋 (ShipSpotting) 에 대한 제로샷 평가를 통해 방법의 견고성과 다양성을 입증.

실험 결과
저자들은 ResQu 를 합성 (DIV2K) 및 실제 세계 (RealSR, DRealSR) 벤치마크와 도메인별 해상 데이터셋 (ShipSpotting) 에서 평가했습니다.

• 정량적 성능: DIV2K 검증 세트에서 ResQu 는 25.21 의 PSNR 과 0.645 의 SSIM 을 달성하여 StableSR 및 LDM 과 같은 베이스라인을 능가했습니다. RealSR 및 DRealSR 에서 모델은 강력한 일반화를 보여주어 각각 26.45 와 29.69 의 최고 PSNR 과 경쟁력 있는 SSIM 점수를 달성했습니다.
• 정성적 분석: 시각적 비교는 다른 방법에서 흔히 발생하는 흐림이나 에일리어싱 아티팩트 없이 얼굴 주름, 모피 질감 등 복잡한 구조적 세부 사항과 텍스트 요소를 재구성하는 ResQu 의 능력을 강조합니다. 쿼터니온 기반 조건부는 날카로운 가장자리와 자연스러운 확률적 패턴을 효과적으로 보존합니다.
• 제로샷 능력: ShipSpotting 데이터셋에 대한 재훈련 없이 수행된 제로샷 평가에서 ResQu 는 완전히 훈련된 전문 모델과 비교 가능한 성능을 달성하여 보지 못한 도메인으로의 일반화 능력과 복잡한 해상 질감을 처리하는 능력을 입증했습니다.
• 애블레이션 발견: 샘플링 단계에 대한 연구는 단계 수가 적을수록 효율성과 픽셀 단위 지표 (PSNR/SSIM) 가 향상되지만 지각적 품질 (LPIPS) 이 약간 저하되는 트레이드오프를 드러냈습니다. 또한, 구조적 충실도를 보존하는 데 있어 사전 훈련된 StableSR 버전보다 커스텀 훈련된 제어 가능한 특징 래핑 (CFW) 모듈이 더 우수한 성능을 보였습니다.

의의 및 주장
이 논문은 ResQu 가 고급 신호 처리 기술과 생성적 사전 지식을 효과적으로 종합함으로써 이미지 초해상도 분야에서 새로운 벤치마크를 수립했다고 주장합니다. 저자들은 현재 확산 기반 SR 방법의 일반적인 한계인 구조적 충실도와 지각적 사실성 사이의 균형을 맞추는 과제를 성공적으로 해결했다고 주장합니다. 쿼터니온 웨이블릿 임베딩을 활용함으로써 프레임워크는 필수적인 위상 관계와 다차원 특징을 포착하여 인간 초상화부터 복잡한 자연 질감 및 텍스트에 이르기까지 다양한 콘텐츠 유형에서 세밀한 세부 사항의 복원과 견고한 성능을 가능하게 합니다. 이 작업은 쿼터니온 웨이블릿 특징을 확산 모델과 통합하는 새로운 아키텍처 패러다임을 기여하여 실제 세계 이미지 향상 작업을 위한 다목적 솔루션을 제공합니다.