Preserve More Details: Mitigating Content Drift in Real-World Image Super-Resolution

기술 요약: 더 많은 세부 정보 보존: 실제 환경 이미지 초해상도에서의 콘텐츠 드리프트 완화

문제 정의
실제 환경 이미지 초해상도(Real-ISR)는 제약이 없는 시나리오에서 캡처된 저품질(LQ) 입력을 바탕으로 고품질(HQ) 이미지를 재구성하는 것을 목표로 합니다. Stable Diffusion(SD) 모델을 활용하는 최근 방식들은 자연스러운 이미지 사전 지식(prior)을 주입함으로써 인상적인 결과를 달ax성했지만, **콘텐츠 드리프트(content drift)**라는 치명적인 한계에 직면해 있습니다. 저자들은 저품질 입력의 불충분한 명확성과 SD의 VAE(Variational Autoencoder)가 가진 고도로 압축된 잠재 공간(latent space)이 결합되어 다음과 같은 두 가지 구체적인 실패 모드를 유발한다고 식별했습니다:

1. 시각적 세부 정보 저하: 미세한 구조(예: 울타리, 질감)가 잠재 압축 과정에서 소실되며, 이로 인해 모델이 입력 이미지의 본래 내용보다는 사전 학습된 사전 지식에 지나치게 의존하게 됩니다.
2. 텍스트 의미론적 변화(Textual Semantic Shift): 기존 방식들은 종종 합성 과정을 가이드하기 위해 저품질 이미지로부터 캡션을 생성합니다. 그러나 저품질 입력의 불분명한 세부 사항은 부정확한 캡션으로 이어져 심각한 오재구성(예: 집을 눈더미로 렌더링함)을 초래합니다.

방법론: FSP-Diff
이러한 문제를 해결하기 위해 저자들은 미세한 구조를 보존하고 견고한 의미론적 가이드를 제공하도록 설계된 새로운 원스텝 디퓨전 모델인 FSP-Diff를 제안합니다. 이 프레임워크는 사전 학습된 텍xt-to-image(T2I) 디퓨전 모델(구체적으로 SD 2.1-base)을 기반으로 구축되었으며, 저품질 입력에서 추출된 구조적 세부 사항에 의해 가이드되는 **이중 경로 아키텍처(dual-pathway architecture)**를 도입합니다.

1. 구조적 세부 사항 추출:
   모델은 단지 압축된 잠재 표현($Z_L$)에만 의존하는 대신, 프리즈된(frozen) 사전 학습된 Vision Transformer(ViT) 인코더를 사용하여 구조적 세부 사항($X_S$)을 추출합니다. ViT의 첫 번째 블록은 상당한 의미적 추상화가 일어나기 전의 저수준 에지(edge) 및 경계 정보를 포착하는 데 사용됩니다.

2. 이중 경로 아키텍처:

   • 세부 사항 조건부 경로 (Detail Injector): 이 경로는 미세한 구조를 복원하는 역할을 합니다. 모델은 세부 사항 인식 토큰 압축(Detail-Aware Token Compression, DATC) 모듈을 사용하여 고해상도 특징 맵 $X_S$를 컴팩트한 토큰 집합 $X_H$로 압축함으로써 계산 비용을 줄입니다. 이후 이 토큰들은 구조적 세부 사항 조건부 어텐션(Structured Detail Conditioned Attention, SDCA) 모듈을 통해 디퓨전 프로세스에 통합됩니다. SDCA는 디퓨전 잠재 변수가 구조적 세부 사항을 참조(attend)할 수 있도록 하여, 미세한 구조의 생성을 명시적으로 가이드합니다.
   • 세부 사항 변조 의미론적 경로 (Semantic Inspector): 이 경로는 텍는 드립트를 방지하기 위해 의미론적 가이드를 정교화합니다. 모델은 **의미-세부 사항 변조기(Semantic–Detail Modulator, SDM)**를 사용하여 저품질 이미지로부터 도출된 텍스트 임베딩($X_C$)을 적응적으로 조정합니다. SDM은 의미론적 임베딩과 구조적 세부 사항($X_S$) 사이의 어텐션 가중치를 계산함으로써 잠재적인 의미론적 불일치를 바로잡고, 텍스트 조건이 저품질 이미지의 실제 내용을 정확하게 반영하도록 보장합니다.

3. 학습 전략:
   모델은 $L_1$과 LPIPS를 결합한 재구성 손실($L_{rec}$)과 함께, 출력물을 실제 세계의 고품질 분포와 정렬시키기 위한 변분 점수 증류(Variational Score Distillation, VSD) 정규화 손실($L_{reg}$)을 사용하여 학습됩니다. 노이즈 스케줄러에는 학습을 안정화하기 위해 타임스텝 이동(timestep-shifted) 학습 전략이 적용되었으며, 스케일링 인자 $s=0.9$가 최적임을 확인했습니다.

주요 기여
본 논문은 세 가지 주요 기여를 명시합니다:

1. 문제 식별: 저자들은 신뢰할 수 없는 저품질 입력과 압축된 잠재 공간으로 인해 발생하는 Real-ISR의 콘텐츠 드리프트를 시각적 세부 정보 저하와 텍스트 의미론적 변화라는 이중 문제로 명확히 규정했습니다.
2. 아키텍처 혁신: 미세한 구조를 복원하기 위해 구조적 세부 사항을 주입하고, 편차를 완화하기 위해 의미론적 가이드를 변조하는 이중 경로 설계를 갖춘 원스텝 디퓨전 프레임워크인 FSP-Diff를 제안했습니다. 이 설계는 충실도(fidelity)와 신뢰성을 동시에 향상시킵니다.
3. 성능: 광범적인 실험을 통해 F-SPDiff가 기존의 원스텝 디퓨전 방법들을 능가하며, 복잡한 다단계 학습이나 더 큰 외부 데이터셋 없이도 단일 추론 단계에서 더 많은 구조적 세부 사항을 보존함을 입증했습니다.

실험 결과
저자들은 표준 벤치마크(DIV2K-val, RealSR, DRealSR)에서 최신 원스텝 방법들(SinSR, OSEDiff, TSD-SR, TVT) 및 멀티스텝 방법들과 FSP-Diff를 비교 평가했습니다.

• 정량적 성능: FSP-Diff는 약 80%의 지표에서 OSEDiff를 일관되게 앞섭s습니다. 참조 기반 지표(PSNR, SSIM, LPIPS, DISTS)에서 최고 또는 차석의 점수를 기록했으며, 무참조 지표(NIQE, MANIQA)에서도 경쟁력 있는 결과를 보여주었습니다. 특히, 세 가지 벤치마크 모두에서 가장 낮은 FID 점수를 달성하여 실제 고품질 이미지와의 강력한 분포 정렬을 나타냈습니다.
• 정성적 성능: 시각적 비교 결과, FSP-Diff는 다른 방법들이 흐리게 처리하거나 환각(hallucinate)을 일으키는 미세한 디테일(예: 털, 질감)을 효과적으로 복원합니다. 또한 베이스라인 모델에서 보이는 "의미론적 변화" 오류(예: 사물을 잘못 식별함)를 성공적으로 피했습니다. 디테일은 보존하지만 딱딱한 다각형 아티팩트를 생성하는 TVT와 비교했을 때, FSP-Diff는 더 자연스럽고 충실한 재구성을 생성합니다.
• 효율성: 추가된 이중 경로의 복잡성에도 불구하고, FSP-Diff는 낮은 추론 시간(512x512 이미지 기준 A100에서 0.15초)을 유지하여 멀티스텝 디퓨전 모델(예: StableSR, 12.42초)보다 훨씬 빠르며 다른 원스텝 방법들과 대등한 수준입니다.

의의
본 논문은 FSP-Diff가 콘텐츠 드리프트의 근본 원인을 직접적으로 해결함으로써 Real-ISR 분야에서 중요한 진전을 이루었다고 주장합니다. 입력을 통해 구조적 세부 사항을 명시적으로 추출하고 이를 생성 프로세스와 의미론적 조건 모두에 가이드로 활용함으로써, 이 프레임워크는 충실도(입력 내용 보존)와 지각적 품질(현실적인 디테일 생성) 사이의 더 나은 균형을 달성합니다. 이 연구는 정교하게 설계된 원스텝 디퓨전 모델이 광범한 다단계 학습이나 더 큰 파운데이션 모델에 의존하지 않고도 더 복잡한 멀티스텝 접근 방식 및 다른 원스텝 베이스라인을 능가할 수 있음을 보여주며, 실제 환경의 초해상도 작업을 위한 실용적이고 효율적인 솔루션을 제공합니다.