기술 요약: RASR: 실용적 참조 기반 이미지 복원을 위한 검색 증강 초해상도

1. 문제 제기

단일 이미지 초해상도 (SISR) 는 저해상도 (LR) 입력으로부터 고해상도 (HR) 이미지를 재구성하는 것을 목표로 합니다. CNN, Transformer, 확산 모델의 최근 발전으로 지각적 품질이 향상되었지만, SISR 는 여전히 잘 정의되지 않은 문제 (ill-posed problem) 로 남아 있습니다. 이는 특히 복잡하거나 모호한 내용을 가진 영역에서 미세한 질감을 생성하는 데 어려움을 겪습니다.

참조 기반 초해상도 (RefSR) 는 LR 입력과 의미론적 또는 구조적 유사성을 공유하는 보조 고품질 참조 이미지를 활용하여 현실적인 질감을 전달함으로써 이러한 문제를 해결합니다. 그러나 기존 RefSR 접근법은 수동으로 큐레이션된 타겟 - 참조 이미지 쌍에 의존한다는 치명적인 한계를 안고 있습니다. 이 가정은 추론 시 사용자가 완벽한 쌍을 가진 참조를 거의 보유하지 않는다는 점에서 확장성과 실세계 적용 가능성을 심각하게 제한합니다. 오픈 월드 시나리오에서 적합한 참조 이미지를 효율적으로 획득하는 과제는 아직 충분히 탐구되지 않았습니다.

2. 방법론: RASR 및 RASRNet

학술 연구와 실용적 배포 간의 격차를 해소하기 위해, 저자들은 오직 LR 입력만 주어졌을 때 참조 데이터베이스에서 의미론적으로 관련된 HR 이미지를 자동으로 검색하는 검색 증강 초해상도 (Retrieval-Augmented Super Resolution, RASR) 라는 패러다임을 제안합니다.

A. 작업 정의

RASR 작업은 $RASR(I_{LR}) = G(I_{LR}, I_{REF}) = G(I_{LR}, R(DB, I_{LR}))$로 정의되며, 여기서:

• $DB$는 고품질 참조 이미지로 구성된 사전 큐레이션된 데이터베이스입니다.
• $R$은 $I_{LR}$을 기반으로 가장 의미론적으로 관련된 $I_{REF}$를 선택하는 검색기입니다.
• $G$는 두 입력 모두에 조건부로 HR 출력을 재구성하는 생성 함수입니다.

B. 네트워크 아키텍처 (RASRNet)

제안된 기준 모델인 RASRNet은 두 가지 주요 모듈을 통합합니다:

1. 실세계 이미지 참조 검색기 (RIRR):

   • 열화된 LR 이미지에서 실패하는 질감 기반 방법과 달리, RIRR 은 의미 기반 검색을 사용합니다.
   • 참조 이미지에서 임베딩을 추출하기 위해 DINOv2 비전 인코더를 사용합니다.
   • 주어진 LR 입력에 대한 가장 유사한 참조를 식별하기 위해 코사인 유사도 매칭을 통해 검색을 수행합니다.

2. 참조 확산 초해상도 (RefDSR):

   • 이는 사전 훈련된 SISR 확산 백본 (예: StableSR) 위에 구축된 플러그 앤 플레이 생성기 ($G_\theta$) 입니다.
   • 동결 전략: 생성 능력을 보존하기 위해 원래 VAE 인코더 ($E$), 디코더 ($D$), UNet ($F$) 의 파라미터는 동결됩니다.
   • ControlNet 통합: 학습 가능한 ControlNet 브랜치 ($F^{REF}_\theta$) 가 도입됩니다. 이는 DownBlocks 에서 LoRA 모듈과 제로 컨볼루션 레이어를 활용합니다.
   • 특징 주입: 참조 이미지 $I_{REF}$는 고정된 VAE 인코더 ($E^{REF}$) 에 의해 잠재 표현 $z_{REF}$로 인코딩됩니다. 이는 ControlNet 브랜치로 입력됩니다.
   • 조건부 융합: 참조 특징은 UNet 의 첫 번째 세 개의 디코더 블록에만 주입됩니다. 텍스트 기반 교차 주의 (cross-attention) 는 마지막 디코더 블록에서만 적용됩니다. 이 설계는 초기 단계가 의미론적 지도 하에 구조적 재구성에 집중하도록 하고, 마지막 단계는 텍스트 조건을 통해 전역 충실도와 스타일을 정제하도록 보장합니다.
   • 학습 목적 함수: 모델은 MSE 손실, 지각적 LPIPS 손실, GAN 손실 (고정된 DINO 백본 판별기와 함께), 그리고 질감 현실성을 향상시키기 위한 Gram 손실($L_{Gram}$) 의 가중 합을 사용하여 훈련됩니다.

C. 데이터셋: RASR-Flickr30

저자들은 RASR 을 위해 설계된 첫 번째 벤치마크인 RASR-Flickr30을 소개합니다.

• 출처: Flickr.com 에서 수집된 이미지.
• 초점: 다양성과 종 내 일관성을 위해 선택된 30 가지 동물 종.
• 구조: 각 종에 대해 데이터셋은 오픈 월드 동적 검색을 지원하기 위해 40 개의 훈련 이미지, 5 개의 테스트 이미지, 약 100 개의 참조 이미지를 제공합니다. 이는 고정된 타겟 - 참조 쌍에 의존하는 이전 데이터셋과 대조됩니다.

3. 실험 결과

실험은 RASR-Flickr30 테스트 세트와 WR-SR 데이터셋에서 수행되었으며, RASRNet 을 최첨단 GAN 기반 SISR, RefSR, 그리고 확산 기반 방법과 비교했습니다.

정량적 성능

RASRNet 은 RASR-Flickr30 테스트 세트에서 SISR 기준 모델 및 기타 RefSR 방법보다 일관되게 우수한 성과를 거두었습니다:

• 충실도: OSEDiff 기준 모델 대비 +0.38 dB PSNR 향상 및 +0.0063 SSIM 개선을 달성했습니다.
• 지각적 품질: 지각적 오류 지표에서 유의미한 감소를 보였습니다: -0.0131 LPIPS, -0.0172 DISTS, -8.76 FID.
• 참조 없는 지표: NIQE 를 -0.0870 개선하고 MUSIQ (+0.98) 및 CLIPIQA (+0.0134) 에서 향상을 달성했습니다.
• RefSR 과의 비교: 이전 RefSR 방법들 (예: C2-Matching, DATSR) 은 패치 매칭 대응 네트워크가 일반적으로 실패하는 복잡한 열화에 대해 GAN 기반 SISR 모델보다 열악한 성능을 보였습니다. 확산 아키텍처를 활용하는 RASRNet 은 이러한 복잡한 열화에 대해 더 강력한 것으로 입증되었습니다.

정성적 관찰

비주얼 비교 (예: 수달과 공작 예시) 는 다른 확산 기반 방법들 (StableSR, DiffBIR, PASD) 이 노이즈 제거, 구조적 정확도, 또는 질감 매끄러움에서 어려움을 겪는 반면, RASRNet 은 더 풍부한 질감 (예: 털, 깃털) 과 더 현실적인 얼굴 특징을 성공적으로 재구성하여 충실하고 시각적으로 매력적인 복원을 산출함을 나타냅니다.

4. 의의 및 기여

이 논문은 이미지 복원 분야를 발전시키는 세 가지 주요 기여를 주장합니다:

1. 새로운 패러다임 (RASR): 수동 참조 페어링의 필요성을 제거하는 검색 증강 초해상도의 제안. 이는 카테고리별 참조 데이터를 사전 큐레이션할 수 있는 실세계 시나리오 (예: 박물관, 동물원) 에서 유연한 배포를 가능하게 합니다.
2. 벤치마크 데이터셋 (RASR-Flickr30): 종별 참조 갤러리를 갖춘 첫 번째 검색 증강 SR 데이터셋의 생성으로, 오픈 월드 동적 검색에 대한 연구를 촉진합니다.
3. 효과적인 기준 모델 (RASRNet): 의미론적 검색과 확산 기반 생성기를 결합한 강력한 기준 모델의 도입. 결과는 검색 증강이 학술적 RefSR 연구와 실세계 적용 가능성 간의 격차를 효과적으로 메울 수 있음을 보여주며, 향후 작업에 대한 유망한 방향을 제시합니다.

저자들은 겸손한 어조를 유지하며, RASRNet 을 모든 초해상도 과제의 최종 해결책으로 주장하기보다는 검색 증강 패러다임의 잠재력을 검증하는 기준 모델로 위치시킵니다.