MatRes: Zero-Shot Test-Time Model Adaptation for Simultaneous Matching and Restoration

1. 문제 정의 (Problem Definition)

실제 환경에서 촬영된 이미지 쌍 (Image Pairs) 은 종종 심한 열화 (Blur, Noise, 저조도 등) 와 큰 시점 변화 (Viewpoint Shift) 를 동시에 겪습니다. 기존 연구들은 이러한 두 가지 과제인 이미지 복원 (Restoration) 과 기하학적 매칭 (Geometric Matching) 을 독립적으로 수행하는 경우가 많습니다.

• 상호 간섭 문제: 열화된 이미지에서 매칭을 수행하면 정확한 대응점 (Correspondence) 추정이 어렵고, 반대로 정렬되지 않은 고화질 (HQ) 참조 이미지를 이용해 복원을 수행하면 공간적 불일치로 인해 복원 품질이 저하됩니다.
• 데이터 부족의 딜레마: 두 과제를 동시에 최적화하는 딥러닝 모델을 학습시키기 위해서는 정렬된 Ground-Truth (GT) 이미지, 변환 필드, 열화 커널 등이 필요하지만, 실제 환경에서는 이러한 데이터를 구하기 거의 불가능합니다.
• 기존 방법의 한계: 기존에 제안된 일부 방법들은 비디오나 매우 좁은 베이스라인 (Small Baseline) 을 가진 이미지 뱅크에 국한되어 있으며, 넓은 베이스라인을 가진 이미지 쌍 (예: 매칭 벤치마크) 에서는 적용되지 않았습니다.

2. 제안 방법론: MATRES (Methodology)

저자들은 MATRES라는 새로운 프레임워크를 제안합니다. 이는 오프라인 학습 없이 단일의 저화질 (LQ) 과 고화질 (HQ) 이미지 쌍만으로 테스트 시간 (Test-Time) 에 적응하는 제로샷 (Zero-Shot) 방식입니다.

핵심 아이디어: 상호 유도 (Mutual Guidance)

매칭 네트워크와 복원 네트워크가 서로를 가이드하며 상호 강화하는 구조를 가집니다.

1. 매칭 네트워크 ($M_\theta$): LQ 와 HQ 이미지 쌍에서 생성적 사전 지식 (Generative Priors) 을 추출하고 두 이미지 간의 기하학적 변환 ($T_{LQ \to HQ}$) 을 추정합니다.
2. 복원 네트워크 ($R_\phi$): 추정된 변환을 통해 LQ 이미지를 정렬 (Warp) 하고, HQ 이미지를 참조하여 고품질의 복원 이미지 ($I_{EQ}$) 를 생성합니다.
3. 상호 순환: 복원된 이미지는 더 깨끗한 특징을 제공하여 매칭 정확도를 높이고, 향상된 매칭 정보는 다시 복원 네트워크에 공간적 정렬 정보를 제공하여 품질을 개선합니다.

시스템 구성

• 프리트레이닝된 고정 모델:
  • 매칭 네트워크 ($M_\theta$): Diffusion 모델, Auto-Regressive 모델, Vision Transformer 등 다양한 구조와 호환 가능.
  • 복원 네트워크 ($R_\phi$): Super-Resolution, Denoising, Deblurring 등 다양한 작업에 특화된 모델.
• 가변적 어댑터 (Learnable Adapter):
  • LoRA 기반 프로젝션 네트워크 ($H_\psi$): 매칭 네트워크에서 추출된 특징을 복원 네트워크의 특징 공간에 정렬 (Align) 하고 변조 (Modulate) 하기 위한 경량 모듈입니다.
  • 제로 초기화 (Zero-initialization): 초기에는 출력을 0 으로 하여 프리트레이닝된 모델의 동작을 방해하지 않으며, 테스트 시간 동안만 학습됩니다.

테스트 시간 최적화 (Test-Time Optimization)

오프라인 학습 데이터 없이 입력된 이미지 쌍만으로 $H_\psi$ 파라미터를 업데이트합니다.

1. 특징 추출 및 변환: $M_\theta$ 를 통해 생성적 특징 ($z$) 을 추출하고 변환 필드를 계산하여 LQ 이미지를 워프 (Warp) 합니다.
2. 어댑팅: $H_\psi$ 를 통해 워프된 특징을 복원 네트워크에 주입합니다.
3. 손실 함수 ($L$):
   • Off-diagonal Loss ($L_D$): 매칭 비용 볼륨 (Cost Volume) 의 비대각선 응답을 억제하여 특징 매칭의 명확성 (Sharpness) 을 높입니다.
   • Pixel-matching Loss ($L_P$): 복원된 이미지 ($I_{EQ}$) 와 HQ 참조 이미지 ($I_{HQ}$) 간의 픽셀 차이를 최소화합니다.
   • 최적화: $L = L_D + \lambda_P L_P$ 를 최소화하며 $H_\psi$ 만을 경사 하강법으로 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 실용적이고 광범위한 적용성: 사용자가 다양한 시점과 품질로 촬영한 이미지 쌍을 처리하는 실제 시나리오에 적합하며, 매칭과 복원 간의 상호 간섭 문제를 해결합니다.
2. 추가 학습 데이터 불필요: 입력된 이미지 쌍 내의 HQ 이미지 하나만 참조로 사용하며, 별도의 오프라인 학습이나 GT 데이터가 필요 없습니다.
3. 동시 성능 향상: 기존에 각 과제를 분리하여 수행하는 방법들에 비해, 복원 품질 (PSNR, SSIM) 과 매칭 정확도 (mAUC) 모두에서 유의미한 개선을 달성했습니다.

4. 실험 결과 (Results)

다양한 복원 작업 (Super-Resolution, Denoising, Deblurring) 과 매칭 모델 (RoMa, DIFT, Mast3R 등) 의 조합으로 실험을 수행했습니다.

• 복원 성능 향상:
  • 매칭 네트워크의 기하학적 가이드를 받은 경우, 단독 복원 모델 대비 PSNR 및 SSIM이 크게 향상되었습니다.
  • 예: SR 작업에서 RoMa+EDSR 조합은 PSNR 26.93 $\to$ 31.72, SSIM 0.531 $\to$ 0.747 로 개선되었습니다.
  • Fig. 3 의 정성적 결과에서 경계선이 더 선명하고 구조가 더 정확하게 복원됨을 확인했습니다.
• 매칭 정확도 향상:
  • 복원 네트워크를 통해 정제된 특징을 사용하면 매칭 정확도 (mAUC) 가 크게 증가했습니다.
  • 예: Denoise 작업에서 RoMa+DnCNN 조합은 mAUC 62.92 $\to$ 70.19 로 향상되었습니다.
  • Fig. 4 에서 변환 필드 (Transform Field) 가 Ground Truth 에 더 가깝게 정렬됨을 시각적으로 확인했습니다.
• SOTA 대비 우위:
  • 특정 작업에 최적화된 최신 모델 (AutoLUT, CATANet, Blur2Blur 등) 과 비교했을 때, MATRES 는 복원 및 매칭 모두에서 경쟁력 있거나 우수한 성능을 보여주었습니다 (Table 2, Table 3).

5. 의의 및 결론 (Significance)

MATRES 는 단일 이미지 쌍만으로도 테스트 시간 적응 (Test-Time Adaptation) 을 통해 이미지 복원과 기하학적 매칭을 동시에 최적화할 수 있는 획기적인 프레임워크입니다.

• 데이터 효율성: 실제 환경에서 구하기 힘든 GT 데이터 없이도 사전 학습된 강력한 모델들을 적응시킬 수 있어, 실제 응용 (예: 모바일拍照, 위성 이미지 분석 등) 에 매우 유용합니다.
• 유니파이드 접근법: 두 개의 독립된 작업을 상호 보완적으로 결합함으로써, 각 작업이 가진 한계를 극복하고 시너지 효과를 창출함을 입증했습니다.
• 확장성: 다양한 매칭 및 복원 아키텍처와 호환되므로, 향후 다양한 도메인과 작업에 적용 가능한 범용적인 솔루션으로 기대됩니다.

이 연구는 열화되고 시점이 다른 이미지 쌍을 처리할 때 발생하는 근본적인 딜레마를 해결하고, 실제 세계의 복잡한 시각 데이터 처리를 위한 새로운 패러다임을 제시합니다.