1. 문제 정의 (Problem Definition)

기존의 이미지 흐림 제거 (Deblurring) 기술은 주로 **지도 학습 (Supervised Learning)**에 의존합니다. 이는 흐린 이미지와 이에 대응하는 선명한 이미지 (Sharp Ground Truth) 가 쌍으로 구성된 데이터셋이 필수적입니다.

• 데이터 수집의 어려움: 고품질의 쌍 (Pair) 데이터를 얻기 위해서는 빔 스플리터 (Beam splitter), 동기화된 카메라, 기하학적 정렬 등 복잡하고 비용이 많이 드는 장비와 설정이 필요합니다. 이동 중인 차량이나 바디캠과 같은 실제 환경에서는 이러한 조건을 충족하기가 거의 불가능합니다.
• 기존 무감독 방법의 한계: 쌍 데이터가 없는 상황을 해결하기 위해 제안된 기존 무감독 방법들 (Reblurring-based 등) 은 중간 도메인 (Intermediate domain) 을 거치거나 복잡한 파이프라인을 사용해야 하며, 타겟 도메인과의 불일치 (Domain gap) 로 인해 성능이 제한적입니다.

핵심 질문: 쌍 데이터 (Paired data) 없이도 타겟 도메인 내에서만 고품질의 흐림 제거 모델을 훈련할 수 있는가?

2. 제안 방법: BluRef (Methodology)

저자들은 BluRef라는 새로운 무감독 프레임워크를 제안합니다. 이 방법은 쌍 데이터가 필요 없으며, 흐린 이미지와 비정렬된 (Unpaired) 선명한 참조 이미지를 활용하여 가짜 정답 (Pseudo-ground truth) 을 생성합니다.

핵심 구성 요소 및 프로세스

1. 밀집 매칭 (Dense Matching, DM) 모델:

   • 흐린 입력 이미지와 선명한 참조 이미지 간의 픽셀 대응 관계를 학습하는 모델입니다.
   • 자기지도 학습 (Self-supervised): 실제 쌍 데이터 없이, 선명한 이미지에 인위적인 기하학적 왜곡 (Warping) 과 블러 (Blur) 를 적용하여 생성된 합성 데이터로 DM 모델을 사전 훈련합니다.
   • 이 모델은 흐린 영역과 선명한 영역 간의 특징을 매칭하여 신뢰도 마스크 (Confidence Mask) 를 생성합니다.

2. 반복적 가짜 선명 이미지 생성 (Iterative Pseudo-sharp Generation):

   • 1 단계 (초기화): 흐린 입력 이미지 ($I_{blur}$) 를 초기 흐림 제거 결과 ($I^{(0)}_{deblur}$) 로 설정합니다.
   • 2 단계 (매칭 및 생성): DM 모델을 사용하여 현재 흐림 제거된 이미지와 여러 개의 선명한 참조 이미지 ($\{I_{ref}\}$) 를 매칭합니다. 이를 통해 **가짜 선명 이미지 ($I_{pseudo}$)**와 **신뢰도 마스크 ($M_{pseudo}$)**를 생성합니다.
     • 여러 참조 이미지를 활용하기 위해 가중 평균 (Weighted Average), 순차적 누적 (Sequential Accumulation), 점진적 참조 평균 (Progressive Reference Averaging) 전략을 제안합니다. 특히 'Progressive' 방식이 가장 효과적이었습니다.
   • 3 단계 (모델 최적화): 생성된 $I_{pseudo}$를 정답 (Ground Truth) 으로 간주하여 흐림 제거 네트워크 ($D$) 를 훈련합니다. 이때 신뢰도 마스크를 사용하여 불확실한 영역의 손실 계산 가중치를 낮춥니다.
   • 반복: 위 과정을 여러 에포크 (Epoch) 동안 반복하며, 흐림 제거 모델이 개선됨에 따라 생성되는 가짜 선명 이미지의 품질도 함께 향상됩니다.

3. 추론 (Inference):

   • 훈련이 완료되면 DM 모델과 참조 이미지는 더 이상 필요하지 않습니다.
   • 최종 모델은 단일 흐린 입력만 받아 즉시 선명한 이미지를 출력하는 직접적인 흐림 제거 모델로 작동합니다. 이는 추론 시 계산 비용을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 무감독 참조 기반 프레임워크: 쌍 데이터나 사전 훈련된 흐림 제거 모델 없이, 오직 비정렬된 참조 이미지와 밀집 매칭을 통해 고품질 가짜 정답을 생성하여 모델을 훈련하는 첫 번째 방법론을 제시했습니다.
2. 유연한 모델 훈련 및 재사용: BluRef 를 통해 생성된 가짜 쌍 데이터 (Pseudo-pairs) 는 다양한 용량의 모델 (모바일용 경량 모델 포함) 을 훈련하는 데 재사용할 수 있어 실제 배포에 유연성을 제공합니다.
3. 성능 입증: 합성 및 실제 데이터셋에서 기존 무감독 방법들을 압도적으로 능가하며, 일부 조건에서는 지도 학습 (Supervised) 모델의 성능에 근접하거나 이를 능가하는 결과를 달성했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: GoPro (합성), RB2V (실제), PhoneCraft (휴대폰 촬영, 완전 비정렬) 를 사용했습니다.
• 정량적 평가:
  • GoPro 데이터셋: NAFNet 백본과 Progressive Averaging 전략을 사용할 때, $\Delta=1$ 프레임 조건에서 PSNR 31.94 dB를 기록하여, 지도 학습 NAFNet (33.32 dB) 에 근접하는 성능을 보였습니다.
  • RB2V 데이터셋: Restormer 백본과 Progressive Averaging 전략으로 PSNR 27.87 dB를 기록하여, 해당 조건에서 지도 학습 Restormer (27.43 dB) 의 성능을 초과했습니다.
  • 강건성: 참조 프레임과 입력 이미지의 시간적 거리 ($\Delta$) 가 1 에서 20 프레임으로 멀어지더라도 성능 저하가 미미하여, 실제 환경의 불규칙한 데이터에서도 강력함을 입증했습니다.
• 정성적 평가: 기존 무감독 방법 (DualGAN, UID-GAN 등) 이 흐림 아티팩트를 제거하지 못하거나 구조를 왜곡하는 반면, BluRef 는 얼굴, 손, 나뭇가지 등 미세한 디테일을 선명하게 복원했습니다.

5. 의의 및 결론 (Significance)

BluRef 는 이미지 흐림 제거 분야에서 데이터 수집의 병목 현상을 해결하는 획기적인 접근법을 제시합니다.

• 실용성: 복잡한 쌍 데이터 수집 없이도 현장 (On-site) 에서 쉽게 흐린 영상 데이터를 수집하여 모델을 훈련할 수 있게 합니다.
• 확장성: 저사양 기기 (모바일 등) 에 적합한 경량 모델 훈련에도 적용 가능하며, 실제 세계의 다양한 흐림 패턴에 대한 일반화 성능이 뛰어납니다.
• 기술적 혁신: 밀집 매칭 (Dense Matching) 기술을 흐림 제거의 가짜 정답 생성에 성공적으로 적용함으로써, 무감독 학습의 새로운 지평을 열었습니다.

요약하자면, BluRef 는 쌍 데이터 없이도 타겟 도메인 내에서만 고품질의 흐림 제거 모델을 훈련할 수 있는 효율적이고 확장 가능한 솔루션을 제공하여 컴퓨터 비전 응용 분야의 실용성을 크게 향상시킵니다.