Beyond the Ground Truth: Enhanced Supervision for Image Restoration

1. 문제 정의 (Problem Statement)

기존의 딥러닝 기반 이미지 복원 (Image Restoration) 기술은 저품질 이미지와 고품질 Ground Truth (GT) 이미지 쌍을 사용하여 학습됩니다. 그러나 실제 세계 (Real-world) 의 이미지 복원 작업에서는 다음과 같은 근본적인 한계가 존재합니다.

• Ground Truth 의 불완전성: 실제 데이터셋 (예: GoPro, SIDD 등) 의 GT 이미지는 이상적인 기준이 아닙니다.
  • 디블러링 (Deblurring): 비디오 시퀀스에서 추출된 GT 는 미세한 카메라 흔들림이나 객체 이동으로 인해 선명도가 떨어질 수 있습니다.
  • 디노이징 (Denoising): 여러 노이즈가 있는 캡처의 평균을 취해 GT 를 생성하는 경우, 오히려 흐릿한 (blurred) 참조 이미지가 됩니다.
• 성능의 한계: 이러한 불완전한 GT 로 학습된 모델은 GT 의 결함을 그대로 학습하게 되어, 복원된 이미지의 질이 GT 의 질을 넘어서기 어렵습니다. 또한, 기존 모델은 GT 와의 픽셀 단위 유사성 (PSNR 등) 을 최대화하는 데 집중하여 시각적으로 매력적인 고주파수 디테일을 생성하지 못하는 경향이 있습니다.

2. 제안 방법론 (Methodology)

저자들은 기존 GT 의 한계를 극복하기 위해 Supervision Enhancement Framework (감독 향상 프레임워크) 를 제안합니다. 이 프레임워크는 크게 두 단계로 구성됩니다.

A. Supervision Enhancement (감독 신호 향상)

기존의 GT 이미지를 더 높은 품질의 감독 신호로 변환하는 과정입니다.

1. 초해상도 (Super-Resolution) 를 통한 변이 생성:
   • 기존 GT 이미지를 1 스텝 확산 모델 (One-step diffusion model, 예: OSEDiff) 을 사용하여 초해상도 처리합니다.
   • 이를 통해 원본 GT 와는 다른 시각적으로 향상된 변이 이미지들 ($\{I_i^{GT}\}$) 을 생성합니다.
2. 주파수 도메인 믹스업 (Frequency-Domain Mixup):
   • 단순히 픽셀을 합치면 (Spatial mixup) 의미론적 구조가 왜곡되거나 인공물 (Artifacts) 이 발생할 수 있으므로, 주파수 도메인에서 혼합을 수행합니다.
   • 조건부 주파수 마스크 생성기 (Conditional Frequency Mask Generator): 원본 GT 와 초해상도 변이들을 입력받아 적응형 주파수 마스크 ($M_i$) 를 생성합니다.
     • 링 모양 가우시안 기반 (Ring-shaped Gaussian Basis): 저주파수 (원본의 의미론적 정보) 와 고주파수 (초해상도 변이의 디테일) 를 선택적으로 제어하기 위해 링 모양의 가우시안 마스크를 사용합니다.
     • 적응적 가중치: 원본 GT 의 저주파 성분을 유지하면서, 초해상도 변이에서 풍부한 고주파 디테일을 선택적으로 융합합니다.
   • 최종 향상된 GT ($\hat{I}^{GT}$): 생성된 마스크를 사용하여 원본 GT 와 변이들의 주파수 성분을 가중합하여 최종적인 고품질 GT 를 생성합니다. 이는 의미론적 일관성 (Semantic Consistency) 을 유지하면서도 지각적 품질 (Perceptual Quality) 을 극대화합니다.

B. Output Refinement Network (ORNet)

• 가벼운 리파인먼트 네트워크: 향상된 GT 를 사용하여 기존 복원 모델의 출력을 보정하는 경량 네트워크 (ORNet) 를 학습합니다.
• 모델 무관성 (Model-Agnostic): 기존에 학습된 임의의 복원 모델 ($R_\phi$) 의 출력 ($R_\phi(I^{LQ})$) 을 입력받아, 이를 향상된 GT ($\hat{I}^{GT}$) 에 가깝게 매핑하도록 학습합니다.
• 플러그앤플레이: 기존 모델의 아키텍처를 변경하거나 다시 학습 (Retraining) 할 필요 없이, 기존 모델 뒤에 ORNet 을 추가하여 성능을 향상시킬 수 있습니다.

3. 주요 기여 (Key Contributions)

1. Ground Truth 의 한계 해결: 실제 세계 이미지 복원에서 GT 의 불완전성이 병목 현상임을 규명하고, 이를 해결하기 위해 주파수 도메인 믹스업 기반의 감독 향상 프레임워크를 제안했습니다.
2. 시각적 품질과 의미론적 충실도의 균형: 초해상도 모델이 생성할 수 있는 환각 (Hallucination) 현상을 방지하면서, 원본 콘텐츠의 의미론적 충실도를 유지하고 지각적 디테일을 풍부하게 하는 새로운 전략을 제시했습니다.
3. 경량 및 범용 리파인먼트 모듈: 추가 주석 없이 원본/향상된 GT 만으로 학습된 경량 네트워크 (ORNet) 를 제안하여, 다양한 기존 복원 모델에 유연하게 적용 가능하고 분포 외 (Out-of-Distribution) 상황에서도 강건함을 입증했습니다.

4. 실험 결과 (Results)

GoPro (디블러링) 와 SIDD (디노이징) 데이터셋을 포함한 다양한 벤치마크에서 실험이 수행되었습니다.

• 지각적 품질 지표 향상:
  • MUSIQ, MANIQA, TOPIQ, LIQE 등 무참조 (No-reference) 지표를 기준으로 기존 SOTA 모델 (Restormer, NAFNet, FFTFormer 등) 에 비해 ORNet 을 적용했을 때 압도적인 성능 향상을 보였습니다.
  • 예: GoPro 데이터셋에서 FFTFormer 의 MUSIQ 점수가 46.47 에서 64.57 로 크게 상승했습니다.
• 분포 외 (OOD) 일반화:
  • 학습 데이터와 다른 추가 노이즈나 블러가 적용된 OOD 환경에서도 기존 모델의 성능이 급격히 떨어지는 반면, ORNet 은 잔류 노이즈를 효과적으로 제거하고 성능을 유지/향상시켰습니다.
• 사용자 연구 (User Study):
  • 인간 평가자들이 향상된 GT 와 ORNet 의 출력을 기존 GT 및 기존 모델 출력보다 선호하는 것으로 나타났습니다.
• 할루시네이션 방지 검증:
  • OCR(문자 인식) 및 얼굴 인식 테스트를 통해, 향상된 GT 가 원본의 의미론적 구조를 왜곡하지 않고 사실적인 텍스처만 보강함을 정량적으로 입증했습니다.
• 계산 효율성:
  • ORNet 은 기존 모델에 비해 파라미터 수와 연산량 (MACs) 이 매우 적어 (예: ORNet 4.5M vs AdaRevD 68M) 추가적인 계산 부하가 거의 없습니다.

5. 의의 및 결론 (Significance)

이 논문은 이미지 복원 분야에서 **"Ground Truth 의 질이 모델 성능의 상한선"**이라는 통찰을 바탕으로, 데이터 수집의 물리적 한계를 딥러닝 기법 (초해상도 및 주파수 도메인 제어) 으로 극복하는 새로운 패러다임을 제시합니다.

• 실용성: 기존에 학습된 모델의 성능을 아키텍처 변경 없이 향상시킬 수 있는 '플러그앤플레이' 솔루션을 제공합니다.
• 신뢰성: 생성형 모델의 단점인 환각 (Hallucination) 을 최소화하면서 시각적으로 더 선명하고 자연스러운 복원 결과를 제공합니다.
• 미래 방향: 실제 세계의 복잡한 열화 (Degradation) 환경에서도 고품질의 이미지를 복원할 수 있는 강력한 기반을 마련하여, 의료 영상, 감시 카메라, 모바일 사진 등 다양한 응용 분야에 기여할 것으로 기대됩니다.