Learnable Blur Kernel for Single-Image Defocus Deblurring in the Wild

기술 요약: 야생 환경에서의 단일 이미지 초점 흐림 제거를 위한 학습 가능한 블러 커널

문제 정의
피사체의 점들이 렌즈의 피사계 심도 밖에 위치할 때 발생하는 초점 흐림(Defocus blur)은 이미지 평면에 착란원(Circle of Confusion, CoC)을 형성합니다. 최근 듀얼 픽셀(Dual-Pixel, DP) 센서의 발전으로 초점 지도(Defocus map) 추정과 디블러링(Deblurring) 성능이 향고되었으나, 실시간으로 DP 뷰를 추출하는 과정은 알고리즘 배포 시 복잡하고 까다로운 문제입니다. 기존의 단일 이미지 초점 흐림 제거 방법들은 신뢰할 수 있는 초점 단서를 제공하지 못하는 경우가 많아, 대규모 블러를 처리하는 데 어려움을 겪고 고주파(High-frequency, HF) 세부 정보를 놓쳐 만족스럽지 못한 지각적 품질을 초래합니다. 또한, 전통적인 2단계 방식(맵을 추정한 후 역합성하는 방식)은 수작업으로 설계된 특징, 그라운드 트루스(Ground truth), 또는 보정된 블러 커널에 의존하는 경우가 많아 실제 야생 환경(In the wild)에 적용하기 어렵습니다.

방법론
저자들은 학습 가능한 블러 커널을 이용한 비지도 학습 기반 초점 지도 추정 모듈과, 초점 지도 가이드 생성적 적대 신경망(DefocusGAN)을 포함하는 새로운 프레임워크를 제안합니다.

1. 초점 지도 추정을 위한 학습 가능한 블러 커널(BK):

   • 비지도 접근 방식: 그라운드 트루스 초점 지도를 사용할 수 없으므로, 저자들은 DP 뷰를 입력으로 사용하여 지도를 추정하는 비지도 방식을 제안합니다.
   • 블러 재구성: 이 방법은 DP 뷰로부터 초점 지도($I_{DM}$)를 추정하는 네트워크 $f$를 학습합니다. 이 지도는 전초점(All-in-focus, AiF) 이미지를 블러링하여 합성된 블러 이미지($I^*_{OoF}$)를 생성하도록 재구성 네트워크 $g$를 가이드합니다.
   • 학습 가능한 커널: 실제 블러 커널을 보정하는 것의 어려움을 피하기 위해, 저자들은 학습 가능한 BK를 도입했습니다. 커널은 카메라의 초점 특성을 모사하는 버터워스 고주파 필터(Butterworth high-pass filter)와 가우시안 커널의 컨볼루션으로 초기화됩니다. 파라미터는 재구성된 블러와 실제 DP 블러 이미지 사이의 기하학적 손실($L_{gem}$)을 최소화하도록 초점 지도 추정 네트워크와 교대로 최적화됩니다.
   • 정규화: 추정된 초점 지도가 매끄럽게 유지되도록 그래디언트에 페널티를 부여하는 사전 정규화 항이 손실 함수에 추가됩니다.

2. DefocusGAN (초점 지도 가이드 디블러링):

   • 구조: 생성기($G$)는 추정된 초점 지도에 의해 가이드되는 멀티 스케일 네트워크입니다. 이는 CoC 반경에 따라 처리를 여러 브랜치로 나누는 초점 지도 가이드 블록(Defocus Map Guide Block, DGB)을 채택합니다.
   • 멀티 스케일 처리: 네트워크는 다양한 해상도(1x, 1/4x, 1/8x)에서 특징을 처리합니다. 더 큰 CoC 반경을 다루는 브랜치는 더 넓은 수용 영역(Receptive field)에 걸쳐 특징을 집계하기 위해 잔차 채널 주의 모듈(Residual Channel Attention Module, RCAB)이 포함된 U-Net 형태의 구조를 사용하는 반면, 작은 반경 브랜치는 완전 컨볼루션 층을 사용합니다.
   • 시뮬레이티드 어닐링(Simulated Annealing): 훈련 중 초점 지도의 가이드는 시뮬레이티드 어닐링 전략을 사용하여 점진적으로 감소합니다. 이를 통해 네트워크는 디블러링 사전 지식을 독립적으로 학습할 수 있으며, 추론 시에는 초점 지도 없이 단일 이미지만으로 사용이 가능해집니다.
   • 초점 적대적 손실(Defocus Adversarial Loss): 판별기($D$)가 초점 지도에 따라 서로 다른 영역에 가중치를 적용하는 특수한 손실 함수가 도입되었습니다. CoC 반경이 큰 영역(더 많이 블러된 영역)에는 더 높은 가중치가 할당되어, 생성기가 블러가 심한 영역의 세부 정보를 복원하는 데 집중하도록 강제합니다.
   • 전체 손실: 생성기는 L1 콘텐츠 손실($L_c$), VGG19 특징 기반의 지각 손실($L_p$), 그리고 제안된 초점 적대적 손실($L_{defocusadv}$)의 조합을 사용하여 훈련됩니다.

주요 기여

• 학습 가능한 블러 커널: 본 논문은 학습 가능한 블러 커널을 사용하여 초점 지도를 추정하는 자기 지도(Self-supervised) 방식을 도입하여, 커널 보정의 필요성을 제거하고 지도 학습 방식에 필적하는 성능을 달달성했습니다.
• DefocusGAN: 저자들은 단일 이미지 초점 흐림 제거를 위한 최초의 초점 지도 가이드 멀티 스케일 GAN을 제안합니다. 이 아키텍처는 선명한 영역의 정보를 효과적으로 유지하면서 블러된 영역의 질감과 세부 정보를 복원합니다.
• 초점 적대적 손실: 초점 영역에 집중하여 적대적 훈련을 유도함으로써 고주파 세부 정보의 복원을 개선하는 새로운 손실 함수를 제출했습니다.
• 효efficiency 및 성능: 상대적으로 적은 파라미터 수(4.59M)로 최첨단(SOTA) 결과를 달성하였으며, 정량적 지표와 지각적 품질 모두에서 기존 방법들을 능가합니다.

실험 결과
방법은 DPDD 데이터셋(500개 이미지 세트)에서 평가되었으며, CUHK 및 Google PixelDP 데이터셋에 대한 일반화 성능을 테스트했습니다.

• 정량적 성능: DPDD 테스트 세트에서 제안된 방법은 25.56 dB의 PSNR과 0.111의 LPIPS를 달성했습니다. 이는 MDPNet(PSNR 25.35, LPIPS 0.225) 및 IFAN(PSNR 25.18, LPIPS 0.156)과 같은 기존의 최첨단 단일 이미지 방법들을 능가합니다.
• DP 기반 방법과의 비교: 원시 DP 뷰를 입력으로 사용하는 방법들(예: DPDNet)이 높은 PSNR을 달성하지만, 제안된 단일 이미지 방법은 경쟁력 있는 결과(25.56 dB vs DPDNet의 25.13 dB)를 달성하면서도, 추론 시 DP 뷰에 접근할 필요가 없어 배포가 더 용이합니다.
• 정성적 개선: 시각적 비교 결과, 기존 방법들이 아티팩트를 생성하거나 고주파 세부 정보가 부족한 것과 달리, 대규모 블러, 물체의 윤곽선, 미세한 질감(예: 잡지의 텍스트, 군인의 안경)을 복원하는 데 있어 상당한 개선을 보였습니다.
• 절제 연구(Ablation Studies): 실험을 통해 각 구성 요소의 필요성을 확인했습니다: 초점 지도 가이드(DG), 멀티 스케일(MS) 모듈, 지각 손실, 그리고 특정 초점 적대적 손실 모두가 최종 성능에 기여했습니다. 학습 가능한 BK는 고정된 가우시안 또는 버터워스 커널보다 우수한 성능을 보이는 것으로 나타났습니다.

의의 및 주장
본 논문은 비지도 초점 지도 추정과 특화된 GAN 아키텍처를 활용하여 야생 환경에서의 단일 이미지 초점 흐림 제거 문제를 효과적으로 해결한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 배포 용이성: 추론 시 실시간 DP 뷰 추출에 대한 의존성을 제거함으로써 알고리즘 배포를 단순화했습니다.
2. 지각적 품질: GAN과 초점 특화 손실의 통합을 통해 L1/L2 손실 기반 방법에서 흔히 소실되는 고주파 세부 정보와 현실적인 질감을 성공적으로 복원했습니다.
3. 강건성: 기존 단일 이미지 접근 방식의 약점인 넓은 영역의 초점 블러를 효과적으로 처리합니다.
4. 효율성: 컴팩트한 모델 크기로 최첨단 성능을 달성하여 실제 응용 분야에 적합합니다.

저자들은 본 연구가 성능과 실질적인 배포 제약 사이의 균형을 맞춘 견고한 초점 흐림 제거 프레임워크를 제공한다고 결론지으며, 향후 연구로서 마스크 학습(Mask learning) 및 확산 모델(Diffusion models)을 포함하는 새로운 프레임워크를 탐색할 수 있음을 언급했습니다.