Leveraging Phase Information to Boost Unrolled Network Learning for Image Deblurring

기술 요약: UPADNet – 이미지 디블러링을 위한 언롤드 위상 및 진폭 분해 네트워크

문제 정의
이미지 디블러링(Image deblurring)은 일반적으로 선형 시변 컨볼루션과 가법적 노이즈가 결합된 모델($z = h * u + n$)로 표현되는 흐릿하고 노이즈가 섞인 관측값($z$)으로부터 선명한 잠재 이미지($u$)를 복구하는 것을 목표로 한다. 딥러닝 접근 방식은 상당한 성공을 거두었으나, 대규모 주석 데이터셋에 대한 과도한 의존, 다양한 실제 환경의 열화(예: 변화하는 노이즈 수준, 카메라 움직임)에 대한 제한된 일반화 능력, 그리고 높은 계산 비용 등의 한계를 겪는 경우가 많다. 또한, 표준적인 딥 네트워크는 이미지를 공간 변수로만 취급하여, 선명한 이미지 복구에 필수적인 구조적 및 기하학적 세부 정보를 인코딩하는 푸리에 위상(Fourier phase) 정보의 결정적인 역할을 간과할 가능성이 있다.

방법론
저자들은 UPADNet(Unrolled Phase and Amplitude Decomposition Network)을 제안한다. 이는 이미지를 푸리에 영역에서 진폭(amplitude)과 위상(phase) 성분으로 명시적으로 분해하는 모델 기반 딥 아키텍처이다. 방법론은 다음 세 단계로 진행된다:

1. 진폭 및 위상의 LMMSE 추정:
   단순한 푸리에 영역 관계(노이즈 하에서 진폭은 곱셈적이고 위상은 가법적이라는 관계)가 노이즈와 커널 불확실성 하에서 실패한다는 점을 인식하여, 저자들은 새로운 선형 최소 평균 제곱 오차(LMMSE) 추정기를 유도한다.

   • 흐릿한 관측값의 진폭($\hat{A}_Z$)과 위상($\hat{\theta}_Z$)을 추정하기 위한 일반화된 선형 연산자를 공식화한다.
   • 이론적 분석(정리 1 및 2)을 통해, 이 추정기들이 진폭과 위상 분포의 통계적 모멘트(평균, 분산, 공분산)를 활용함으로써 단순 곱셈/가법 모델보다 기대 제곱 오차를 최소화함을 증명한다.

2. 교대 방향법을 통한 반복 최적화:
   잠재적인 선명한 이미지를 복구하기 위해 정규화된 목적 함수를 최소화하는 반복 최적화 알고리즘이 개발되었다. 이 목적 함수는 유도된 LMMSE 추정기와 통계적 일관성을 강제하며 다음을 포함한다:

   • 데이터 충실도 항(Data Fidelity Terms): 추정된 진폭 및 위상과 관측된 값 사이의 일관성을 강제한다.
   • 정규화(Regularization): 푸리에 영역에서의 희소성을 촉진하기 위해 이미지 진폭($M \circ A_U$)에 $\ell_1$ 정규화를 적용하고, 블러 커널 성분의 매끄러움을 보장하기 위해 $\ell_2$ 패널티를 적용한다. 추가적으로 이미지 위상($\theta_U$)에 대한 $\ell_1$ 항은 구조적 대칭성을 강제한다.
   • 솔루션 전략: 비볼록(non-convex) 목적 함수는 비매끄러운 패널티를 분리하기 위해 보조 변수를 도입하는 **반양방향 분할(Half-Quadratic Splitting, HQS)**을 사용하여 해결된다. 이는 진폭 및 위상 변수를 업데이트하는 일련의 폐쇄형 부문제(closed-form subproblems)로 이어진다.

3. 딥 네트워크로의 언롤링 (UPADNet):
   고정된 통계적 파라미터 대신, 반복 최적화 알고리즘이 학습 가능한 딥 네트워크로 "언롤링(unrolled)"된다.

   • 아키텍처: 최적화 알고리즘의 각 반복은 하나의 UPADBlock에 대응한다. UPADBlock은 잠재 이미지의 진폭 및 위상($A_U, \theta_U$)과 블러 커널의 진폭 및 위상($A_H, \theta_H$)을 순차적으로 업데이트하는 네 개의 서브 블록으로 구성된다.
   • 학습 가능한 파라미터: 이론적으로 고정되어 있는 통계적 행렬 $\{W_i\}$와 주파수 영역 필터 $M$은 데이터로부터 학습된다.
   • 가중치 생성기(Weight Generator): 경량 모듈이 SimpleGate(SG) 및 Simplified Channel Attention(SCA) 메커니즘을 사용하여 반복별 가중치와 필터를 동적으로 생성한다.
   • 활성화 함수: 부드러운 그래디언트 흐름을 보장하면서 소프트 임계값 근사 근사 연산자(soft-thresholding proximal operators)를 근사하기 위해, 저자들은 ReLU 대신 GELU 활성화 함수를 사용한다.
   • 다중 스케일 설계: 유효 수용 영역(receptive field)을 확장하기 위해 중간 다운샘플링 및 업샘플링과 함께 여러 UPADBlock이 쌓인다.

주요 기여

• 위상-진폭 분해: 본 논문은 이미지를 공간 영역에서 직접 복구하는 대신, 푸리에 영역에서 진폭과 위상을 명시적으로 모델링하고 추정하는 원칙적인 프레임워크를 도입한다.
• 새로운 LMMSE 추정기: 노이즈 하에서 단순한 푸리에 영역 관계보다 우수한, 흐릿한 진폭 및 위상에 대한 최적의 선형 추정기 유도.
• UPADNet 아키텍처: 유도된 최적화 알고리즘을 언롤링하여, 네트워크가 깨끗한 데이터와 열화된 데이터 쌍으로부터 밑바닥의 통계적 파라미터를 직접 학습할 수 있도록 하는 엔드 투 엔드 학습 가능 네트워크 개발.
• 강건성(Robustness): 설계 자체가 언롤링된 최적화의 해석 가능성과 위상 정보의 구조적 사전 지식을 활용하여 고노이즈 및 제한된 데이터 환경에서의 강건성을 목표로 한다.

실험 결과
저자들은 세 가지 벤치마크인 GoPro(합성 모션 블러), RealBlur(실제 카메라 흔들림), 그리고 제어된 노이즈와 모션 커널이 포함된 합성 COCO 데이터셋에서 UPADNet을 평가하였다.

• 성능: UPADNet은 GoPro에서 34.63 dB PSNR, 0.975 SSIM을, RealBlur에서 41.29 dB PSNR(RealBlur-R 기준)을 달성하며 최근의 트랜스포머 기반(예: Stripformer, FFTformer) 및 확산 기반(diffusion-based) 방법들을 능가하였다.
• 효율성: UPADNet은 27M개의 파라미터만을 사용하며, 이는 AdaRevD(220M)와 같은 대규모 경쟁 모델보다 현저히 적다.
• 노이즈 강건성: 가우시안 노이즈가 증가하는 실험($\sigma = 0.01$에서 $0.05$)에서, 다른 언롤드 및 딥 네트워크들이 상당한 성능 저하를 보인 반면, UPADNet은 안정적인 성능을 유지하였다.
• 데이터 효율성: 데이터 비율을 감소시켜 학습했을 때(데이터셋의 60%까지), UPADNet은 경쟁 모델들에 비해 성능 저하가 미미하여 낮은 데이터 환경에서의 우수한 일반화 능력을 입증하였다.
• 어블레이션(Ablation): 언롤드 블록의 수를 늘리는 것(최대 72개)과 학습률 $1\times10^{-3}$에서 GELU 활성화 함수를 사용하는 것이 최적의 성능을 낸다는 것을 연구를 통해 확인하였다.

의의 및 주장
본 논문은 푸리에 위상과 진폭을 명시적으로 모델링하는 것이 특히 도전적인 실제 환경에서 고품질 이미지 디블러링을 위해 매우 중요하다는 점을 주장한다. LMMSE 이론에서 유도된 최적화 알고리즘을 언롤링함으로써, UPADNet은 전통적인 반복법의 해석 가능성과 딥러닝의 적응성 사이의 간극을 메운다. 저자들은 이 접근 방식이 다양한 블러 유형, 노이즈 수준 및 제한된 학습 데이터에 대해 잘 일반화되는 강건한 솔루션을 제공한다고 단언하며, 딥 언롤링 프레임워크 내에서 구조화된 주파수 영역 모델링의 가치를 강조한다.