기술 요약: 블라인드 모션 디블러링을 위한 복원 정렬 생성 흐름 모델

문제 제기

블라인드 모션 디블러링은 단일 흐린 관측치에서 깨끗한 잠재 이미지를 복원하는 것을 목표로 합니다. 복원 기반의 딥러닝 아키텍처는 픽셀 단위 손실을 통해 지면 진실 (ground-truth) 이미지와 높은 충실도 (정밀한 일치) 를 달성해 왔으나, 종종 지각적으로 현실적인 디테일을 생성하는 데 어려움을 겪어 과도하게 평활화된 출력을 초래합니다. 반면, 대규모 자연 이미지로 훈련된 생성 모델 (확산 모델 및 흐름 매칭 모델 등) 은 지각적 품질에 뛰어나지만, 복원 작업에 직접 적용될 경우 심각한 충실도 저하를 겪습니다. 이러한 "충실도 붕괴"는 생성 모델의 훈련 목표 (노이즈를 깨끗한 데이터로 이동) 가 복원 목표 (열화된 입력에서 특정 콘텐츠를 복원) 와 본질적으로 정렬되지 않기 때문에 발생합니다. 고충실도 복원 네트워크 위에 생성 모델을 단순하게 적용하면 PSNR 이 크게 하락하여 초기 재구성 품질을 유지하지 못합니다.

방법론: DeblurFlow

저자들은 생성 흐름 궤적을 재정의함으로써 생성과 복원 간의 목표 불일치를 해결하는 DeblurFlow 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 복원 정렬 흐름 공식화

표준 흐름 매칭 모델은 노이즈 샘플 ($\epsilon$) 을 깨끗한 이미지 ($x$) 로 이동시키는 벡터장을 학습합니다. DeblurFlow 는 노이즈 끝점을 흐린 관측치 ($y$) 로 대체함으로써 이 궤적을 재해석합니다.

• 궤적 재정의: 경로는 $x^*_t = (1-t)x + ty$로 정의되며, 여기서 $y$는 흐린 입력이고 $x$는 깨끗한 지면 진실입니다.
• 잔차로서의 벡터장: 이 경로의 미분인 $v^* = y - x$는 자연스럽게 흐림과 깨끗한 이미지 간의 잔차 오차를 나타냅니다.
• 손실 정렬: 이 공식화 하에서 표준 흐름 매칭 손실은 잔차 손실 ($L_{res} = \|v_\theta(x^*_t, t) - (y - x)\|^2$) 과 일치합니다. 이를 통해 사전 훈련된 흐름 모델을 저랭크 적응 (LoRA) 을 통해 복원 지향 목표 하에 최적화하여 이미지 생성이 아닌 잔차 예측을 수행하도록 할 수 있습니다.

2. 듀얼 전문가 샘플링 전략

복원 충실도와 지각적 현실감 사이의 균형을 맞추기 위해, 프레임워크는 작업을 두 가지 보완적인 역할로 분해합니다:

• 충실도 전문가: 사전 훈련된 복원 네트워크 (예: NAFNet) 가 고충실도 초기 추정치 ($x^*_t = f_\psi(y)$) 를 제공합니다.
• 현실감 전문가: DeblurFlow 는 충실도 보존형 현실감 전문가 역할을 수행합니다. 흐름 매칭 샘플링 과정에서 잔차 오차를 예측하여 초기 추정치를 정제합니다.
• 공동 훈련: 원본 흐린 입력에 대한 훈련과 고충실도 초기화에 대한 훈련 간의 잠재적 분포 격차를 해결하기 위해, 모델은 직접적인 흐림에서 깨끗함으로의 매핑 ($y \to x$) 과 전문가 의존적 매핑 ($f_\psi(y) \to x$) 모두에 대해 공동 훈련됩니다.

3. r-공간 잠재 표현

계산 효율성을 보장하기 위해, 프레임워크는 표준 VAE 잠재 공간이 아닌 r-space라고 불리는 특수한 잠재 공간에서 작동합니다.

• 설계: r-space 는 깨끗한 이미지 재구성이 아닌 잔차 디코딩에 맞춰 설계되었습니다.
• 아키텍처: 이는 흐린 입력에서 구조적 단서를 직접 전파하는 잔차 단축 (residual shortcuts) 을 갖춘 인코더 - 디코더 쌍을 활용합니다.
• 효율성: 이 설계는 표준 VAE 에 비해 인코더 - 디코더 구성 요소의 계산 비용을 크게 줄여, 실제 응용을 위한 반복적 샘플링 과정을 실용적으로 만듭니다.

주요 기여

1. 복원 정렬 공식화: 본 논문은 벡터장을 작업 정렬 잔차 오차로 취급하도록 생성 흐름 궤적을 재정의하는 새로운 디블러링 프레임워크를 제안합니다. 이는 충실도 붕괴를 완화하고 생성 흐름 모델을 고충실도 디블러링 모델과 호환되게 만듭니다.
2. r-공간 잠재 공간: r-space 의 도입은 높은 계산 효율성을 갖춘 충실도 보존 인코딩 및 디코딩을 가능하게 하여, 표준 VAE 잠재 공간 대비 인코더 - 디코더 비용을 최대 9 배까지 줄입니다.
3. 듀얼 전문가 샘플링: 문제를 충실도 전문가와 충실도 보존형 현실감 전문가로 분해하는 전략으로, 높은 복원 충실도를 유지하면서 지각적 현실감을 크게 향상시킵니다.

실험 결과

저자들은 GoPro, HIDE, RealBlur-J, RWBI 네 가지 데이터셋에서 DeblurFlow 를 평가했습니다.

• 충실도 대 현실감: GoPro 데이터셋에서 DeblurFlow 는 PSNR 33.05 dB(충실도 전문가 단독 33.69 dB 및 단순 생성 적용 27.60 dB 대비) 와 MUSIQ 점수 50.81(NAFNet 과 같은 복원 기반 방법의 45.28 보다 현저히 높음) 을 달성했습니다. 이는 충실도를 유지하면서 지각적 품질을 향상시킬 수 있음을 보여줍니다.
• 일반화: 지면 진실이 없는 실제 세계 RWBI 데이터셋에서 DeblurFlow 는 모든 무참조 지표 (CLIPIQA, NIQE, MUSIQ, MANIQA) 에서 복원 기반 및 확산 기반 방법 모두를 능가했습니다.
• 계산 효율성: DeblurFlow 는 단일 GPU 에서 2K 해상도 이미지를 0.41 초에 처리합니다. 이는 DiffIR 보다 약 3.4 배, FFTFormer 보다 6.5 배 빠릅니다. r-space 사용은 인코더 - 디코더의 계산 비용을 422.7 GMACs 에서 19.5 GMACs 로 줄였습니다.
• 절대 실험: 실험은 표준 생성 목표가 충실도 붕괴 (PSNR 33.69 에서 27.60 으로 하락) 를 유발함을 확인했습니다. 제안된 잔차 손실 공식화는 이 하락을 완화하여 (PSNR 32.40 으로 회복) r-space 가 비용 절감과 함께 충실도 및 현실감 모두를 추가로 향상시켰음을 입증했습니다.

중요성 및 주장

본 논문은 DeblurFlow 가 복원과 생성 간의 간극을 성공적으로 메웠다고 주장합니다. 생성 흐름 궤적을 복원 목표 (노이즈 이동이 아닌 잔차 예측) 에 정렬되도록 재정의함으로써, 이 프레임워크는 기존 복원 네트워크가 제공하는 충실도를 희생하지 않으면서 단일 생성 모델을 효과적인 디블러링 도구로 작동하게 합니다.

저자들은 그들의 기여가 기존 구성 요소를 단순히 결합한 것이 아니라, 복원 정렬 생성 공식화 하의 통합에 있음을 강조합니다. 이 접근법은 복원과 생성을 구별되고 양립 불가능한 작업으로 보지 않고 단일 생성 흐름 모델 내에서 탐구될 수 있음을 시사합니다. 이 방법은 강력한 복원 충실도와 지각적 현실감을 달성하면서도 실제 배포에 필요한 계산 효율성을 유지하는 실용적인 해결책으로 제시됩니다. 저자들은 이 프레임워크가 이미지 노이즈 제거 및 초해상도와 같은 다른 복원 작업으로도 확장될 수 있다고 언급합니다.