UnfoldLDM: Deep Unfolding-based Blind Image Restoration with Latent Diffusion Priors

이 논문은 기존 심층 전개 네트워크의 한계를 극복하기 위해 다중 입자도 열화 인식 모듈과 잠재 확산 모델 기반의 사전 지식을 결합하여, 블라인드 이미지 복원 작업에서 열화 제거와 고주파 텍스처 복원을 동시에 수행하는 UnfoldLDM 을 제안합니다.

핵심

🎨 비유: "망가진 그림을 고치는 두 명의 명장"

상상해 보세요. 누군가에게 물방울이 튀고, 기름기가 묻고, 찢어진 명화가 주어졌다고 칩시다. 이 그림을 원래대로 되돌려야 하는 임무가 있습니다.

기존의 인공지능 (기존 DUN) 은 이 일을 할 때 두 가지 큰 실수를 저지릅니다.

1. 무엇이 문제인지 모른 채 guessing: "아마도 물방울이겠지?"라고 추측만 하고 고치다가, 정작 기름기까지 남기거나 오히려 그림을 더 흐릿하게 만듭니다.
2. 세부 묘사를 지워버림: 그림을 고치려다 보니, 너무 조심스럽게 다듬느라 머리카락 하나하나, 옷 주름 같은 미세한 디테일까지 다 지워버리고 매끄럽기만 한 뻔뻔한 그림으로 만들어버립니다. (이걸 '과도한 평활화'라고 합니다.)

UnfoldLDM은 이런 실수를 하지 않기 위해 두 명의 천재 장인이 팀을 이루어 일하는 방식을 고안했습니다.

1. 첫 번째 장인: "문제 분석가 (MGDA)"

• 역할: 망가진 그림을 보고 "도대체 무슨 일이 있었지?"를 분석합니다.
• 작동 방식: 단순히 "물방울이구나"라고 단정 짓지 않습니다.
  • "전체적으로 흐려진 것 같기도 하고 (전체적 손상), 특정 방향으로는 찌그러진 것 같기도 하고 (분해된 손상)"이라고 여러 각도에서 손상 원인을 추정합니다.
  • 이 분석을 바탕으로 그림의 '대략적인 윤곽'을 먼저 잡습니다. 하지만 이 단계에서는 아직 세부 묘사가 부족할 수 있습니다.

2. 두 번째 장인: "디테일 마법사 (DR-LDM & OCFormer)"

• 역할: 첫 번째 장인이 잡은 윤곽을 바탕으로, 잃어버린 생생한 디테일을 되살립니다.
• 작동 방식:
  • DR-LDM (잠재 확산 모델): 이 장인은 "완벽한 그림은 원래 이런 모습이어야 한다"는 **수천 장의 완벽한 그림에 대한 기억 (사전 지식)**을 가지고 있습니다. 망가진 그림을 보며 "아, 이 부분은 원래 이런 질감이 있었지!"라고 상상력을 발휘해 결손된 부분을 채웁니다.
  • OCFormer (과도한 평활화 교정 트랜스포머): 첫 번째 장인이 너무 조심스럽게 다듬어서 사라진 머리카락, 눈동자, 나뭇잎의 질감 같은 '고주파수 (세부) 정보'를 다시 찾아와서 그림에 입힙니다.

---

🔄 이 팀의 특별한 점: "점진적인 협력"

이 두 장인은 한 번에 끝내지 않고, **여러 단계 (Stage)**에 걸쳐 함께 일합니다.

1. 1 단계: 분석가가 대략적인 윤곽을 잡고, 마법사가 그 위에 첫 번째 디테일을 입힙니다.
2. 2 단계: 마법사가 입힌 디테일을 보고 분석가가 "아, 내가 처음에 잘못 추측했던 부분이 있었네. 고쳐보자!"라고 손상 원인을 더 정확하게 수정합니다.
3. 3 단계: 수정된 분석을 바탕으로 마법사가 더 정교한 디테일을 추가합니다.

이처럼 분석과 복원이 서로를 도와가며 (상호 보완) 반복될수록, 그림은 점점 더 선명하고 사실적으로 변합니다.

---

💡 왜 이 기술이 중요한가요?

1. 어떤 상처든 다 고쳐요 (Blind): "이건 물방울이야", "이건 흔들림이야"라고 미리 정해지지 않아도, 어떤 종류의 손상 (비, 흔들림, 어둠, 수중 등) 이든 스스로 파악해서 고칩니다.
2. 디테일을 살려요: 기존 기술들이 그림을 너무 매끄럽게 만들어서 뻔뻔하게 만드는 문제를 해결했습니다. 머리카락 한 올, 나뭇잎의 질감까지 생생하게 복원합니다.
3. 다른 작업에도 쓸모가 있어요: 이 기술의 '마법사 (DR-LDM)' 부분만 떼어내서 다른 사진 복원 프로그램에 끼워 넣어도 (Plug-and-play), 그 프로그램의 성능을 확실히 올려줍니다.

🏆 결론

UnfoldLDM은 **"손상 원인을 똑똑하게 분석하는 눈"**과 **"상상력을 통해 잃어버린 디테일을 되살리는 손"**을 결합한 혁신적인 기술입니다.

기존의 인공지능이 사진을 고칠 때 "너무 매끄럽게 다듬어서 생동감이 사라지는" 실수를 범했다면, 이 기술은 "원래의 생생함과 디테일을 완벽하게 되찾아주는" 새로운 기준을 제시했습니다. 의료 영상, 사진 촬영, 감시 카메라 등 다양한 분야에서 더 선명하고 정확한 이미지를 만들어낼 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

이 논문은 블라인드 이미지 복원 (Blind Image Restoration, BIR) 문제를 해결하기 위한 새로운 접근법을 제시합니다. BIR은 화질 저하 원인 (블러, 노이즈, 저조도 등) 이 알려지지 않은 상태에서 원본 이미지를 복원하는 작업입니다.

기존의 **딥 언폴딩 네트워크 (Deep Unfolding Networks, DUNs)**는 모델 기반 방법의 해석 가능성과 딥러닝의 학습 능력을 결합하여 유망한 성과를 보였으나, BIR 작업에서는 두 가지 주요 한계를 겪고 있었습니다:

1. 저하 모델 의존성 (Degradation-specific Dependency): 기존 DUN 은 특정 저하 유형 (예: 특정 블러 커널) 에 맞춰 설계되어 물리적 사전 지식을 필요로 하므로, 복잡하거나 혼합된 저하가 발생하는 실제 세계 (Blind) 환경에서는 일반화되지 못합니다.
2. 과도한 평활화 편향 (Over-smoothing Bias): 기존 DUN 의 경사 하강 (Gradient Descent) 단계는 저주파 성분이 우세한 데이터 충실도 항에서 업데이트를 받아, 중간 추정치가 고주파 세부 정보 (텍스처) 를 잃게 됩니다. 이를 근사 (Proximal) 단계로 전달하면 세부 텍스처가 억제되어 결과물이 과도하게 매끄럽게 (Over-smoothed) 되는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 **잠재 확산 모델 (Latent Diffusion Model, LDM)**을 DUN 에 통합한 UnfoldLDM을 제안했습니다. UnfoldLDM 은 각 단계 (Stage) 에서 다음과 같은 두 가지 핵심 모듈을 순차적으로 실행합니다.

A. 다중 세분화 저하 인식 모듈 (MGDA, Multi-Granularity Degradation-Aware)

• 역할: 경사 하강 (Gradient Descent) 단계를 수행합니다.
• 작동 원리: BIR 을 미지의 저하 추정 문제로 재구성합니다.
  • 전체 저하 행렬 (Holistic D): 시각 상태 공간 (Visual State Space, VSS) 블록을 사용하여 전역적인 저하를 추정합니다.
  • 분해된 저하 행렬 (Decomposed W, M): 저하 행렬을 공간적 (W) 과 스펙트럼/방향적 (M) 인 두 개의 행렬로 분해하여 추정합니다. 이는 계산 효율성을 높이고 구조적 인식을 강화합니다.
  • 일관성 손실 (ISDA Loss): 전체 저하와 분해된 저하 추정치 간의 일관성을 보장하기 위해 'Intra-Stage Degradation-Aware' 손실 함수를 도입하여 안정적인 저하 제거를 가능하게 합니다.

B. 근사 단계 (Proximal Step): DR-LDM 및 OCFormer

• DR-LDM (Degradation-Resistant Latent Diffusion Model):
  • MGDA 의 출력 (저하가 제거된 추정치) 에서 저하 불변 (Degradation-invariant) 사전 지식을 추출합니다.
  • 저차원 잠재 공간에서 확산 과정을 수행하여 고주파 단서를 압축된 형태로 정제하고, 공간적으로 상관관계가 있는 아티팩트를 필터링합니다.
  • 이는 저하된 입력만으로 고품질의 사전 지식을 생성할 수 있게 합니다.
• OCFormer (Over-smoothing Correction Transformer):
  • DR-LDM 이 추출한 사전 지식을 가이드로 사용하여, 경사 하강 단계에서 손실된 고주파 성분과 미세한 텍스처를 명시적으로 복원합니다.
  • DRA(Degradation-Resistant Attention) 와 PDR(Prior-Guided Detail Recovery) 모듈을 통해 과도한 평활화 편향을 교정합니다.

C. 2 단계 학습 전략 (Two-Phase Training)

1. Phase I (Pretraining): 깨끗한 이미지 (Ground Truth) 를 사용하여 PI(Prior Inference) 모듈이 고품질의 사전 지식을 학습하도록 훈련합니다.
2. Phase II (Optimization): 저하된 입력을 사용하여 DR-LDM 이 Phase I 에서 학습된 사전 지식 공간에 근사하도록 훈련합니다. 이 과정에서 DR-LDM 은 MGDA 의 점진적으로 정제된 출력을 기반으로 더 정확한 사전 지식을 생성하며, OCFormer 와 협력하여 최종 복원 이미지를 개선합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합: BIR 작업을 위해 DUN 과 잠재 확산 모델 (LDM) 을 통합한 최초의 방법론을 제안했습니다. 이는 기존 DUN 의 저하 의존성과 과도한 평활화 문제를 동시에 해결합니다.
2. MGDA 모듈: 전체 저하와 분해된 저하를 동시에 추정하며, ISDA 손실로 일관성을 유지하여 강건한 저하 제거를 가능하게 합니다.
3. DR-LDM 및 OCFormer 설계: 저하 불변 사전 지식을 추출하는 DR-LDM 과 이를 활용하여 고주파 텍스처를 복원하는 OCFormer 를 설계하여 시각적 충실도를 극대화했습니다.
4. 플러그 앤 플레이 가능성: 제안된 DR-LDM 모듈은 기존 DUN 기반 방법론에 플러그 앤 플레이 방식으로 통합 가능하며, 다양한 작업에서 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

UnfoldLDM 은 8 가지 다양한 BIR 작업 (노이즈 제거, 디블러링, 저조도 향상, 수중 이미지 향상, 역광 이미지 향상, 빗물 제거 등) 과 하위 작업 (객체 감지 등) 에서 실험되었습니다.

• 성능: SIDD, GoPro, UIEB, LOL-v2 등 주요 벤치마크에서 State-of-the-Art (SOTA) 성능을 기록했습니다.
  • 예: 저조도 이미지 향상 (LOL-v2-real) 에서 기존 2 위 방법 (Reti-Diff) 보다 PSNR 이 2.36% 높았습니다.
  • 예: 빗물 제거 (Deraining) 에서 모든 데이터셋과 메트릭에서 SOTA 를 달성했습니다.
• 시각적 품질: 텍스트와 같은 미세한 구조와 고주파 세부 정보를 잘 보존하며, 과도한 평활화 없이 선명한 이미지를 복원합니다.
• 하위 작업 영향: 복원된 이미지는 YOLO 기반의 저조도 객체 감지 (ExDark 데이터셋) 에서 감지 정확도를 크게 향상시켰습니다.
• 효율성: 기존 확산 기반 방법 (OSEDiff 등) 대비 추론 속도가 약 2 배 빠르며, 경량화 버전 (UnfoldLDM-l) 은 파라미터와 FLOPs 를 대폭 줄이면서도 우수한 성능을 유지합니다.
• 사용자 연구: 12 명의 참가자를 대상으로 한 사용자 연구에서 노이즈, 구조 보존, 색상 충실도 측면에서 가장 높은 점수를 받았습니다.

5. 의의 및 결론 (Significance)

UnfoldLDM 은 모델 기반 해석 가능성과 **생성형 사전 지식 (Generative Priors)**의 강점을 결합하여 블라인드 이미지 복원의 새로운 패러다임을 제시합니다.

• 이론적 기여: DUN 의 근사 단계에 확산 모델을 도입하여 고주파 정보 손실 문제를 해결하고, 저하 모델 의존성을 제거함으로써 DUN 이론을 확장했습니다.
• 실용적 가치: 다양한 저하 유형에 강건하며, 기존 DUN 아키텍처에 모듈식으로 적용 가능하여 저수준 (Low-level) 및 고수준 (High-level) 비전 작업 전반에 걸쳐 범용적인 성능 향상을 제공합니다.

결론적으로, UnfoldLDM 은 복잡한 실제 세계의 저하 환경에서도 고품질의 세부 정보를 복원할 수 있는 강력하고 확장 가능한 프레임워크입니다.