BIR-Adapter: A parameter-efficient diffusion adapter for blind image restoration

"Blind Image Restoration 를 위한 파라미터 효율적 확산 어댑터인 BIR-Adapter" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

블라인드 이미지 복원 (Blind Image Restoration) 은 특정 열화 과정 (예: 노이즈, 흐림, 다운샘플링, 압축 아티팩트, 또는 이들의 복잡한 연쇄 작용) 이 알려지지 않은 상태에서 열화된 관찰 이미지 ($\tilde{I}$) 로부터 원본 깨끗한 이미지 ($I_0$) 를 복원하는 것을 목표로 합니다.

• 현재의 한계:
  • 회귀 기반 방법 (CNN/Transformer) 은 심각한 모호성에 직면하여 지각적으로 현실적인 세부 사항을 복원하는 데 종종 실패합니다.
  • 생성 기반 방법 (확산 모델) 은 우수한 지각적 품질을 제공하지만, 일반적으로 다음을 요구합니다:
    1. 보조 특징 추출기: ControlNet 나 SwinIR 와 같은 모델이 확산 모델을 조건화하기 위해 열화 인식 특징을 추출하는 데 사용됩니다.
    2. 방대한 파인튜닝: 이러한 보조 네트워크나 전체 모델 사본을 학습시키는 데는 막대한 계산 자원과 대규모 데이터셋이 필요합니다.
  • 파라미터 비효율성: 기존 최첨단 (SOTA) 확산 복원 방법들 (예: SUPIR, DiffBIR) 은 수억 개의 추가 학습 가능 파라미터를 도입하여 배포를 어렵게 만듭니다.

2. 핵심 통찰 및 동기

저자들은 대규모 사전 학습된 잠재 확산 모델 (LDMs) 은 입력이 열화되었을지라도 본질적으로 정보 풍부한 표현을 유지한다는 것을 관찰했습니다.

• 경험적 증거: 서로 다른 U-Net 레이어에 걸쳐 깨끗한 이미지와 열화된 대응 이미지의 잠재 특징 간 코사인 유사도를 측정함으로써, 저자들은 특징 유사성이 상당한 정도 유지됨을 발견했습니다.
• 가설: 사전 학습된 백본이 이미 열화된 입력에 대한 유용한 정보를 인코딩하고 있으므로, 보조 특징 추출기 (ControlNet 등) 는 불필요합니다. 모델의 내부 특징을 재사용하여 복원 과정을 안내할 수 있습니다.

3. 방법론: BIR-Adapter

제안된 솔루션은 잠재 확산 모델 (LDMs) 을 위한 파라미터 효율적이고 플러그앤플레이 방식인 어댑터인 BIR-Adapter입니다.

A. 복원 어텐션 메커니즘

별도의 네트워크를 훈련하여 특징을 추출하는 대신, BIR-Adapter 는 고정된 확산 백본 자체가 추출한 특징을 재사용합니다.

• 입력: 모델은 동일한 배치 내에서 두 가지 입력을 병렬로 처리합니다:
  1. 시간 단계 $t$에서의 확산 잠재 변수 ($x_t$).
  2. 고정된 인코더를 통과한 열화된 잠재 변수 ($\tilde{x} = E(\tilde{I})$).
• 메커니즘: U-Net 의 각 어텐션 블록에 복원 어텐션 (Restoring Attention) 모듈이 추가됩니다.
  • 쿼리 ($Q$): 현재 확산된 특징 ($z_t$) 에서 유도됩니다.
  • 키 ($K'$) 및 값 ($V'$): 동일한 레이어에서 추출된 열화된 특징 ($\tilde{z}$) 에서 유도됩니다.
  • 수식: 출력은 표준 자기 어텐션과 열화된 특징이 정보 원천으로 작용하는 교차 어텐션 항을 결합합니다:
    $$\text{Output} = \text{Attention}(Q, K, V)W_O + \text{Attention}(\tilde{Q}, K', V')W'_O$$
  • 파라미터 효율성: 가중치 $\{W'_K, W'_V, W'_O\}$만 학습 가능합니다 (자기 어텐션 가중치에서 초기화됨). 쿼리 가중치는 열화된 이미지의 특징을 보존하기 위해 고정됩니다.

B. 유도된 샘플링 (환각 완화)

"환각" (비현실적인 세부 사항 생성), 특히 저주파 영역에서의 발생을 방지하기 위해 저자들은 샘플링 유도 전략을 도입합니다.

• 초기 복원: 경량의 오프더셸 (off-the-shelf) 방법 (Real-ESRGAN) 이 초기 추정치 ($I_{init}$) 를 제공합니다.
• 주파수 기반 유도: 이 방법은 Sobel 필터를 사용하여 기울기를 추정하고 저주파 영역 (부드러운 영역) 을 식별합니다.
• 적응형 업데이트: 역확산 과정에서 시간 단계 $t/T > \xi$ (여기서 $\xi$는 하이퍼파라미터) 일 때, 추정된 깨끗한 잠재 변수 ($x_{t \to 0}$) 는 $I_{init}$의 저주파 정보를 포함하도록 업데이트됩니다:
  $$x_{t \to 0} \leftarrow x_{t \to 0} + W \odot (E(I_{init}) - x_{t \to 0})$$
  여기서 $W$는 기울기 크기에서 유도된 가중치 맵이며 (부드러운/저주파 영역에 더 높은 가중치 부여) 입니다.

4. 주요 기여

1. 파라미터 효율성: BIR-Adapter 는 단 3700 만 개의 추가 학습 가능 파라미터만 도입하여, SUPIR 보다 36 배, DiffBIR 보다 10 배 적은 파라미터로 경쟁력 있는 성능을 달성합니다.
2. 보조 추출기 제거: 사전 학습된 모델의 내부 강건성을 활용하여 확산 기반 블라인드 복원에 외부 특징 추출기가 필요하지 않음을 입증했습니다.
3. 플러그앤플레이 설계: 이 어댑터는 백본을 재학습하지 않고도 기존 확산 모델에 통합될 수 있습니다 (예: 초해상도 전용 모델을 알려지지 않은 열화 처리가 가능한 모델로 확장).
4. 강건한 유도: 제안된 샘플링 전략은 지각적 품질과 충실도 사이의 균형을 효과적으로 맞춰 부드러운 영역에서의 환각을 줄입니다.

5. 실험 결과

이 방법은 합성 (DIV2K) 및 실세계 (RealSR, RealPhoto60) 벤치마크에서 평가되었습니다.

• 성능:
  • 지각적 품질: 참조 없는 지표 (CLIP-IQA, ManIQA, MUSIQ) 에서 최첨단 (SOTA) 또는 경쟁력 있는 결과를 달성하며, StableSR 및 DiffBIR 과 같은 방법을 종종 능가합니다.
  • 충실도: 참조 기반 지표 (PSNR) 는 경쟁력 있지만, 저자들은 생성적 복원의 경우 더 높은 PSNR 이 항상 더 나은 지각적 품질을 의미하지는 않는다고 지적합니다 (최첨단 회귀 모델은 종종 과도하게 부드러운 결과를 생성함).
  • 실세계: 알려지지 않은 복잡한 열화가 포함된 RealSR 및 RealPhoto60 데이터셋에서 우수한 성능을 입증했습니다.
• 효율성:
  • 학습: 다른 방법들 (15k~200k) 에 비해 훨씬 적은 학습 데이터 (25k 이미지) 와 시간이 필요합니다.
  • 추론: 병렬 처리로 인해 실행 시간은 SUPIR 과 유사하지만, 저자들은 열화된 특징을 캐싱하면 추론 시간을 약 2 초로 더 줄일 수 있다고 지적합니다.
• 애블레이션 연구: 특정 어텐션 수식과 가중치의 파인튜닝 모두 필요함을 확인했습니다; 파인튜닝이 없거나 단순 교차 어텐션을 사용한 변형들은 실패했습니다.

6. 의의 및 결론

BIR-Adapter는 사전 학습된 확산 사전 지식이 열화된 입력을 직접 처리할 만큼 충분히 강건함을 입증함으로써 확산 기반 이미지 복원 분야에서 패러다임 전환을 의미합니다.

• 영향: 거대한 보조 네트워크와 방대한 파인튜닝의 필요성을 제거함으로써 고품질 블라인드 이미지 복원의 진입 장벽을 획기적으로 낮춥니다.
• 향후 작업: 저자들은 특징 캐싱을 통한 추론 속도 최적화, 이미지 콘텐츠에 기반한 유도 강도의 자동 조정, 그리고 Diffusion Transformers(DiT) 와 같은 새로운 아키텍처로의 접근법 확장을 제안합니다.

요약하자면, BIR-Adapter 는 기초 모델의 고유한 능력을 활용할 때 "적은 것이 더 많다"는 것을 입증하며, 블라인드 이미지 복원을 위한 매우 효율적이고 일반화 가능하며 고성능의 솔루션을 제공합니다.