Single Image Super-Resolution via Bivariate `A Trous Wavelet Diffusion

이 논문은 저해상도 이미지의 고주파 성분과 공간 해상도를 모두 보존하면서 스케일 간 의존성을 모델링하여 아티팩트를 줄이고 구조적 일관성을 향상시키는 비지도 학습 기반의 'BATDiff'라는 새로운 초해상도 모델을 제안합니다.

핵심

1. 문제점: "상상력이 너무 과해서 엉뚱한 게 튀어나온다"

기존의 AI 는 사진을 크게 만들 때 두 가지 큰 고민이 있었습니다.

• 과도한 보정 (너무 매끄러움): 사진이 흐릿할 때, AI 가 "아마 이 부분은 평평한 벽이겠지"라고 생각해서 모든 디테일을 지워버립니다. 결과물은 깨끗하지만, 실제 사진처럼 생생하지 않고 뭉개진 느낌이 듭니다.
• 할루시네이션 (엉뚱한 상상): 반대로, AI 가 "이건 고양이 눈이겠지!"라고 너무 열심히 상상해서, 원래 사진에 없던 털이나 눈동자를 만들어내기도 합니다. 이는 마치 실제 존재하지 않는 장소를 여행 가이드가 너무 생생하게 묘사하는 것과 같습니다.

특히 최근 인기 있는 '확산 모델 (Diffusion Model)'이라는 AI 는 그림을 그릴 때 점진적으로 노이즈를 제거하며 그림을 완성하는데, 이 과정에서 **작은 디테일 (고주파수 성분)**을 만들 때 큰 그림 (저주파수 성분) 과 연결성을 잃어버리는 경우가 많았습니다.

2. BATDiff 의 해결책: "층층이 쌓은 퍼즐과 부모 - 자녀 관계"

BATDiff 는 이 문제를 해결하기 위해 두 가지 핵심 아이디어를 섞었습니다.

① '아 트루 (à trous)' 웨이블릿: "모래알을 체로 거르는 과정"

일반적인 방법은 사진을 한 번에 크게 늘리는 것이지만, BATDiff 는 웨이블릿 변환이라는 기술을 사용합니다.

• 비유: imagine 하세요. 거대한 모래성 (고해상도 사진) 을 만들 때, 먼저 큰 돌멩이 (큰 구조) 를 쌓고, 그 위에 작은 자갈 (중간 디테일), 그 위에 모래 (미세한 질감) 를 얹는다고 생각해보세요.
• BATDiff 는 사진을 크기별로 층층이 분리합니다. 가장 아래층은 전체적인 모양 (코어) 이고, 위로 올라갈수록 점점 더 미세한 디테일이 추가됩니다. 중요한 건, 모든 층이 원래 사진의 위치와 정확히 일치한다는 점입니다. (이걸 '비감쇠'라고 합니다.)

② 이변량 (Bivariate) 확산: "자녀는 부모의 지도를 따른다"

이게 이 기술의 핵심입니다. 기존 AI 는 각 층을 따로따로 그렸다면, BATDiff 는 층과 층 사이의 '부모 - 자녀' 관계를 연결합니다.

• 비유: 그림을 그릴 때, **큰 그림 (부모)**을 먼저 그리고, 그 위에 **작은 디테일 (자녀)**을 그립니다. BATDiff 는 "자녀 (작은 디테일) 가 그릴 때, 부모 (큰 구조) 가 지금 어떤 상태인지 항상 보고 있어야 한다"고 말합니다.
• 예를 들어, '코'라는 큰 구조 (부모) 가 오른쪽으로 기울어져 있다면, '코의 주름'이라는 작은 디테일 (자녀) 도 그 기울어진 방향을 따라 그려져야 합니다. 이렇게 하면 디테일이 큰 구조와 어긋나지 않고 자연스럽게 연결됩니다.

3. 작동 원리: "실제 사진과 계속 대조하며 수정하기"

BATDiff 는 단순히 AI 가 상상하는 것만 믿지 않습니다.

• 비유: 요리사가 요리를 할 때, **손님 (원본 저해상도 사진)**이 "이건 소금기가 좀 적어"라고 말하면, 요리사는 그 말에 맞춰 맛을 보정합니다.
• BATDiff 는 그림을 그리는 과정 (역방향 확산) 에서 매번 **"내가 그린 그림이 원본 저해상도 사진과 일치하는가?"**를 체크합니다. 일치하지 않으면 즉시 수정합니다. 이렇게 하면 AI 가 엉뚱한 것을 상상해 내는 것을 막아줍니다.

4. 요약: 왜 이 기술이 특별한가?

1. 단일 이미지 학습: 다른 사진들 (학습 데이터) 을 많이 볼 필요 없이, 단 한 장의 흐릿한 사진만으로도 그 사진의 특징을 분석해 선명하게 만듭니다. (외부 데이터에 의존하지 않음)
2. 구조적 일관성: 큰 구조와 작은 디테일이 서로 어긋나지 않아, 선명하면서도 자연스러운 사진을 만들어냅니다.
3. 결과: 기존 방법들보다 더 선명한 경계선, 더 자연스러운 질감, 그리고 거짓된 디테일 (할루시네이션) 이 적은 사진을 보여줍니다.

한 줄 요약:
BATDiff 는 흐릿한 사진을 크게 만들 때, 큰 구조를 먼저 잡고 그 위에 작은 디테일을 부모의 지도를 따라 자연스럽게 얹으며, 동시에 원본 사진과 계속 대조해 엉뚱한 상상을 막아주는 똑똑한 AI입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 단일 이미지 초해상도 (SISR) 의 난제: 저해상도 (LR) 이미지에서 고해상도 (HR) 이미지를 복원하는 과정은 본질적으로 역문제 (Inverse Problem) 로, acquisition 과정에서 고주파수 정보가 영구적으로 손실됩니다.
• 기존 Diffusion 모델의 한계: 최근 확산 모델 (Diffusion Models) 은 SISR 분야에서 뛰어난 성능을 보이지만, 대부분 단일 공간 도메인 (Spatial Domain) 에서만 작동합니다. 이로 인해 생성된 고주파수 세부 사항이 저해상도 입력의 근본적인 증거와 잘 맞지 않아 (mismatch), 구조적 일관성이 떨어지거나 아티팩트가 발생할 수 있습니다.
• 지도 학습의 의존성: 기존 많은 방법은 대규모 LR-HR 쌍 (Paired data) 을 필요로 하며, 이는 데이터셋 특유의 텍스처를 주입하여 '할루시네이션 (Hallucination)'을 유발할 수 있습니다. 반면, 단일 이미지 학습 (Internal learning) 은 데이터 의존성이 적지만, LR 관측의 모호성으로 인해 고주파수 세부 사항이 불일치할 수 있습니다.
• 핵심 문제: 기존 확산 모델들은 자연 이미지의 다중 스케일 (Multiscale) 통계적 의존성 (Parent-Child 관계) 을 명시적으로 모델링하지 않아, 거친 구조 (Coarse structure) 와 생성된 세부 사항 (Fine details) 간의 정렬이 깨지는 문제가 발생합니다.

2. 제안 방법: BATDiff (Methodology)

저자들은 BATDiff라는 비지도 (Unsupervised) 확산 기반 프레임워크를 제안합니다. 이는 a Trous 웨이블릿 변환과 이변량 (Bivariate) 교차 스케일 조건부 학습을 결합합니다.

2.1. a Trous 웨이블릿 다중 스케일 표현

• Undecimated (비감소) 변환: 기존 웨이블릿 변환과 달리 다운샘플링을 수행하지 않아 모든 스케일에서 전체 공간 해상도 (Full spatial resolution) 를 유지합니다.
• 스페이스 정렬: 저주파 성분 (Smooth components) 과 고주파 성분 (Detail planes) 이 공간적으로 완벽하게 정렬되어 있어, 스케일 간 정밀한 위치 대응이 가능합니다.
• 점진적 복원: HR 이미지를 $c^{(S)}$ (가장 거친 스케일) 에서 시작하여 $w^{(s)}$ (세부 정보) 를 단계적으로 더하며 $x^{(s)}_0$ (부분 복원 이미지) 를 구성합니다.

2.2. 이변량 교차 스케일 역확산 (Bivariate Cross-Scale Reverse Diffusion)

• Parent-Child 의존성 모델링: 기존 확산 모델이 각 스케일을 독립적으로 처리하는 것과 달리, BATDiff 는 인접한 두 스케일 간의 조건부 확률을 모델링합니다.
  • 수식: $p_\theta(x^{(s)}_{t-1} \mid x^{(s)}_t, x^{(s-1)}_t)$
  • 여기서 $x^{(s)}_t$는 현재 스케일의 노이즈 상태, $x^{(s-1)}_t$는 시간에 정렬된 (Time-aligned) 더 거친 스케일의 상태입니다.
• 동시성 유지: 부모 스케일 ($s-1$) 의 정보를 현재 시간 단계 ($t$) 에 맞춰 조건부로 입력받아, 스케일 간 드리프트 (Drift) 를 방지하고 구조적 일관성을 확보합니다.
• 공유 네트워크: 모든 스케일에서 단일 노이즈 예측 네트워크 ($\epsilon_\theta$) 를 공유하되, 스케일 인덱스 임베딩을 통해 스케일별 특성을 학습합니다.

2.3. LR 일관성 제약 (LR-Consistency Constraint)

• 지도 정보 부재 해결: 외부 LR-HR 쌍 없이 단일 이미지만 사용하므로, 추론 단계에서 매 역확산 단계마다 LR 일관성 손실 (LR-consistency loss) 을 적용합니다.
• 수식: $\mathcal{L}_{lr}(x) = \|\mathcal{D}(x) - y\|_2^2$
• 구현: 역확산 단계 후, 생성된 이미지가 저해상도 관측치 $y$와 일치하도록 경사 하강법 (Gradient descent) 을 통해 가볍게 보정합니다. 이는 생성된 고주파수 정보가 실제 입력 데이터와 모순되지 않도록 보장합니다.

3. 주요 기여 (Key Contributions)

1. 이변량 교차 스케일 조건부 메커니즘: 역확산 추론 과정에서 다중 스케일 통계적 의존성을 명시적으로 모델링하여, 거친 구조와 세부 사항 간의 정렬을 강화했습니다.
2. 공간 정렬된 다중 스케일 표현: a Trous 웨이블릿 변환을 도입하여 다운샘플링 없이 공간 정렬을 유지하며, 안정적인 교차 스케일 조건부 학습을 가능하게 했습니다.
3. 지도 학습 없는 SISR 프레임워크: 외부 LR-HR 쌍 없이 내부 이미지 통계 (Internal statistics) 만을 학습하여 사용하되, 추론 시 LR 일관성 제약을 통해 관측 데이터와의 일치를 보장하는 비지도 프레임워크를 개발했습니다.

4. 실험 결과 (Results)

• 벤치마크: DIV2K, Set5, Set14, Urban100 등 표준 SR 벤치마크에서 평가되었습니다.
• 성능 (×4 배율):
  • Urban100: PSNR 28.53 dB, SSIM 0.8502로 기존 확산 모델 (StableSR, SRDiff 등) 및 비확산 모델 (SwinIR 등) 을 능가했습니다.
  • Set5: PSNR 32.89 dB, SSIM 0.9063으로 최상위 성능을 기록했습니다.
  • Set14: PSNR 30.12 dB, SSIM 0.8134로 최상위 성능을 기록했습니다.
• 비지도 학습의 강점: 외부 데이터로 학습된 지도 모델들 (Supervised) 이 Urban100 과 같은 복잡한 기하학적 구조에서 성능이 떨어지는 반면, BATDiff 는 내부 학습을 통해 더 나은 일반화 성능을 보였습니다.
• Ablation Study:
  • LR 일관성, a Trous 변환, 이변량 조건부 학습 중 세 가지 요소가 모두 결합되었을 때 성능이 극대화됨을 확인했습니다.
  • 특히 시간에 정렬된 (Time-aligned) 부모 신호 ($x^{(s-1)}_t$) 를 사용하는 것이, 비정렬된 신호나 최종 거친 추정치만 사용하는 것보다 훨씬 효과적이었습니다.

5. 의의 및 결론 (Significance)

• 구조적 일관성 확보: 확산 모델 기반 SR 에서 발생하는 "고주파수 세부 사항과 저주파수 구조 간의 불일치" 문제를 해결했습니다. 이는 자연 이미지의 본질적인 다중 스케일 통계적 특성을 생성 과정에 직접 통합함으로써 달성되었습니다.
• 실제 적용 가능성: 외부 대규모 데이터셋에 의존하지 않고 단일 이미지 내부 통계만으로 고품질 복원이 가능하여, 실제 환경 (Real-world) 에서의 복잡한 왜곡 (알 수 없는 블러, 노이즈 등) 에 강인한 SR 솔루션을 제공합니다.
• 미래 방향: 확산 모델에 다중 스케일 의존성을 명시적으로 통합하는 것이 SISR 의 성능을 높이는 유망한 방향임을 입증했습니다.

요약하자면, BATDiff 는 a Trous 웨이블릿의 공간 정렬 특성과 이변량 확산 모델의 교차 스케일 조건부 학습을 결합하여, 외부 데이터 없이도 구조적으로 일관성 있고 선명한 초해상도 이미지를 생성하는 새로운 패러다임을 제시했습니다.