Fractals made Practical: Denoising Diffusion as Partitioned Iterated Function Systems

이 논문은 **확산 모델 (Diffusion Models)**이 노이즈를 이미지로 변환하는 과정에서 실제로 수행하는 수학적 메커니즘을 규명하고, 이를 **분할 반복 함수 시스템 (Partitioned Iterated Function Systems, PIFS)**의 관점에서 재해석하여 이론적 기반을 제공합니다. 저자 Ann Dooms 는 결정론적 DDIM(Denooising Diffusion Implicit Models) 역방향 체인이 PIFS 로 작동함을 증명하고, 이를 통해 확산 모델의 스케줄, 아키텍처, 학습 목적 함수를 통합적으로 설계하는 언어를 제시합니다.

다음은 논문의 주요 내용을 문제 정의, 방법론, 핵심 기여, 결과, 그리고 의의로 나누어 상세히 요약한 것입니다.

---

1. 문제 정의 (Problem)

현대적인 점수 기반 확산 모델 (Score-based Diffusion Models) 은 연속 시간 확률 미분 방정식 (SDE) 또는 확률 흐름 ODE 를 기반으로 학습되지만, 이는 학습된 점수 네트워크를 '블랙박스'로 취급합니다. 따라서 다음과 같은 핵심 질문들에 대한 구조적 답변이 부족했습니다:

• **이산적 샘플링 체인 (Discrete Sampling Chain)**은 초기 단계에서 어떻게 전역적인 공간적 문맥 (Global Context) 을 구성하고, 후기 단계에서는 어떻게 국소적인 세부 사항 (Fine Detail) 을 합성하는가?
• 자기 주의 (Self-Attention) 메커니즘이 왜 생성적 원시 (Generative Primitive) 로서 그토록 효과적인가?
• 확산 모델의 학습 과정과 생성 역학이 수학적 구조 (프랙탈 기하학) 와 어떻게 연결되는가?

2. 방법론 (Methodology)

저자는 DDIM 의 역방향 역학이 **분할 반복 함수 시스템 (PIFS)**으로 작동한다는 가설을 세우고 이를 수학적으로 증명했습니다.

• PIFS 프레임워크 적용: PIFS 는 이미지를 패치 (Patch) 단위로 분할하여, 각 패치가 다른 패치들의 축소/변형된 복사본으로 재구성되는 프랙탈 압축 기법입니다. 이 논문은 확산 모델의 역방향 과정이 학습된 점수 네트워크를 통해 데이터 매니폴드를 재구성하는 PIFS 로서 작동함을 보였습니다.
• 수학적 도출:
  • 수축 조건 (Contraction Conditions): 단일 단계 DDIM 연산자 $\Phi_t$가 유클리드 노름 (Euclidean norm) 과 블록 - 최대 노름 (Block-max norm) 에서 수축하는지 분석했습니다.
  • 기하학적 양 도출: 모델 평가 없이 계산 가능한 세 가지 핵심 기하학적 양을 도출했습니다:
    1. 수축 임계값 ($L^*_t$): 각 단계에서의 수축을 보장하는 최소 점수 이득.
    2. 대각선 확장 함수 ($f_t(\lambda)$): 각 패치의 분산 ($\lambda$) 에 따른 대각선 블록의 확장 정도.
    3. 전역 확장 임계값 ($\lambda^{**}$): 프랙탈 어트랙터 (Attractor) 의 차원을 결정하는 Moran 방정식의 해.
• 두 가지 영역 (Two-Regime) 분석:
  • Regime I (고잡음): 확산된 어텐션 (Diffuse Attention) 을 통해 패치 간 강한 결합이 일어나며, 학습된 '억제장 (Suppression Field)'이 대각선 블록의 확장을 억제하여 전역적 문맥을 조립합니다.
  • Regime II (저잡음): 어텐션이 국소화되고, 패치별 분산 순서대로 억제가 해제되며 (Stratified Release), 정밀한 세부 사항이 합성됩니다.

3. 핵심 기여 (Key Contributions)

1) PIFS 구조와 수축 이론 (Contraction Structure)

• Collage Theorem 의 확산 모델 대응: 점수 매칭 (Score-matching) 학습이 Barnsley 의 Collage Theorem 에서의 'Collage Error 최소화'와 동치임을 증명했습니다. 즉, 학습 손실은 PIFS 고정점까지의 Wasserstein 거리를 제어합니다.
• 수축 조건: 유클리드 수축 (EC) 과 블록 - 최대 수축 (PC) 조건을 유도하여, 학습된 네트워크가 어떻게 PIFS 의 수축성을 만족시키는지 설명했습니다.

2) 두 가지 영역의 역학 (Two-Regime Dynamics)

• 전역 문맥 vs 국소 세부 사항: 고잡음 단계에서는 확산된 어텐션이 전역 결합을 담당하고, 저잡음 단계에서는 어텐션이 국소화되면서 패치별 억제가 해제되는 메커니즘을 설명했습니다.
• 자기 주의의 역할: 자기 주의 (Self-Attention) 가 PIFS 의 '도메인 - 범위 (Domain-Range)' 매핑을 자연스럽게 구현하며, 특히 $\delta^{cross}_t$(패치 간 결합) 를 제어하는 핵심 메커니즘임을 보였습니다.

3) 어트랙터 기하학 (Attractor Geometry)

• Kaplan-Yorke 차원: PIFS 어트랙터의 프랙탈 차원을 Lyapunov 스펙트럼을 통해 분석했습니다.
• 이산 Moran 방정식: $\prod f_t(\lambda^{**}) = 1$을 만족하는 전역 확장 임계값 $\lambda^{**}$를 정의했습니다. 데이터의 패치 분산이 이 임계값을 초과할 때만 프랙탈 차원이 양수가 되어 다양성 (Diversity) 이 생성됩니다.
• 억제 보정: 학습된 점수 네트워크의 '방향성 억제장 (Directional Suppression Field)'이 가우시안 기반의 차원을 줄여 실제 데이터 매니폴드의 차원에 맞춘다는 것을 증명했습니다.

4) 실용적 설계 기준 (Practical Design Criteria)

PIFS 프레임워크에서 도출된 세 가지 설계 기준을 통해 기존 확산 모델의 경험적 설계 선택들이 기하학적 최적화 문제의 근사 해임을 보였습니다:

1. 최약 링크 수축 임계값 최대화: 노이즈 스케줄의 초기 단계를 최적화 (Nichol & Dhariwal 의 Cosine Offset 설명).
2. 정보 획득 (Information Gain) 균등화: 학습 단계별 기여도를 균일하게 분배 (Min-SNR Loss Weighting 설명).
3. 샘플링 단계 할당 최적화: 수축이 어려운 저잡음 영역에 단계를 집중 (Align Your Steps, AYS 설명).

4. 실험 결과 (Results)

CIFAR-10 과 CelebA-HQ 데이터셋에 대한 실험을 통해 이론적 예측을 검증했습니다.

• 패치 확장 및 억제 (P1, P2): 모든 CIFAR-10 패치가 이론적 확장 임계값을 초과하지만, 학습된 억제장 ($S_{k,t}$) 이 이를 상쇄하여 Regime I 에서 수축을 유지함을 확인했습니다. 또한, 고분산 패치일수록 더 강한 억제를 받는다는 (MM) 성질이 검증되었습니다.
• 두 영역 구조 (P3, P4):
  • Regime I 에서는 대각선 수축이 유지되지만 교차 패치 결합 ($\delta^{cross}_t$) 이 커져 전역 노름이 1 을 초과합니다.
  • Regime II 로 넘어가면서 패치별 억제가 해제되며, 저분산 패치가 먼저 해제되는 '층화된 교차 (Stratified Crossover)' 현상이 관측되었습니다.
  • Spearman 상관관계가 음수에서 양수로 반전되는 현상이 이론 (Theorem 22) 과 일치함을 확인했습니다.
• KY 차원 검증 (P5):
  • CIFAR-10: 패치 분산이 임계값보다 작아 가우시안 기반에서는 수축이 예상되지만, 실제는 비가우시안 보정으로 인해 Regime II 에서 확장이 일어납니다.
  • CelebA-HQ: 고해상도 이미지에서는 패치 분산이 매우 커 가우시안 기반에서는 강한 확장이 예상되지만, 억제장이 이를 상쇄하여 최종 생성 분포가 저차원 어트랙터로 수렴함을 확인했습니다. 이는 모델의 높은 화질과 낮은 샘플 다양성을 기하학적으로 설명합니다.

5. 의의 및 결론 (Significance)

• 이론적 통합: 확산 모델의 복잡한 역학을 프랙탈 기하학 (PIFS) 의 언어로 통합하여, '왜' 확산 모델이 작동하는지에 대한 구조적 통찰을 제공합니다.
• 설계 가이드라인: 모델 평가 없이도 스케줄, 손실 함수, 샘플링 전략을 최적화할 수 있는 계산 가능한 기하학적 지표 ($L^*_t, f_t(\lambda), \lambda^{**}$) 를 제시했습니다.
• 실제 적용: 기존에 경험적으로 발견된 기법들 (Cosine Offset, Min-SNR, AYS 등) 이 PIFS 프레임워크 하에서 기하학적 최적화의 자연스러운 결과임을 증명하여, 향후 더 효율적인 확산 모델 설계의 이론적 토대를 마련했습니다.
• 자기 주의의 본질: 자기 주의 메커니즘이 PIFS 의 패치 간 매핑을 구현하는 자연스러운 원시 (Primitive) 임을 수학적으로 입증했습니다.

결론적으로, 이 논문은 자연 이미지의 자기 유사성 (Self-similarity) 이 프랙탈 압축의 핵심이었듯, 확산 모델의 성공 역시 이러한 프랙탈 기하학적 구조와 PIFS 의 수축/확장 역학에 기반하고 있음을 보여줍니다.