Memorization to Generalization: Emergence of Diffusion Models from Associative Memory

1. 연구 배경 및 문제 제기 (Problem)

• 확산 모델의 모호성: 확산 모델은 고차원 분포를 모델링하는 데 탁월한 성능을 보이지만, 훈련 데이터를 그대로 복제하는 '기억 (Memorization)' 현상과 새로운 데이터를 생성하는 '일반화 (Generalization)' 현상이 어떻게 발생하는지에 대한 이론적 이해는 부족합니다.
• 기존 연구의 한계: 기존 연구들은 일반화를 목표로 할 때 기억을 단순히 '부정적인 부작용'으로 간주하고, 데이터 양을 늘려 이를 해결하려 했습니다. 그러나 기억과 일반화 사이의 **중간 전환 단계 (Intermediate Transition Regime)**를 체계적으로 분석한 연구는 부족했습니다.
• ** DenseAM 관점의 부재:** Hopfield 네트워크의 일반화인 DenseAM 이론에서는 훈련 데이터의 수가 모델의 저장 용량을 초과할 때, 훈련 데이터와 다른 새로운 국소 최소점 (Local Minima) 인 **'가짜 상태 (Spurious States)'**가 등장한다고 알려져 있습니다. 기존에는 이를 기억 실패의 원인으로 보았으나, 생성 모델 관점에서는 이를 새로운 생성 능력의 시작으로 볼 수 있다는 가설을 검증하고자 했습니다.

2. 방법론 (Methodology)

저자들은 확산 모델의 생성 과정을 DenseAM 의 '기억 회상 (Memory Retrieval)' 과정으로 재해석하고, 에너지 기반 이론을 적용했습니다.

• 이론적 연결: 확산 모델의 스코어 함수 (Score function) 가 DenseAM 의 에너지 함수 기울기 (Gradient) 와 동일함을 수학적으로 유도했습니다.
  • 훈련 데이터 $\xi_\mu$는 DenseAM 의 '기억 (Memories)'에 해당합니다.
  • 확산 과정의 노이즈 분산은 '유효 온도 (Effective Temperature)'에 해당합니다.
  • 역과정 (Denoising) 은 에너지 지형 (Energy Landscape) 을 따라 국소 최소점으로 수렴하는 '기억 회상' 과정입니다.
• 실험 설계:
  • 다양한 데이터셋 (MNIST, Fashion-MNIST, CIFAR10, LSUN-CHURCH) 에 대해 훈련 데이터 크기 ($K$) 를 점진적으로 증가시키며 확산 모델을 훈련시켰습니다.
  • 세 가지 샘플 유형 정의:
    1. 기억된 샘플 (Memorized): 훈련 데이터와 생성 데이터 모두에서 중복되는 샘플 (강한 끌개 영역 존재).
    2. 가짜 상태 샘플 (Spurious): 훈련 데이터에는 없으나 생성 데이터에서 중복되어 나타나는 새로운 패턴 (새로운 끌개 영역 존재).
    3. 일반화된 샘플 (Generalized): 훈련 및 생성 데이터 모두에서 중복되지 않는 고유한 샘플 (평탄한 에너지 매니폴드 상에 존재).
• 측정 지표:
  • 끌개 영역 부피 (Basin of Attraction Volume): 샘플이 얼마나 넓은 영역에서 수렴하는지 측정 (중복 발생 빈도로 추정).
  • 에너지 곡률 (Energy Curvature): 생성된 샘플 주변의 에너지 지형의 곡률을 Hessian 행렬의 고유값 (Singular Values) 분포를 통해 분석.
  • 상대적 에너지 갭: 훈련 데이터 대비 각 샘플 유형의 에너지 깊이 차이 분석.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. '가짜 상태 (Spurious States)'의 발견과 재정의

• 전환기의 핵심 현상: 훈련 데이터 양이 증가함에 따라 모델은 기억 $\rightarrow$ 가짜 상태 $\rightarrow$ 일반화의 3 단계 전환을 겪습니다.
• 가짜 상태의 특성:
  • 훈련 데이터에는 존재하지 않지만, 생성 과정에서 반복적으로 등장하는 안정적인 패턴입니다.
  • 예: CIFAR-10 에서 훈련 데이터에 없는 날개 모양의 비행기, Fashion-MNIST 에서 훈련 데이터에 없는 한쪽 소매 셔츠 등이 생성됨.
  • 의미: 기존 AM 이론에서는 '노이즈'나 '오류'로 간주되었으나, 이 논문에서는 생성 능력 (Generalization) 의 초기 징후로 재정의했습니다. 이는 모델이 단순히 데이터를 외우는 것을 넘어, 데이터의 구조를 학습하여 새로운 패턴을 창조하기 시작하는 시점입니다.

B. 에너지 지형의 기하학적 특성 분석

• 끌개 영역 부피:
  • 기억된 샘플: 가장 큰 부피 (강한 끌개).
  • 가짜 상태 샘플: 중간 크기의 부피 (안정적이지만 기억된 것보다는 작음).
  • 일반화된 샘플: 거의 0 에 가까운 부피 (평탄한 지형, 매번 다른 샘플 생성).
• 에너지 곡률 (Curvature):
  • 기억/가짜 상태: 높은 곡률 (Sharp minima). 스코어 함수의 자코비안 (Jacobian) 고유값이 큽니다.
  • 일반화: 낮은 곡률 (Flat manifold). 고유값이 작아지며 데이터 매니폴드가 연속적으로 연결됨을 의미합니다.
• Stable Diffusion 적용: 대규모 모델 (Stable Diffusion, LAION 데이터셋) 에서도 동일한 곡률 특성을 가진 가짜 상태 샘플이 존재함을 확인했습니다. 텍스트 프롬프트 조건부 생성은 매니폴드를 제한하여 높은 곡률 (기억 위험) 을 유지하게 하지만, 여전히 가짜 상태가 관찰됩니다.

C. 데이터 크기에 따른 전환 역학

• 데이터 양 ($K$) 이 작을 때: 모델은 훈련 데이터를 정확히 기억 (Memorization).
• $K$가 임계 용량을 넘을 때: 가짜 상태 (Spurious States) 가 급격히 증가하며 기억이 감소하기 시작합니다. 이는 일반화의 시작을 알리는 신호입니다.
• $K$가 매우 클 때: 가짜 상태와 기억된 샘플이 모두 감소하고, 일반화된 샘플이 주를 이루며 모델은 완전한 생성 능력을 발휘합니다.

4. 의의 및 결론 (Significance)

• 이론적 통합: 확산 모델과 밀집 연관 기억 (DenseAM) 이 서로 다른 커뮤니티에서 연구되었으나, 에너지 기반 관점에서 동일한 수학적 구조를 공유함을 증명했습니다.
• 새로운 해석: 생성 모델에서의 '기억'과 '일반화'를 이분법적으로 보지 않고, **가짜 상태 (Spurious States)**라는 중간 단계를 통해 연속적인 전환 과정으로 이해할 수 있는 새로운 프레임워크를 제시했습니다.
• 실용적 함의:
  • 생성 모델의 프라이버시 문제 (훈련 데이터 유출) 를 이해하고 완화하는 데 새로운 통찰을 제공합니다.
  • 모델이 언제부터 창의적인 생성을 시작하는지 (가짜 상태의 출현) 를 감지하는 지표로 활용 가능합니다.
  • 대규모 모델 (Stable Diffusion 등) 의 내부 동작 메커니즘을 에너지 지형의 관점에서 해석할 수 있는 도구를 제공합니다.

요약하자면, 이 논문은 확산 모델이 데이터를 단순히 외우는 것을 넘어 새로운 것을 창조하는 과정에서, ** DenseAM 이론의 '가짜 상태'가 필수적인 중간 단계로 작용하며 생성 능력의 탄생을 알린다**는 혁신적인 주장을 제시했습니다.