A Random Matrix Theory Perspective on the Consistency of Diffusion Models

기술 요약: 확산 모델의 일관성에 관한 무작위 행렬 이론적 관점

문제 정의
동일한 데이터셋의 서로 다른 비중첩 서브셋(non-overlapping subsets)으로 학습된 확산 모델들은 동일한 노이즈 시드(noise seed)에 대해 조건화되었을 때, 서로 다른 아키텍처(예: UNet 대 DiT)를 사용하더라도 놀라울 정도로 유사한 출력을 생성하는 경향이 있다. 이러한 "일관성(consistency)" 현상은 잠재 공간의 회전에 따라 실행 시마다 상당한 가변성을 보이는 GAN이나 VAE와 같은 다른 생성 프레임워크와 대조된다. 이전 연구들이 이 효과를 관찰해 왔으나, 유한한 데이터 크기와 데이터 통계가 학습된 디노이저(denoiser) 및 샘플링 맵의 안정성을 어떻게 형성하는지에 대한 근본적인 메커니즘은 이론적으로 설명되지 않은 채 남아 있었다. 본 논문은 독립적인 데이터 분할(data splits)에 걸쳐 학습된 매핑의 기댓값과 분산을 정량화하며, 암기(memorization, 모델이 훈련 샘플을 재현하는 것)와 일반화(generalization, 보편적인 통계적 규칙성을 포착하는 것)를 구분하고자 한다.

방법론
저자들은 디퓨전 모델을 분석하기 위해 **무작위 행렬 이론(Random Matrix Theory, RMT)**을 활용하며, 다루기 쉬운 선형 디노이저 프레임워크에서 시작하여 심층 네트워크로 통찰을 확장한다.

1. 선형 설정 및 결정론적 등가성(Deterministic Equivalence): 핵심 기술 도구는 **결정론적 등가성(DE)**으로, 이를 통해 무작애적인 경험적 공분산 행렬($\hat{\Sigma}$)을 고차원 극한($d, n \to \infty$ 이며 $d/n = \gamma$)에서 결정론적 대리물로 대체할 수 있다.

   • 저자들은 모집단 공분산 $\Sigma$ 내의 원시 노이즈 분산 $\sigma^2$을 대체하는 재정규화된 노이즈 스케일 $\kappa(\sigma^2)$에 대한 **자기 일치 방정식(self-consistent equation)**을 유도한다. 이 관계는 Silverstein 방정식에 의해 제어된다:
     $$\kappa(\lambda) - \lambda = \gamma \kappa(\lambda) \text{tr}[\Sigma(\Sigma + \kappa(\lambda)I)^{-1}]$$
   • 이 프레임워크는 전체 샘플링 궤적(Wiener filter)에 필요한 분수 행렬 거듭제곱(특히 $\Sigma^{1/2}$)으로 확장되며, 이를 위해 적분 표현식(Balakrishnan의 공식)과 이점 결정론적 등가성 항등식을 사용한다.

2. 이론적 유도:

   • 기댓값: 이론은 유한한 데이터가 학습된 디노이저를 효과적으로 더 높은 노이즈 레벨($\sigma^2 \to \kappa(\sigma^2)$)에서 작동하게 하여, 저분산 방향을 데이터셋 평균 쪽으로 "과잉 축소(overshrinkage)"시킨다고 예측한다.
   • 변동(분산): 데이터 분할에 따른 디노이저의 분산은 다음 세 가지 요소로 인수분해됨을 보여준다:
     • 이방성(Anisotropy): 불확실성은 모집단 고유값 $\lambda_k$가 재정규화된 노이즈 $\kappa(\sigma^2)$와 일치하는 고유 모드(eigenmode)에서 최대화된다.
     • 불균질성(Inhomogeneity): 불확실성은 고분산 방향을 따라 변위된 입력 지점에서 증폭된다.
     • 전역 스케일링(Global Scaling): 전체 분산은 데이터셋 크기 $n$에 반비례하며, 작은 $n$에서의 재정규화 효과에 의해 수정된다.

3. 경험적 검증: 이론적 예측은 다양한 데이터셋(FFHQ, AFHQ, CIFAR, LSUN)과 다양한 데이터 크기($n \in \{300, 1000, \dots, 30000\}$)로 학습된 심층 확산 모델(UNet 및 DiT)을 통해 검증된다. 연구는 암기 레지임(작은 $n$, 모델이 훈련 데이터를 재현함)과 재정규화/일반화 레지임(더 큰 $n$, 모델이 선형 가우시안 예측자와 일치함)을 구분한다.

주요 기여

• 일관성의 선형적 기원: 본 논문은 공유된 가우시안 통계(평균 및 공분산)가 데이터 분할 간의 합의를 예측하기에 충분함을 입증하며, 왜 선형 디노이저가 이미 높은 일관성을 보이는지를 설명한다.
• 유한 샘플 재정규화: 유한한 데이터셋이 어떻게 노이즈 스케일을 $\sigma^2 \to \kappa(\sigma^2)$로 재정규화하는지 공식화하며, 이로 인한 저분산 모드의 체계적인 과잉 축소와 평균으로의 끌림 현상을 설명한다.
• 분산 법칙: 데이터 분할 간의 불일치에 대한 인수분해된 분산 공식을 유도하여, 이방성(고유값 분산에 대한 의존성), 불균질성(입력 위치에 대한 의 dependence), 전역 스케일링(데이터 크기 $n$에 대한 의존성)을 세 가지 지배 요인으로 식별한다.
• 분수 거듭제곱 등가성: 분수 행렬 거듭제곱에 대한 결정론적 등가성 도구를 확장하여, 단일 단계 디노이징뿐만 아니라 전체 샘플링 궤적에 대한 폐쇄형(closed-form) 예측을 가능하게 한다.
• 심층 네트워크 검증: 심층 UNet 및 DiT 모델의 비암기 레지임에서 선형 RMT 원칙이 질적으로 지배하고 있음을 확인하며, 모델이 어디에서 어떻게 분할 간에 편차를 보이는지 예측한다.

결과

• 일관성 메커니즘: 실험 결과, 확산 모델은 서로 소외된(disjoint) 분할로 학습되었을 때 동일한 노이즈 시드로부터 시각적으로 유사한 이미지를 생성한다. 이러한 유사성은 분할의 경험적 모멘트(empirical moments)를 사용하는 선형 가우시안 예측자(Wiener filter)에 의해 포착된다.
• 과잉 축소: 일반화 레지임에서 생성된 샘플은 모집단 분포에 비해 저-중간 고유 모드(low-to-mid eigenmodes)를 따르는 분산이 감소하며, 효과적으로 평균 쪽으로 "과잉 축소"된다. 이 편향은 $n$이 증가하여 경험적 스펙트럼이 모집단 스펙트럼에 수렴함에 따라 사라진다.
• 이방성 및 불균질성:
  • 스펙트럼 측면: 서로 다른 분할로 학습된 모델 간의 불일치는 고유값 $\lambda_k \approx \kappa(\sigma^2)$인 고유 모드에서 가장 높다. 미세한 디테일을 담당하는 낮은 고유 모드는 상위 고유 모드(전역 구조)보다 일관성을 달성하기 위해 훨씬 더 큰 데이터셋을 필요로 한다.
  • 공간적 측면: 데이터 매니폴드의 고분산 방향으로 강하게 투영되는 노이즈 시드로부터 생성된 샘플은 분할 간의 더 큰 편차를 보인다.
• 심층 네트워크 정렬: 비암기 레지임($n \ge 3000$ for FFHQ64)에서 심층 네트워크 샘플은 선형 예측자를 향해 수렴한다. RMT 예측인 공간적 불균질성(어떤 시드가 더 큰 편차를 유발하는가)은 심층 네트워크(예: $n=30k$인 FFHQ64에 대한 UNet)의 경험적 교차 분할 MSE와 유의미하게 상관관계가 있다(Spearman $r \approx 0.33$).
• 반사실적 실험(Counterfactuals): 평균 또는 공분산이 일치하지 않도록 훈련 데이터를 의도적으로 분할했을 때(예: 주성분에 따라 층화), 일관성 효과가 깨지는 것을 확인하였다. 이는 공유된 가우시안 통계가 일관성의 동인임을 확인시켜 준다.

의의
본 논문은 재현성을 위한 원칙적인 기준을 제공한다. 데이터의 스펙트럼 특성과 생성 출력의 안정성을 연결함으로써, 확산 모델의 놀라운 일관성이 복잡한 아키텍처의 귀납적 편향(inductive bias) 때문만이 아니라, 데이터 분할 간에 공유되는 기저의 가우시안 통계의 안정성에서 비롯됨을 명확히 한다. 이 연구는 확산 모델의 "창의성" 또는 일반화 능력이 이러한 선형적 통계 규칙성에 의해 제약받는다는 것을 시사하며, 왜 독립적으로 학습된 모델들이 종종 유사한 구조로 동일한 노이즈 시드를 매핑하는지에 대한 이론적 설명을 제공한다. 이 프레임워크는 진정한 일반화와 암기를 구분하는 데 도움을 주며, 데이터 크기와 데이터 스펙트럼에 기반하여 생성된 샘플의 신뢰도를 예측할 수 있는 도구를 제공한다.