기술 요약: 확산 모델(Diffusion Models)에서의 재현성 및 일반화의 출현

문제 정의

확산 모델은 생성 작업에서 놀라운 성능을 입증해 왔으나, 수렴과 일관성을 주도하는 근본적인 메커즘은 여전히 충분히 탐구되지 않은 상태로 남아 있다. 구체적으로, 서로 다른 아키텍처, 노이즈 섭동 커널(noise perturbation kernels), 그리고 학습 절차를 사용하여 훈련된 서로 다른 확산 모델들이 동일한 기저 데이터 분포 또는 스코어 함수(score function)로 수렴하는지 여부는 불분명하다. 또한, 모델의 재현성(동일한 노이즈로부터 동일한 출력을 생성하는 능력)과 일반화(훈련 세트와 구별되는 새로운 데이터를 생성하는 능력) 사이의 관계는 체계적으로 규명된 바 없다. 본 논문은 서로 다른 확산 모델이 동일한 시작 노이즈와 결정론적 샘플러를 사용할 때 놀라울 정도로 유사한 출력을 생성하는 현상인 **"일관된 모델 재현성(consistent model reproducibility)"**을 조사한다.

방법론

저자들은 다양한 레짐(regime)과 모델 변체에 걸쳐 모델 재현성을 정량화하고 분석하기 위해 포괄적인 경험적 접근 방식을 채택한다.

1. 정량적 지표

재현성과 일반화 가능성을 측정하기 위해, 본 논문은 두 가지 주요 점수를 도입한다:

• 재현성(Reproducibility, RP) 점수: 서로 다른 확산 모델이 동일한 초기 노이즈로부터 생성한 두 이미지($x_1, x_2$)의 자기 지도 복제 탐지(SSCD) 유사도가 0.6보다 클 확률로 정의된다. 보조 지표인 평균 절대 오차(MAE) 점수는 픽셀 단위 차이가 15.0 미만일 확률을 측정한다.
• 일반화(Generalization, GL) 점수: $1 - P(\max_{i} [\mathcal{M}_{SSCD}(x, y_i)] > 0.6)$로 정의되며, 여기서 $x$는 생성된 샘플이고 $y_i$는 훈련 샘플이다. 이는 생성된 샘플과 훈련 데이터셋 사이의 비유사성을 측정한다.

2. 실험 레짐

본 연구는 모델 용량(capacity)과 훈련 데이터 크기 사이의 관계에 따라 정의된 두 가지 뚜렷한 훈련 레짐을 분석한다:

• 암기 레짐(Memorization Regime): 모델 용량이 훈련 데이터 크지를 크게 초과할 때 발생한다. 이 경우 모델은 과적합(overfitting)될 것으로 예상된다.
• 일반화 레짐(Generalization Regime): 모델이 대규모 데이터셋에서 훈련되어 완전한 암기가 불가능할 때 발생하며, 이 과정에서 기저의 데이터 분포를 학습하게 된다.

3. 이론적 및 경험적 분석

• 스코어 함수 분석: 저자들은 트위디의 공식(Tweedie's formula)을 사용하여 경험적 멀티-델타 분포(암기) 및 가우시안 혼합 모델(일반화)에 대한 최적의 스코어 함수를 도출한다. 그리고 실제 훈련된 모델을 이러한 이론적 최적값과 비교한다.
• 광범위한 평가 범위: 실험은 무조건적 모델(DDPM, EDM, Consistency Models, Transformers), 조건부 모델(텍스트-투-이미지, 클래스 조건부), 역문제 해결사(diffusion posterior sampling), 그리고 미세 조정(fine-tuning) 시나리오를 모두 다룬다.
• 노이즈 하이퍼플레인 시각화: 학습된 매핑의 구조를 탐색하기 위해, 저자들은 2D 노이즈 하이퍼플레인이 다양한 아키텍처에 걸쳐 이미지 매니폴드로 매핑되는 과정을 시각화하여 국소적 립시츠 연속성(local Lipschitzness)과 구조적 유사성을 평가한다.

주요 기여

1. 재현성에 대한 체계적 연구: 본 연구는 아키텍처 차이(U-Net vs. Transformer), 훈련 절차(처음부터 학습 vs. 증류), 또는 섭동 커널(VP, VE, sub-VP)에 관계없이 서로 다른 확산 모델이 거의 동일한 노이즈-투-이미지 매핑으로 수렴하는 현상에 대한 최초의 포괄적인 조사를 제시한다.
2. 이중 레짐 특성화: 본 논문은 재현성이 서로 다른 분포를 가진 두 가지 뚜렷한 레짐에서 나타남을 확인한다:
   • 암기 레짐에서는 모든 모델이 훈련 데이터의 동일한 경험적 멀티-델타 분포를 학습하여 특정 샘플을 효과적으로 암기하기 때문에 재현성이 발생한다.
   • 일반화 레로임에서는 모델이 실제 기저 데이터 분포의 동일한 스코어 함수로 수렴함으로써, 새로운 샘플 생성이 가능해지기 때문에 재현성이 나타난다.
3. 변체로의 확장: 본 연구는 이러한 재현성이 조건부 생성, 역문제 해결(아키텍처 제약이 있음에도 불구하고), 그리고 모델 미세 조정에 걸쳐 확장됨을 보여준다. 단, 미세 조정은 암기 레짐에서 재현성과 일반화 사이의 트레이드오프를 유발한다.

주요 결과

• 높은 재현성 점수: CIFAR-10에서 훈련된 7가지 서로 다른 무조건적 확산 모델에 대해, 쌍별 RP 점수는 일관되게 높았으며(예: 가장 이질적인 모델 간에도 0.7), MAE 점수 또한 유사하게 높았다(0.68).
• 레짐 전환: 훈련 데이터 크기가 증가함에 따라 모델은 암기 레짐(높은 재현성, 제로 일반화)에서 일반화 레짐(높은 재현성, 높은 일반화)으로 전환된다. 이러한 상전이(phase transition)는 재현성이 단순한 과적합의 징후가 아니라 성공적인 분포 학습의 특징임을 확인시켜 준다.
• 아키텍처 독립성: 무조건적 설정에서는 U-Net과 Transformer 아키텍처 모두에서 재현성이 유지된다. 그러나 역문제(Diffusion Posterior Sampling 사용 시)의 경우, 샘플링 과정에서의 그래디언트 항이 아키텍처 간의 일관성을 깨뜨리기 때문에 동일한 아키텍처 계열(U-Net vs. U-Net) 내에서만 재현성이 관찰된다.
• 미세 조정 트레이드오프: 암기 레짐에서 사전 훈련된 모델의 부분적 미세 조정은 처음부터 학습했을 때보다 재현성 점수를 낮추는 대신 일반화 점수를 높인다. 일반화 레짐에서 미세 조정은 두 지표 모두에 미미한 영향을 미친다.
• 기타 생성 모델과의 비교: GAN 및 VAE와 달리 확산 모델은 일관된 모델 재현성을 보이지 않으며, 이는 확단 모델이 데이터 분포를 포착하는 방식이 이들과 다름을 시사한다.

의의 및 시사점

본 논문은 일관된 모델 재현성을 이해하는 것이 다음과 같은 중요한 이론적, 실무적 함의를 갖는다고 주장한다:

• 이론적 통찰: 연구 결과는 확산 모델이 초기화나 아키텍처에 관계없이 노이즈에서 이미지 공간으로 가는 고유하고 식별 가능한 인코딩 매핑을 학습한다는 것을 시사한다. 이는 이 모델들이 제한된 샘플로부터 복잡한 분포를 학습하기 위해 차원의 저주를 어떻게 극복하는지에 대한 빛을 던져준다.
• 훈련 효율성: 적절하게 파라미터화된 네트워크가 동일한 스코어 함수를 학습한다는 관찰은, 다양한 단계에서 파라미터 크기를 조정함으로써 훈련을 최적화하고 잠재적으로 효율성을 개선할 수 있음을 시사한다.
• 개인정보 보호 및 보안: 재현성 속성은 블랙박스 형태의 상용 확산 모델(예: DALL-E, Imagen)이 공개 API를 통해 원래 모델이 생성한 데이터로 새로운 모델을 훈련함으로써 복제될 가능성이 있음을 의미한다. 이는 모델 프라이버시, 적대적 공격, 그리고 훈련 데이터 유출에 관한 우려를 제기한다.
• 제어 가능한 생성: 고유한 매핑은 노이즈 분포를 변경함으로써 이미지 분포를 조작할 수 있게 하며, 이는 견고한 방어, 저작권 보호, 그리고 역문제에서의 효율적인 샘플링 등에 적용될 수 있다.

저자들은 재현성이 성공적인 학습을 나타내는 강력한 속성인 동시에, 모델 프라이버시와 생성 능력의 무단 복제라는 새로운 과제를 도입한다는 결론을 내린다.