기술 요약: 확산 모델, 탈노이즈기 아키텍처 및 창의성

문제 제기

확산 모델의 "창의성", 즉 훈련 데이터에서 벗어난 매우 사실적인 이미지를 생성하는 능력은 이론적 역설을 제시합니다. 주어진 데이터셋에 대해 베이지안 최적 탈노이즈기를 사용하는 확산 모델은 훈련 샘플을 단순히 암기하고 복사하여 생성 분포를 훈련 집합에 대한 균일 분포로 붕괴시킨다는 것이 확립되어 있습니다. 최근 문헌은 이러한 암기 현상을 모델이 어떻게 벗어나는지에 대해 상반된 설명을 제시합니다 (국소 네트워크 속성 또는 근본적인 데이터 통계에 기인한다고 주장함). 그러나 본 논문은 어느 한 관점만으로는 불충분하다고 주장합니다. 다루어진 핵심 문제는 탈노이즈기 아키텍처의 특정 귀납적 편향이 목표 데이터 통계와 어떻게 상호작용하여 최종 생성 분포를 결정하는지에 대한 통합된 이해의 부재입니다.

방법론

저자들은 탈노이즈기 아키텍처와 결과적으로 생성된 분포 ($P_{generated}$) 간의 관계를 분석하기 위해 이론적 유도 및 경험적 검증을 결합한 이중 접근법을 사용합니다.

이론적 프레임워크

분석은 **스코어 매칭 정리 (Score Matching Theorem)**에 기반합니다. 이 정리에 따르면, 탈노이즈기 $S_\theta$가 기대 제곱 오차 $E(\|S(y) - x\|^2)$를 최소화하면 데이터 분포의 스코어 함수로 수렴하여, 확산 모델이 목표 분포 $P_{target}$에서 샘플링할 수 있게 됩니다. 그러나 저자들은 아키텍처가 제한되어 진정한 스코어 함수를 완벽하게 일치시킬 수 없을 때 발생하는 현상을 조사합니다.

저자들은 세 가지 서로 다른 아키텍처 클래스에 대해 $P_{target}$의 함수로서 $P_{generated}$의 명시적 형태를 유도합니다:

1. 선형 탈노이즈기: 생성된 분포가 목표 데이터의 평균과 공분산에 의해 정의된 가우시안임을 보여주기 위해 분석됩니다.
2. 다항식 탈노이즈기: 요소별 $k$-제곱 활성화 함수를 가진 선형 레이어로 정의됩니다. 저자들은 생성된 분포가 목표의 첫 $2d$개 모멘트에 의존하는 로그 - 다항식 분포임을 유도합니다 (여기서 $d$는 다항식 차수입니다).
3. 병목 탈노이즈기: 제한된 중간 차원 $h$를 가진 네트워크로 정의됩니다. 저자들은 입력 차원과 무관하게 이러한 모델의 샘플이 $h$차원 매니폴드에 위치함을 증명합니다.

경험적 검증

이러한 이론적 주장을 검증하기 위해 저자들은 두 가지 유형의 데이터셋에서 확산 모델을 훈련했습니다:

• 2D 합성 데이터: 통제된 조건 하에서 선형, 다항식 및 병목 아키텍처의 수학적 특성을 시각화하는 데 사용되었습니다.
• CelebA 하위 집합: 1,000 개의 얼굴 이미지로 구성된 작은 하위 집합이 현실적인 설정에서 아키텍처 효과를 입증하는 데 사용되었습니다. 특히, 모든 실험은 아키텍처 변형의 영향을 격리하기 위해 정확히 동일한 데이터셋과 정확히 동일한 초기 노이즈 (랜덤 시드) 를 사용했습니다.

저자들은 다음과 같은 아키텍처 하이퍼파라미터를 체계적으로 변형했습니다:

• 풀링 레이어의 수 (수용野 변경).
• 채널 수 (용량 변경).
• 패딩 유형 (원형 대 제로 패딩).
• 선형 및 MLP 네트워크의 병목 차원 ($h$).
• 다항식 차수 ($k$).

주요 결과

1. 아키텍처가 분포를 결정함

실험은 동일한 데이터로 훈련되었더라도 미세한 아키텍처 변경이 극적으로 다른 생성 분포로 이어짐을 보여줍니다.

• 수용野 변형: U-Net 아키텍처에서 풀링 레이어의 수를 변경하면 수용野가 너무 커서 정확한 암기에서 수용野가 너무 작아 매우 왜곡된 출력으로 결과가 이동했습니다.
• 선형 탈노이즈기: 동일한 평균과 공분산을 가지지만 근본적인 구조가 다른 (예: 다른 가우시안 혼합) 데이터셋으로 훈련되었을 때, 선형 탈노이즈기는 동일한 생성 분포를 생성하여 처음 두 모멘트만 포착함을 확인했습니다.
• 병목 제약: 선형 및 MLP 아키텍처에서 병목 차원 $h$를 줄이면 생성된 데이터가 더 낮은 랭크의 매니폴드로 강제되었습니다.
  • $h=1000$(데이터셋 크기와 일치) 은 엄격한 암기를 초래했습니다.
  • $h=500$및 $h=100$은 새로운 저차원 매니폴드에 위치한 "창의적"이면서 세밀한 디테일이 손실된 출력을 초래했습니다.
• 다항식 차수: 고차 다항식 탈노이즈기는 더 복잡한 모드 (예: 이모달 데이터) 를 포착할 수 있었지만, 차수가 부족하면 목표 분포를 완벽하게 재구성하지는 못했습니다. 흥미롭게도 고차 다항식은 암기된 샘플과 새로운 이미지를 모두 생성하는 이중 행동을 보여주었습니다.

2. 국소성이 유일한 동인이 아님

국소 처리 (작은 수용野) 가 창의성의 주된 동인이라는 가설과 반대로, 저자들은 동일한 수용野를 가진 아키텍처가 채널 용량이나 패딩과 같은 다른 구조적 선택에 따라 암기 대 흐림과 같이 극적으로 다른 결과를 생성할 수 있음을 보여줍니다.

주요 기여

1. 이론적 특성화: 본 논문은 선형, 다항식 및 병목 아키텍처에 대한 생성 분포 $P_{generated}$의 명시적 수학적 형태를 제공하여, 아키텍처가 본질적으로 특정 분포 형태를 강제함을 증명합니다.
2. 민감도에 대한 경험적 증명: CelebA 에 대한 통제된 실험을 통해 저자들은 작은 아키텍처 변형 (예: 패딩 유형, 풀링 수) 이 모델을 완벽한 암기에서 비현실적인 생성으로, 또는 특정 유형의 "창의성"으로 이동시킬 수 있음을 보여줍니다.
3. 창의성 재정의: 이 연구는 창의성이 데이터 통계나 국소성만의 발현적 속성이 아니라, 탈노이즈기 아키텍처의 귀납적 편향과 진정한 목표 분포 간의 정렬 (또는 불일치) 의 결과라고 주장합니다.

중요성 및 주장

본 논문은 탈노이즈기 아키텍처의 귀납적 편향이 진정한 목표 분포와 강력하게 정렬될 때만 확산 모델이 성공할 것이라고 주장합니다.

저자들은 확산 모델에서의 "창의성"은 본질적으로 특정 목표 분포에 대한 베이지안 최적 탈노이즈기를 아키텍처가 완벽하게 일치시키지 못해 발생하는 결과이며, 이로 인해 모델이 아키텍처의 제약에 의해 지시된 매니폴드나 분포 형태에 있는 샘플을 생성하도록 강제된다고 주장합니다. 이는 창의성이 국소 처리나 데이터 다양성의 함수에 불과하다는 관점에 도전하며, 대신 아키텍처 설계 선택이 생성된 출력의 본질을 근본적으로 결정한다고 시사합니다.

본 논문은 범위에 대해 겸손하게, 수학적 분석이 단순화된 이론적 모델로 제한되며 경험적 결과는 1,000 개의 이미지라는 작은 데이터셋에 기반하므로 고충실도 이미지 생성의 증시는 제한되지만 아키텍처 영향의 특정 현상을 효과적으로 격리했다고 인정합니다.