기술적 요약: 확산 모델 이해를 위한 일반화 개념의 재고

문제 제기

본 논문은 확산 모델의 일반화를 이해하는 데 고전적 통계 학습 이론 (예: VC 차원, 라데마허 복잡도) 이나 지도 학습을 위해 개발된 "유해하지 않은 과적합 (benign overfitting)" 패러다임에 의존할 수 없다고 주장합니다. 지도 학습에서는 보간 (기억) 과 일반화가 공존할 수 있습니다. 반면, 노이즈 제거 스코어 매칭을 통해 훈련된 확산 모델의 경우, 경험적 위험의 전역 최소점에 도달하는 것은 훈련 포인트를 중심으로 한 가우시안 혼합물인 노이즈가 추가된 경험적 측정의 스코어 함수에 해당합니다. 이 최소점에서 샘플링을 수행하면 새로운 샘플이 아닌 훈련 데이터의 거의 완벽한 복사본이 생성됩니다.

실제 확산 모델이 다양하고 새로운 데이터를 생성한다는 사실은 일종의 정규화가 완전한 기억을 방지함을 시사하지만, 이 현상에 대한 이론적 설명은 여전히 파편화되어 있습니다. 기존 문헌은 이를 세 가지 서로 다른 요인으로 귀인합니다: (i) 데이터셋 크기에 대한 모델 용량의 한계, (ii) 최적화 역학 (예: 조기 종료, 학습률) 에서의 암묵적 정규화, (iii) 아키텍처의 귀납적 편향. 본 논문은 이러한 요인들 간의 상호작용이 잘 이해되지 않았으며, 학계가 모델이 왜 기억하지 않는지에 대한 '왜 (why)'에 집중하기보다는, 기억 전 단계에서 모델이 무엇을 학습하는지에 대한 '무엇 (what)'에 더 집중해야 한다고 주장합니다.

방법론

이러한 격차를 해소하기 위해 저자들은 CIFAR-10 데이터셋으로 훈련된 U-Net 아키텍처를 활용한 실증 연구를 수행했습니다. 본 연구는 가우시안 데이터에 대한 이론적 분석과 대규모 실용 시스템 사이의 간극을 메우는 중간 규모 조사로 설계되었습니다.

실험 설정:

• 데이터: CIFAR-10 훈련 세트의 첫 번째 $N$개 샘플을 사용하며, $N$은 $\{2048, 4096, 8192, 16384\}$ 범위에서 변합니다. 평가에는 5,120 개의 고정 테스트 세트를 사용합니다.
• 아키텍처: 매개변수 수 ($P \in \{3M, 8M, 26M, 93M, 201M\}$) 가 다양한 U-Net.
• 훈련: 250 개의 샘플링 단계와 분류기 없는 가이드 강도 0.0 을 가진 Rectified flow 공식.
• 하이퍼파라미터 스윕: 데이터셋 크기 ($N$), 모델 크기 ($P$), 배치 크기 ($B \in \{16, 32, 64, 128\}$), 학습률 ($\eta \in \{10^{-5}, 5\cdot10^{-5}, 10^{-4}, 4\cdot10^{-4}\}$) 의 체계적 변화.

지표:
저자들은 훈련 및 테스트 분할에서 네 가지 주요량을 추적합니다:

1. 노이즈 제거 스코어 매칭 손실: 단일 배치 (훈련) 와 전체 세트 (테스트) 에서 계산.
2. 기억 점수: 자기지도형 특징 공간 (SSCD) 에서 훈련 데이터와 높은 코사인 유사도 (>0.6) 를 보이는 생성 샘플의 비율.
3. 슬라이스된 워터스틴 거리: 생성 샘플과 Inception 특징 공간의 참조 분할 간에 계산.
4. FID (Fréchet Inception Distance): 생성 샘플과 참조 분할 간에 계산.

본 연구는 테스트 손실이 훈련 손실과 분기하기 시작하는 시점을 기억 시간 ($\tau_{mem}$) 으로 정의합니다. 그리고 신규성 (기억의 부재, $\tau < \tau_{mem}$) 과 정확도 (품질/분포 정확도) 를 구분합니다.

주요 기여 및 결과

1. 비기억의 '왜' 재평가

저자들은 기억 전환이 체계적이고 관찰 가능함을 확인했습니다. 기억에 도달하는 시간 ($\tau_{mem}$) 이 데이터셋 크기에 비례하여 선형적으로 증가함을 검증했습니다. 이는 대규모 실용 모델이 왜 기억하지 않는지에 대한 질문이 대체로 해결되었음을 지지합니다: 즉, 기억 단계에 도달하는 데 필요한 훈련 시간이 단순히 합리적인 예산을 초과하기 때문입니다. 저자들은 학계가 기억의 '부재'를 설명하는 데서 벗어나 '기억 전' 단계를 분석하는 방향으로 전환해야 한다고 주장합니다.

2. 표준 지표의 한계

주요 발견 중 하나는 표준 분포 지표 (슬라이스된 워터스틴, FID) 가 신규성과 정확도를 분리해 내지 못한다는 것입니다.

• 훈련 - 테스트 갭: 지도 학습과 달리, 분포 거리에서의 훈련 - 테스트 갭은 정보가 부족합니다. 훈련 세트와 테스트 세트가 동일한 분포에서 추출되었기 때문에, 모델이 새로운 이미지를 생성하는 단계에서 훈련 데이터를 복사하는 단계로 전환되더라도 생성된 샘플과 두 세트 사이의 거리는 거의 동일하게 유지됩니다.
• 더블 디센트: 저자들은 훈련 세트와 테스트 세트 모두에서 분포 거리 (FID 및 슬라이스된 워터스틴) 에서 "더블 디센트" 현상을 관찰했습니다. 이는 훈련 및 테스트 지표가 분기하는 고전적 더블 디센트 이론과 모순됩니다. 대신 모델은 낮은 훈련 손실을 가지지만 분포 정렬이 나쁜 중간 상태에 도달하며, 이 현상은 용량 논리가 아닌 순수하게 최적화 역학에 의해 주도됨을 시사합니다.

3. 데이터셋 크기와 모델 크기의 상이한 역할

본 연구는 데이터셋 크기와 모델 크기가 훈련 역학에서 상반된 역할을 함을 밝혀냈습니다:

• 데이터셋 크기: $N$을 증가시키면 기억의 시작이 지연되고 최대 정확도가 향상됩니다.
• 모델 크기: $P$를 증가시키면 기억의 시작이 가속화되지만 최대 정확도 또한 향상됩니다.
  이는 확산 모델의 일반화가 모델 용량과 샘플 수의 비율만으로 설명될 수 없음을 시사합니다. 최적화 역학에 의해 형성된 매개변수 공간 내의 궤적은 별도의 요인입니다.

4. 최적화 하이퍼파라미터와 정확도

저자들은 최적화 하이퍼파라미터가 기억 발생 전 정확도에 상당한 영향을 미친다는 사실을 발견했습니다:

• 배치 크기: 더 작은 배치 크기는 기억률이나 시작 시간을 크게 변경하지 않으면서 더 높은 최대 정확도 (낮은 최소 분포 거리) 로 이어집니다. 이는 '최소 안정성 (minimum stability)' 문헌과 일치하지만, 수렴 시점이 아닌 훈련 궤적 along manifest 됩니다.
• 학습률: 더 큰 학습률은 최대 정확도를 향상시키고 정규화된 기억 시작을 지연시킵니다. 이는 '안정성 가장자리 (edge of stability)' 가설을 지지하지만, 마찬가지로 최종 해가 아닌 궤적 동안 관찰되는 효과입니다.

의의 및 위치

본 논문은 확산 모델의 일반화에 대한 이론적 틀이 근본적인 전환이 필요하다고 주장합니다. 저자들은 다음과 같이 논합니다:

1. '왜'는 해결됨: 대규모 응용에서의 기억 부재는 데이터셋 크기에 따른 기억 시간의 선형 스케일링과 조기 종료로 설명됩니다.
2. '무엇'이 열린 질문: 주요 이론적 과제는 기억 전 단계에서 무엇을 학습하는지, 그리고 최적화, 아키텍처, 데이터 기하학의 상호작용에서 신규성과 정확도가 어떻게 공동으로 발현되는지 이해하는 것입니다.
3. 새로운 틀 필요: 손실 또는 분포 공간의 고전적 일반화 갭은 생성 모델에 불충분합니다. 훈련 손실 (스코어 매칭) 은 샘플 품질에 대한 간접적 대리변수이며, 표준 지표는 일반화하는 모델과 기억하는 모델을 구분하지 못합니다.

저자들은 향후 연구가 복사 대 일반화를 구분하는 지표를 개발하고, 최종 수렴된 해가 아닌 스코어 매칭의 중간 반복체의 특성을 설명하는 암묵적 정규화 이론을 정립하는 데 집중해야 한다고 결론지었습니다.