Adynamical systems view of training generativemodels and the memorization phenomenon

기술적 요약: 생성 모델 학습과 암기 현상에 대한 동역학 시스템 관점

문제 제기
본 논문은 특히 확산 모델 (diffusion models) 에서 발생하는 생성 모델의 "암기 (memorization)" 현상을 다룹니다. 경험적으로, 학습 과정에서 이러한 모델은 다양한 출력을 생성하기보다 상당 기간 동안 동일하거나 매우 유사한 샘플을 재생성하는 단계를 종종 겪습니다. 기존 문헌은 이를 정적 통계 역학이나 손실 지형 (loss landscape) 열역학을 통해 분석하는 경향이 있으나, 본 연구는 동역학 시스템 관점을 제시합니다. 저자들은 암기가 단순히 손실 지형의 정적 속성이 아니라, 확률적 경사 하강법 (SGD) 에서 일정한 단계 크기 (constant step sizes) 를 사용함과 마르코프 노이즈의 존재로 인해 학습 알고리즘의 시간적 진화에서 나타나는 창발적 행동이라고 주장합니다.

방법론 및 프레임워크
저자들은 세 가지 핵심 구성 요소에 기반한 이론적 프레임워크를 구축합니다:

1. Austin 의 정리를 통한 이중 시간 규모 동역학:
   Austin [2016] 을 바탕으로 저자들은 리프시츠 제약 조건이 있는 고차원 매개변수 공간에서 손실 함수가 매개변수 부분집합에는 강하게 의존하고 나머지는 약하게 의존한다고 가정합니다. 이는 $0 < \epsilon \ll 1$에 대해 목적 함수 $F(z)$ ($z=(x,y)$) 가 $F(z) = f(x, \epsilon y)$ 형태를 취하는 단순화된 모델을 동기화합니다. 이 구조는 SGD 업데이트에서 자연스럽게 두 가지 뚜렷한 시간 규모를 유도합니다: $x$에 대한 빠른 규모와 $y$에 대한 느린 규모입니다.

2. 마르코프 노이즈를 동반한 SGD:
   학습 알고리즘은 마르코프 노이즈를 가진 확률적 근사 체계로 모델링됩니다. 노이즈 $\{Z_n\}$는 매개변수에 의해 조정되는 생성 모델 자체 (예: 확산 과정) 에서 발생합니다. 이 노이즈의 전이 확률은 현재 매개변수에 의해 조절됩니다. 저자들은 마르코프 노이즈를 동반한 확률적 근사 이론 (Benveniste 등 [1990]; Borkar [2025c]) 을 활용하여 시스템을 분석하며, 노이즈가 매개변수의 "알고리즘적" 시간 규모보다 훨씬 빠른 "자연적" 시간 규모에서 진화한다고 지적합니다.

3. 흡수 마르코프 체인으로서의 붕괴:
   본 논문은 Borkar [2025a] 의 결과를 사용하여 "붕괴 (collapse)"를 공식적으로 정의합니다. 생성 모델 설정에서 모델이 생성하는 확률 측도의 시퀀스는 시간-동질 마르코프 체인을 형성합니다. 특정 조건 하에 (특히 혼합 매개변수 $a=0$일 때), 이 체인은 거의 확실하게 무작위 점에 집중된 디랙 측도로 수렴합니다. 단일 출력으로의 이러한 점근적 붕괴가 붕괴 현상에 대한 수학적 정의입니다.

주요 기여 및 결과

• 단계 크기의 차별화:
  본 논문은 수렴을 이끄는 감소하는 단계 크기 SGD 와 본 연구의 초점인 일정한 단계 크기 SGD 를 대조합니다. 감소하는 단계 크기 영역에서 시스템은 전역 최소점으로 수렴하여 순수한 붕괴를 초래합니다 (정리 7). 그러나 저자들은 실제적인 암기 현상은 일정한 단계 크기 SGD 에 특이하다고 주장합니다.

• 일정한 단계 크기 SGD 의 점근적 행동:
  Azizian 등 [2024] 과 Hwang [1981] 의 최근 결과를 활용하여 저자들은 일정한 단계 크기 SGD 의 극한 분포를 분석합니다. 그들은 다음을 입증합니다:

  • 반복점은 손실 함수의 전역 최소점과 반드시 일치하지 않는 "대편차 속도 함수 (large deviations rate function)"의 최소점에 집중됩니다 (에너지 범함수).
  • 정상 분포는 "더 평평한" 최소점 (속도 함수의 헤시안 행렬식이 더 낮은 것) 을 선호하여 SGD 가 더 단순한 최소점을 경험적으로 선호하는 이유를 설명합니다.
  • 시스템은 단계 크기가 온도 매개변수 역할을 하는 확산 과정처럼 행동합니다.

• 암기 메커니즘 (정리 11):
  핵심 결과는 암기를 **간헐적 붕괴 (intermittent collapse)**로 설명하는 것입니다.

  • 시스템은 두 가지 시간 규모에서 작동합니다: 빠른 변수 $x$는 빠른 동역학의 국소 최소점 $\lambda(y)$를 추적하는 반면, 느린 변수 $y$는 표류합니다.
  • 단계 크기가 일정하기 때문에 시스템은 단일 점으로 수렴하지 않습니다. 대신 느린 변수 $y$가 표류함에 따라 빠른 변수 $x$는 이동하는 최소점을 추적합니다.
  • 느린 변수 $y$가 빠른 동역학이 안정적인 끌개 (attractor) 를 갖는 영역에 머무는 동안, 시스템은 "암기" (반복 출력) 를 나타냅니다.
  • 그러나 $y$가 계속 표류하기 때문에 (노이즈와 느린 시간 규모의 도움을 받아), 시스템은 결국 이 영역을 벗어나 다른 끌개로 전이합니다.
  • 이는 "이완 진동 (relaxation oscillation)" 행동을 초래합니다: 상대적으로 빠른 새로운 상태로의 전이로 단절된 긴 반복 구간 (암기) 입니다. 이는 표준 Freidlin-Wentzell 이론에서 볼 수 있는 평형 상태 간의 드물고 노이즈에 의해 주도되는 점프와 구별됩니다; 여기서는 전이가 느린 변수의 결정론적 표류에 의해 주도됩니다.

• 노이즈와 단계 크기의 역할:
  저자들은 더 큰 단계 크기가 반복 과정의 노이즈 수준을 높여 암기에 필요한 안정적인 추적을 방해함으로써 현상을 억제한다고 설명합니다. 이는 큰 단계 크기가 암기를 완화한다는 경험적 관찰 (예: Wu 등 [2025]) 과 일치합니다.

의의 및 주장
본 논문은 정적 손실 지형 분석에서 학습 알고리즘의 시간적 동역학으로 초점을 이동시켜 암기에 대한 "시스템 이론적 설명"을 제공한다고 주장합니다.

• 통합적 관점: 이는 "붕괴"와 "암기" 현상을 통합하여, 암기가 점수 학습 체계와 매개변수의 느린 표류에 의해 조절되는 붕괴 현상의 일종이며 영구적이기보다 간헐적이라고 주장합니다.
• 창발적 시간 규모: 고차원 생성 모델 학습의 두 가지 시간 규모는 인위적으로 부과된 것이 아니라 문제 구조 (Austin 의 정리를 통해) 와 일정한 단계 크기의 산물인 창발적 속성임을 강조합니다.
• 겸손한 범위: 저자들은 생성된 측도가 조건부 바리센터 (conditional barycenter) 를 형성한다고 가정하고 단순화된 이중 규모 손실 함수를 사용하는 등 모델에 이상화가 포함되어 있음을 인정합니다. 그들은 실제로 근사 오차가 지속적인 외부 노이즈로 작용하여 암기가 종종 순수한 디랙 델타 집중이 아닌 "붕괴의 왜곡"이라고 지적합니다. 결과적으로 암기는 정확한 복제가 아니라 과거 출력의 노이즈가 포함된 버전에 대한 편향으로 나타납니다.

본 연구는 새로운 실험적 알고리즘이나 구체적인 엔지니어링 수정안을 제시하지는 않지만, 고차원에서의 확률적 근사 전반의 동역학과 어떻게 관련되는지, 그리고 일정한 단계 크기 SGD 에서 왜 암기가 발생하는지 이해하기 위한 이론적 렌즈를 제공합니다.