기술 요약: 확산 모델에서의 오차 전파 및 모델 붕괴의 정량화

문제 정의

생성형 AI 모델이 학습 또는 미세 조정을 위해 합성 데이터를 점점 더 많이 활용함에 따라, **모델 붕괴(model collapse)**라고 알려진 현상이 관찰되고 있습니다. 이는 모델이 자신의 출력물으로 재귀적 학습을 수행할 때 발생하며, 이로 인해 타겟 데이터 분포로부터 점진적인 드리프트(drift)가 발생하고, 다양성이 상실되며, 성능 저하가 일어납니다. 회귀 모델 및 최대 가능도 추정기(maximum-likelihood estimators)에서 이러한 효과가 문서화되었고, 확산 및 흐름(flow) 모델에서도 일부 경험적 연구가 진행되었으나, **스코어 기반 확산 모델(score-based diffusion models)**에 대한 엄격한 이론적 특성화는 부족한 실정입니다. 기존의 재귀적 학습에서의 오차 누적에 관한 이론적 경계는 특정 아키텍처(예: 2층 네트워크로 제한됨)에 국한되어 있거나, 학습된 분포와 타겟 분포 사이의 발산(divergence)에 대한 하한(lower bound)을 제시하지 못한다는 한계가 있습니다.

본 연구는 다음과 같은 질문을 다룹니다: 각 라운드에서 신선한 실제 데이터와 현재 모델의 합성 데이터를 혼합하는 재귀적 학습 환경에서, 세대를 거듭하며 오차는 어떻게 축적되며, 생성된 분포와 실제 데이터 분포 사이의 발산은 어떻게 진화하는가?

방법론 및 설정

저자들은 다음과 같이 정의된 재귀적 학습 파이프라인을 분석합니다:

1. 데이터 혼합: 각 세대 $i$에서 학습 데이터 $q_i$는 실제 분포 $p_{data}$로부터 추출된 신선한 샘플의 비율 $\alpha$와 현재 모델 분포 $\hat{p}_i$로부터 추출된 합성 샘플의 비율 $(1-\alpha)$의 혼합물입니다.
2. 학습 타겟: 스코어 네트워크는 $q_i$에 대해 학습됩니다. 결정적으로, 네트워크는 $p_{data}$의 스코어가 아닌 혼합물인 $q_i$의 스코어를 학습합니다. 이는 근본적인 불일치를 생성합니다.
3. 생성: 훈련된 스코어 네트워크는 역시간 확률 미분 방정식(reverse-time SDE)을 통해 다음 분포 $\hat{p}_{i+1}$을 생성합니다.
4. 지표: 분석은 $\chi^2$-발산을 기반으로 두 가지 양을 추적합니다:
   • 누적 발산 ($D_i$): 세대 $i$의 모델과 실제 데이터 사이의 발산 ($\chi^2(\hat{p}_i \| p_{data})$).
   • 세대 내 발산 ($I_i$): 단일 학습 라운드에서 도입된 오차 ($\chi^2(\hat{p}_{i+1} \| q_i)$).
     이론적 분석은 **기르사노프 정리(Girsanov's theorem)**에 의존하여 이상적인 역과정(참 스코어에 의해 구동됨)의 경로 공간 측도와 학습된 역과정(추정된 스코어에 의해 구동됨)의 경로 공간 측도를 연결합니다. 저자들은 스코어 오차 에너지($\varepsilon^2_{\star, i}$)를 참 스코어와 추정된 스코어 차이의 경로별 $L^2$ 노름으로 정의합니다.

주요 기여

1. 확산 모델을 위한 최초의 발산 하한선

본 논문은 스코어 추정 오차 에너지에 대한 세대 내 발산 $I_i$의 **하한(lower bound)**을 확립합니다.

• 결과: $\chi^2(\hat{p}_{i+1} \| q_i) \gtrsim \eta_i \cdot \varepsilon^2_{\star, i}$.
• 관측 가능성 계수 ($\eta_i$): 오차 마팅게일(error martingale)의 종단 상태에 대한 조건부 기대값의 분산으로 정의되는 새로운 항입니다. 이는 확산 과정의 종단점에서 경로별 오차가 얼마나 "관측 가능한지"를 정량화합니다.
• 의의: 저자들이 아는 바로는, 이는 비재귀적 설정에서도 확산 모델의 학습된 분포와 타겟 분포 사이의 불일치에 대한 최초의 하한선입니다. 이는 경로별 오차가 종단 관측량(terminal observables)과 직교하지 않는 한(즉, $\eta_i > 0$), 비제로(non-zero) 경로 오차가 일반적으로 비제로 분포 드리프트를 유발함을 입증합니다.

2. 발산과 스코어 오차의 양방향 등가성

새로운 하한선과 표준 상한선(데이터 처리 부등식 및 기르사노프 정리를 통해 도출됨)을 결합함으로써, 저자들은 섭동 영역(perturbative regime, 작은 스코어 오차 발생 시)에서 세대 내 발산이 스코어 오차 에너지와 등가임을 보여줍니다:
$$\chi^2(\hat{p}_{i+1} \| q_i) \asymp \varepsilon^2_{\star, i}$$
이 등가성은 상수와 관측 가능성 계수 범위 내에서 성립하며, 학습된 분포의 품질을 스코어 추정 정확도와 직접적으로 연결합니다.

3. 장기 호라이즌 오차 축적의 특성화

본 논문은 스코어 오차의 가합성(summability)에 따라 두 가지 뚜렷한 영역을 식별하며 $N$ 세대 동안 오차가 어떻게 전파되는지 분석합니다:

• 지속적 오차 (Persistent Errors): 만약 스코어 오차가 가합되지 않는다면(예: 양의 상수로 하한이 잡혀 있는 경우), 누적 발산 $D_N$은 무한대로 발산합니다. 모델은 지속적인 오차로부터 회복할 수 없습니다.
• 가합 가능한 오차 (Summable Errors): 만약 스한 스코어 오차가 가합 가능하다면 ($\sum \varepsilon^2_{\star, k} < \infty$), 누적 발산은 균등하게 유계(uniformly bounded) 상태를 유지합니다.
• 할인된 축적 법칙 (Discounted Accumulation Law): 가합 가능한 영역에서, 누적 발산은 다음과 같이 해석 가능한 분해식을 갖습니다:
  $$D_N \approx \sum_{k=0}^{N-1} (1-\alpha)^{2(N-1-k)} \varepsilon^2_{\star, k}$$
  이 공식은 $m$ 세대 전의 오차가 $(1-\alpha)^{2m}$ 인자에 의해 억제됨을 보여줍니다. 이는 "망각(forgetting)" 메커니즘을 정량화합니다: 신선한 데이터의 비율($\alpha$)이 높을수록 과거의 오차를 더 빠르게 감쇄시켜 모델 붕괴를 완화합니다.

실험 결과

저자들은 다음 환경에서 이론적 경계를 검증했습니다:

1. 10차원 가우시안 혼합 모델: 스코어와 발산을 해석적으로 계산할 수 있는 통제된 환경입니다. 결과는 상한과 하한의 타이트함(tightness) 및 관측 가능성 계수 $\eta_i$의 유효성을 확인해 줍니다.
2. 이미지 데이터셋 (Fashion-MNIST, CIFAR-10): 신경망 스코어 추정기를 사용하는 고차원 환경입니다.
   • 메모리 구조: 오차 기여도에 대한 히트맵은 이론이 예측한 기하급수적 감소를 확인시켜 줍니다. 낮은 $\alpha$ (예: 0.1)는 초기 오차가 지속되는 긴 메모리를 생성하는 반면, 높은 $\alpha$ (예: 0.9)는 최근 오차만이 중요한 짧은 메모리를 생성합니다.
   • 관측 가능성: 계수 $\eta_i$는 세대를 거듭해도 양수이며 안정적으로 유지되어, 실제 환경에서의 스코어 오차가 관측 가능하며 분포 드리프트에 기여함을 확인시켜 줍니다.
   • 시각적 붕괴: 시각화 결과, 낮은 $\alpha$는 점진적인 분산(dispersion)과 구조 상실을 초래하는 반면, 높은 $\alpha$는 분포적 충실도를 유지합니다.

의의 및 주장

본 논문은 스코어 기반 확산 모델에서 모델 붕괴의 메커니즘을 정량화하는 최초의 이론적 프레임워크를 제공한다고 주장합니다. 주요 주장은 다음과 같습니다:

• 하한선: 확산 모델에 대한 분포 발산의 최초 하한선을 도출하여, 완만한 관측 가능성 조건 하에서 스코어 오차가 필연적으로 분포 드리프트로 이어진다는 것을 입증했습니다.
• 완화 메커니즘: 매 학습 라운드마다 신선한 데이터를 포함하는 것이 과거 오차에 대한 기하급수적 할인 인자로 작용한다는 이론적 증명을 제공합니다. 이는 실제 데이터를 혼합하는 것이 모델 붕괴를 방지한다는 경험적 관찰에 대한 엄격한 근거를 제공합니다.
• 영역 특성화: 스코어 추정 오차의 가합성 여부에 따라 오차가 무한히 축적되는 영역과 유계 상태로 유지되는 영역 사이의 이분법을 식별했습니다.

저자들은 본 연구 결과가 스코어 추정 오차가 작은 영역(높은 정확도)에서 가장 유효하다고 언급합니다. 또한, 큰 오차 영역에서의 경계 확보나 이산화 오차(discretization errors)를 고려하는 것은 향후 연구 과제임을 밝히고 있습니다. 본 논문은 새로운 알고리즘을 제안하기보다는 기존의 재귀적 학습 파이프라인의 동작을 이해하고 예측할 수 있는 이론적 렌즈를 제공하는 데 목적이 있습니다.