Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors

기술 요약: 확산 모델은 그래디언트만을 관측한다

문제 정의
스코어 기반 확산 모델(Score-based diffusion models)은 일반적으로 시간 통합 $L_2$ 스코어 매칭 오차를 최소화함으로써 학습된다. 표준적인 이론적 분석은 학습된 분포와 타겟 분포 사이의 샘플링 불일치(예: 쿨백-라이블러 발산)를 제한하기 위해 이 전체 $L_2$ 오차에 의존한다. 그러나 본 논문은 이러한 접근 방식에 근본적인 결함이 있음을 식별한다. 즉, 전체 $L_2$ 스코어 오차는 주변 분포의 질을 나타내는 내재적 척도가 아니다. 학습된 확산 모델은 타겟 분포와 완벽하게 일치하면서도 임의로 큰 $L_2$ 스코어 오차를 가질 수 있다. 저자들은 표준 $L_2$ 메트릭이 생성된 샘플에 영향을 미치는 오차 성분과 그렇지 않은 성분을 구분하지 못한다고 주장한다.

방법론: 기하학적 분해
핵심 방법론은 **헬름홀츠-호지 분해(Helmholtz-Hodge decomposition)**를 사용하여 스코어 추정 오차 벡터장 $e_s = \hat{s}_s - \nabla \log p^\star_s$를 타겟 밀도 $p^\star_s$에 대해 두 개의 직교하는 성분으로 분해하는 것이다:

1. 관측 가능한 그래디언트 성분 ($\Pi_{G_s} e_s$): 오차를 그래디언트 장(field) 공간으로 투영한 것.
2. 보이지 않는 솔레노이드 성분 ($\Pi_{G_s^\perp} e_s$): 직교 보공간(가중 밀도에 대해 발산이 없는 장)으로 투영한 것.

저자들은 확산 과정의 주변 역학(marginal dynamics)이 포커-플랑크 방정식(Fokker-Planck equation)에 의해 지배되며, 이는 스코어 오차를 오직 가중 발산(weighted divergence) 항인 $\nabla \cdot (p^\star_s e_s)$를 통해서만 반영한다는 것을 입증한다.

• 그래디언트 성분은 이 발산에 기여하며 주변 분포의 진화에 직접적인 영향을 미친다.
• 솔레노이드 성분은 $\nabla \cdot (p^\star_s e_{inv}) = 0$을 만족한다. 결과적으로, 이 성분은 구조적으로 주변 포커-플랑크 역학에 보이지 않는다. 즉, 순수 솔레노이드 오차장을 추가하더라도 오차의 $L_2$ 노름은 증가하지만, 모든 시간 단계에서 주변 분포를 변화시키지는 않는다.

주요 기여

1. 불가능성 결과 (정리 3.1):
   저자들은 전체 $L_2$ 스코어 오차의 어떤 단조 함수도 학습된 모델과 타겟 모델 사이의 의미 있는 분포 발산(예: KL 발산)을 일률적으로 하한(lower-bound)할 수 없음을 증명한다. 이는 순수 솔레노이드 오차가 매우 큰 $L_2$ 노름을 가질 수 있음에도 불구하고 주변 분포를 타겟과 동일하게 유지할 수 있기 때문이다(즉, $KL=0$). 이는 전체$L_2$ 오차가 샘플링 품질을 제어하는 내재적 양량이 아님을 확립한다.

2. KL 발산에 대한 더 타이트한 상한선 (정리 3.2):
   오직 관측 가능한 그래디언트 성분에만 집중함으로써, 저자들은 새로운 KL 발산 상한을 도출한다:
   $$KL(p^\star_{t_0} \parallel \hat{p}_{t_0}) \lesssim \frac{1}{2} \int_{t_0}^T \sigma_s^2 \|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 ds$$
   이 상한은 솔레노이드 성분이 0이 아닐 때 표준 Girsanov 기반 상한보다 엄격하게 더 타이트하다. 저자들은 기존 상한의 느슨함을 경로 공간(path-space) 역학이 아닌 주변 공간(marginal-space) 역학을 다루는 데서 발생하는 "비용"이라고 규정한다. 또한, 관측 가능한 드리프트만을 유지하는 학습된 프로세스의 주변적으로 동등한 대표 모델에 Girsanov 논리를 적용하여 이 상한을 회복할 수 있음을 보여준다.

3. 관측 가능한 오차를 위한 다루기 쉬운 추정량 (섹션 4):
   고차원에서는 오차를 그래디언트 장으로 명시적으로 투영하는 것이 계산적으로 불가능하므로, 저자들은 그래디언트 성분의 노름을 추정하기 위해 **이중 소볼레프 항등식(dual Sobolev identity)**을 제안한다. 이들은 문제를 스칼라 값의 "크리틱(critic)" 네트워크 $\phi_\psi$에 대한 무제약 최적화 문제로 정식화한다:
   $$\|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 = \sup_{\phi} \left\{ 2 \mathbb{E}[\nabla \phi \cdot e_s] - \mathbb{E}[\|\nabla \phi\|^2] \right\}$$
   이 추정량은 명시적인 투영을 피하며, 노이즈가 섞인 데이터 분포로부터의 표준적인 샘플링을 통해 계산될 수 있다.

결과
저자들은 다양한 모델 용량에 대해 Fashion-MNIST 및 CIFAR-10 데이터셋에서 이론적 발견을 경험적으로 검증하였다:

• 오차 분해: 학습 과정 동안 스코어 오차의 그래디언트 성분은 크게 감소(수 차수 단위)하는 반면, 솔레노이드 성분은 초기에 상승하여 정체되며 결국 잔여 오차의 거의 전부를 차지하게 된다.
• 상한의 타이트함: 표준 Girsanov 상한은 솔레노이드 오차의 바닥(floor) 수준에서 포화되어 더 이상의 학습 개선을 반영하지 못한다. 반면, 새로운 상한(그래디언트 성분 기반)은 계속해서 감소하며 모델의 실제 개선을 추적한다.
• 샘플 품질과의 상관관계: 그래디언트 성분의 노름($\|\Pi_{G} e\|^2$)은 전체 $L_2$ 오차보다 Fréchet Inception Distance (FID)와 실질적으로 더 높은 스피어먼 상관관계를 보인다. 이러한 상관관계는 다양한 모델 용량에 걸쳐 유지되며, 그 격차는 작은 모델에서 가장 두드러진다.

의의 및 주장
본 논문은 스코어 매칭 오차에 대한 기하학적 관점을 제공하여, 왜 표준 학습 목적 함수가 샘플 품질에 대해 비효%적이거나 오해의 소지가 있을 수 있는지 설명한다.

• 이는 표준 디노이징 스코어 매칭(DSM)이 전체 $L_2$ 오차를 최소화함으로써, 생성된 분포에 영향을 주지 않는 솔레노이드 성분까지 부차적으로 벌칙(penalize)을 준다는 점을 명확히 한다.
• 제안된 관측 가능한 오차 메트릭은 KL 발산에 대한 더 타이트한 이론적 상한을 제공하고, FID와 같은 지각적 메트릭과 더 강하게 상관되는 실용적인 도구로서 더 나은 진단 도구 역할을 한다.
• 이 연구는 기존 이론적 상한의 "느슨함"이 수학적 인위적 현상이 아니라, 생성에 있어 주변 역학만이 중요할 때 경로 공간 분포를 분석하는 데서 발생하는 구조적 결과임을 시사한다.

저자들은 이 작업이 확산 모델의 이론적 이해를 정교화하는 작업이라고 위치시키며, 샘플 생성을 지배하는 실제 메커즘(포커-플랑크 역학)과 일치하는 더 내재적인 오차 측도를 제공한다고 주장한다. 저자들은 표준 학습 목적 함수를 대체하는 것을 제안하는 것이 아니라, 학습 역학 및 용량 활용을 더 잘 이해하기 위한 진단 도구로서 그래디언트 성분 추정기를 사용할 것을 제안한다.