Score Approximation for Diffusion Models on Arbitrary Low-Dimensional Structures

문제 정의
점수 기반 확산 모델(score-based diffusion models)의 이론적 토대는 주로 기저 데이터 분포에 대한 제한적인 가정, 즉 리프시츠 연속 밀도(Lipschitz continuous densities)나 매끄러운 매니폴드 지지체(smooth manifold supports)를 요구하는 가정에 의존해 왔습니다. 그러나 실제 지각 데이터(예: 이미지)는 종종 불연속적인 밀도나 기울기(gradient)가 불안정한 특성을 가진 특이점(singularities), 날카로운 경계, 또는 분리된 클러스터를 나타냅니다. 스코어 함수 $\nabla \log p_t(x)$를 근사하기 위한 기존의 복잡도 경계는 대개 주변 차원 $n$에 대해 지수적인 의존성을 갖거나, 매끄러움이 결여된 분포에는 적용되지 못한다는 한계가 있습니다. 이러한 간극은 근본적인 이론적 질문을 제기합니다: 확산 모델은 정칙성(regularity)이나 매끄러움에 대한 가정 없이 임의의 컴팩트 데이터 분포에 대해 이론적으로 성공할 수 있는가?

방법론
저자들은 모든 연속성 및 매끄러움 가정을 제거하는 보편적 스코어 근사 프레임워크를 제안합니다. 이들의 핵심 접근 방식은 새로운 이산 혼합(discrete-mixture) 정식화와 가우시안 커널의 평활 효과(smoothing effects)에 초점을 맞춘 분석 중심 전략을 포함합니다.

1. 이산 혼합 정식화: 저자들은 초기 분포 $p_0$를 작은 볼 $B(y_i, r)$ 위에 지지체를 가진 유한한 하위 분포 $p_i$들의 혼합으로 분해합니다. 진정한 스코어 함수는 각 하위 분포에 대한 적분을 국소 평균 $\tilde{y}_i$에서의 점 질량(point-mass) 평가로 대체함으로써 근사됩니다. 이는 스코어 근사 문제를 가우시안 커널의 가중 합을 근사하는 문제로 변환합니다.
2. 분할 정복 오차 분석: 근사 오차를 바운드하기 위해, 저자들은 쿼리 포인트 $x$에 대해 "가까운(near)" 그룹과 "먼(far)" 그룹으로 공간을 분할합니다.
   • 가까운 그룹: 지지체에 가까운 점들에 대해 가우시안 커널의 국소 평균 주변에서의 테일러 전개(Taylor expansion)를 통해 근사 오차가 작음을 보여줍니다.
   • 먼 그룹: 지지체에서 멀리 떨어진 점들의 경우, 가우시안 가중치가 지수적으로 감소합니다. 저자들은 비록 이 영역에서 국소 근사 오차가 크더라도, 커널의 급격한 감소 덕분에 전체 오일에 대한 기여도는 무시할 수 있는 수준임을 증명합니다.
3. 보편적 정칙성: 이론적인 난제는 "나쁜" 점들(근사가 실패할 수 있는 점들)이 무시할 수 있는 측도를 갖도록 보장하는 것입니다. 저자들은 $C_1, C_2, r$-정칙성 조건을 도입하고 "보편적 정칙성" 정리를 증명합니다: 임의의 컴팩트 분포에 대해, 정칙적이지 않은 점들의 집합은 임의로 작은 측도를 갖습니다. 이는 근사가 거의 모든 곳(almost everywhere)에서 성립함을 보장합니다.
4. 신경망 구현: 이 이산 혼합 공식이 ReLU 네트워크에 의해 구현될 수 있음을 보여줍니다. 저자들은 제곱, 지수 함수, 나눗셈 및 Softmax 연산을 제어된 오차 내에서 근사하여 필요한 연산을 수행하는 네트워크를 구축하며, 이를 통해 출력이 지지체의 볼록 껍질(convex hull) 내에 머물도록 보장합니다.

주요 기여

• 보편적 스코어 근사 정리: 본 논문은 상부 민코프스키 차원(upper Minkowski dimension) $d$를 갖는 임의의 컴팩트 지지 분포에 대해 스코어 함수를 ReLU 네트워크로 근사할 수 있음을 입증하는 최초의 정리를 확립했습니다. 이는 리프시츠, 횔더(Hölder), 또는 소볼레프(Sobolev) 매끄러움 가정을 제거합니다.
• 복잡도 경계: 저자들은 네트워크 복잡도(파라미터 크기)가 주변 차원 $n$에는 다항식적으로 성장하고, 고유 차원 $d$에는 지수적으로만 성장함을 증명합니다. 구체적으로, 크기는 대략 $O(n^3 d/4 (1/\epsilon)^{d/2})$로 스케일링됩니다. 이는 기존 이론들을 괴롭히는 "주변 차원의 저주"를 타파합니다.
• 완화된 정칙성 조건: 보편적 정칙성 개념을 도입함으로써, 본 연구는 확률 밀도 함수가 없는 칸토어 측도(Cantor measures)와 같은 프랙탈 형태의 측도를 포함하여, 임의의 컴팩트 분포에 대해 "나쁜 집합"이 무시할 수 있는 측도를 가짐을 입명합니다.

결과
주요 결과(정리 1)는 직경 $R$과 상부 민코프스키 차원 $d$를 갖는 분포 $p_0$에 대해, 진정한 스코어 함수 $\nabla \log p_t(x)$를 데이터 예측 정식화 $\nabla \log p_{t,appr}(x) = s_\theta(x, t) - x/t$로 근사할 수 있으며, 모든 $t \in [t_0, T]$에 대해 평균 제곱 오차가 $7\epsilon^2$ 이하로 제한됨을 명시합니다.

• 근사 네트워크 $s_\theta$는 $O(\log \omega \log \log \omega)$의 깊이와 $O(C_K r^{-d} (n \log \omega + \log^2 \omega))$의 너비를 가지며, 여기서 $\omega$는 $n$과 $1/\epsilon$에 대한 다항식으로 의존합니다.
• 오차 경계는 전역적으로 유효하며, 분포 외(out-of-distribution) 점들에 대한 근사 오차는 $R/t$로 제한되어 작은 확률 영역에 대해 적분 가능합니다.

의의
본 논문은 불규칙하고 매끄럽지 않은 데이터 구조에 대한 확산 모델의 경험적 성공에 대한 엄밀한 이론적 정당성을 제공한다고 주장합니다. 매끄러움 가정 없이 임의의 컴팩트 분포에 대해 정확한 스코어 추정이 가능하다는 것을 증명함으로써, 본 연구는 이론적 보장과 실제 데이터의 특성(예: 픽셀 클리핑 및 특이점) 사이의 간극을 메웁니다. 저자들은 자신들의 분할 정복 전략과 정칙성 결과가 헤시안(Hessian)과 같은 고차 미분 항을 바운드하는 데에도 적응될 수 있으며, 이는 현재 해당 항들에 대한 유계성(boundedness) 가정에 의존하고 있는 확산 모델의 향후 이론 연구에 도움이 될 수 있다고 언급합니다. 이 연구는 스코어 근사 이론의 범위를 매끄러운 매니폴드에서 일반적인 클래스의 컴팩트 지지 분포로 확장하는 기초적인 단계로 자리매김합니다.