📊 statistics

From Score Approximation to Distribution Approximation in Score-Based Diffusion Models

이 논문은 신경망을 통한 스코어 함수의 정확한 근사가 생성된 분포와 타겟 분포 사이의 쿨백-라이블러 발산을 작게 보장한다는 것을 증명함으로써, 스코어 함수 근사와 스코어 기반 확산 모델에서의 분포 생성 사이의 엄밀한 정량적 연결 고리를 확립하며, 이때 오차는 스코어 근사 오차, 노이즈 스케줄, 그리고 터미널 사전 분포 불일치에 의해 명시적으로 경계 지어진다.

원저자: Lan V. Truong

게시일 2026-07-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lan V. Truong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 걸작을 그리는 법을 가르치려 한다고 상상해 보세요. 하지만 당신은 로봇에게 완성된 그림을 보여줄 수 없습니다. 대신, 흐릿하고 노이즈가 섞인 버전의 예술 작품을 건네주며, 이미지가 다시 선명해질 때까지 단계별로 어떻게 "블러를 제거(un-blur)"할지 추측하라고 요청합니다. 이것이 바로 컴퓨터가 이미지, 음악, 심지어 분자 구조까지 생성하는 방식을 혁신적으로 변화시킨 최첨단 인공지능 기술인 **스코어 기반 확산 모델(score-based diffusion models)**의 핵심입니다. 여기서 비법은 **스코어 함수(score function)**라고 불리는 것입니다. 스코어 함수를 로봇에게 "더 가능성이 높거나" "노이즈가 적은" 데이터가 있는 방향을 항상 가리키는 마법의 나침반이라고 생각하세요. 만약 로봇이 안개 낀 들판에 서 있다면, 스코어 함수는 "이쪽으로 한 걸음 내디디면 안개가 옅어질 거야"라고 말해주는 것과 같습니다.

오랫동안 과학자들은 신경망(로봇의 두뇌)이 이 나침반을 학습하는 데 매우 뛰어나다는 것을 알고 있었습니다. 유명한 수학 정리들은 신경망에 충분한 뉴런을 제공한다면, 이 스코어 나침반을 포함한 거의 모든 함수를 완벽한 정밀도로 모사할 수 있다는 것을 증명했습니다. 하지만 한 가지 큰 의문이 이 분야에 남아 있었습니다. 로봇이 나침반을 완벽하게 배운다고 해서, 그것이 실제로 걸작을 그려낼 것을 보장할 수 있을까요? 즉, 방향에 대한 완벽한 근사가 최종 결과물에 대한 완벽한 근사를 보장할까요? 지금까지 이 연결 고리는 다소 미스터리였으며, 연구자들은 로봇의 내부 나침반이 실제로 생성된 예술품의 품질로 제대로 번역되고 있는지 확신하지 못했습니다.

"From Score Approximation to Distribution Approximation in Score- Based Diffusion Models"라는 제목의 이 논문은 엄격한 수학적 증명을 통해 이 미스터리를 해결하기 위해 등장했습니다. 저자인 란 V. 트루옹(Lan V. Truong)은 신경망이 실제 스코어 함수(나침반)를 충분히 정확하게 근사한다면, 모델에 의해 생성된 최종 이미지 또는 데이터의 분포가 실제 타겟 데이터와 수학적으로 매우 가까울 것임을 입증합니다. 저자들은 단순히 추측하는 것이 아니라, 세 가지 수학적 도구의 영리한 조합을 사용하여 이를 증명합니다: 신경망이 함수를 모사하는 능력에 관한 정리, 입자가 취할 수 있는 서로 다른 경로를 비교하는 방법에 관한 정리(기르사노프의 정리, Girsanov's theorem), 그리고 시스템을 다른 각도에서 바라볼 때 정보가 어떻게 손실되거나 보존되는지에 관한 규칙입니다.

이 논문은 명확하고 정량적인 규칙을 확립합니다: 최종 생성된 그림의 오차는 나침반의 오차에 직접적으로 연결되며, 여기에 작고 피할 수 없는 "불일치(mismatch)" 페널티가 더해집니다. 확산 과정을 하나의 여정이라고 상상해 보세요. 로봇은 여정의 끝(무작위 노이즈 더미)에서 시작하여 여정의 시작(선명한 이미지)을 향해 거꾸로 걸어갑니다. 논문은 만약 로봇의 나침반이 걷는 동안 약간 어긋나더라도, 최종 목적지는 약간 어긋나겠지만, 그 길을 잃는 거리는 나침반이 얼마나 나빴는지에 의해 엄격하게 제한된다는 것을 증명합니다. 결정적으로, 저자들은 최종 그림을 불완전하게 만들 수 있는 유일한 다른 요인은 로봇의 여정의 "시작점"(무작위 노이즘 분포)이 순방향 과정의 "종착점"과 완벽하게 일치하지 않는 경우뿐임을 보여줍니다. 만약 이 불일치가 작고 나침반이 날카롭다면, 생성된 데이터는 실제 데이터와 믿을 수 없을 정도로 가까울 것입니다.

이 연구는 퍼즐의 기초적인 조각입니다. 이 논문은 새로운 이미지 생성 방법을 발명하거나 현재의 모든 모델이 완벽하다고 주장하는 것이 아닙니다. 대신, 이러한 모델들이 왜 그렇게 잘 작동하는지를 설명해 주는 이론적 안전망을 제공합니다. 이는 신경망의 표현력(우리가 그들에게 완벽한 나침반이 되도록 가르칠 수 있는 능력)이 확산 모델 자체의 표현력으로 직접 연결된다는 것을 확인시켜 줍니다. "함수를 학습하는 것"과 "분포를 생성하는 것" 사이의 간극을 메움으로써, 이 논문은 연구자들에게 견고한 수학적 보증을 제공합니다: 즉, 당신의 신경망이 올바른 방향을 찾도록 훈련할 수 있다면, 초기 노이즈 조건만 적절히 관리할 수 있다는 전제하에 수학적으로 좋은 결과를 얻을 것이라는 보증입니다.

기술 요약: 점수 근사에서 점수 기반 확산 모델의 분포 근사로

문제 정의
점수 기반 확산 모델(score-based diffusion models)은 생성 모델링 분야에서 경험적인 성공을 거두었으나, 그 근사 이론적 토대는 여전히 불완전하다. 고전적인 보편 근사 정리(universal approximation theorems)는 신경망이 점수 함수( $\nabla_x \log p_t(x)$ )를 임의로 잘 근사할 수 있음을 보장하지만, 이러한 함수 수준의 보장이 역방향 확산 과정에 의해 생성되는 확률 분포의 근사 보장으로 어떻게 전이되는지는 여전히 불분명한 상태로 남아 있었다. 구체적으로, 학습된 점수 함수의 $L^2$ 오차와 타겟 데이터 분포 및 역방향 과정에 의해 생성된 분포 사이의 쿨백-라이블러(Kullback–Leibler, KL) 다이버전스 사이의 엄밀한 정량적 연결 고리가 부족하다.

방법론
본 논문은 근사 이론, 확률 해석학, 정보 이론을 결합한 3단계 분석 프레임워크를 통해 점수 근사와 분포 근사 사이의 엄밀한 정량적 연결을 구축한다.

기르사노프 정리(Girsanov's Theorem)를 통한 경로 측도 분석: 저자들은 실제 역방향 시간 확률 미분 방정식(SDE)과 학습된 역방향 시간 SDE(실제 점수가 신경망 근사치 $s_\theta$ 로 대체된 경우) 사이의 관계를 분석한다. 경로 공간(path space)에 기르사노프 정리를 적용함으로써, 실제 경로 측도 $P$ 와 학습된 경로 측도 $Q_\theta$ 사이의 KL 다이버전스에 대한 명시적인 항등식을 유도한다. 이 항등식은 경로 공간의 다이버전스를 두 가지 성분으로 분해한다: 순방향 과정의 종단 분포( $p_T$ )와 역방향 과정을 초기화하는 데 사용된 사전 분포( $p_{prior}$ ) 사이의 KL 다이버전스, 그리고 확산 계수 $g(t)$ 에 의해 가중치가 부여된 점수 근사의 시간 통합 $L^2$ 오차를 나타내는 적분항이다.
데이터 처리 부등식(Data Processing Inequality)을 통한 데이터 분포로의 투영: 경로 공간의 다이버전스를 최종 생성된 데이터 분포와 연결하기 위해, 저자들은 상대 엔트로피에 대한 데이터 처리 부등식을 적용한다. 저자들은 시점 $t=0$ 에서의 주변 분포(marginal distributions) 사이의 KL 다이버전스(타겟 $\mu$ 와 생성된 $\mu_\theta$ 사이)가 해당 경로 측도들 사이의 KL 다이버스에 의해 상계됨을 증명한다. 이 단계에서는 라돈-니코딤 미분(Radon–Nikodym derivative)과 젠슨의 부등식(Jensen's inequality)을 활용하여, 경로 측도를 초기 상태로 투영하는 것이 다의를 증가시키지 않음을 보여준다.
보편 근사 정리와의 통합: 저자들은 유도된 경계값들을 호닉(Hornik)의 보편 근사 정리와 결합한다. 저자들은 임의의 $\epsilon > 0$ 에 대하여, 실제 점수 함수를 $L^2(\mu)$ 오차 $\epsilon$ 내에서 근사하는(특정한 전역 립시츠 연속성(global Lipschitz continuity)과 같은 정칙성 조건을 만족하는) 신경망 $s_\theta$ 가 존재함을 입증한다.

주요 결과
중심 결과인 **정리 1(Theorem 1)**은 분포 근사 오차에 대한 명시적인 상한을 제공한다. 이 정리는 만약 신경망 $s_\theta$ 가 실제 점수 $s$ 를 $\|s_\theta - s\|_{L^2(\mu)}^2 < \epsilon$ 범위 내에서 근사한다면, 타겟 데이터 분포 $\mu$ 와 생성된 분포 $\mu_\theta$ 사이의 KL 다이버전스는 다음과 같음을 명시한다:

$KL(\mu \| \mu_\theta) < \delta + \frac{1}{2}g_{max}^2 \epsilon$

여기서:

$\delta = KL(p_T \| p_{prior})$ 는 순방향 과정의 종단 분포와 역방향 과정의 사전 분포 사이의 불가피한 불일치를 정량화한다.
$g_{max} = \max_{t \in [0,T]} |g(t)|$ 는 최대 확산 노이즈 스케줄 계수이다.
$\epsilon$ 은 점수 함수의 제곱 $L^2$ 근사 오차이다.

이 결과는 드리프트(drift) 및 점수 함수의 전역 립시츠 연속성 가정(특정 활성화 함수를 사용하는 일반적인 신경망 구조에 의해 충족됨)과 지수 마팅게일(exponential martingale)에 대한 노비코프 조건(Novikov condition) 하에서 성립한다.

의의 및 주장
본 논문은 신경망의 표현력이 점수 기반 확산 모델의 생성 능력과 어떻게 연결되는지에 대한 엄밀한 이론적 토대를 제공한다고 주장한다. 구체적으로:

실제 점수를 $L^2$ 의미에서 임의로 정확하게 근사하는 것이 불가피한 사전 분포의 불일치를 제외하고는 생성된 분포의 KL 다이버전스를 임의로 작게 만드는 것을 입증한다.
본 연구는 유한 샘플 설정과 데이터 구조적 가정에 초점을 맞춘 최근의 통계적 학습 분석(예: Chen et al.)을 보완한다. 대신, 본 논문은 특정 데이터 분포 구조와 무관하게 유클리드 공간에서의 일반적인 근사 이론적 관점을 제공한다.
유도된 경계값은 점수 기반 학습에 대한 단순하고 명시적인 정당성을 제공한다: 즉, 점수 네트워크의 정확도를 높이는 것이 생성된 분포의 품질을 KL 의미에서 직접적으로 향상시킨다는 것이다.

저자들은 본 분석이 연속 시간 SDE에 집중하고 있으나, 이 프레임워크가 이산 시간 모델(DDPM), 확률 흐름 ODE(probability flow ODEs), 그리고 비유클리드 데이터 공간으로 확장될 가능성을 시사한다고 언급하였으나, 이는 향후 과제로 남겨두었다.

기술 요약: 점수 근사에서 점수 기반 확산 모델의 분포 근사로

유사한 논문