🤖 machine learning

The Effect of Stochasticity in Score-Based Diffusion Sampling: a KL Divergence Analysis

이 논문은 스코어 기반 확산 샘플링에서의 확률성(stochasticity)의 영향을 분석하기 위해 오차 수정과 증폭 사이의 트레이드오프를 드러내는 KL 발산 상한을 도출하며, 최적의 확률성 프로파일이 모델의 스코어 오차의 시간적 국소성(time-localization)에 의존함을 입증한다.

원저자: Bernardo P. Schaeffer, Ricardo M. S. Rosa, Glauco Valle

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bernardo P. Schaeffer, Ricardo M. S. Rosa, Glauco Valle

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 완벽한 고양이 그림을 그리도록 가르치려 한다고 상상해 보십시오. 단순히 사진 한 장을 건네며 "이걸 똑같이 베껴봐"라고 말하는 것이 아닙니다. 대신, 당신은 마치 채널이 맞지 않는 TV의 정지 화면처럼 순수하고 혼란스러운 정적 노이즈(static noise)로 가득 찬 캔버스에서 시작합니다. 로봇의 임무는 노이즈를 조금씩, 단계적으로 제거하여 그 아래 숨겨진 고양이를 드러내는 것입니다. 이것이 바로 현대의 이미지 생성 분야에서 스타가 된 인공지능의 일종인 **확산 모델(diffusion models)**의 마법입니다. 이 모델은 실사 사진부터 새로운 신약 설계에 이르기까지 모든 것을 만들어냅니다.

이를 위해 로봇은 "스코어 함수(score function)"라고 불리는 수학적 지도를 사용합니다. 이 스코어를 나침반이라고 생각하십시오. 이 나침반은 항상 노이즈로부터 멀어지고 고양이를 향하는 방향을 가리킵니다. 만약 로봇이 이 나침반을 완벽하게 따른다면, 결국 완벽한 고양이를 그려낼 것입니다. 하지만 여기서 까다로운 점은 로봇의 나침반이 완벽하지 않다는 것입니다. 그것은 수백만 장의 사진을 통해 학습된 하나의 '추측'이며, 때로는 약간 잘못된 방향을 가리키기도 합니다. 이러한 실수를 바로잡기 위해 로봇은 다음 움직임에 대해 두 가지 선택지를 가집니다. 직선적이고 결정론적인 경로로 이동하거나(마치 선로 위의 기차처럼), 자신의 움직임에 약간의 무작위적인 "지터(jitter)" 또는 흔들림을 추가할 수 있습니다(마치 안개 속을 헤매는 등산객이 가끔 지름길을 찾아내는 것처럼). 여기서 과학자들이 던지는 핵심 질문은 이것입니다: 이 무작위적인 지터를 추가하는 것이 로봇이 고양이를 더 빠르고 더 잘 찾도록 도와줄까요, 아니면 그저 로봇이 제 발에 걸려 넘어지게 만들까요?

베르나르도 셰퍼(Bernardo Schaeffer), 리카르도 로사(Ricardo Rosa), 글라우코 발레(Glauco Valle)라는 연구자들이 작성한 이 논문은 이 질문을 깊이 있게 파고듭니다. 그들은 단순히 추측하는 데 그치지 않고, 고급 수학을 사용하여 노이즈에서 이미지로 이동함에 따라 로봇의 "실수 수준"이 정확히 어떻게 변하는지 추적합니다. 그들은 이를 **KL 다이버전스(KL Divergence)**라는 개념으로 측정하는데, 이는 "로봇의 그림이 실제 고양이와 얼마나 다른가?"를 나타내는 세련된 방식입니다. 저자들은 답이 단순한 "예" 또는 "아니오"가 아니라는 것을 발견했습니다. 대신, 그것은 전적으로 로봇이 실수를 저지르는 시기에 달려 있습니다.

만약 로봇의 나침반이 완벽하다면(이는 이론적인 이상향입니다), 무작위 지터를 추가하는 것은 **수축 효과(contractive effect)**를 가집니다. 즉, 과정이 진행됨에 따라 로봇의 그림과 실제 고 사이의 차이를 수학적으로 줄여준다는 뜻입니다. 이는 마치 마법의 지우개처럼 작용하여 초기 오류를 매끄럽게 다듬고, 로봇이 완벽한 이미지로 더 빠르게 수렴하도록 돕습니다. 마치 퍼즐 조각이 담긴 상자를 흔드는 것과 같습니다. 흔드는 행위가 조각들이 올바른 위치에 자리 잡도록 도와주는 것입니다.

하지만 현실 세계에서 로봇의 나침반은 결코 완벽하지 않습니다. 오류가 존재합니다. 저자들은 무작위 지터를 추가하는 것이 고도의 긴장감이 흐르는 줄다리기와 같다는 것을 발견했습니다. 한쪽에는 지터가 로봇이 이전 단계에서 저질렀던 실수(누적된 오류)를 바로잡는 힘이 있고, 다른 한쪽에는 지터가 로봇의 현재 실수(지금 당장 나침반이 잘못된 방향을 가리키는 것)를 증폭시키는 힘이 있습니다.

논문은 결정적인 규칙을 밝혀냅니다: 확률성(Stochasticity, 무작가적인 지터)은 로봇의 현재 나침반 오차가 이미 저지른 실수들의 총합보다 작을 때만 도움이 됩니다. 만약 로봇이 지금 엄청난 오류를 범하고 있다면(예를 들어, 그림의 세부 사항을 완성해야 하는 과정의 아주 마지막 단계에 있을 때), 지터를 추가하는 것은 위험합니다. 이는 오류를 증폭시켜 그림을 망칠 것입니다. 하지만 과정의 초기에 있거나 현재의 오류가 작다면, 지터는 오래된 누적 오류를 쓸어버리고 상황을 구해낼 수 있습니다.

연구자들은 간단한 장난감 예시와 MNIST(손글씨 숫자), CIFAR-10(작은 컬러 이미지) 같은 실제 데이터셋을 통해 이를 테스트했습니다. 그들은 "최적의" 지터 양이 일정한 설정값이 아니라는 것을 발견했습니다. 대신, 최적의 전략은 종종 과정의 중간이나 끝부분에 지터를 폭발적으로 추가하는 것이며, 시작 부분은 주의해야 한다는 것입니다. 실험 결과, 특정 모델의 경우 샘플링 초기에만 확률성을 사용하는 것은 아직 바로잡을 만큼의 누적된 실수가 충분하지 않은 상태에서 초기 오류를 증폭시키기 때문에 해롭다는 것이 밝혀졌습니다. 반대로, 과정의 맨 마지막에 지터를 추가하는 것 역시 최종 오류가 너무 크다면 해로울 수 있습니다. 최적의 지점(sweet spot)은 보통 누적된 오류가 교정을 통해 이득을 얻을 만큼 충분히 크면서도, 현재의 오류가 증폭되지 않을 만큼 작은 특정 구간에 존재합니다. 이는 자동차 운전과 같습니다. 고속도로에 합류할 때 핸들을 흔들고 싶지는 않으며(너무 위험함), 좁은 곳에 주차할 때도 핸들을 흔들고 싶지는 않습니다(너무 정밀함이 필요함). 하지만 탁 트인 도로 중간에서 핸들을 약간 흔들어주는 것은 차선을 유지하는 데 도움이 될 수 있습니다.

또한, 이 논문은 모든 것을 완벽하게 계산할 수 있는 완전한 분석적 예시를 제공합니다. 이 통제된 환경에서, 그들은 최적의 전략이 종-종 "뱅뱅(bang-bang)" 접근법, 즉 부드럽고 지속적인 흔들림이 아니라 특정 순간에 "지터 없음"과 "최대 지터" 사이를 급격하게 전환하는 것이라는 점을 증명했습니다. 이는 더 나은 AI 예술의 비밀이 단지 더 좋은 나침반을 갖는 것이 아니라, 언제 혼돈을 받아들이고 언제 경로를 곧게 유지할지를 정확히 아는 데 있다는 것을 시사합니다.

요컨대, 이 논문은 AI 생성에서의 무작위성이 양날의 검임을 시사합니다. 그것은 과거의 실수를 바로잡는 강력한 도구가 될 수 있지만, 현재의 실수를 확대하지 않도록 주의할 때만 그렇습니다. 이러한 오류의 타이밍을 이해함으로써, 우리는 AI 모델을 더 정교하게 조정하여 더 나은 이미지를 만들고 더 신뢰할 수 있는 과학적 시뮬레이션을 구현할 수 있습니다.

기술 요약: 스코어 기반 확산 샘플링에서의 확률성(Stochasticity)의 효과

문제 정의
스코어 기반 확산 모델은 확률성 함수 $\gamma(t)$ 에 의해 매개변수화된 역시간 확률 미분 방정식(reverse-time SDE)을 해결함으로써 샘플을 생성한다. $\gamma(t) \equiv 0$ 으로 설정하면 확률 흐름 ODE(Probability Flow ODE)가 되며, $\gamma(t) > 0$ 이면 확률성이 도입된다. 경험적 증거에 따르면 확률성은 모델과 데이터셋에 따라 생성 성능을 개선하거나 저하시킬 수 있지만, 이러한 트레이드오프에 대한 통일된 이론적 이해는 부족한 실정이다. 구체적으로, 누적된 샘플링 오차와 현재의 스코어 근사 오차 사이의 상호작로가 타겟 분포에 대한 생성 분포의 진화에 어떻게 영향을 미치는지 불분명하다.

방법론
저자들은 생성된 분포 $\tilde{p}$ 와 타겟 분포 $\bar{p}$ 사이의 쿨백-라이블러(KL) 발산 $H(\tilde{p}_\tau | \bar{p}_\tau)$ 및 $H(\bar{p}_\tau | \tilde{p}_\tau)$ (여기서 $\tau$ 는 역시간)의 진화를 추적함으로써 생성 과정을 분석한다. 분석은 두 가지 주요 이론적 단계로 진행된다:

정확한 스코어 함수(Exact Score Functions): 저자들은 먼저 오차의 원인을 초기 사전 분포(즉, $p_T$ 의 근사)로 격리한다. 로그 소볼레프 부등식(Logarithmic Sobolev Inequalities, LSI)을 사용하여, KL 발산 진화를 위한 미분 방정식을 유도한다. 이들은 정확한 스코어의 경우, 어떠한 양의 확률성 $\gamma(\tau)$ 도 수축 효과를 유도하여 KL 발산을 지수적으로 감소시킴을 입증한다.
근사된 스코어 함수(Approximate Score Functions): 저자들은 스코어 함수가 신경망 $s_\theta$ $s_{θ}$ 에 의해 근사되어 오차 항 $\epsilon$ $ϵ$ 이 도입되는 현실적인 시나리오를 도입한다. 이들은 KL 발산의 시간 미분에 대한 일반적인 공식을 유도하며, 이는 근본적인 트레이드오프를 드러낸다: 확률적 항은 누적된 오차를 교정하는 메커니즘으로 작용하는 동시에 현재의 스코어 오차 $\epsilon$ $ϵ$ 을 증폭시킨다.
- 그들은 스코어 오차의 시간 프로파일과 확률성 함수의 종속적인 KL 발산 상한을 설정한다.
- 확률성이 유익한 조건을 공식화한다: 즉, 누적된 오차( $\nabla \log(\tilde{p}/\bar{p})$ 로 표현됨)의 크기가 현재의 스코어 오차 $\epsilon$ 보다 클 때 확률성이 발산을 감소시킨다.

주요 기여

일반적인 KL 발산 경계: 본 논문은 임의의 순방향 과정(forward process)과 확률성 함수 $\gamma(t)$ 하에서 양방향 KL 발산( $H(\tilde{p}|\bar{p})$ 및 $H(\bar{p}|\tilde{p})$ )에 대한 일반적인 경계를 제공한다. 이는 특정 $\gamma$ 의 선택에 집중하거나 한 방향의 발산에만 집중했던 기존 문헌을 확장한다.
오차 트레이드오프 분석: 확률성의 영향이 스코어 오차의 "시간 국소화(time-localization)"에 의해 결정된다는 것을 식별하는 새로운 분석을 제시한다. 확률성은 오차가 과정의 초기 또는 중간에 집중되어 있을 때(누적된 오차를 교정할 수 있게 함으로써) 유익하지만, 샘플링 종료 직전에 오차가 집중될 때(증폭 현상이 지배적일 때)는 해롭다.
분석적 예시 및 최적 제어: 저자들은 가우시안 분포의 선형 섭동을 사용하는 완전한 분석적 예시를 제시한다. 이 설정에서 역시간 SDE를 명시적으로 풀고, $\gamma(t)$ 의 선택을 최적 제어 문제로 공식화한다. 이들은 최적의 전략이 (1차원 케이스에서는 최대 1번의 스위칭을 갖는) "뱅뱅(bang-bang)" 제어임을 증명한다.
수치적 검증: 가우스 혼합 모델/균등 분포와 같은 토이 데이터셋 및 벤치마크(MNIST, CIFAR-10, 3D 다공성 매질)에 대한 광범위한 실험을 통해 이론적 경계와 오차 시간 프로파일 및 확률성 성능 간의 관계를 검증한다.

결과

정확한 스코어: 스코어가 정확할 때, $\gamma$ 를 증가시키면 KL 발산이 단조 감소하며, 이는 확률성이 사전 오차를 교정하는 데 엄격히 유익함을 확인해 준다. 그러나 저자들은 큰 $\gamma$ 값이 수치적 강성(numerical stiffness)을 유발하여 더 미세한 이산화 단계가 필요함을 언급한다.
근사된 스코어: 학습된 스코어의 경우, $\gamma$ $γ$ 의 효과는 비단조적이며 모델의 오차 프로파일에 따라 달라진다.
- 과정 초기에 큰 스코어 오차를 갖거나(또는 큰 사전 오차를 갖는) 모델은 확률성의 도움을 받아 누적된 편차를 교정하는 데 유리하다.
- 샘플링 궤적의 끝부분에서 스코어 오차가 급격히 증가하는 모델은 확률성에 의해 마지막 오차가 증폭되므로 피해를 입는다.
- 실험 결과, 특정 모델의 경우 확률성이 한쪽 KL 발산(예: 샘플 품질)은 개선하는 반면 다른 쪽(예: 모드 커버리지)은 저하시킬 수 있음을 보여주며, 이는 zero-forcing 및 zero-avoiding 지표의 구별된 행동을 강조한다.
가변적 확률성: $\gamma(t)$ 를 양의 상수로 설정하는 구간 $[S_{min}, S_{max}]$ 에 대한 그리드 서치를 수행한 결과, 최적의 전략은 $\gamma$ 를 전체 과정 동안 상수로 사용하는 것이 아니라, 샘플링 종료 근처의 특정 윈도우(단, 맨 마지막은 아님)에서만 확률성을 적용하는 것을 포함하는 경우가 많음을 시사한다.

의의 및 주장
본 논문은 확률적 샘플링의 가변적 효능에 관한 실험적 증거를 설명하는 이론적 프레임워크를 제공한다고 주장한다. 스코어 오차의 시간 프로파일을 KL 발전과 연결함으로써, 저자들은 확률성이 유리한 시점에 대한 기준을 제시한다. 저자들은 자신들의 분석이 점근적 결과와 비점근적이고 실제적인 설정 사이의 간극을 메운다고 주장한다.

저자들은 최적 구간에 대한 발견을 보편적인 지표라기보다 "정량적 개념 증명(quantitative proof-of-concept)"으로 겸허하게 규정하며, 최적의 확률성 프로파일이 특정 훈련 하이퍼파라미터 및 데이터셋에 의존할 가능성을 인정한다. 결론적으로, 효율적인 이산화 기법을 찾는 것도 중요하지만, 연속적인 설정에서 확률성이 유익한지에 대한 더 깊은 이해가 그러한 발전의 필수적인 전제 조건임을 시사한다. 이 연구는 "최선"의 $\gamma$ 선택이 고정된 상수가 아니라 훈련된 모델의 특정 오차 역학에 따른 함수라는 점을 시사한다.

유사한 논문