💬 NLP

A Tutorial on Diffusion Theory: From Differential Equations to Diffusion Models

이 튜토리얼은 미분 방정식으로부터 확산 모델의 순방향 및 역방향 동역학을 유도하고, 표준 훈련 목적 함수와 스코어 매칭 간의 동등성을 입증하며, DDPM, DDIM, 유도 생성과 같은 다양한 샘플링 방법 간의 이론적 연결 관계를 명확히 함으로써 확산 모델을 위한 통합 프레임워크를 제공합니다.

원저자: Jiayi Fu, Yuxia Wang

게시일 2026-05-22

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jiayi Fu, Yuxia Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고해상도의 아름다운 고양이 사진을 상상해 보세요. 이제 옛날 TV 의 정전기를 서서히 높여 그 그림이 완전히 하얀 잡음의 바다에 사라질 때까지 상상해 보세요. 이것이 바로 **전방 과정 (Forward Process)**입니다.

이제 그 잡음을 보고 "이 특정 부분에서 잡음을 아주 조금만 제거하면 고양이의 귀가 살짝 모습을 드러낼 거야"라고 말할 수 있는 초지능 탐정을 상상해 보세요. 만약 이 탐정이 이 단계를 반복적으로 수행한다면, 그 잡음을 다시 선명한 고양이 사진으로 되돌릴 수 있습니다. 이것이 바로 **역과정 (Reverse Process)**이며, 확산 모델 (Diffusion Models) 이 이미지를 생성하는 방식입니다.

지ayi 푸 (Jiayi Fu) 와 왕위샤 (Yuxia Wang) 의 이 논문은 본질적으로 미분 방정식 (시간에 따라 사물이 어떻게 변하는지를 설명하는 수학) 의 언어로 쓰인 '사용자 매뉴얼'입니다. 이 논문은 과학자들이 이 모델들을 바라보던 여러 가지 다른 방식을 하나의 크고 일관된 이야기로 통합합니다.

다음은 그들의 이야기를 단순한 비유를 통해 풀어낸 내용입니다:

1. 여정을 설명하는 두 가지 방법 (SDE 대 ODE)

이 논문은 선명한 이미지를 잡음으로 바꾸는 과정 (그리고 그 반대의 과정) 을 두 가지 다른 수학 언어로 설명할 수 있다고 말합니다:

확률적 경로 (SDE): 안개 낀 숲을 걷는 등산객을 상상해 보세요. 그들은 지도 (가야 할 방향) 를 가지고 있지만, 바람 (무작위 잡음) 이 계속把他们 약간 방향에서 벗어나게 만듭니다. 모든 걸음은 계획된 방향과 무작위 돌풍의 혼합입니다. 이것이 **확률 미분 방정식 (Stochastic Differential Equation, SDE)**입니다.
결정론적 경로 (ODE): 이제 같은 등산객을 상상하되, 이번에는 바람이 완벽하게 예측 가능하거나, 무작위성 없이 그들이 가야 할 곳으로 정확히 이동시키는 거대한 매끄러운 컨베이어 벨트 위를 걷는다고 가정해 보세요. 이것이 **상미분 방정식 (Ordinary Differential Equation, ODE)**입니다.

큰 통찰: 이 논문은 두 경로가 서로 다르게 보일지라도 (하나는 흔들리고 하나는 매끄러움), 둘 다 같은 장소 (선명한 이미지) 에서 시작하여 같은 장소 (순수한 잡음) 에서 끝난다는 것을 증명합니다. 더 중요한 것은, 어떤 순간에든 둘이 정확히 같은 '밀도 지도'를 따른다는 것입니다. 흔들리는 경로와 매끄러운 경로 사이를 전환해도 최종 결과는 변하지 않습니다.

2. "스코어 (Score)" (탐정의 직감)

탐정은 어떻게 가야 할 방향을 알까요? 그들은 **스코어 (Score)**라는 것을 사용합니다.

수학적으로 '스코어'는 확률의 기울기입니다. 쉬운 말로 생각하면 **기울기 (slope)**입니다.

언덕 위에 서 있다면, 그 기울기는 '위쪽' (데이터가 있는 곳) 과 '아래쪽' (잡음이 있는 곳) 을 알려줍니다.
모델의 역할은 이 기울기를 배우는 것입니다. 모델은 잡음이 섞인 이미지를 보고 "위쪽 방향 (실제 이미지 쪽) 은 이쪽이야"라고 말하도록 학습합니다.

이 논문은 이러한 모델들을 훈련시키는 표준적인 방법 (추가된 잡음을 추측하도록 요구하는 것) 이 바로 이 '기울기'나 스코어를 배우도록 요구하는 것과 수학적으로 동일하다는 것을 보여줍니다. 마치 학생에게 공식을 직접 가르치는 대신 문제를 풀게 하여 답을 찾도록 가르치는 것과 같습니다. 이 논문은 이 두 가지 교육 방법이 실제로는 같은 것임을 증명합니다.

3. 훈련: 잡음 제거 학습

이 논문은 모델에게 복잡한 '기울기' 수학을 직접 가르칠 필요가 없다고 설명합니다. 대신, 잡음이 섞인 이미지를 보여주고 "우리가 추가한 잡음이 무엇이었나요?"라고 묻기만 하면 됩니다.

모델이 잡음을 완벽하게 예측하는 법을 배우면, 자동으로 기울기도 배우게 됩니다.
일단 기울기를 알면, 역과정을 거꾸로 수행할 수 있습니다: 순수한 잡음에서 시작하여 '언덕 위'로 걸어 올라가 새로운 사실적인 이미지를 만들어냅니다.

4. 다양한 '보행자' (DDPM, DDIM, DPM-Solver)

이 논문은 사람들이 이미지를 생성하는 데 사용하는 여러 유명한 알고리즘을 통합합니다. 이 논문은 이 모든 것들이 그 '기울기'를 따라 걸을 때의 서로 다른 방식일 뿐이라고 설명합니다:

DDPM (신중한 등산객): 이 방법은 작고 신중한 걸음을 떼습니다. 각 단계마다 약간의 무작위성을 추가합니다 (SDE 와 유사). 정확하지만 느립니다.
DDIM (매끄러운 슬라이더): 이 방법은 무작위 바람을 무시하고 매끄러운 컨베이어 벨트 (ODE) 를 따라갑니다. 무작위 돌풍에 반응하는 시간을 낭비하지 않기 때문에 훨씬 빠르지만, 매우 좋은 지도 (잘 훈련된 모델) 가 필요합니다.
DPM-Solver (익스프레스 엘리베이터): 이는 수학적인 트릭을 사용하여 작은 걸음 대신 언덕을 거대하고 효율적으로 뛰어오르는 새로운 방법입니다. 기록적인 시간으로 정상 (최종 이미지) 에 도달합니다.

이 논문은 DDPM이 본질적으로 흔들리는 경로 (SDE) 의 이산적 버전이고, DDIM은 매끄러운 경로 (ODE) 의 이산적 버전임을 보여줍니다. 이 둘은 같은 동전의 양면입니다.

5. 과정 안내 (분류기 안내, Classifier Guidance)

때로는 단순히 '고양이'가 아니라 '검은' 고양이를 원할 수도 있습니다. 탐정을 어떻게 조종할까요?

분류기 안내 (Classifier Guidance): 두 번째 전문가 (분류기) 를 데려와 "검은색을 더! 흰색을 덜!"이라고 외치게 합니다. 탐정은 이미지의 기울기와 전문가의 외침을 모두 듣고, 검은 고양이를 만들도록 경로를 조정합니다.
분류기 없는 안내 (Classifier-Free Guidance): 두 번째 전문가를 고용하는 대신, 주 탐정을 "무엇을 원하는지 모른다" (조건 없음) 고 말할 수 있고 "검은 고양이를 원한다는 것을 안다" (조건 있음) 고 말할 수 있도록 훈련시킵니다. 생성 과정에서 이 두 가지 답변을 혼합하여 결과를 조종합니다. 이 논문은 이러한 '혼합'이 왜 그렇게 잘 작동하는지 그 수학적 배경을 설명합니다.

6. 대통합: 흐름 매칭 (Flow Matching)

마지막으로, 이 논문은 확산 모델을 **흐름 매칭 (Flow Matching)**이라는 더 새로운 분야와 연결합니다.

흐름 매칭은 잡음 구름에서 데이터 구름으로 직선을 그리는 것과 같습니다.
확산은 구불구불한 강 길과 같습니다.

이 논문은 비록 서로 다르게 보이지만, 같은 방식으로 훈련한다면 (잡음/스코어 예측), 결국 정확히 같은 여정을 설명한다는 것을 증명합니다. '잡음 예측' 손실 함수는 사실 위장된 '흐름 매칭' 손실 함수입니다. 차를 운전하든 자전거를 타든 같은 GPS 좌표를 따른다면 같은 목적지에 도착한다는 사실을 깨닫는 것과 같습니다.

요약

이 논문은 다리를 놓는 역할을 합니다. 서로 다른 확산 알고리즘 (DDPM, DDIM, 흐름 매칭) 의 복잡하고 messy 한 세계를 가져와서, 이 모든 것이 동일한 미분 방정식을 푸는 서로 다른 방식일 뿐임을 보여줍니다.

전방: 데이터를 잡음으로 변환 (쉬움).
역과정: 잡음을 데이터로 변환 (어려움).
비밀: 잡음을 추측하여 '기울기 (스코어)'를 학습.
결과: 흔들리는 지팡이 (SDE) 로 걷든 매끄러운 레일 (ODE) 위에서 미끄러지든, 기울기를 따르면 아름다운 이미지를 생성할 수 있습니다.

기술적 요약: 확산 이론 튜토리얼: 미분 방정식에서 확산 모델까지

문제 제기

확산 모델은 생성 모델링에서 지배적인 패러다임으로 부상했으나, 이 분야는 이산 마르코프 체인 (DDPM), 연속 확률 미분 방정식 (SDE), 확률 흐름 상미분 방정식 (ODE), 스코어 매칭, 흐름 매칭 등 다양한 공식의 난립을 특징으로 합니다. 이러한 접근법들이 서로 관련되어 있음은 알려져 있지만, 학습 목적 함수, 역시간 역학, 샘플링 절차와 관련된 정확한 수학적 대응 관계는 서로 다른 표기법과 이산 대 연속 관점의 차이로 인해 종종 모호해집니다. 본 튜토리얼은 미분 방정식의 관점에서 엄격하게 확산 모델을 유도함으로써 이러한 관점들을 통합하고, 조건부 가우시안 과정, 주변화된 전방 역학, 그리고 이에 상응하는 역시간 공식 사이의 엄밀한 다리를 구축하는 것을 목표로 합니다.

방법론

본 논문은 확률적 미적분학과 편미분 방정식에 기반한 엄밀한 수학적 프레임워크를 채택하여 확산 모델의 이론을 재구성합니다. 방법론은 다음과 같은 논리적 단계를 거쳐 진행됩니다:

조건부 전방 과정: 저자들은 $\alpha_t$ 와 $\sigma_t$ 매개변수에 의해 지배되는 조건부 가우시안 전방 과정 $X_t | X_0 = x_0$ 를 정의하는 것으로 시작합니다. 이들은 이 특정 경로가 두 가지 동등한 표현을 허용함을 보여줍니다:
- 조건부 스코어에서 유도된 속도장에 의해 주도되는 조건부 ODE.
- 드리프트 항과 브라운 운동에 의해 주도되는 조건부 SDE.
  본 논문은 조건부 밀도가 ODE 에 대해서는 연속 방정식을, SDE 에 대해서는 포커 - 플랑크 방정식을 만족함을 증명합니다.
주변화: 데이터 분포 $p_0$ 에 대해 조건부 과정을 평균화함으로써, 저자들은 주변화된 전방 과정을 유도합니다. 그들은 주변 밀도 $p_t(x)$ 가 또한 연속 방정식과 포커 - 플랑크 방정식을 만족함을 보여줍니다. 핵심적으로, 그들은 **피셔의 항등식 (Fisher's Identity)**을 활용하여 주변 스코어 $\nabla \log p_t(x)$ 를 조건부 스코어의 기댓값과 연결하고, 주변 속도장이 조건부 속도장의 기댓값임을 확립합니다.
역시간 역학: 본 논문은 역시간 변수 $\tau = 1-t$ 를 도입하고 역시간 역학을 유도합니다.
- 역 SDE: 전방 SDE 의 시간 역전을 사용하여, 저자들은 주변 스코어 $\nabla \log p_t(x)$ 에 의해 주도되는 역 SDE 를 유도합니다.
- 역 ODE (확률 흐름): 그들은 역 SDE 와 동일한 주변 밀도 경로를 공유하는 결정론적 ODE 를 유도합니다. 이 "확률 흐름 ODE"는 스코어의 아핀 변환인 속도장을 가짐이 입증됩니다.
학습 목적 함수: 튜토리얼은 실제에서 사용되는 표준 노이즈 예측 목적 함수를 이론적 스코어 매칭 목적 함수와 연결합니다. 직교 항등식을 사용하여, 저자들은 신경망의 노이즈 예측과 실제 노이즈 간의 기대 제곱 오차를 최소화하는 것이 (상수만큼) 스코어 매칭 손실을 최소화하는 것과 동등함을 증명합니다. 이는 표준 학습 목적 함수가 역 SDE 와 역 ODE 모두에 필요한 주변 스코어를 학습함을 확립합니다.
샘플링 및 통합: 본 논문은 학습된 역 SDE (Euler–Maruyama) 와 역 ODE (Euler, Heun, DPM-Solver) 에 대한 샘플링 알고리즘을 상세히 설명합니다. 마지막으로, 이산 DDPM 과 DDIM 알고리즘을 이 연속 프레임워크에 명시적으로 매핑합니다:
- DDPM은 역 SDE 의 이산 근사에 해당함이 보여지며, 여기서 확률적 항은 이산 체인의 정확한 사후 분산을 활용합니다.
- DDIM은 역 ODE (결정론적) 의 이산 근사에 해당함이 보여지며, 확률성 매개변수 $\eta$ 를 통해 두 가지 사이의 보간이 가능합니다.
가이드 및 흐름 매칭: 프레임워크는 분류기 가이드와 분류기 없는 가이드를 포함하도록 확장되어, 이들이 역 드리프트를 어떻게 수정하는지 보여줍니다. 또한, 본 논문은 스코어 매칭과 흐름 매칭을 통합하여, 표준 확산 손실이 유도된 확률 흐름 ODE 에 대한 가중치 흐름 매칭 목적 함수로 해석될 수 있음을 보여줍니다.

주요 기여

통합 유도: 본 논문은 조건부 가우시안 전방 경로가 ODE 와 SDE 표현 모두를 허용하며, 이 경로를 주변화하면 일관된 주변 ODE 및 SDE 공식이 도출됨을 보여주는 단일하고 일관된 유도를 제공합니다.
목적 함수의 동등성: 표준 노이즈 예측 손실이 스코어 매칭과 동등함을 엄격하게 증명하며, 더 나아가 동일한 손실이 결정론적 역 ODE 에 대한 흐름 매칭 목적 함수를 유도함을 보여줍니다.
DDPM/DDIM 통합: 이 작업은 이산 DDPM 과 DDIM 알고리즘을 각각 연속 역 SDE 및 역 ODE 프레임워크에 명시적으로 연결합니다. DDPM 샘플링이 역 SDE 의 1 차 이산화 (특정 분산 처리 포함) 이며, DDIM 이 역 ODE 의 이산화임을 명확히 합니다.
노이즈 항의 명확화: 부록은 전방 및 역시간에 사용되는 세 가지 서로 다른 노이즈 기호 ( $W_t$ , $W^{rev}_\tau$ , $\bar{W}_t$ ) 에 대한 상세한 명확화를 제공하여, 시간 역전 설정에서 브라운 운동과 관련된 일반적인 표기법 혼란을 해소합니다.
가이드의 일반화: 튜토리얼은 역 SDE/ODE 프레임워크 내에서 분류기 및 분류기 없는 가이드를 공식화하여, 이들이 조건부 스코어를 통해 드리프트 항을 어떻게 수정하는지 보여줍니다.

결과

본 논문은 새로운 경험적 결과나 실험 벤치마크를 제시하지 않습니다. 대신, 그 "결과"는 이론적 유도 및 증명입니다:

정리 1.2 및 1.4: 조건부 가우시안 경로가 특정 ODE 와 SDE 모두에 의해 생성됨을 증명.
정리 2.1 및 2.2: 주변화된 과정이 주변 ODE 및 SDE 공식에 의해 생성됨을 증명.
정리 3.3 및 3.5: 역 SDE 와 역 확률 흐름 ODE 를 유도하여 동일한 밀도 경로를 공유함을 증명.
정리 4.2: 노이즈 예측 손실과 스코어 매칭 손실 간의 동등성 증명.
정리 7.6 및 7.7: DDPM 학습 및 추론이 이산 격자에서 역 SDE 프레임워크에 해당함을 보여줌.
정리 7.8: 결정론적 DDIM 이 역 ODE 프레임워크에 해당함을 보여줌.
명제 8.1: 확산 손실이 역 ODE 속도에 대한 가중치 흐름 매칭 목적 함수임을 증명.

중요성 및 주장

본 논문은 현대 확산 모델의 이론적 기반을 명확히 하기 위한 튜토리얼로 자리매김합니다. 그 중요성은 다음과 같습니다:

이산과 연속의 연결: 이산 마르코프 체인 공식 (DDPM) 과 연속 SDE/ODE 공식 (Song et al., 2020; Lipman et al., 2023) 사이의 명백한 단절을 해소하여, 이들이 동일한 근본적인 연속 역학의 서로 다른 이산화임을 보여줍니다.
관점의 통합: "스코어 기반" 관점 ( $\nabla \log p_t$ 학습) 과 "흐름 기반" 관점 (속도장 $v_t$ 학습) 을 통합하여, 확산 설정에서 이 두 가지가 단순한 아핀 변환으로 연결됨을 보여줍니다.
교육적 엄밀성: 모든 단계를 기본 원리 (조건부 가우시안 커널, 포커 - 플랑크 방정식, 이토 미적분) 에서 유도함으로써, 생성 모델링의 서로 다른 하위 분야에서 종종 발견되는 표기법 불일치를 피하는 자체 완결성 있는 참고 자료를 제공합니다.

저자들은 이 프레임워크가 확산 모델, 흐름 매칭, 스코어 매칭을 이해하기 위한 "단일 언어"를 제공하며, 역 SDE 가 확률적 생성 모델이고 역 ODE 가 결정론적 흐름 모델임을 연구자들이 볼 수 있게 하며, 둘 다 동일한 학습된 스코어 함수에 의해 주도됨을 보여준다고 주장합니다.