기술적 요약: 확산, 스코어 기반, 및 흐름 매칭 생성 모델의 통합 측도론적 관점

문제 제기

생성 모델링은 $\mathbb{R}^d$ 상의 복잡한 데이터 분포 $\rho_{\text{data}}$로부터 표본을 생성하는 메커니즘을 학습하는 것을 목표로 한다. 지난 10 년간 변분 오토인코더 (VAE), 생성적 적대 신경망 (GAN), 정규화 흐름 (Normalizing Flows) 등 다양한 패러다임이 등장했으나, 최근의 진전은 간단한 기준 분포 (예: 가우시안) 를 시간 의존적 역학을 통해 데이터 분포로 진화시키는 방법들로 수렴하고 있다.

이 분야는 표기법이 다르지만 밀접하게 관련된 여러 계열로 분열되어 있다:

1. 확산 모델 (Diffusion Models): 이산 시간 마르코프 체인 (DDPM) 이나 연속 시간 확률 미분 방정식 (SDE) 을 통해 종종 소개된다.
2. 스코어 기반 모델 (Score-Based Models): SDE 의 시간 역전을 통해 공식화되며, 스코어 함수 ($\nabla \log \rho_t$) 의 추정에 의존한다.
3. 흐름 매칭 (Flow Matching): 명시적인 스코어 추정을 우회하는 경우가 많으며, 지정된 확률 경로에 대한 회귀를 통해 직접 속도장을 학습하는 방법이다.

본 개요가 다루는 주요 과제는 이러한 방법들 간의 관계, 동등성, 그리고 차이점을 명확히 하는 통합된 프레임워크의 부재이다. 문헌은 분열된 표기법, 경쟁하는 유도 과정 (이산 대 연속, 확률적 대 결정론적), 그리고 설계 선택 (경로, 장, 샘플러) 이 이론적 보장과 실제 성능 (안정성, 샘플링 속도, 가능도 계산) 에 미치는 영향에 대한 명확성 부족으로 고통받고 있다.

방법론: 통합 측도론적 프레임워크

저자들은 확산, 스코어 기반, 및 흐름 매칭 모델을 **확률 수송 (probability transport)**의 사례로 해석하는 통합된 기술적 관점을 제안한다. 이 프레임워크는 세 가지 핵심 설계 선택에 기반한다:

1. 확률 경로 $(\mu_t)_{t \in [0,1]}$

모든 방법은 목표 데이터 분포 $\mu_0$와 다루기 쉬운 기준 분포 $\mu_1$(일반적으로 가우시안) 을 연결하는 중간 분포의 계열을 정의한다.

• 확산/스코어: 경로는 전방 노이즈 과정 (이산 마르코프 체인 또는 연속 SDE) 의 주변분으로 암시적으로 정의된다.
• 흐름 매칭: 경로는 결합 $\pi(x_0, x_1)$과 보간 규칙 (예: 아핀 보간) 을 통해 명시적으로 정의되며, 고정된 확산의 부산물이 아닌 직접적인 모델링 선택으로 경로를 만든다.

2. 학습된 장 (Learned Field)

이 방법들은 수송을 주도하기 위해 학습하는 벡터 장에서 차이가 있다:

• 스코어 장 ($s_\theta$): 스코어 기반 및 확산 모델에서 사용된다. 스코어는 $s_t(x) = \nabla_x \log \rho_t(x)$로 정의된다. 이 장은 노이즈 제거 스코어 매칭 (DSM) 또는 노이즈 예측 목적 함수를 통해 학습된다.
• 속도 장 ($v_\theta$): 흐름 매칭 및 연속 정규화 흐름 (CNF) 에서 사용된다. 이 장은 연속 방정식을 통해 결정론적 수송을 정의한다. 흐름 매칭에서 속도는 끝점 조건부 경로 미분 $\dot{x}_t$에 대한 회귀를 통해 학습된다.

3. 샘플링 역학

생성은 $t=1$에서 $t=0$으로 수송을 역전시킴으로써 진행된다.

• 역시간 SDE: 시간 역전 이론에서 유도된 확률적 샘플러로, 스코어 장이 필요하다.
• 확률 흐름 ODE: 전방 SDE 와 동일한 1 시점 주변분 (one-time marginals) 을 공유하도록 구성된 결정론적 샘플러이다. 이는 $v_{\text{PF}}(x, t) = f(x, t) - \frac{1}{2}g(t)^2 s_t(x)$라는 속도장을 유도한다.
• 직접 ODE: 흐름 매칭에서 학습된 속도 장이 직접 ODE 샘플러를 정의한다.

수학적 통합

이 논문은 측도론적 언어를 사용하여 형식적 동등성을 확립한다:

• 주변분 동등성: 확률 흐름 ODE 와 전방 SDE 는 서로 다른 경로 측도 (궤적에 대한 분포) 를 유도함에도 불구하고 동일한 1 시점 주변분 $(\mu_t)$ 계열을 유도한다.
• 목적 함수 동등성: DDPM 노이즈 예측 손실, 노이즈 제거 스코어 매칭 (DSM), 그리고 연속 시간 스코어-SDE 목적 함수는 모두 가중치 스코어 회귀 문제로 밝혀진다. 이들은 동일한 통계적 객체 (교란된 주변분의 스코어) 를 추정하지만, 파라미터화 (노이즈 예측 대 스코어 예측) 와 시간 의존적 가중치에서 차이가 있다.
• 흐름 매칭 최적성: 조건부 흐름 매칭 손실 (끝점 조건부 경로 미분에 대한 회귀) 의 모집단 최소자는 지정된 경로에 대한 연속 방정식을 만족하는 주변분 속도 장 $v^*(x, t) = \mathbb{E}[\dot{x}_t \mid x_t = x, t]$이다.

주요 기여

이 논문은 네 가지 주요 기여를 한다:

1. 통합 수송 관점: SDE/ODE 역학과 이에 연관된 편미분 방정식 (Fokker-Planck 및 연속 방정식) 을 활용하여 확산, 스코어 기반, 및 흐름 매칭 방법을 공통된 확률 수송 프레임워크 내에서 제시한다.
2. 샘플러에 대한 동등성 지도: 역시간 SDE 샘플링과 결정론적 확률 흐름 ODE 샘플링 간의 관계를 명확히 한다. 두 방법은 동일한 1 시점 주변분 (따라서 동일한 목표 분포) 을 공유하지만, 경로 공간 행동과 수치적 특성 (예: 강성, 이산화 오차) 에서는 차이가 있음을 규명한다.
3. 통합된 학습 목적 함수 관점: DDPM 스타일 손실, 노이즈 제거 스코어 매칭, 그리고 연속 시간 스코어-SDE 목적 함수를 가중치 스코어 회귀 문제로 연관 짓는다. 또한 이를 지정된 확률 경로 하의 속도 회귀로서 흐름 매칭과 연결하여, 많은 "다른" 손실 함수들이 동일한 근본 추정 문제의 재파라미터화임을 입증한다.
4. 이론 - 실천 간 다리: 근사, 추정, 이산화, 그리고 경로 불일치 효과를 공통 오차 분해로 조직화한다. 이 관점은 경로 설계, 강건성, 조건부 처리, 그리고 빠른 샘플링에 관한 열린 문제들을 부각시킨다.

결과 및 이론적 통찰

이 논문은 새로운 실험 결과를 제시하지는 않지만, 기존 이론적 결과를 종합하여 구조적 결론을 도출한다:

• 스코어 대 속도: 스코어 파라미터화는 확산의 시간 역전에 자연스럽고, 속도 파라미터화는 결정론적 수송에 자연스러우며 더 직접적인 수치적 제어를 제공한다.
• 경로 설계의 조절 장치: 확률 경로의 선택 (확산의 노이즈 스케줄, 흐름 매칭의 결합/보간) 은 수치적 안정성과 샘플링 효율성의 주요 결정 요인이다. "정렬된" 경로 (Rectified Flow 와 같이) 는 강성을 줄이고 거친 이산화를 가능하게 한다.
• 오차 원인: 생성 오차는 다음과 같이 분해된다:
  1. 근사 오차: 신경망이 실제 장을 표현할 수 있는 능력.
  2. 추정 오차: 유한한 데이터와 최적화의 한계.
  3. 이산화 오차: SDE/ODE를 풀 때의 수치적 편향.
  4. 경로 불일치: 학습 경로와 샘플링 역학 간의 불일치.
• 가능도 계산: 확률 흐름 ODE 는 순간 변수 변환 공식을 통해 가능도 계산을 가능하게 하여, 확산 모델을 가능도 기반 정규화 흐름과 연결한다. 그러나 스코어 근사 및 수치적 적분 오차로 인해 실제에서는 종종 근사적으로 수행된다.

중요성 및 주장

저자들은 확산, 스코어 기반, 및 흐름 기반 방법 간의 경계가 모호해진 방법론적 수렴으로 인해 통합된 개요가 시의적절하다고 주장한다. 이 작업의 중요성은 다음과 같다:

• 분열 해소: 문헌의 "분열된 표기법과 경쟁하는 유도 과정"을 해결하여, 많은 기술들이 주로 경로의 선택, 학습된 장 (스코어 대 속도), 그리고 샘플링 역학 (SDE 대 ODE) 의 차이로만 다름을 보여준다.
• 실제적 중요성: 방법을 학습된 역학으로 보는 관점은 수치 분석의 중요성을 강조한다. 이산화 편향, 강성, 그리고 솔버 선택은 특히 조건부 제약이 오차를 증폭시킬 수 있는 역문제에서 샘플 품질과 비용에 실질적인 영향을 미친다.
• 이론적 명확성: 측도론적 관점을 채택함으로써 끝점 법칙의 동등성, 1 시점 주변분의 동등성, 그리고 경로 측도의 동등성을 구분한다. 이는 형식적 유사성 (예: SDE 와 ODE 샘플러가 주변분은 공유하지만 경로 측도는 공유하지 않음) 의 과도한 해석을 방지한다.
• 미래 방향: 통합된 관점은 체계적인 경로 설계, 결합된 학습 - 샘플링 분석, 그리고 비유클리드 또는 이산 공간으로의 일반화와 같은 열린 문제들이 특정 방법의 고립된 문제가 아니라 모든 패러다임에 공통된 과제임을 시사한다.

이 논문은 확산, 스코어 기반 모델, 그리고 흐름 매칭이 확률 수송의 상호 보완적 파라미터화라고 결론짓는다. 경로 정렬 (흐름 매칭에서와 같이) 과 같은 한 분야의 진전은 장, 경로, 그리고 솔버라는 공통 언어 내에서 분석된다면 다른 분야에도 영향을 미칠 가능성이 높다.