기술적 요약: 확률적 생성 역학의 결정론적 분해

문제 제기

현대 생성 모델링은 점점 더 확률 수송의 관점에서 바라보며, 여기서 샘플은 단순한 기본 분포 $\pi_0$ 에서 목표 데이터 분포 $\pi_1$ 로 진화합니다. 결정론적 모델 (예: 정규화 흐름, 흐름 매칭) 은 속도장에 의해 지배되는 상미분 방정식 (ODE) 을 통해 샘플을 진화시키는 반면, 확률적 모델 (예: 확산 모델) 은 드리프트와 확산을 모두 포함하는 확률 미분 방정식 (SDE) 을 통해 샘플을 진화시킨다는 근본적인 차이가 존재합니다.

결정론적 모델은 다루기 쉬운 속도장을 제공하는 반면, 확률적 모델은 더 풍부한 밀도 진화를 포착합니다. 그러나 확률적 역학을 결정론적 표현 (예: 확률 흐름 ODE) 으로 재형식화할 때, 드리프트(방향성 수송) 와 확산(밀도 재형성) 의 고유한 메커니즘은 종종 단일 유효 속도장으로 압축됩니다. 이러한 붕괴는 결정론적 진화와 확률적 변동의 구체적인 역할을 흐리게 만들어, 샘플링 중에 이러한 효과를 분석하거나 제어하거나 독립적으로 재결합하기 어렵게 만듭니다. 기존 접근법들은 확률성을 외부 잡음 원천으로 취급하거나 완전히 통합된 드리프트에 흡수시켜, 수송과 확산 유발 효과를 분리하는 구조화된 결정론적 표현을 제공하지 못합니다.

방법론: 수송 - 삼투 분해

저자들은 확률적 생성 과정의 결정론적 속도장을 두 가지 구별되고 상호 보완적인 구성 요소인 수송장(Transport field, $u_t$) 과 삼투장(Osmotic field, $d_t$) 으로 분해하는 이론적 프레임워크를 제안합니다.

1. 이론적 유도

이 분해는 확률 과정의 고유한 양방향 구조에서 비롯됩니다. 주어진 주변 밀도 경로 $\{\pi_t\}_{t \in [0,1]}$ 에 대해, 전방 드리프트 $b^\to_t$ 와 후방 드리프트 $b^\leftarrow_t$ 는 주변 점수 $\nabla \log \pi_t$ 를 통해 결합됩니다. 표준적인 정칙성 조건 하에서 관계식은 다음과 같습니다:
$$b^\to_t(x) - b^\leftarrow_t(x) = \beta \nabla \log \pi_t(x)$$
여기서 $\beta$ 는 확산 계수입니다.

저자들은 다음과 같이 분해를 정의합니다:

• 수송장 ($u_t$): 전방 드리프트와 후방 드리프트의 평균으로 정의된 대칭 성분:
  $$u_t(x) = \frac{1}{2} (b^\to_t(x) + b^\leftarrow_t(x))$$
  이 장은 연속 방정식 ($\partial_t \pi_t + \nabla \cdot (\pi_t u_t) = 0$) 을 통해 주변 확률 수송을 지배합니다. 이는 확산을 통해 국소 밀도 기하학을 변경하지 않고 확률 질량을 이동시키는 역학의 결정론적 골격을 나타냅니다.
• 삼투장 ($d_t$): 전방 드리프트와 후방 드리프트의 차이의 절반으로 정의된 반대칭 성분:
  $$d_t(x) = \frac{1}{2} (b^\to_t(x) - b^\leftarrow_t(x)) = \frac{\beta}{2} \nabla \log \pi_t(x)$$
  이 장은 전적으로 주변 점수에 의해 결정됩니다. 이는 확산 유발, 밀도 의존적 효과 (고전적 확산 이론의 삼투 속도와 유사) 를 포착합니다. 이는 샘플별 무작위성을 나타내는 것이 아니라 확산이 주변 밀도를 어떻게 재형성하는지를 나타냅니다.

원래 전방 드리프트는 $b^\to_t = u_t + d_t$ 로 재구성됩니다.

2. 브리지 매칭 (BM) 프레임워크

이러한 분해된 장들을 학습하기 위해, 저자들은 흐름 기반 훈련 프레임워크인 브리지 매칭을 제안합니다. 단일 유효 속도를 학습하는 대신, BM 은 두 개의 별도 신경망인 $u_\theta$(수송) 와 $d_\phi$(삼투) 를 학습합니다.

훈련 목적 함수는 학습된 장들을 목표 장과 일치시키는 회귀 손실입니다:
$$\mathcal{L}_{BM} = \mathbb{E}_{t, x_t} \left[ \| u_\theta(x_t, t) - u^*(x_t, t) \|^2 + \lambda_d \| d_\phi(x_t, t) - d^*(x_t, t) \|^2 \right]$$

이 논문은 목표 $u^*$ 와 $d^*$ 를 구성하기 위한 두 가지 공식을 소개합니다:

• 주변 브리지 매칭 (MBM): 주변 분해를 직접 목표로 합니다. 수송 목표 $u^*$ 는 지정된 경로의 연속 방정식을 만족하며, 삼투 목표 $d^*$ 는 주변 점수 $\nabla \log \pi_t$ 에서 유도됩니다. 이는 종종 커널 밀도 추정 (KDE) 을 통해 주변 점수를 추정해야 합니다.
• 조건부 브리지 매칭 (CBM): 명시적인 주변 점수 추정을 피하기 위해 다루기 쉬운 조건부 분포 $p_t(x|z)$(예: 끝점 간의 가우시안 보간) 를 사용합니다. 목표는 조건부로 정의됩니다: $d^*_t(x, z) = \frac{\beta_t}{2} \nabla_x \log p_t(x|z)$ 및 $u^*_t = v^*_t - d^*_t$. 조건 변수 $z$ 에 대한 기대값은 주변 분해를 회복합니다.

3. 샘플링 및 재결합

이 프레임워크의 핵심 특징은 샘플링 시 학습된 장들을 재결합할 수 있는 능력입니다. 전방 샘플링 역학은 다음과 같이 정의됩니다:
$$b^{BM}_t(x) = u_\theta(x, t) + \lambda_d d_\phi(x, t)$$
여기서 $\lambda_d$ 는 조정 가능한 가중치입니다. 이는 확산 유발 삼투 효과의 기여도를 수송 골격과 독립적으로 조정할 수 있는 제어 가능한 샘플링을 가능하게 합니다.

주요 기여

1. 수송 - 삼투 분해: 이 논문은 확률적 생성 역학의 공식적 분해를 유도하여, 결정론적 및 확률적 모델이 공통의 주변 수송 골격 ($u_t$) 을 공유하지만 확산 유발 효과 ($d_t$) 가 샘플 역학에 통합되는 방식에서 차이가 있음을 보여줍니다.
2. 브리지 매칭 프레임워크: 저자들은 주변 및 조건부 공식을 모두 사용하여 이러한 분해된 장들을 학습하는 훈련 프레임워크를 제안하여, 점수 기반 정보를 흐름 스타일 회귀 목적 함수와 효과적으로 연결합니다.
3. 제어 가능하고 해석 가능한 샘플링: 실험 결과는 학습된 구성 요소를 다양한 가중치 ($\lambda_d$) 로 재결합함으로써 생성 과정에 대한 해석 가능한 제어가 가능함을 보여줍니다. $\lambda_d$ 를 조정하면 생성된 이미지의 선명도와 부드러움 사이의 균형을 맞출 수 있으며, 특정 2 차원 수송 작업에서 끝점 매칭을 개선합니다.

실험 결과

저자들은 브리지 매칭을 2 차원 수송 작업 (체크보드, 문, 가우시안 혼합) 및 이미지 생성 벤치마크 (CIFAR-10, ImageNet-32, ImageNet-64) 에서 평가했습니다.

• 2 차원 수송: 2 차원 작업에서 BM 변형들은 표준 흐름 매칭 (FM) 기준과 비교하여 경쟁력 있는 끝점 매칭을 달성했습니다. 최적의 삼투 가중치 $\lambda_d$ 는 작업에 따라 달라지는 것으로 발견되었습니다. 복잡하고 다중 모드인 목표의 경우 삼투 기여도를 증가시키면 매칭이 개선되었으나, 더 단순한 구조의 경우 성능을 저하시킬 수 있었습니다.
• 이미지 생성: CIFAR-10 및 ImageNet 하위 집합에서 CBM 모델은 CFM-Diffusion 기준과 비교하여 동등하거나 더 나은 생성 품질을 달성했습니다. 중요하게도, 최적의 $\lambda_d$ 는 평가 지표 (FID, KID, IS) 에 따라 달라졌으며, 이는 분해가 생성 품질의 다양한 측면 사이의 균형을 맞출 수 있는 메커니즘을 제공함을 시사합니다. 특히, 최적의 성능이 항상 $\lambda_d = 1$(이론적 재구성) 에서 달성된 것은 아니었으며, 이는 샘플링 시 재결합이 유한 용량 모델에 유용한 자유도를 제공함을 나타냅니다.
• 시각화: 벡터장의 시각화는 $u_t$ 가 일관되고 대규모 수송을 주도하는 반면, $d_t$ 는 국소 밀도 재형성을 담당하는 구조화된 더 작은 규모의 패턴을 보임을 확인시켰습니다. 입자 수준의 시뮬레이션은 $d_t$ 가 전역 수송 경향을 지배하지 않으면서도 확률 경로 따라 궤적을 이동시키는 방식을 보여주었습니다.

중요성 및 주장

이 논문은 결정론적 및 확률적 생성 역학에 대한 통합된 관점을 제공한다고 주장합니다. 수송 골격과 확산 유발 밀도 형성을 명시적으로 분리함으로써, 이 작업은 확률성이 확률 수송을 어떻게 형성하는지에 대한 해석 가능한 관점을 제공합니다.

저자들은 이 분해가 단순히 이론적 호기심이 아니라 제어 가능성을 위한 실용적 도구임을 강조합니다. 이를 통해 실무자들은 재훈련 없이 샘플링 시 "삼투 기여도"를 조정하여 샘플 특성 (예: 선명도 대 부드러움) 에 대한 세밀한 제어를 가능하게 하고, 상호작용형 샘플링 절차 (예: 일시 중지, 역방향, 중간 상태에서의 재생성) 를 용이하게 할 수 있습니다.

이 논문은 그 범위에 대해 겸손하게 서술하며, 분해는 장 기반 생성 역학에 가장 직접적으로 적용되며 별도의 장을 학습하는 것은 추가적인 모델링 및 계산 오버헤드를 도입한다고 지적합니다. 향후 연구는 하류 응용 분야에서 해석 가능성과 제어 가능성의 이점을 유지하면서 이러한 오버헤드를 줄이는 데 초점을 맞추는 것이 제안됩니다.