기술 요약: 속도 스케줄링 플로우 매칭 (Velocity Scheduled Flow Matching, VSFM)

문제 정의

플로우 매칭(Flow matching)은 노이즈 $x_0$와 데이터 $x_1$ 사이의 선형 보간선(linear interpolant)을 따르는 조건부 속도를 신경망 $v_\theta(x, t)$가 회귀하도록 학습하는 연속 시간 생성 모델링 프레임워크이다. 표준 플로우 매칭은 보간선을 직선 $x_t = x_0 + t(x_1 - x_0)$로 고정하며, 이는 궤적 전체를 따라 일정한 속도로 이동하도록 암묵적으로 결정한다.

샘플링 비용은 상미분 방정식(ODE) $dx/dt = v_\theta(x, t)$를 적분하는 데 필요한 함수 호출 횟수(NFE)에 의해 결정된다. 저(低) NFE 환경(예: 4~50 단계)에서 궤적은 오일러(Euler)와 같은 단순한 적분기를 사용하여 효율적으로 통과해야 한다. 본 논문은 일정한 속도라는 가정이 임의적인 설계 선택이며, 특히 속도장이 가장 급격하게 변하는 데이터 매니폴드 근처의 이산화 오차(discretization error) 특성과 일치하지 않을 수 있다고 주장한다.

방법론

1. 일반화된 학습 타겟

저자들은 조건부 타겟을 상수 변위에서 시변(time-varying) 형태로 일반화한 **속도 스케줄링 플로우 매칭(VSFM)**을 도입한다:
$$u_t(x | x_0, x_1) = v(t) \cdot (x_1 - x_0)$$
여기서 $v: [0, 1] \to \mathbb{R}_{\ge 0}$는 $\int_0^1 v(t) dt = 1$을 만족하는 비음수 속도 프로파일이다. 이 제약 조건은 총 변위가 $x_1 - x_0$임을 보장하는 동시에, $v(t)$가 이동 속도를 조절하도록 한다.

학습 목적 함수는 이동 프로파일 $\alpha(t) = \int_0^t v(s) ds$에 의해 결정된 위치 $x_t$에서의 상수 크기 변위 $(x_1 - x_0)$를 회귀한다:
$$L_{VSFM}(\theta) = \mathbb{E}_{t, x_0, x_1} \left[ \| v_\theta(x_t, t) - (x_1 - x_0) \|^2 \right]$$
결정적으로, 속도 프로파일 $v(t)$는 손실 크기에 가중치를 주는 방식이 아니라 오직 위치 $x_t$의 분포에만 영향을 미친다. 이는 $t=1$ 근처에서 발생할 수 있는 $v(t)^2$ 가중치와 관련된 수치적 불안정성을 방지한다.

2. 다항식 속도 프로파일

본 연구는 모션 플래닝 경계값 문제(boundary-value problems)에서 유도된 6가지 다항식 프로파일로 VSFM을 구체화한다:

• 베이스라인: 선형 ($v(t)=1$).
• 제동(Braking) 서브 패밀리: 단조 감소하는 속도 (균일 감속, 코스팅(Coasting), 부드러운 착륙). 이들은 $t=0$ 근처에서 빠르게 이동하고 $t=1$에서 정지한다.
• 대칭(Symmetric) 서브 패밀리: 양 끝단에서 속도가 0이 됨 (Ease-in-out, 최소 저크(Minimum-jerk)).

3. 추론 시 리스케줄링 (학습 불필요)

핵심 기여 중 하나는 사전 학습된 선형 플로우 매칭 모델에 재학습 없이 임의의 허용 가능한 프로파일을 적용할 수 있다는 점이다.

• 메커니즘: 사전 학습된 모델 $v_\theta$는 선형 궤적 $x_\tau = x_0 + \tau(x_1 - x_0)$ 상에서 학습되었다. 새로운 프로파일 $v(t)$ 하에서 샘플링하기 위해, 저자들은 적응된 필드 $\tilde{v}(x, t) = v(t) v_\theta(x, \alpha(t))$를 정의한다.
• 구현: 변수 변환 $\tau = \alpha(t)$를 통해, ODE는 $dx/d\tau = v_\theta(x, \tau)$가 된다. 샘플러는 비균등 그리드 $\tau_i = \alpha(i/N)$ 상에서 이 ODE를 적분한다.
• 알고리즘: 업데이트 단계는 $x_{i+1} = x_i + v_\theta(x_i, \tau_i) \cdot \Delta \tau_i$이다. 여기서 $\Delta \tau_i = \alpha((i+1)/N) - \alpha(i/N)$이다. 이는 결과적으로 비균등 시간 그리드 상에서 표준 오일러 샘플러를 실행하는 것과 같다.

4. 이산화 오차 분석

논문은 성능 향상의 원인을 오일러 적분기의 **국소 절단 오차(local truncation error)**로 돌린다. $i$ 단계에서의 오차는 $(\Delta \tau_i)^2 \cdot \frac{d^2x}{d\tau^2}$에 비례한다.

• $\frac{d^2x}{d\tau^2}$ (필드 변화량) 항은 속도장이 매우 비선형적인 $\tau=1$ (데이터 매니폴드) 근처에서 가장 크다.
• 제동 프로파일은 $t=1$ 근처에서 작은 $\Delta \tau_i$ (작은 스텝)를 할당함으로써 지배적인 오차 원인을 억제한다.
• 대칭 프로파일은 중간 지점에 큰 스텝을 집중시키는데, 이는 결정적인 비선형성이 엔드포인트에 존재하는 노이즈-투-데이터 생성 작업에는 효과가 덜하다.

주요 결과

CIFAR-10 (32x32) 데이터셋을 대상으로 클래스 조건부 UNet과 고정 스텝 오일러 적분기를 사용하여 실험을 수행하였다.

1. 처음부터 학습 (Training from Scratch)

코스팅(Coasting) 프로파일로 학습했을 때 가장 좋은 결과를 얻었다:

• 4 NFE: FID가 베이스라인 대비 17.4% 감소 (35.39 vs. 42.86).
• 50 NFE: FID가 베이스라인 대비 10.4% 감소 (8.29 vs. 9.25).
• 균일 감속(Uniform deceleration) 또한 베이스라인보다 개선된 결과를 보였으나, **부드러운 착륙(Smooth landing)**은 과도하게 큰 초기 스텝으로 인해 낮은 NFE에서 성능이 저하되었다.
• 대칭 프로파일은 높은 NFE에서 미미한 이득을 보였으나 낮은 NFE에서는 베이스라인보다 뒤처졌다.

2. 추론 시 적응 (학습 불료, Inference-Time Adaptation)

재학습 없이 공개된 TorchCFM 체크포인트(선형 학습됨)에 코스팅(Coasting) 프로파일을 적용했을 때:

• 50 NFE: FID가 19.8% 감소 (4.38 vs. 5.47).
• 32 NFE: FID가 18.6% 감소 (5.23 vs. 6.43).
• 100 NFE: 균일 감속이 가장 좋은 FID(3.89, -16.0%)를 달성했다.
• 부드러운 착륙은 32 NFE에서 큰 초기 스텝이 절단 오차를 유발하여 처음에 성능이 낮았으나(7.43 vs. 6.43), 더 높은 NFE 예산에서는 개선되었다.

의의 및 주장

본 논문은 속도 프로파일이 플로우 매칭의 적은 단계 샘플링을 개선하기 위한 단순하고 비용이 적게 드는 레버라고 주장한다. 주요 의의는 다음 두 가지 영역에 있다:

1. 학습 없는 적응 (Training-Free Adaptation): 사전 학습된 선형 플ow 매칭 모델이 추가 학습이나 구조적 변경 없이 단순히 적분 스케줄(속도 프로파일)을 변경하는 것만으로 특정 NFE 예산에 최적화될 수 있음을 입증하였다.
2. 이론적 통찰: 표준 플로우 매칭의 일정한 속도 가정이 오일러 적분에 있어 최적이 아님을 밝혀냈다. 스텝 크기를 국소 절단 오차와 일치시킴으로써(변화가 심한 곳에서 더 작은 스텝을 취함), 특히 저(低) NFE 환경에서 상당한 품질 향상을 달할 수 있다.

저자들은 이러한 발견이 오일러 적분기와 노이즈-투-데이터 생성 작업에 특화되어 있음을 언급한다. 이들은 이미지-투-이미지 작업(소스가 구조화된 경우)이나 선행 절단 오차를 상쇄하는 고차 솔버를 사용할 경우 결과가 달라질 수 있음을 시사한다. 본 연구는 CIFAR-10과 다항식 프로파일에 국한되어 있으며, 고해상도 데이터셋에 대한 재현 및 학습된 또는 비다항식 프로파일에 대한 탐구가 향후 과제로 남아 있다.