기술 요약: VDE – 속도 분해 및 추정을 통한 학습 없는 정류 흐름 모델 가속화

1. 문제 제기

정류 흐름 (Rectified Flow, RF) 모델은 이미지, 비디오, 3D 생성 분야에서 최첨단 성능을 달성했습니다. 그러나 수십 단계의 반복적 샘플링이 일반적으로 필요하기 때문에 높은 추론 지연 시간이 실제 배포를 방해하고 있습니다.

기존의 학습 없는 가속화 방법들은 주로"캐시 및 재사용"패러다임에 의존합니다. 이러한 접근 방식은 이전 단계의 중간 특징 (예: 어텐션 출력, 잔차) 을 저장하여 불필요한 계산을 건너뛰기 위해 재사용합니다. 저자들은 이 전략의 근본적인 결함을 지적합니다:캐시 - 입력 불일치입니다. 캐시된 특징은 정적인 반면, 모델의 입력은 샘플링 궤적 동안 역동적으로 진화하기 때문에, 구식 특징을 재사용하면 출력 - 입력 불일치가 발생합니다. 이 불일치는 오류를 전파하여 텍스처가 무뎌지거나 구조적 불일치와 같은 저하된 시각적 충실도를 초래합니다.

2. 방법론: 속도 분해 및 추정 (VDE)

본 논문은"분해 및 추정"으로 가속화 패러다임을 전환하는 학습 없는 방법인**속도 분해 및 추정 (Velocity Decomposition and Estimation, VDE)**을 제안합니다. 정적인 특징을 재사용하는 대신, VDE 는 현재 입력으로부터 모델의 속도를 직접 예측하기 위한 경량 추정 함수를 구축합니다.

핵심 메커니즘

이 방법은 현재 잠재 입력 $x_t$에 대해 분해되었을 때 모델이 예측하는 속도 벡터 $v_t$가 강력한 시간적 규칙성을 보인다는 관찰에 기반합니다.

1. 속도 분해:
   속도 $v_t$는 두 가지 구성 요소로 고유하게 분해됩니다:

   • 입력 $x_t$와 정렬된평행 성분.
   • $x_t$에 수직인직교 성분.

   수학적으로 이는 다음과 같이 표현됩니다:
   $$v_t = \alpha_t x_t + \beta_t \|x_t\| u_t$$
   여기서:

   • $\alpha_t$와 $\beta_t$는 스칼라 계수입니다.
   • $u_t$는 직교 방향을 나타내는 단위 벡터 ($u_t \perp x_t$) 입니다.

2. 시간적 규칙성 (실증적 발견):
   광범위한 분석을 통해 저자들은 초기 워밍업 후의"안정 단계"동안 두 가지 안정적인 패턴을 관찰합니다:

   • 예측 가능한 계수: 스칼라 계수 $\alpha_t$와 $\beta_t$는 연속된 단계 간 강한 국소 선형성을 가지며 매끄럽게 진화합니다. 이로 인해 최근의 역사적 값으로부터 선형 외삽을 통해 신뢰성 있게 추정할 수 있습니다.
   • 안정적인 직교 방향: 단위 벡터 $u_t$는 짧은 구간 동안 거의 일정하게 유지됩니다 (코사인 유사도 $> 0.99$). 이는 상당한 오류 없이 가장 최근의 직교 방향을 재사용할 수 있게 합니다.

3. VDE 알고리즘:
   VDE 는**앵커 및 추정 (anchor-and-estimate)**모드로 작동합니다:

   • 앵커 단계: 주기적인 간격 (예: $n$단계마다) 에서 전체 모델 순전파가 실행됩니다. 속도가 분해되어 실제 값 튜플 $(\alpha_t, \beta_t, u_t)$이 얻어집니다.
   • 추정 단계: 앵커 사이의 단계에서는 모델 계산 없이 속도가 추정됩니다:
     • 계수 ($\hat{\alpha}_t, \hat{\beta}_t$): 가장 최근의 두 앵커 단계에서 얻은 계수를 기반으로 선형 외삽을 통해 추정됩니다.
     • 방향 ($\hat{u}_t$): 가장 최근의 앵커 단계에서 재사용됩니다.
     • 합성: 추정된 속도 $\hat{v}_t$는 현재 입력 $x_t$와 추정된 성분을 사용하여 분석적으로 재구성됩니다:
       $$\hat{v}_t = \hat{\alpha}_t x_t + \hat{\beta}_t \|x_t\| \hat{u}_t$$

이 접근 방식은 추정된 출력이 현재 입력 $x_t$로부터 새로 구성되므로 구식 특징에 대한 의존성을 제거함으로써 본질적으로입력 적응형입니다.

3. 주요 기여

• 문제 식별: 본 논문은 기존 캐시 기반 가속화 방법에서 충실도 손실의 근본 원인인"캐시 - 입력 불일치"를 식별하고, 학습 없는 가속화를 입력 - 출력 매핑 추정 문제로 재정의합니다.
• 새로운 패러다임: 정적인 특징 재사용을 동적 분해 및 추정으로 대체하는 VDE 를 도입합니다. 이는 구식 캐시로 인한 출력 - 입력 불일치를 근본적으로 제거합니다.
• 실증적 발견: 저자들은 속도를 평행 및 직교 성분으로 분해하면 계수의 국소 선형성과 방향의 안정성과 같은 강력한 시간적 규칙성이 드러나 정밀하고 저비용 추정이 가능함을 입증합니다.
• 성능: 광범위한 실험을 통해 VDE 는 시각적 품질의 최소한의 손실로 상당한 속도 향상 (2.04 배~3.22 배) 을 달성하며, TeaCache 및 EasyCache 와 같은 최첨단 기준 모델보다 우수한 성능을 보였습니다.

4. 실험 결과

저자들은 이미지 생성 모델 (FLUX.1 [dev], Qwen-Image) 과 비디오 생성 모델 (Wan2.1) 에서 VDE 를 평가했습니다.

• 이미지 생성 (FLUX.1):
  • VDE-fast 는 16 NFE(순전파 횟수) 에서 3.01 배의 속도 향상을 달성하면서 SSIM 을 0.7240(EasyCache-fast) 에서 0.8267로 개선하고 LPIPS 를 0.3197 에서 0.1997로 감소시켰습니다.
  • VDE-slow 는 2.21 배의 속도 향상을 달성하여 T=50 기준과 거의 동일한 시각적 품질을 보였으며, SSIM 에서 19.5%, PSNR 에서 30.3% 개선되어 최상의 기준 모델 (EasyCache-slow) 을 능가했습니다.
• 이미지 생성 (Qwen-Image):
  • VDE-slow 는 2.04 배의 속도 향상을 달성하여 LPIPS 가 0.069였으며, 이는 최상의 기준 모델 대비 오류가 52.2% 감소한 것입니다.
  • 전체 T=50 기준 모델의 ImageReward 점수 (1.295) 와 일치하여 높은 지각적 충실도를 나타냈습니다.
• 비디오 생성 (Wan2.1):
  • VDE 는 40 NFE 에서 2.50 배의 속도 향상을 달성하면서 VBench 점수 80.43 을 유지하여 원래 모델 (81.30) 과 유사하고 다른 가속화 방법보다 우월한 성능을 보였습니다.
• 정성적 분석: 시각적 비교 결과, 캐시 방법들은 종종 텍스처 열화 및 구조적 불일치를 보이는 반면, VDE 는 T=50 기준과 비교 가능한 글로벌 구성과 세부 사항 (형태, 명암) 을 보존하는 것으로 나타났습니다.

5. 의의 및 주장

본 논문은 VDE 가 생성 모델 가속화에 대한새로운 관점을 제공한다고 주장합니다. 특징 재사용에서 동적 추정으로 전환함으로써 현재 학습 없는 방법들을 괴롭히는 캐시 - 입력 불일치를 효과적으로 완화합니다.

저자들은 VDE 가 다음과 같음을 강조합니다:

• 학습 불필요: 추가 데이터나 최적화 사이클이 필요하지 않습니다.
• 입력 적응형: 현재 입력 상태에 기반하여 출력을 구성하여 높은 충실도를 보장합니다.
• 확장성: 다양한 해상도, 종횡비, 모델 아키텍처 (DiT 기반 이미지 및 비디오 모델) 에서 잘 일반화됩니다.
• 효율성: 분해 및 추정은 단순한 산술 연산만 포함하며, 건너뛰어진 순전파로 인한 절감량에 비해 계산 오버헤드는 무시할 수준입니다.

이 연구는 VDE 가 우수한 속도 - 충실도 트레이드오프를 제공하여 실시간 또는 컴퓨팅 제약이 있는 시나리오에서 고품질 정류 흐름 모델의 실제 배포를 가능하게 한다고 결론지었습니다.