기술 요약: FlowLong

문제 제기

비디오 확산 모델의 생성 범위를 고유한 훈련 길이 이상으로 확장하는 것은 근본적인 과제로 남아 있습니다. 데이터 부족으로 인해 일반적으로 짧은 클립으로 훈련되는 현재 비디오 확산 모델은 더 긴 시퀀스에 적용될 때 심각한 품질 저하를 겪습니다. 기존 솔루션은 두 가지 범주로 나뉘며, 둘 다 중요한 한계를 지닙니다:

1. 훈련 없는 양방향 확장: FIFO-Diffusion, RIFLEx, UltraViCo와 같은 방법은 추가 훈련 없이 사전 훈련된 모델을 확장하지만 아키텍처 특정 수정에 의존합니다. 비디오 길이가 증가함에 따라 누적되는 시각적 아티팩트와 일관성 저하를 겪습니다.
2. 자기회귀적 접근법: CausVid 및 Self-Forcing과 같은 방법은 비디오를 순차적으로 생성합니다. 효과적이기는 하지만 KV 캐시 재사용으로 인한 노출 편향과 시간적 드리프트에 취약하며, 종종 반복적인 운동 패턴과 시간 경과에 따른 오차 누적을 초래합니다. 또한, 일반적으로 양방향 교사 모델로부터 증류가 필요하여 새로운 아키텍처 (예: 결합 오디오 - 비디오 모델) 에 대한 적용 가능성을 제한합니다.

방법론

저자들은 추가 훈련이나 아키텍처 수정 없이 여러 겹치는 짧은 비디오 청크를 조화시켜 긴 비디오를 생성하는 새로운 추론 시점 프레임워크인 FlowLong을 제안합니다. 이 방법은 흐름 기반 생성 모델의 기하학적 관점에 기반하며, 긴 비디오 생성을 역문제로 간주합니다.

이 프레임워크는 두 가지 핵심 메커니즘을 통해 작동합니다:

1. 트위디 매칭 (Tweedie Matching)

인접한 비디오 청크 간의 시간적 일관성을 보장하기 위해 FlowLong은 겹치는 영역에 매니폴드 제약을 부과합니다.

• 겹침 제약: 인접한 청크 $x_k$와 $x_{k+1}$는 $O$프레임의 겹침을 공유합니다. 이 방법은 청크 $k$의 마지막 $O$프레임이 청크 $k+1$의 첫 $O$프레임과 일치하도록 요구합니다.
• 가이드 손실: 이 제약을 완화하기 위해 깨끗한 데이터 매니폴드에서 가이드 손실이 정의됩니다. 이는 겹침 영역 내에서 현재 청크의 제거 잡음 추정치와 인접 청크의 예측된 깨끗한 샘플 간의 불일치를 측정합니다.
• 그래디언트 보정: 역방향 샘플링 과정에서 이 손실은 제거 잡음 추정치에 대한 1 단계 그래디언트 보정으로 통합됩니다. 이는 인접 청크의 예측된 깨끗한 샘플을 겹침 영역에서 보간하는 Tweedie matching이라는 폐쇄형 업데이트를 산출합니다. 이는 백본 모델을 변경하지 않고도 매끄러운 전환을 보장하고 매니폴드 제약을 강제합니다.

2. 확률적 초기 단계 샘플링

Tweedie 매칭이 청크를 정렬하지만, 결정론적 상미분방정식 (ODE) 샘플링은 독립적인 잡음 초기화에서 비롯된 "관성"으로 인해 궤적이 원래 발산 경로로 되돌아가게 할 수 있습니다.

• 하이브리드 샘플링: 이 관성을 깨기 위해 이 방법은 샘플링의 초기 고잡음 단계 (여기서 $t$는 큼) 에 확률적 잡음을 도입합니다. 이는 각 Tweedie 매칭 보정 후 상태를 교란시켜 궤적을 효과적으로 재혼합하고 청크 간 혼합을 용이하게 합니다.
• ODE 로 전환: 초기 확률적 단계 후, 이 방법은 결정론적 ODE 샘플링으로 전환합니다. 이는 확률적 단계 동안 확립된 시간적 일관성을 유지하면서 세밀한 시각적 충실도를 보존합니다.

일반화 가능성

이 프레임워크는 모델에 구애받지 않으며 고정 크기 윈도우를 생성하는 모든 흐름 기반 모델에 적용 가능합니다. 다음에서 입증되었습니다:

• 텍스트 - 비디오: Wan 2.1 및 LTX-2와 같은 모델을 확장합니다.
• 오디오 - 비디오 결합 생성: 비디오 및 오디오 잠재 공간에 동시에 Tweedie 매칭과 확률적 샘플링을 적용하여 LTX-2를 확장합니다.
• 텍스트 - 3DGS: Wan 2.1 과 AnySplat 을 결합한 VIST3A 를 확장하여 텍스트에서 더 긴 3D 가우시안 스플랫 장면을 생성합니다.

주요 기여

1. FlowLong 프레임워크: 추론 시점에만 순수하게 사전 훈련된 흐름 기반 확산 모델의 고유한 범위를 확장하는 훈련 불필요, 아키텍처 무관 솔루션입니다.
2. Tweedie Matching: 겹치는 세그먼트에 걸쳐 예측된 깨끗한 샘플을 혼합하여 매니폴드 제약과 시간적 일관성을 강제하는 기술입니다.
3. 확률적 초기 단계 샘플링: 결정론적 ODE 샘플링으로 전환하기 전 고잡음 영역에서 잡음을 주입하여 윈도우별 궤적 관성을 깨는 전략입니다.
4. 다용도성: 이 방법은 텍스트 - 비디오, 오디오 - 비디오 결합 생성, 텍스트 - 3DGS 전반에 걸쳐 검증되었으며, 미세 조정 없이 베이스라인을 능가합니다.

실험 결과

저자들은 VBench 벤치마크 (미적 품질, 운동 부드러움, 시간적 깜빡임 등 포함) 와 텍스트 - 3DGS 생성을 사용하여 30 초 및 60 초 비디오 생성 작업에서 FlowLong 을 평가했습니다.

• 비디오 생성: FlowLong 은 훈련 없는 양방향 베이스라인 (RIFLEx, UltraViCo) 과 자기회귀적 베이스라인 (CausVid, Self-Forcing, LongLive) 모두를 일관되게 능가했습니다.
  • 자기회귀 모델에서 흔히 발생하는 반복적인 운동 패턴을 피하면서 **동적 정도 (Dynamic Degree)**와 **운동 부드러움 (Motion Smoothness)**에서 우수한 성과를 달성했습니다.
  • 비디오 길이가 증가함에 따라 다른 방법에서 관찰된 오차 드리프트와 픽셀 포화를 제거했습니다.
  • 전역 및 로컬 프롬프트를 사용한 멀티샷 생성을 지원하며 장면 전환 전반에 걸쳐 의미론적 일관성을 유지했습니다.
• 텍스트 - 3DGS: VIST3A 에 적용되었을 때, FlowLong 은 베이스라인보다 장면당 1.64 배 더 많은 3D 가우시안을 생성했습니다. 생성된 3D 장면은 더 풍부한 시점 다양성과 더 높은 기하학적 신뢰도 점수 (평균 신뢰도 로그 오즈비가 26.27 에서 41.52 로 증가) 를 보여주었습니다.
• 절대 연구: 실험은 Tweedie 매칭과 확률적 초기 단계 샘플링의 조합이 시간적 일관성과 시각적 품질 사이의 최상의 균형을 산출함을 확인했습니다. 전체 ODE 샘플링은 일관성이 부족했고, 전체 SDE 샘플링은 시각적 품질을 저하시켰습니다.

중요성 및 주장

이 논문은 FlowLong 이 임의의 흐름 기반 모델의 생성 범위를 외삽하기 위한 다용도, 플러그 - 앤 - 플레이 프레임워크를 제공한다고 주장합니다. 그 주요 중요성은 다음 능력에 있습니다:

• 추가 훈련이나 아키텍처 수정 없이 고유한 윈도우 길이보다 몇 배 더 긴 비디오를 생성합니다.
• KV 캐시 재사용을 피함으로써 자기회귀적 접근법 내재적 노출 편향과 운동 반복을 극복합니다.
• 아키텍처 의존성으로 인해 기존 방법들이 어려움을 겪는 결합 오디오 - 비디오 생성 및 3D 장면 생성과 같은 복잡한 작업으로 원활하게 확장됩니다.

저자들은 한계를 인정합니다: 겹침 기반 일관성 제약은 본질적으로 국소적이므로 극도로 긴 비디오에서 전역 의미론적 일관성을 저해할 수 있으며, 이는 향후 과제로 식별됩니다.