기술 요약: Flex-Forcing

문제 정의

현재의 비디오 생성 방식은 경직된 추론 패러다임으로 인해 다음과 같은 두 가지 지배적인 접근 방식 사이에서 트레이드오프를 강요받고 있습니다:

1. 양방향 확산 모델 (Bidirectional Diffusion Models): 전체 컨텍스트 어텐션을 활용하여 모든 프레임을 공동으로 모델링함으로써 높은 시각적 충실도와 강력한 장기적 시간적 일관성(예: 카메라 움직임, 장면 전환)을 달ace합니다. 그러나 계산 오버헤드가 높고 추론 속도가 느려 실시간 또는 긴 비디오 생성에 있어 확장성이 제한됩니다.
2. 자기회귀 모델 (Autoregressive Models): 인과적 조건화(Causal Conditioning)와 KV 캐싱을 사용하여 프레임을 순차적으로 생성하며, 이를 통해 효율적이고 스트리밍 가능한 실시간 추론을 가능하게 합니다. 그러나 생성 과정 중 글로벌 컨텍스트의 부재로 인해 오차 누적이 발생하며, 이는 객체의 외형 및 움직임의 드리프트(drift)를 유발하고 결과적으로 약한 글로벌 시간적 일관성을 초래합니다.

기존 연구들은 일반적으로 한쪽 패러다임을 최적화하는 대신 다른 쪽을 희생하며, 단일 프레임워크 내에서 두 가지의 장점을 결합하여 실현할 수 있는 통합된 메커니즘이 부족합니다.

방법론: Flex-Forcing

저자들은 단일 비디오 확산 모델이 양방향, 자기회귀 또는 하이브리드 체제 하에서 원활하게 작동할 수 있도록 하는 통합 훈련 및 추론 프레임워크인 Flex-Forcing을 제안합니다. 핵심 혁신은 두 개의 직교하는 축에 대해 정의된 유연한 청킹(Flexible Chunking) 메커니즘에 있습니다.

1. 유연한 청킹 전략 (Flexible Chunking Strategy)

• 시간 축 (프레임 청킹): 비디오는 다양한 크기의 연속적인 청크로 분할됩니다. 하나의 청크 내에서 프레임은 양방향(전체 어텐션)으로 모델링됩니다. 청크 사이에서는 이전 청크에 조건화되어 자기회로 방식으로 생성이 진행됩니다. 이를 통해 모델이 서로 다른 디바이스 예산과 비디오 길이에 따라 청크의 입도를 조適할 수 있습니다.
• 디노이징 타임스텝 축 (Denoising Timestep Axis): 청킹 전략은 디노이징 궤적에 따라 동적으로 변화합니다. 초기 단계(높은 노이즈)에서는 글로벌 구조를 포착하기 위해 더 큰 청크를 사용하고, 후기 정제 단계(낮은 노이즈)에서는 로컬 디테일에 집중하기 위해 더 작은 청크를 사용합니다. 이는 노이즈 수준이 낮아짐에 따라 청크 크기가 감소하는 계층적 피라미드 구조를 형성합니다.

2. 훈련 목적 함수 (Training Objective)

이 프레임워크는 다음을 통해 혼합된 인과적 및 비인과적 컨텍스트를 처리하도록 단일 모델을 훈련합니다:

• 확률적 청킹 (Stochastic Chunking): 훈련 중에 모델은 엄격한 인과적(프레임 단위) 방식부터 완전한 양방향 방식에 이르는 무작위 청크 분할에 노출됩니다. 이는 비인과적 어텐션 능력을 보존하면서 인과성을 주입하는 비대칭 증류 파이프라인(CausVid 및 Self-Forcing에서 영감을 받음)을 통해 달성됩니다.
• 노이즈 레벨 정렬 (K-Projection): 동일한 쿼리 토큰이 서로 다른 노이즈 레벨의 키-값 상태(깨끗한 과거 토큰 vs 노이즈가 섞인 미래 토큰)를 참조할 때 발생하는 중요한 과제가 발생합니다. 표준 셀프 어텐션은 이를 균등하게 취급하여 성능 저하를 일으킵니다. 저자들은 현재 타임스텝의 "노이즈가 섞인" 잠재 공간으로 깨끗한 과거 프레임의 키 상태를 매핑하는 경량화된 타임스텝 의존 선형 투영인 K-Projection을 도입합니다. 이를 통해 참조되는 모든 키가 일관된 노이즈 표현 공간에 존재하도록 하여 유연한 추론을 안정화합니다.

3. 추론 유연성 (Inference Flexibility)

테스트 시, 훈련된 모델은 다음과 같이 구성될 수 있습니다:

• 최대의 글로벌 일관성을 위한 양방향 모드 (Bidirectional Mode)
• 최대의 효율성과 스트리밍을 위한 자기회귀 모드 (Autoregressive Mode)
• 품질과 속도 사이의 최적의 파레토 프런티어를 찾기 위해 청크 크기와 노이즈 레벨 의존성을 조정하는 하이브리드 모드 (Hybrid Mode)

주요 기여 (Key Contributions)

1. 통합 프레임워크: 양방향 및 자기회귀 패러다임이 단일 훈련 모델 내에서 공존할 수 있음을 입증하여 테스트 시점에 추론 체제를 제어할 수 있게 한 첫 번째 접근 방식입니다.
2. 유연한 청킹 및 정렬: 시간적 프레임과 디노이징 스텝 모두에 대한 유연한 청킹을 도입하고, 훈련-테스트 일관성을 갖는 목적 함수와 인과적 컨텍스트 간의 간극을 메우는 K-Projection 메커니즘을 결합했습니다.
3. Any-Order, Any-Timestep 편집: 통합 프레임워크를 활용하여 새로운 편집 기능을 가능하게 합니다:
   • Any-Timestep 편집: 고수준의 계획(planning)은 보존하면서 저수준의 정제 타임스텝에만 편집을 제한함으로써, 글로벌 구조와 로컬 디테일을 분리합니다.
   • Any-Order 편집: 과거와 미래의 깨끗한 토큰 모두에 조건화됨으로써, 전체 비디오를 다시 생성하지 않고도 임의의 시간적 세그먼트를 재편집할 수 있습니다.

실험 결과

Wan2.1을 베이스 모델로 사용하여 5초 및 30초 비디오 벤치마크에 대해 광범ical한 실험을 수행했습니다.

• 성능-효율성 트레이드오프: Flex-Forcing은 Self-Forcing과 같은 베이스라인에 비해 현저히 개선된 파레토 프런티어를 달성했습니다. 일관되게 인과적 모델보다 높은 품질을 제공하면서도, 경직된 양방향 모델보다 빠른 추론 속도를 제공합니다.
• 5초 비디오: 베이스라인과 동일한 구성(1.3B 파라미터)에서 Flex-Forcing은 더 높은 VBench 점수(예: Self-Forcing의 84.31 대비 85.07)와 더 높은 FPS(24.9 대비 25.8)를 달성했습니다. 또한 몇 단계 증류된 확산 모델보다 우수한 성능을 보였습니다.
• 30초 비디오: 긴 비디오 벤치마크에서 Flex-Forcing은 대부분의 지표, 특히 Dynamic Degree와 Motion Smoothness에서 Infinity-RoPE 및 Self-Forcing을 능가하며, 우수한 장기 계획 능력과 감소된 오차 누적을 입증했습니다.
• 사용자 선호도: 사용자 연구 결과, 5초 및 30초 비디오 모두에서 시각적 품질과 프롬프트 정렬 측면에서 Self-Forcing보다 Flex-Forcing을 선호하는 것으로 나타났습니다.
• Ablation: K-Projection이 필수적임이 입증되었습니다. K-Projection이 없으면 청크 크기가 커짐에 따라 성능이 크게 저하되었으나, 이를 적용했을 때는 성능이 안정적으로 유지되고 향상되었습니다.

의의 및 주장

본 논문은 Flex-Forcing이 양방향 및 자기회귀 생성을 경쟁 관계에 있는 패러다임이 아니라, 요구 사항에 따라 부드럽게 조정할 수 있는 제어 가능한 추론 차원으로 재정의한다고 주장합니다. 이러한 통합을 통해 본 방법은:

• 별도의 전문화된 아키텍처를 유지하는 데 드는 계산 비용과 환경적 발자국을 줄입니다.
• 런타임 시 동적인 속도-품질 트레이드오프를 허용함으로써 자원이 제한된 환경에서도 고충실도 장기 비디오 생성을 대중화합니다.
• 창의적 및 산업적 응용을 위해 정밀하고 국소적인 편집 도구를 제공하여 적응형 생성 시스템을 촉진합니다.

저자들은 엄격한 좌측-우측(left-to-right) 제약이 완화되었지만, 매우 긴 비디오에서는 훈련-추론 불일치로 인한 오차가 여전히 누적될 수 있으며, 방법론의 효과가 사전 훈련된 프라이어(특히 양방향 인코딩)에 크게 의존한다는 점을 언급하며 한계를 인정했습니다.