기술 요약: UniTemp

문제 정의

자기회귀적(Autoregressive) 비디오 확산 모델은 블록 단위 생성과 키-값(KV) 캐싱을 활용하여 효율적인 긴 영상 생성을 가능하게 하는 유망한 접근 방식으로 부상했습니다. 그러나 기존 방식은 각 블록이 이전에 생성된 콘텐츠에만 조건화되는 **순방향(인과적) 시간 생성(forward/causal temporal generation)**에 국한되어 있습니다. 이러한 한계는 다음과 같이 유연한 시간적 순서가 필요한 실질적인 비디오 제작 워크플로를 저해합니다:

• 역방향 확장(Backward extension): 기존 클립을 조건으로 하여 프롤로그(prologue) 생성.
• 사이 생성(Inbetween generation): 두 세그먼트 사이의 시간적 간극 채우기.
• 시각적 스토리텔링(Visual storytelling): 주요 프레임을 먼저 생성하고 이를 연결하기.

순방향 전용 모델을 역방향 생성까지 지원하도록 단순히 확장하려는 시도는 특히 움직임이 큰 장면에서 심각한 블록 간 깜빡임(inter-block flickering) 및 불연속성을 초래합니다. 논문은 이러한 아티팩트의 근본 원인을 최첨단 비디오 확산 모델(예: CogVideoX, HunyuanVideo, Wan)에서 널리 사용되는 Causal 3D VAE 구조로 지목합니다. Causal 3D VAE는 잠재 변수(latents)를 엄격하게 과거 컨텍스트에 조건화하여 인코딩합니다. 이는 순방향 생성에는 부합하지만, 역방향 생성 시에는 근본적인 불일치를 만듭니다. 디코더는 사용 불가능한 과거 컨텍스트를 기대하게 되며, 이로 인해 눈에 보이는 경계 아티팩트가 발생합니다. 비인과적(non-causal) VAE를 재학습하는 것은 기존에 사전 학습된 티처(teacher) 모델과의 호환성을 깨뜨리기 때문에 비현실적입니다.

방법론: UniTemp

저자들은 사전 학습된 티처나 VAE를 수정하지 않고도 어떤 시간 방향(순방향, 역방향 또는 사이 생성)으로도 비디오를 생성할 수 있는 단일 자기회귀 학생(student) 모델을 학습시키는 통합 양방향 증류(distillation) 프레임워크인 UniTemp를 제안합니다.

1. 블록 단위 앵커 잠재 변수 (Blockwise Anchor Latents)

역방향 생성 시 발생하는 Causal VAE의 과거 컨텍스트 부재로 인한 블록 간 깜빡임을 해결하기 위해, 저자들은 블록 단위 앵커 잠재 변수를 도입했습니다.

• 메커니즘: 역방향 생성 시, 블록 크기를 $B$에서 $(P + B)$로 확장합니다. 여기서 $P$는 앵커 잠재 변수의 개수입니다. 이 앵커 잠재 변수들은 이전 비디오 토큰들을 나타냅니다.
• 기능: 확장된 블록은 전체 시퀀스 셀프 어텐션(full-sequence self-attention)을 사용하여 공동으로 디노이징됩니다. 이를 통해 타겟 블록은 역순으로 생성되는 중에도 (앵커 잠재 변수라는) 누락된 과거 컨텍스트의 대리물(proxy)에 어텐션을 줄 수 있습니다.
• 폐기: 디노이징 후, 앵커 잠재 변수는 폐기되며 최종 출력에 포함되지 않습니다. 이들은 오직 타겟 블록의 생성을 안정화하기 위해 필요한 컨텍스트를 제공하는 역할만을 수행합니다.
• 결과: 이 메커니즘은 블록 경계에서 누락된 과거 컨텍스트를 효과적으로 복원하여, 시각적 아티팩트와 블록 간 깜빡임을 실질적으로 감소시킵니다.

2. 통합 양방향 증류 (Unified Bidirectional Distillation)

UniTemp는 고정된 티처 확산 모델에 의해 감독되는 단일 학생 모델($G_\theta$)을 학습시키기 위해 Self-Forcing을 기반으로 한 비대칭 증류 프레임십을 채택합니다.

• 학습: 학생 모델은 공유 모델과 공유된 "가짜(fake)" 크리틱($\mu_{fake}^\phi$)을 사용하여 순방향 및 역방향 생성 작업 모두에서 학습됩니다.
  • 순방향: 표준적인 블록 단위 자기회귀 롤아웃(rollout)을 따릅니다.
  • 역방향: 앵커 잠재 변수를 사용하여 컨텍스트 윈도우를 확장합니다.
• 손실 함수: 프레임워크는 티처의 스코어와 가짜 크리틱의 스코어 차이로부터 유도된 그래디언트를 통해 학생의 출력을 티처의 분포와 일치시키도록 하는 분포 매칭 증류(Distribution Matching Distillation, DMD)를 활용합니다.
• 효율성: 방향 간에 모델을 공유함으로써, 별도의 생성기를 사용하는 데 따르는 메모리 비용을 피하고 순방향과 역방향 생성 간의 성능 격차를 줄입니다.

3. 다재다능한 테스트 타임 컨디셔닝 (Versatile Test-Time Conditioning)

통합된 아키텍처는 추론 시 유연한 컨디셔닝을 가능하게 합니다:

• 모든 방향 생성: 모델은 임의의 과거, 미래, 또는 과거와 미래 양방향의 KV 캐시에 조건화될 수 있습니다.
• 양 끝단 가이드 싱크 잠재 변수 (Both-End-Guided Sink Latents): 프레임워크는 긴 기간 동안의 콘텐츠 변화를 제어하기 위해 시퀀스의 시작과 끝에 "싱크 잠로(sink latents, 안정화 토큰)"를 배치할 수 있게 합니다.
• 사이 생성 (Inbetween Generation): 모델은 훈련 시 사용된 블록 크기와 관계없이(어텐션 호라이즌이 훈련 제한 범위 내에 있다면), 헤드 블록과 테일 블록의 각각의 KV 캐시에 조건화됨으로써 그 사이의 콘텐츠를 채울 수 있습니다.

주요 기여

1. UniTemp 프레임워크: 단일 모델을 사용하여 모든 시간 방향(순방향, 역방향, 사이 생성)으로 자기회귀적 비디오 생성을 가능하게 하는 통합 증류 프레임워크.
2. 블록 단위 앵커 잠재 변수: VAE를 재학습하지 않고도 Causal 3D VAE로 인한 역방향 생성 시의 블록 간 깜빡임을 완화하고 누락된 과거 컨텍스트를 복원하는 새로운 메커니즘.
3. 통합 훈련 전략: 훈련 효율성을 유지하면서 유연한 테스트 타임 컨디셔닝을 지원하는 공유 모델 접근 방식로서, 별도의 모델 베이스라인보다 우수한 성능을 보임.
4. 입증된 능력: 특정 작업에 대한 미세 조정 없이도 양방향 비디오 확장, 장면 전환, 루핑 비디오 생성, 시각적 스토리 생성 등 다양한 워크플로를 실현함.

결과

실험 결과, UniTemp는 순방향 전용 방법들과 경쟁력 있는 성능을 달면서도 새로운 기능들을 가능하게 함을 입증했습니다:

• 단기 비디오 생성: 5초 길이의 비디오에 대해, UniTemp는 순방향 및 역방향 모두에서 Self-Forcing 베이스라인과 대등한 성능을 보였으며, 역방향 생성에서는 약간 더 높은 점수를 기록했습니다.
• 장기 비디오 생성: UniTemp는 안정적인 장기 비디오 생성(최대 100초)을 지원합니다. 양 끝단 가이드 싱크 잠재 변수를 활용함으로써 콘텐츠 드리프트를 효과적으로 제어하고 높은 피사체 일관성과 미적 품질을 유지하며, 동적 콘텐츠 생성에서 훈련 기반 베이스라인을 능가합니다.
• 사이 생성 (Inbetween Generation): UniTemp는 배경 일관성, 이미지 품질 및 비디오 분포 측면에서 Wan FLF2V 및 Generative Inbetweening (GI)과 같은 특화된 모델보다 뛰어난 성능을 보입니다. 특히 컨디셔닝 프레임을 재생성하는 대신 재사용함으로써 우수한 경계 일관성을 달립니다.
• 아티팩트 감소: 앵커 잠재 변수의 도입은 역방향 생성 시의 블록 간 깜빡임 비율을 1.42(베이스라인)에서 $P=3$일 때 1.07로 낮추어, 이상적인 값인 1.0에 근접하게 만들었습니다.

의의

본 논문은 UniTemp가 자기회귀적 비디오 생성의 효율성과 실제 비디오 제작에 필요한 유연성 사이의 간극을 메운다고 주장합니다. 앵커 잠재 변수를 통해 Causal VAE의 역방향 생성 부적합성이라는 구체적인 기술적 과제를 해결함으로써, UniTemp는 단일 모델이 다양한 시간적 컨디셔닝 모드를 처리할 수 있게 합니다. 이는 여러 개의 특화된 모델이나 계산 비용이 많이 드는 전체 시퀀스 어텐션 방법을 사용할 필요를 없애주며, 복잡한 비디오 편집 및 스토리텔링 작업을 위한 확장 가능한 솔루션을 제공합니다.

한계점

저자들은 역방향 생성이 앵커 잠재 변수의 공동 디노이징으로 인해 추가적인 블록당 연산을 수반한다는 점을 인정합니다. 또한, Causal VAE와 티처 모델은 본질적으로 순방향 편향되어 있으며, 앵커 잠재 변수가 이러한 비대칭성을 완화하기는 하지만 완전히 제거하지는 못합니다. 저자들은 기존의 사전 학습된 티처와 호환되는 양방향 VAE 아키텍처를 탐구하는 것을 향후 연구 방향으로 제시합니다.