기술 요약: 비디오 확산 트랜스포머(Video Diffusion Transformers)에서 시간 편집 가능하게 만들기

문제 정의

현대의 확산 트랜스포머(Diffusion Transformers, DiTs)는 고품질의 비디오 프레임과 사실적인 움직임을 생성하는 데 있어 상당한 성공을 거두었습니다. 그러나 이들은 제한된 시간적 제어력(temporal controllability)이라는 문제를 안고 있습니다. 표준 DiT 기반 비디오 생성에서 "확산 시간(diffusion time)"은 노이즈 제거(denoising)의 진행 정도와 움직임의 진화를 모두 나타내는 중의적인 변수로 작용합니다. 결과적으로, 시간적 역동성(temporal dynamics)은 명시적이고 독립적으로 제어 가능한 변수로 모델링되는 대신, 콘텐츠 및 움직임 표현과 얽혀 있습니다.

이러한 얽힘은 모호성을 초래합니다. 모델은 노이즈 제거가 얼마나 진행되었는지와 시간이 흐름에 따라 움직임이 어떻게 전개되어야 하는지를 구분하는 데 어려움을 겪습니다. 그 결과, 대상 시간 그리드(예: FPS)가 학습 시점과 다르게 변할 경우, 모델은 일관된 시간적 역동성을 유지하지 못합니다. 개별 프레임은 그럴듯하게 생성할 수 있으나, 중간 단계의 움직임 품질을 유지하는 데 어려움을 겪어 관절 구조(예: 팔다리)에서 아티팩트가 발생하거나 물리적 과정(예: 안개 소멸)이 올바르게 전개되지 못하는 문제가 발생합니다. 기존 방식들은 무엇이 움직이는지 또는 어디로 움직이는지는 제어하지만, 시간적 진행 자체를 명시적으로 편집 가능한 변수로 만들지는 못합니다.

방법론

저자들은 사전 학습된 DiT 백본을 명시적인 시간 제어 모듈인 **타임 어댑터(Time Adapter, TA)**로 확장하는 방법론을 제안합니다. 이 접근 방식은 백본 아키텍처를 재설계하지 않고도 전역적 움직임 속도 조절(global motion pacing)과 국소적 시간 정렬(local temporal alignment)을 분리합니다.

핵심 아키텍처: 타임 어댑터 (Time Adapter)

이 방법은 가벼운 가산형 어댑터(additive adapters)를 통해 통합되는 두 가지 상보적인 시간 신호를 도입합니다.

1. 전역 FPS 컨디셔닝 (Global FPS Conditioning): 입력 FPS(예: 15, 24, 30, 60)로부터 유도된 임베딩 $E_{fps}(fps)$입니다. 이는 디노이징 컨디셔닝 경로를 통해 전역 움직임 속도를 조절하며, 장면 진화의 예상 속도를 결정합니다.
2. 국소 잠재 시간 임베딩 (Local Latent-Time Embeddings): 프레임별 시간 위치($\tau$)를 나타내는 임베딩 $E_{\tau}(\tau)$입니다. 이는 토큰 수준에서 국소적인 시간 순서와 대응 관계를 제공하여 특정 프레임의 진행을 정렬합니다.

컨디셔닝 벡터 $e$는 다음과 같이 공식화됩니다:
$$e = E_t(t) + E_{fps}(fps)$$
여기서 $E_t(t)$는 표준 확산 시간 임베딩입니다. 잠재 시간 임베딩은 패치 임베딩에 더해집니다:
$$h_0 = \text{PatchEmbed}(x_t) + E_{\tau}(\tau)$$

이러한 인수분해(factorization)를 통해 모델은 확산 시간을 암시적인 대리물로만 의존하는 대신, 시간적 진행을 명시적으로 표현할 수 있습니다. 어댑터는 사전 학습된 백본의 동작을 보존하도록 초기화됩니다.

학습 체계 (Training Regimes)

저자들은 두 가지 학습 전략을 평가합니다:

• 타임 어댑터 (Time Adapter, TA): DiT 백본은 동결된 상태로 유지하면서 오직 시간 분기(어댑터)만을 학습합니다. 이는 원래의 생성적 사전 지식(generative prior)을 보존합니다.
• 미세 조정된 타임 어댑터 (Fine-Tuned Time Adapter, FTTA): 동일한 시간 컨디셔닝을 사용하지만, 전체 DiT 백본을 추가로 미세 조정합니다. 이는 더 강력한 전역적 시간 정규화를 도입합니다.

모델은 다양한 FPS 체계(24–60 FPS)에 걸쳐 인간의 행동과 자연적 과정을 다루는 약 40,000개의 비디오로 구성된 큐레이션된 데이터셋으로 학습됩니다.

주요 기여

1. 명시적 시간 인수분해 (Explicit Temporal Factorization): 본 논문은 시간을 전역 움직임 속도(FPS)와 국소 시간 정렬(잠재 시간)로 분리함으로써, 시간을 디노이싱 과정에서 분리하는 프레임워크를 도입했습니다.
2. 백본 보존 (Backbone Preservation): TA 방식은 백본을 재설계하지 않고도 명시적인 시간 편집을 가능하게 하여, 모델의 시각적 및 구조적 사전 지식을 유지하면서 제어 가능한 동적 범위를 확장합니다.
3. 교차 아키텍처 전이 가능성 (Cross-Architecture Transferability): 저자들은 명시적 시간 인수분해가 다양한 파라미터 규모와 출력 해상도를 가진 서로 다른 DiT 백본(Wan2.2 및 Kandinsky 5.0 Lite) 간에 전이됨을 입증했습니다.
4. 시간적 일관성 개선: 이 방법은 밀도 높은 시간적 전이를 학습 과정 중에 노출함으로써, 표준 재생 속도에서도 중간 움직임의 일관성을 개선하고 지각적 아티팩트를 줄입니다.

실험 결과

평가는 **인간 행동(Human Actions)**과 **자연적 과정(Natural Processes)**이라는 두 영역에 대해 15, 24, 30, 60 FPS에서 VMBench 벤치마크를 사용하여 수행되었습니다.

정량적 결과

• 인간 행동: TA와 FTTA 모두 베이스라인 대비 Flow Acceleration과 LPIPS-Var를 감소시켜 더 안정적인 단기 전이를 보여줍니다. TA는 24–60 FPS에서 가장 강력한 Flow Directional Consistency(FDC)를 달 achieve하여, 대상 FPS가 학습 체계와 일치할 때 명시적 컨디셔닝이 중간 움직임의 일관성을 개선함을 시사합니다.
• 자연적 과정: FTTA는 지속적으로 가장 강력한 시간적 정규화를 달성하여 최상의 Motion Smoothness Scores(MSS)와 가장 낮은 Flow Acceleration을 기록했습니다. 이는 분포된 물리적 과정(예: 안개, 파도)을 시간 컨디셔닝에 더 민감하게 재구조화하는 FTTA의 능력 덕분입니다.
• 메트릭의 한계: 저자들은 표준 메트릭이 항상 시간적 품질의 개선을 반영하지는 않는다고 언급합니다. 예를 들어, 관절 구조의 아티팩트는 인지된 움직임 품질을 저하시킴에도 불구하고 PAS(Perceptible Amplitude Score)를 증가시킬 수 있어, 정량적 점수와 인간의 평가 사이에 차이를 만듭니다.

정성적 및 인간 평가

• 사이드 바이 사이드 (SBS) 평가: 인간 평가자들은 인간의 관절 움직임과 자연스러움 측면에서는 TA를 선호했고, 분포된 물리적 과정과 속도 일관성 측면에서는 FTTA를 선호했습니다.
• 물리적 진화: 사후 FPS 리샘플링(단순히 프레임을 보간하는 방식)과 달리, 제안된 방법은 생성된 시간적 진화 자체를 변화시킵니다. 대상 FPS를 높이면 단순히 재생이 부드러워지는 것이 아니라 장면의 진행 자체가 빨라집니다.
• 일반화: Wan2.2에서 관찰된 정성적 경향은 Kandinsky 5.0 Lite에서도 재현되었으며, 이는 명시적 시간 인수분해가 특정 아키텍처에 국한되지 않음을 뒷받침합니다.

의의 및 한계

의의

본 논문은 시간을 단일한 중의적 변수로 취급하는 것이 현재 비디오 확산 모델의 근본적인 한계라고 주장합니다. 시간을 명시적 인수분해를 통해 편집 가능하게 만듦으로써, 저자들은 더 물리적으로 일관되고 신뢰할 수 있는 비디오 생성을 가능하게 합니다. 이 연구는 시간적 제어력이 단순히 디노이징의 부수적인 효과가 아니라, 주요하고 제어 가능한 변수가 될 수 있음을 시사합니다.

한계

저자들은 세 가지 한계를 명시적으로 인정합니다:

1. 학습 체계 민감도: 시간적 인수분해가 제어력을 향상시키기는 하지만, 모델은 여전히 저표집된(underrepresented) 시간 척도(예: 낮은 FPS)에 민감합니다. 명시적인 시간 표현이 학습 데이터에 결여된 시간적 사전 지식을 완전히 보완할 수는 없습니다.
2. 고정된 생성 범위 (Fixed Generation Horizon): 이 방법은 시간적 역동성을 더 잘 제어할 수는 있지만, 생성되는 프레임의 수를 늘리지는 않습니다. 강력한 시간적 가속은 행동이 실현될 수 있는 가용 시간을 압축하여, 행동이 도중에 끊기는 현상을 초래할 수 있습니다.
3. 평가 메트릭: 현재의 메트릭은 중간 움직임의 지각적 아티팩트, 특히 관절 구조에서의 문제를 포착하는 데 어려움이 있어, 정량적 점수와 인지된 시간적 품질 사이에 격차를 만듭니다.

저자들은 시간을 편집 가능하게 만드는 것이 신뢰할 수 있는 비디오 생성을 위한 필수적인 단계이지만, 장기(long-horizon) 생성에는 충분하지 않으며, 이를 위해서는 명시적 시간 표현과 적응형 생성 길이를 결합하는 것이 필요할 것이라고 결론지었습니다.