기술 요약: PUSA V1.0

문제 정의

현재 비디오 확산 모델 (VDMs) 은 비디오 클립의 모든 프레임에 걸쳐 노이즈 수준과 진화 경로를 균일하게 제어하기 위해 주로 스칼라 시간 단계 변수에 의존합니다. 텍스트-비디오 (T2V) 생성에는 효과적이지만, 이러한 경직된 동기화는 시간적 모델링에 근본적인 한계를 부과합니다. 구체적으로, 이미지-비디오 (I2V), 비디오 확장, 시작-종료 프레임 조건부 생성과 같은 세밀하고 시간 의존적인 작업에서 어려움을 겪습니다. 이러한 과제에 대한 기존 해결책은 종종 다음을 포함합니다:

• 파괴적 적응 (Destructive Adaptation): 막대한 자원과 작업별 아키텍처 (예: 마스크 메커니즘) 를 사용하여 기본 모델을 미세 조정하는 방식인데, 이는 기본 모델의 생성적 사전 지식 (priors) 을 파괴적으로 망각 (catastrophic forgetting) 할 위험이 있습니다.
• 자기회귀적 접근 (Autoregressive Approaches): 경직된 동기화를 피하기 위해 프레임을 순차적으로 생성하는 모델들입니다. 그러나 이러한 모델들은 종종 계산 비효율성, 긴 시퀀스에서의 오차 누적, 양방향 추론 (예: 시작 및 종료 프레임 모두에 대한 조건부 생성) 수행 불가 등의 제약에 직면합니다.

방법론

본 논문은 통합된 비디오 확산 프레임워크 내에서 정밀한 시간적 제어를 가능하게 하는 **벡터화 시간 단계 적응 (Vectorized Timestep Adaptation, VTA)**을 활용한 다목적 모델인 PUSA V1.0을 소개합니다. 핵심 혁신은 아키텍처를 변경하거나 사전 훈련된 능력을 파괴하지 않고 기본 모델의 시간적 조건부 생성을 수정하는 비파괴적 적응 전략입니다.

1. 벡터화 시간 단계 적응 (VTA)

단일 스칼라 시간 단계 $t$ 대신, PUSA 는 프레임 수 $N$인 벡터화 시간 단계 $\tau \in [0, 1]^N$를 사용합니다. 여기서 각 구성 요소 $\tau^i$는 확률 경로 상의 $i$번째 프레임의 개별 진행 파라미터를 나타냅니다.

• 아키텍처 수정: 적응은 최소적이고 비파괴적입니다. 시간 단계 임베딩 모듈은 입력 벡터 $\tau$를 처리하도록 재설계되어 프레임별 임베딩을 생성합니다. 이러한 임베딩은 투영되어 DiT(확산 트랜스포머) 블록 내의 프레임별 변조 파라미터 (스케일, 시프트, 게이트) 를 생성합니다.
• 사전 지식 보존: 수정이 비파괴적이므로, 모든 프레임의 시간 단계를 동일한 값으로 설정하면 모델이 기본 T2V 모델과 동일한 결과를 생성할 수 있어 원래 능력을 완전히 보존합니다.

2. 프레임 인식 흐름 매칭 (FAFM)

모델은 벡터화 시간 단계를 위해 확장된 흐름 매칭 (Flow Matching) 목적 함수를 사용하여 훈련됩니다.

• 훈련 전략: 훈련은 완전 무작위 벡터화 시간 단계 전략 ($p_{async} = 1$) 을 활용하며, 여기서 각 구성 요소 $\tau^i$는 균일 분포 $U[0, 1]$에서 독립적으로 샘플링됩니다. 이는 모델이 시간 상태의 최대한 다양한 분포에서 정밀한 시간적 제어를 학습하도록 강요합니다.
• 효율성: 이전 방법들이 복잡한 샘플링 일정이나 방대한 데이터셋을 요구하는 것과 달리, 이 접근법은 극도로 제한된 데이터와 계산 자원으로 모델을 미세 조정할 수 있게 합니다.

3. 제로샷 (Zero-Shot) 작업을 위한 추론

PUSA 는 샘플링 과정에서 벡터화 시간 단계 $\tau$를 전략적으로 조작함으로써 제로샷 능력을 달성합니다:

• I2V: 조건부 이미지의 시간 단계 구성 요소 (예: 첫 번째 프레임) 는 추론 내내 0 으로 고정 ($\tau^1 = 0$) 되어, 다른 프레임들이 진화하는 동안 이를 깨끗한 조건으로 고정합니다.
• 시작-종료 프레임 및 확장: 특정 프레임 하위 집합 (예: 첫 번째 및 마지막 프레임) 의 시간 단계를 0 또는 특정 노이즈 수준으로 고정함으로써, 모델은 작업별 재훈련 없이 임의의 프레임 구성에 조건부 생성된 일관된 비디오를 생성할 수 있습니다.

주요 기여

1. 전례 없는 효율성: PUSA 는 Wan-I2V 와 같은 비교 기준 모델에 필요한 예상 10M 개 이상의 샘플과 10 만 개 이상의 비용과 비교하여, 단 4,000 개의 샘플과 0.5K 의 계산 비용(약 500 달러) 만으로 최첨단 (SOTA) I2V 성능을 달성합니다.
2. 통합된 다작업 일반화: 모델은 기본 모델의 T2V 능력을 유지하면서 동시에 I2V, 시작-종료 프레임, 비디오 확장 및 완성을 제로샷 방식으로 일반화합니다.
3. 메커니즘적 통찰: 분석 결과, 이 접근법은 모델의 자기 주의 (self-attention) 메커니즘에 시간적 역학을 외과적으로 주입하면서도 기반 모델의 생성적 사전 지식을 보존한다는 것이 밝혀졌습니다. 이는 비동기적 진화에 대한 기본 모델의 견고성을 활용함으로써 벡터화 시간 단계에 내재된 "조합적 폭발"을 피합니다.

결과

• 정량적 성능: VBench-I2V 벤치마크에서 PUSA 는 총점 87.32를 기록하여 Wan-I2V(86.86) 와 기타 오픈소스 모델을 능가했습니다. I2V 주제 일관성 (97.64 대 96.95) 및 배경 일관성 (99.24 대 96.44) 에서 우수한 성능을 보였습니다.
• 훈련 효율성: 제거 분석 (ablation studies) 은 PUSA 가 빠르게 수렴 (900 회 반복 이내) 하며 동일한 예산으로 훈련된 기준 모델들을 크게 능가함을 보여줍니다. LoRA 기반 미세 조정 접근법은 특히 효과적이어서, 동일한 반복 횟수에서 전체 미세 조정보다 높은 점수를 달성했습니다.
• 정성적 분석: 주의 맵 (attention maps) 의 시각화는 기본 T2V 모델이 대각선 주의 (프레임 독립성) 를 보이고 Wan-I2V 가 첫 번째 프레임에 일시적인 주의를 보이는 반면, PUSA 는 모든 추론 단계에서 조건부 프레임에 강력하고 일관된 주의를 유지함을 보여줍니다. 파라미터 발산 분석은 Wan-I2V 에서 관찰된 상당한 편차와 비교하여 PUSA 가 최소한의 변화 (주로 자기 주의 블록에서) 를 유도함을 확인시켜 줍니다.

중요성과 주장

본 논문은 PUSA 를 비디오 생성 패러다임의 중요한 전환점으로 위치시킵니다. 원칙적인 시간적 모델링 (벡터화 시간 단계) 과 효율적인 비파괴적 적응을 결합함으로써, PUSA 는 효율성과 품질 간의 트레이드오프를 재정의합니다.

• 민주화: 이 방법은 최소한의 계산 자원으로 최첨단 수준의 다작업 합성을 가능하게 함으로써 고품질 비디오 생성의 민주화를 이끕니다.
• 다용도성: 이는 경직된 스칼라 시간 단계 모델과 오류가 발생하기 쉬운 자기회귀적 접근법의 한계를 극복하면서, 단일 프레임워크 내에서 T2V, I2V 및 복잡한 시간적 편집 작업을 통합하는 확장 가능한 패러다임을 확립합니다.
• 비파괴적 성격: 이 연구는 대규모 사전 훈련 모델의 기본 능력을 희생하지 않고도 고급 시간적 제어를 해제할 수 있음을 입증하여, 파괴적 망각의 함정을 피합니다.