1. 문제 정의 (Problem Statement)

현재의 텍스트-to-비디오 (T2V) 생성 모델은 단일 사건 (single-event) 이나 간단한 프롬프트에서는 뛰어난 성능을 보이지만, 복잡한 시간적 서술 (multiple sequential actions) 을 포함하는 다중 사건 비디오 생성에서는 한계를 드러냅니다.

• 기존 방법의 딜레마:
  1. 여러 짧은 프롬프트를 순차적으로 입력하는 방식: 각 사건을 개별적으로 생성하여 이어 붙이는 방식 (Multi-prompt paradigm) 은 행동의 충실도 (action fidelity) 는 높일 수 있지만, 클립 간의 연결부에서 **시간적 불일치 (temporal inconsistency)**와 콘텐츠 드리프트 (content drift) 가 발생하며 추론 시간이 급증합니다.
  2. 하나의 복잡한 프롬프트를 직접 입력하는 방식: 시간적 일관성은 유지되지만, 모델이 프롬프트 내의 모든 개별 사건을 정확히 이해하고 순서대로 반영하지 못해 **사건 누락 (event omission)**이나 **시간적 환각 (temporal hallucination)**이 발생합니다.
• 근본 원인: 저자들은 이러한 실패 원인을 두 가지로 분석했습니다.
  1. 비디오 콘텐츠와 프롬프트 간의 시간적 불일치 (temporal misalignment).
  2. 움직임과 관련된 시각적 객체와 여러 사건의 텍스트 조건 간의 충돌하는 어텐션 커플링 (conflicting attention coupling). 즉, 한 프레임에서 서로 다른 사건의 동사들이 동일한 비디오 영역에 강하게 반응하여 혼란을 초래합니다.

2. 방법론 (Methodology: TS-Attn)

저자는 **TS-Attn (Temporal-wise Separable Attention)**이라는 새로운 학습 불필요 (training-free) 어텐션 메커니즘을 제안했습니다. 이 방법은 사전 학습된 T2V 모델의 크로스 어텐션 (cross-attention) 레이어를 수정하여 시간적 인식을 강화하고 글로벌 일관성을 유지합니다.

핵심 아이디어:
비디오 토큰과 텍스트 조건 간의 어텐션 분포를 동적으로 재배열하여, 각 프레임의 움직임 영역이 시간적으로 대응되는 특정 사건에만 집중하도록 하고, 다른 사건 간의 간섭을 최소화합니다.

주요 구성 요소:

1. 움직임 영역 추출 (Motion Region Extraction):

   • 프롬프트 내 주체 (subject) 의 의미적 레이아웃을 기반으로 크로스 어텐션 맵을 분석하여, 움직임이 발생하는 비디오 토큰 영역을 적응적으로 식별합니다.
   • 이 영역 마스크 ($M_s$) 를 사용하여 어텐션 조절이 배경이 아닌 실제 움직임 영역에 집중되도록 제한합니다.

2. 사건 인지 어텐션 조절 (Event-Aware Attention Modulation):

   • 어텐션 재배열 (Attention Rearrangement):
     • 프롬프트의 각 사건 ($e_i$) 에 대응하는 시간적으로 분할된 비디오 쿼리 ($Q_i$) 에 대해, 해당 사건에 대한 어텐션은 양 (+) 편향을, 다른 사건에 대한 어텐션은 음 (-) 편향을 적용합니다.
     • 이를 통해 각 프레임의 움직임 영역이 시간 순서에 맞는 사건과만 강하게 연결되도록 합니다.
   • 어텐션 강화 (Attention Reinforcement):
     • 어텐션 분포가 너무 평탄할 경우 (시간적 정렬이 명확하지 않을 때), 어텐션 강도를 적응적으로 조절합니다.
     • 시간적으로 정렬된 사건에 대한 어텐션이 약하면 강도를 높이고, 다른 사건에 대한 어텐션이 강하면 약화시키는 가중치 ($R$) 를 적용하여 분포를 더욱 날카롭게 만듭니다.

수식적 표현:
최종 어텐션 맵 $A$는 다음과 같이 계산됩니다.
$$A = \text{softmax}\left(\frac{QK^\top + M_s \odot R(Q, K) \odot B(Q, K)}{\sqrt{d}}\right)$$
여기서 $B$는 재배열 편향, $R$은 강화 계수, $M_s$는 움직임 영역 마스크입니다.

3. 주요 기여 (Key Contributions)

1. 근본 원인 분석: 복잡한 다중 사건 프롬프트에서의 성능 저하 원인이 시간적 정렬 실패와 어텐션 커플링에 있음을 규명하고, 시간적 분리 그룹핑의 중요성을 입증했습니다.
2. TS-Attn 프레임워크 제안: 움직임 영역과 다중 사건 조건 간의 어텐션 분포를 동적으로 재구성하는 새로운 메커니즘을 개발했습니다. 이는 정확한 시간적 순서 반영과 물리적으로 타당한 전환을 동시에 가능하게 합니다.
3. 학습 불필요 및 범용성: 추가 학습 없이 기존 사전 학습 모델 (DiT, Cross-DIT 아키텍처 등) 에 플러그 앤 플레이 (plug-and-play) 방식으로 통합 가능합니다.
4. 광범위한 실험 검증: 텍스트-to-비디오 (T2V) 및 이미지-to-비디오 (I2V) 작업 모두에서 기존 모델 대비 획기적인 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 (StoryEval-Bench):
  • Wan2.1-T2V-14B 모델에서 33.5% 향상, Wan2.2-T2V-A14B에서 16.4% 향상.
  • CogVideoX-5B 모델에서는 **57.3%**의 상대적 성능 향상을 기록했습니다.
  • 기존 다중 프롬프트 기반 방법 (MEVG, DiTCtrl) 보다 시간적 일관성과 프롬프트 준수 능력에서 우위를 보였습니다.
• 추론 효율성:
  • TS-Attn 을 적용해도 추론 시간은 약 2% 만 증가하여, 기존 단일 프롬프트 모델과 유사한 속도를 유지합니다.
  • 반면, 여러 클립을 생성하여 이어붙이는 기존 방법들은 추론 시간이 3 배 이상 증가했습니다.
• 이미지-to-비디오 (I2V):
  • StoryEval-Bench-I2V(저자들이 새로 구축한 벤치마크) 에서도 모든 베이스라인 모델에서 일관된 성능 향상을 보였습니다.
• 정성적 결과:
  • 여러 사건이 연속적으로 발생하는 복잡한 시나리오 (예: 공이 휠체어에 부딪히고 이동하는 과정) 에서 사건 누락 없이 자연스러운 전환을 구현했습니다.

5. 의의 및 결론 (Significance)

TS-Attn 은 복잡한 시간적 서술을 가진 비디오 생성의 핵심 난제인 '행동 충실도'와 '시간적 일관성' 사이의 트레이드오프를 해결했습니다.

• 학습 불필요 (Training-free): 방대한 데이터 재학습 없이 기존 모델의 성능을 극대화할 수 있어, 새로운 모델에 빠르게 적용 가능합니다.
• 확장성: 단일 모델에서 여러 사건을 처리할 수 있게 함으로써, 장편 비디오 생성이나 상호작용형 비디오 생성의 가능성을 열었습니다.
• 실용성: 추론 오버헤드가 거의 없으므로 실제 응용 환경에서도 즉시 활용 가능한 솔루션을 제공합니다.

이 연구는 다중 사건 비디오 생성 분야에서 새로운 표준을 제시하며, 더 복잡하고 역동적인 입력 프롬프트를 처리할 수 있는 확장 가능한 고품질 비디오 생성 기술의 발전에 기여했습니다.