1. 문제 정의 (Problem Statement)

텍스트-to-비디오 (T2V) 생성 기술은 최근 큰 발전을 이루었으나, 고충실도 (high-fidelity) 이자 역동적인 운동 (motion dynamics) 을 생성하는 데에는 여전히 한계가 있습니다.

• 기존 방법의 한계: 현재 대부분의 T2V 모델은 Classifier-Free Guidance (CFG) 를 사용하여 텍스트 조건을 강화합니다. 그러나 표준 CFG 는 무조건적 (unconditional) 널 (null) 임베딩을 기준으로 작동하여 전체적인 텍스트 정렬은 개선되지만, 운동 (motion) 축에서의 모호함을 해결하지 못합니다.
• 데이터 편향: 학습 데이터셋이 정적이거나 운동이 적은 장면으로 편향되어 있어, 모델은 역동적인 프롬프트 (예: "울타리를 뛰어넘는 고양이") 가 입력되더라도 정적인 모드를 선호하는 경향이 있습니다.
• 콘텐츠 - 운동 드리프트 (Content-Motion Drift): 명시적인 부정 프롬프트 (예: "정지", "흐림") 를 사용하여 원치 않는 아티팩트를 억제하려 할 때, 객체의 구조적 무결성이 손상되거나 의도하지 않은 의미적 편향이 발생하는 현상이 발생합니다. 즉, 운동을 개선하려다 보니 객체 자체가 왜곡되는 문제가 있습니다.

2. 제안 방법: MotionCFG (Methodology)

저자들은 명시적인 부정 프롬프트 대신 확률적 개념 교란 (Stochastic Concept Perturbation) 을 기반으로 한 새로운 프레임워크인 MotionCFG 를 제안합니다. 이 방법은 학습이 필요 없는 (training-free) 제로샷 방식입니다.

핵심 메커니즘

1. 운동 관련 토큰 식별: 입력된 프롬프트에서 운동과 관련된 단어 (동사 등, 예: "점프", "달리기") 를 식별합니다. (LLM 을 활용한 자동화 또는 수동 지정 가능)
2. 국소적 교란 (Localized Perturbation): 식별된 운동 관련 단어의 임베딩 벡터에만 가우시안 노이즈를 주입하여 교란된 조건 (perturbed condition, $c_{pert}$) 을 생성합니다.
   • 이는 운동의 의미 공간 내에서 "최적하지 않은 운동 변이 (sub-optimal motion variations)"를 포괄하는 국소적인 부정 앵커 (negative anchor) 역할을 합니다.
3. 교차적 유도 (Contrastive Guidance): 생성 과정을 원래 조건 ($c$) 과 교란된 조건 ($c_{pert}$) 사이의 차이로 유도합니다.
   • 수식: $\tilde{\epsilon} = \epsilon_\theta(z_t, c) + \omega (\epsilon_\theta(z_t, c) - \epsilon_\theta(z_t, c_{pert}))$
   • 이를 통해 모델은 운동이 모호하거나 저하된 상태 ($c_{pert}$) 에서 멀어지도록 유도되며, 결과적으로 운동의 역동성이 선명해집니다.
4. 부분 구간 유도 스케줄링 (Piecewise Guidance Scheduler):
   • 비디오 확산 모델에서 글로벌 운동 레이아웃은 초기 단계에서 결정되고, 후반부는 공간적 세부 사항과 질감이 결정됩니다.
   • MotionCFG 는 전체 과정이 아닌 초기 단계 (전체 스텝의 $\tau$ 비율) 에만 적용하여 운동 궤적을 확립한 후, 후반부에는 표준 CFG 로 전환하여 시각적 품질을 유지합니다. 이는 아티팩트를 방지하고 텍스트 정렬을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 콘텐츠 - 운동 드리프트 해결: 명시적 부정 프롬프트 대신 노이즈 기반 교란을 사용하여, 운동의 역동성을 sharpen 하되 객체의 의미적 정체성 (semantic identity) 과 구조적 무결성은 보존합니다.
2. 암시적 하드 네거티브 마이닝 (Implicit Hard Negative Mining): 깨끗한 임베딩과 유사하지만 열화된 노이즈 버전의 임베딩을 대비시킴으로써, 수동으로 부정 프롬프트를 설계할 필요 없이 미세한 시간적 세부 사항을 정교하게 다듬습니다.
3. 범용성 및 확장성: 운동 개선뿐만 아니라, 표준 텍스트 기반 유도로는 제어하기 어려운 비선형 개념 (예: 정확한 객체 개수) 을 제어하는 데에도 효과적임을 입증했습니다.
4. 저비용 고효율: 추가적인 학습이나 모델 구조 변경 없이, 기존 SOTA T2V 모델 (Wan2.1, CogVideoX 등) 에 적용 가능하며 계산 오버헤드는 무시할 수준입니다.

4. 실험 결과 (Results)

저자들은 Wan2.1 (1.3B, 14B) 및 CogVideoX-5B 와 같은 최신 모델에서 MotionCFG 를 검증했습니다.

• 정량적 평가:
  • 운동 역동성 지표: FLOW(픽셀 단위 운동), Info DINO, DINO Segm, DEVIL Score 등에서 기존 방법 (Negative Prompting, CADS, Interval Guidance) 보다 일관되게 우수한 성능을 보였습니다.
  • Wan2.1-14B 기준: Baseline 대비 FLOW 점수가 2.95 에서 6.06 으로 2 배 이상 향상되었으며, 텍스트 - 비디오 정렬 지표 (X-CLIP) 는 거의 감소하지 않았습니다.
  • Trade-off 분석: 기존 방법들은 운동 강도를 높이면 텍스트 정렬이 급격히 떨어지는 반면, MotionCFG 는 운동 강도를 높이면서도 의미적 충실도 (Semantic Fidelity) 를 유지하는 파레토 최적 (Pareto optimal) 경계를 형성했습니다.
• 정성적 평가:
  • "건물의 붕괴", "말의 질주" 등 복잡한 물리적 운동을 정확하게 구현하면서도 객체의 일관성을 유지했습니다.
  • 객체 개수 제어: "3 마리의 말이 달린다"는 프롬프트에서 기존 방법은 개수를 잘못 생성하는 할루시네이션을 보인 반면, MotionCFG 는 요청된 개수를 일관되게 유지했습니다.
• Ablation Study:
  • 운동 관련 토큰에만 노이즈를 주입하는 것이 가장 효과적이었으며, 비운동 토큰을 교란하면 텍스트 정렬이 크게 저하됨을 확인했습니다.
  • 초기 단계에만 적용하는 부분 구간 스케줄링 ($\tau$) 이 전체 적용 시보다 성능이 우수함을 입증했습니다.

5. 의의 및 결론 (Significance)

MotionCFG 는 텍스트-to-비디오 생성 분야에서 운동 모호성 (motion ambiguity) 을 해결하기 위한 새로운 패러다임을 제시합니다.

• 기술적 의의: 단순한 텍스트 프롬프트 수정을 넘어, 임베딩 공간에서의 확률적 교란을 통해 모델의 잠재적 공간 (latent space) 을 정밀하게 제어하는 방법을 제시했습니다.
• 실용적 가치: 학습 비용 없이 기존 모델의 성능을 즉시 향상시킬 수 있어, 산업적 적용 가능성이 높습니다.
• 미래 지향성: 이 원리 (타겟팅된 교란을 통한 특정 의미 차원 sharpen) 는 운동뿐만 아니라 개수, 색상, 질감 등 다양한 비선형 속성 제어에도 적용 가능한 범용적인 프레임워크로 확장될 수 있음을 시사합니다.

요약하자면, MotionCFG 는 노이즈 기반의 교란 메커니즘을 통해 T2V 모델의 정적 편향을 극복하고, 객체 왜곡 없이 역동적이고 사실적인 비디오를 생성할 수 있게 하는 혁신적인 가이드 메커니즘입니다.