1. 연구 배경 및 문제 정의 (Problem)

최근 비디오 생성 모델 (Video Diffusion Models) 은 놀라운 성과를 거두었지만, 고품질 데이터에 대한 의존도가 매우 높다는 한계가 있습니다. 특히 **시각적 품질 (Visual Quality, VQ)**과 **모션 품질 (Motion Quality, MQ)**을 모두 갖춘 '황금 데이터 (Golden Data)'는 희소하고 구하기 어렵습니다.

저자들은 비디오 데이터 큐레이션 과정에서 다음과 같은 핵심 문제를 발견했습니다.

• 모션 - 비전 품질 딜레마 (Motion-Vision Quality Dilemma): 시각적 품질과 모션 강도 (또는 역동성) 는 본질적으로 부정적 상관관계를 가집니다. 즉, 모션이 풍부한 데이터는 시각적 디테일이 흐릿하거나 저해되는 경향이 있고, 반대로 시각적으로 선명한 데이터는 모션이 정적이거나 약한 경우가 많습니다.
• 데이터 낭비: 기존 연구들은 두 가지 품질을 모두 만족하는 데이터만 선별하여 사용하거나, 품질이 낮은 데이터를 완전히 폐기하는 방식을 취했습니다. 이는 모션이나 시각 중 한 가지 측면에서 뛰어난 '불균형 데이터 (Imbalanced Data)'의 가치를 무시하게 되어, 학습 가능한 데이터의 양을 크게 줄이고 편향된 모델을 초래합니다.

2. 핵심 방법론: Timestep Selective Training (Methodology)

저자들은 "어떤 비디오를 버릴 것인가"가 아니라 "불완전한 비디오를 어떻게 효과적으로 활용할 것인가"라는 새로운 관점에서 접근했습니다. 이를 위해 비디오 확산 모델의 **계층적 학습 동역학 (Hierarchical Learning Dynamics)**을 분석하고, 이를 기반으로 Timestep-aware Quality Decoupling (TQD) 프레임워크를 제안했습니다.

가. 분석 및 통찰 (Key Insights)

1. 계층적 탈노이즈 (Hierarchical Denoising): 비디오 확산 모델은 고잡음 시간 단계 (High-noise timesteps) 에서 전체적인 구성과 모션을 학습하고, 저잡음 시간 단계 (Low-noise timesteps) 에서 세부적인 시각적 디테일을 정제합니다.
2. 그래디언트 유사성: 품질이 불균형한 데이터 (예: 모션은 좋으나 화질은 나쁨) 도 적절한 시간 단계에서는 황금 데이터와 유사한 그래디언트 (학습 신호) 를 생성할 수 있음을 그래디언트 기반 분석을 통해 증명했습니다.

나. TQD (Timestep-aware Quality Decoupling) 프레임워크

TQD 는 각 비디오 샘플의 품질 프로파일에 따라 학습 시간 단계 (Timestep) 의 분포를 적응적으로 조정하는 두 단계의 메커니즘을 사용합니다.

1. 샘플 레벨 가중치 (Sample-Level Weighting via Absolute Quality):
   • 모션과 시각 품질 모두 낮은 데이터 (Low-MQ/Low-VQ) 는 학습에서 제외하거나 가중치를 낮춥니다.
   • 최소한 한 가지 측면 (모션 또는 시각) 에서 뛰어난 품질을 가진 데이터는 학습에 포함되도록 확률적으로 유지합니다.
2. 시간 단계 분포 조정 (Timestep-Level Distribution Adjustment via Relative Quality):
   • 고모션/저시각 (High-MQ/Low-VQ) 데이터: 모션 학습이 활발한 **높은 잡음 단계 (High timesteps)**로 샘플링 분포를 치우치게 합니다.
   • 저모션/고시각 (Low-MQ/High-VQ) 데이터: 세부 사항 정제가 일어나는 **낮은 잡음 단계 (Low timesteps)**로 샘플링 분포를 치우치게 합니다.
   • 황금 데이터 (High-High): 균형 잡힌 시간 단계 분포를 유지합니다.
   • 이 과정은 Beta 분포를 사용하여 각 샘플의 상대적 품질 차이 ($MQ_{norm} - VQ_{norm}$) 에 따라 분포의 중심 ($\mu$) 과 뾰족함 ($\kappa$) 을 동적으로 조절함으로써 구현됩니다.

3. 주요 기여 (Key Contributions)

1. 딜레마의 정의: 비디오 생성 분야에서 모션과 시각적 충실도 간의 본질적인 부정적 상관관계를 '모션 - 비전 품질 딜레마'로 정의하고 이를 정량화했습니다.
2. 이론적 기반 확립: 불균형 데이터가 적절한 시간 단계에서는 황금 데이터와 동등한 학습 신호를 제공함을 그래디언트 분석을 통해 증명하여, 시간 단계 선택적 학습의 이론적 근거를 마련했습니다.
3. TQD 프레임워크 제안: 데이터 필터링에 의존하지 않고, 불완전한 데이터를 전략적으로 배분하여 학습하는 새로운 패러다임인 TQD 를 제안하고 구현했습니다.
4. 실증적 검증: 황금 데이터가 전혀 없는 극단적인 불균형 데이터셋에서도 기존 필터링 방식을 거친 데이터로 학습한 모델보다 우수한 성능을 달성함을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

저자들은 CogVideoX-5B와 Wan-T2V-1.3B 모델을 사용하여 다양한 시나리오에서 실험을 수행했습니다.

• 극단적 불균형 데이터 (Set-B): 모션과 시각 품질이 모두 높은 데이터가 전혀 없는 상황 (고모션/저시각 + 저모션/고시각 데이터만 사용) 에서 TQD 를 적용한 모델은, 기존 필터링 방식을 통해 자연스러운 데이터 분포로 학습한 모델 (Baseline) 보다 더 높은 성능을 기록했습니다.
  • 예: Wan-T2V 모델에서 TQD(Set-B) 는 MQ 2.1477, VQ 3.2679 를 기록하여, Baseline(Set-A) 의 MQ 2.1388, VQ 3.2537 을 상회했습니다.
• 고품질 데이터 (Set-C): 이미 고품질 데이터만 있는 경우에도 TQD 를 적용하면 추가적인 성능 향상을 보였습니다.
• 물리적 합리성 (Physical Plausibility): TQD 를 적용한 모델은 거품 소멸, 액체 흐름 등 물리적 역학이 필요한 시나리오에서 더 자연스러운 결과를 생성했습니다.
• 계산 효율성: 점수 계산은 오프라인에서 미리 수행되며, 학습 중에는 샘플 드롭아웃과 시간 단계 분포 계산만 수행되므로 GPU 학습 시간은 기존 방법과 거의 동일하여 계산 비용이 거의 추가되지 않습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 생성 분야에서 **"완벽한 데이터 (Golden Data) 가 필수적이다"**라는 기존 통념을 깨뜨렸습니다. TQD 는 희소한 고품질 데이터에 의존하지 않고, 모션과 시각 중 한 가지 측면에서 뛰어난 방대한 양의 불완전한 데이터를 효과적으로 활용하여 모델을 학습시킬 수 있음을 증명했습니다.

이는 비디오 생성 모델의 확장성을 높이고, 데이터 수집 및 정제 비용을 절감할 수 있는 데이터 효율적이고 확장 가능한 새로운 패러다임을 제시한다는 점에서 중요한 의의를 가집니다.