기술 요약: 비디오 생성을 위한 모션 귀속 (Motive)

문제 정의

비디오 생성 모델의 급격한 발전에도 불구하고, 학습 데이터가 모션(시간적 역동성)을 형성하는 데 미치는 구체적인 역할은 여전히 제대로 이해되지 않고 있습니다. 주로 이미지 생성에 설계된 기존의 데이터 귀속 방법들은 정적인 시각적 외형에 초점을 맞춥니다. 이를 비디오에 단순히 적용할 경우, 모션을 외형으로 붕괴시켜 정적인 배경과 동적인 궤적을 구분하지 못하게 됩니다. 이는 어떤 학습 클립이 시간적 일관성, 물리적 타당성, 그리고 특정 모션 패턴(예: 속도, 가속도, 변형)에 영향을 미치는지 이해하는 데 있어 공백을 만듭니다. 더욱이, 비디오 귀속은 긴 시퀀스를 처리하는 높은 계산 비용, 가변적인 클립 길이에 의해 발생하는 편향, 그리고 시간적 관계를 공간적 콘텐츠로부터 분리하는 어려움과 같은 고유한 과제에 직면해 있습니다.

방법론: Motive 프레임워크

저자들은 정적인 외형으로부터 모션 특유의 영향력을 분리하도록 설계된 그래디언트 기반 데이터 귀속 프레임워크인 Motive(MOTIon attribution for Video gEneration)를 소개합니다. 이 프레임워크는 파인튜닝(fine-tuning) 환경에서 작동하며, 어떤 학습 클립이 생성된 쿼리 비디오의 시간적 역동성에 가장 강력한 영향을 미치는지 식별하는 것을 목표로 합니다.

핵심 구성 요소

1. 확장 가능한 그래디언트 계산:

   • 수십억 개의 파라미터를 가진 모델과 대규모 데이터셋을 처리하기 위해, Motive는 정확한 헤시안 역행렬(Hessian inversion)을 구하는 대신 아이덴티티 프리컨디셔너(identity preconditioner)를 사용하여 그래디언트 유사도를 통해 영향력을 근사합니다.
   • 효율성 전략: 분산을 줄이면서 순위 안정성을 유지하기 위해 단일 샘플 변형(단일 타임스텝 $t_{fix}$와 노이즈 추출 $\epsilon_{fix}$를 고정)을 사용합니다. 또한, 고차원 그래디언트를 코사인 유사도를 계산하기 전 저차원 공간($D' = 512$)으로 투영하는 Fastfood 프로젝션(Johnson–Lindenstrauss 변환)을 사용하여 저장 비용을 절감합니다.
   • 프레임 길이 편향 수정: 원시 그래디언트 크기는 비디오 지속 시간과 상관관계가 있습니다. Motive는 다양한 길이의 클립 간에 공정한 귀속을 보장하기 위해 프로젝션 전에 프레임 수($F$)로 그래디언트를 정규화합니다.

2. 모션 인식 가중치 부여 (모션 마스킹):

   • 비디오를 단일 단위로 취급하는 표준 귀속 방식과 달리, Motive는 국소적 모션에 따라 그래디언트 가중치를 재설정합니다.
   • 모션 탐지: 프레임워크는 AllTracker를 사용하여 픽셀 공간에서의 광학 흐름(optical flow)과 변위 벡터를 추출합니다.
   • 잠재 공간 정렬: 모션 크기를 모델의 잠재 그리드(그래디언트가 계산되는 곳)에 맞춰 다운샘플링합니다.
   • 모션 가중치 손실 함수: 손실 함수에 모션 크기 마스크($W$)를 적용합니다. 이는 정적인 영역(배경, 텍스처)의 그래디언트는 억제하고 동적인 영역(움직이는 물체, 카메라 움직임)의 그래디언트는 강조합니다. 결과적으로 도출된 영향력 점수는 생성된 모션을 기여한 특정 학습 클립으로 추적합니다.

3. 데이터 선택 전략:

   • 주어진 쿼리 비디오에 대해, Motive는 모든 학습 샘플에 대한 모션 인식 영향력 점수를 계산합니다.
   • 서브셋 선택: 파인튜닝 서브셋을 선택하기 위해 상위-$K$ 점수 샘플을 선정합니다. 여러 쿼리에 대해서는 다수결 투표(majority voting) 메커니즘을 사용하여 점수를 집계하고, 다양한 모션 쿼리 전반에 걸쳐 일관되게 영향력이 큰 샘플을 선택합니다.

주요 기여

1. 비디오를 위한 확장 가능한 귀속: 단일 샘플 추정기와 구조화된 프로젝션을 활용하여 현대적인 대규모 비디오 데이터셋 및 생성 모델로 확장 가능한 계산 효율적인 그래디언트 기반 귀속 방식을 제시합니다.
2. 프레임 길이 편향 수정: 긴 비디오가 누적된 그래디언트 크기로 인해 인위적으로 높은 영향력 점수를 받는 편향을 교정하는 새로운 정규화 기술을 제공합니다.
3. 모션 중심 귀속: 모션 가중치 손실 마스크를 사용하여 비디오 생성 모델에서 시각적 외형으로부터 시간적 역동성을 명시적으로 분리하는 최초의 프레임워크이며, 이를 통해 특정 모션 패턴을 학습 데이터와 연결할 수 있게 합니다.
4. 실증적 검증: Motive가 선택한 데이터(전체 데이터의 10%만 사용)가 무작위 선택 및 모션 미인식 귀속 베이스라인보다 VBench에서 모션 부드러움(smoothness)과 역동성 정도(dynamic degree)를 개선함을 입증했습니다.

실험 결과

프레임워크는 VIDGEN-1M 및 4DNeX-10M 데이터셋을 사용하여 텍스트-투-비디오 모델인 Wan2.1-T2V-1.3B 및 Wan2.2-TI2V-5B, 그리고 LTX-2B에서 평가되었습니다.

• 정량적 성능 (VBench):
  • Motive는 가장 높은 역동성 정도(Dynamic Degree) 점수(Wan2.1에서 47.6%, Wan2.2에서 48.3%)를 달성하였으며, 이는 무작위 선택(41.3%) 및 전체 비디오 귀속(43.8%)을 크게 상회하는 수치입니다.
  • 특히, Motive는 단 10%의 데이터만을 사용하면서도 역동성 지표에서 전체 데이터셋 파인튜닝보다 우수한 성능을 보였습니다.
  • 또한 모션 부드러움, 피사체 일관성, 미적 품질 측면에서도 경쟁력 있는 점수를 유지했습니다.
• 인간 평가:
  • 17명의 어노테이터를 대상으로 한 쌍체 비교(pairwise comparison)에서, Motive 가이드 모델은 사전 학습된 베이스 모델 대비 74.1%의 승률을, 전체 파인튜닝 모델 대비 53.1%의 승률을 기록했습니다.
• 절제 연구 (Ablation Studies):
  • 프로젝션 차원: 프로젝션 차원이 512일 때 정확도(전체 그래디언트와의 Spearman 상관계수 $\rho \approx 74.7\%$)와 효율성 사이의 최적의 균형을 제공했습니다.
  • 프레임 길이 정규화: 이 교정을 제거하면 순위가 모션 품질보다는 비디오 길이와 강한 상관관계($\rho=78.0\%$)를 보였습니다. 정규화는 이러한 허위 길이 상관관계를 54% 감소시켰습니다.
  • 모션 마스킹: 모션 인식 선택을 통해 파인튜닝된 모델이 전체 비디오 귀속을 사용한 모델보다 우수한 성능을 보였으며, 이는 모션 신호를 분리하는 것이 시간적 역동성을 개선하는 데 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 비디오 생성 모델에서 시각적 외형이 아닌 모션을 귀속시키고, 이 귀속을 파인튜닝 데이터 큐레이션에 활용하는 최초의 프레임워크라고 주장합니다.

저자들은 대규모 데이터 스케일링이 비디오 생성의 발전을 이끌어왔지만, 모션에 대한 데이터의 구체적인 영향력은 "블랙박스" 상태였다는 점을 강조합니다. Motive는 모델이 왜 그렇게 움직이는지를 이해할 수 있는 직접적인 렌즈를 제공합니다. 모션 격리를 통해 다음과 같은 작업이 가능해집니다:

• 타겟 데이터 큐레이션: 고영향력 데이터를 소량 선택하여 모션 품질과 물리적 타당성을 크게 향상시킵니다.
• 실패 모드 진단: 어떤 학습 클립이 특정 모션 아티팩트나 불일치를 유발하는지 식별합니다.
• 효율성: 데이터의 아주 적은 부분만 사용하여 전체 데이터셋 파인튜닝과 대등하거나 더 높은 성능을 달성함으로써, 고품질 모션 생성을 더욱 접근 가능하게 만듭니다.

본 연구는 비디오 모델이 확장됨에 따라, 데이터 수준에서의 모션 이해가 더 제어 가능하고 물리적으로 타당한 생성 시스템을 구축하는 데 필수적일 것이라고 결론짓습니다.