OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data

기술 요약: OmniDance

문제 정의

음악 기반 댄스 비디오 생성은 음악과 시간적으로 정렬된 표현력 있는 인간의 움직임을 합성하는 동시에 높은 시각적 충실도를 유지하는 것을 목표로 합니다. 최근 AI 생성 콘텐츠(AIGC)의 발전에도 불구하고, 기존 방식들은 표현력 있는 움직임과 높은 시각적 품질을 동시에 달로 달성하는 데 어려움을 겪고 있습니다. 저자들은 발전을 저해하는 두 가지 주요 한계를 다음과 같이 식별했습니다:

1. 데이터셋의 한계: 댄스 비디오 생성에 특화된 대규모 고품질 데이터셋과 효과적인 데이터 수집 파이프라인이 부족합니다. 기존 데이터셋은 규모가 작거나(예: FineDance는 약 8시간의 움직임만 포함), 특정 안무 주석(annotation)이 결여되어 있는 경우가 많습니다.
2. 방법론적 한계: 일반적으로 오디오 감독 없이 학습되는 비디오 생성 파운데이션 모델(VGFM)에 음악을 보완적인 조건 신호로 효과적으로 통합하기 위한 원칙적인 프레임워크 수준의 솔루션이 부재합니다. 기존 접근 방식은 중간 표현(2D 키포인트 또는 3D SMPL)에 의존하거나 엔드투엔드 확산 모델(diffusion models)의 잠재력을 충분히 활용하지 못하여, 움직임의 표현력이 제한되거나 시각적 외관이 저하되는 결과를 초래합니다.

방법론: OmniDance

이러한 과제를 해결하기 위해, 저자들은 원래의 제어 가능성이나 시각적 충실도를 해치지 않으면서 텍스트/이미지 투 비디오(TI2V) 파운데이션 모델에 음악 조건을 통합하도록 설계된 통합 프레임워크인 OmniDance를 제안합니다. 이 프레임워크는 세 가지 공동 설계된 수준에서 작동합니다:

1. 데이터셋: CIPE-Dance

저자들은 현재까지 댄스 비디오 생성을 위한 가장 큰 오픈 소스 데이터셋인 CIPE-Dance를 소개하며, 이는 약 300,000개의 고품질 클립(400시간 이상)으로 구성됩니다.

• 구축 파이프라인: 인기 있는 크리에이터로부터 웹 크롤링된 데이터를 필터링하기 위해 "점진적 전문가 기반 데이터 수집 파이프라인(Progressive Expert-Based Data Collection Pipeline)"이 사용됩니다. 이는 가벼운 검증 전문가(Qwen3-VL-2B)로 간단한 작업을 시작하여 무거운 필터링 전문가(Qwen3-VL-8B)를 통해 복잡한 실패 모드(예: 그룹 댄스, 거울 반사, 장면 불안정성)를 식별하고 제거하는 점진적 '쉬움에서 어려움(easy-to-hard)' 전략을 채택합니다.
• 주석(Annotations): 이 데이터셋은 다섯 가지 차원(신체 역학, 안무 내용, 표현력, 카메라 프레젠테이션, 전체적인 외관)에 걸쳐 Qwen3-VL-8B가 생성한 **안무 정보 텍스트 주석(Choreograph Informed Text Annotations)**을 특징으로 합니다.
• 다양성: 데이터셋은 30개 이상의 댄스 장르, 다양한 환경(스튜디오, 거리, 집), 그리고 다양한 퍼포머 인구 통계를 포괄합니다.

2. 모델 아키텍처: 음악-텍스트 점진적 특화(Music-Text Progressive Specialization)

WAN2.2-TI2V-5B 확산 트랜스포머(DiT) 백본을 기반으로 구축된 OmniDance는 깊이 인지 특화 메커니즘을 도입합니다:

• 아키텍처: 각 DiT 블록에 추가적인 음악 교차 주의(cross-attention) 레이어가 추가됩니다.
• 점진적 특화: 얕은 레이어는 저주파 글로벌 구조를 포착하고 깊은 레이어는 고주파 세부 사항을 정제한다는 관찰에 착안하여, 모델은 깊이 인지 스케일링 전략을 사용합니다. 텍스트 조건은 얕은 레이어에서 의미론적 레이아웃을 설정하기 위해 지배적인 역할을 하는 반면, 음악 브랜치의 영향력(잔차 업데이트를 통해)은 더 깊은 레이어에서 점진적으로 증가하여 리듬 인지 움직임 역학을 정제합니다. 스케일링 계수는 $(\ell/L)^\gamma$로 정의되며, 여기서 $\ell$은 레이어 인덱스이고 $L$은 전체 깊이입니다.

3. 학습 전략: 쉬움에서 어려움으로의 커리큘럼 학습

TI2V 능력을 통합된 TI2V, 음악 투 비디오(MI2V), 음악-텍스트 투 비디오(MTI2V) 생성으로 확장하기 위해 3단계 커리큘럼이 채택됩니다:

• 1단계 (텍스트 적응 웜업): 모델은 음악 브랜치를 고정한 상태에서 댄스 특화 텍스트 설명에 백본을 적응시키기 위해 오직 TI2V로만 학습됩니다.
• 2단계 (앵커링된 음악 통합): 음악 브랜치가 도입되며, 모델은 TI2V와 MTI2V 모두에서 학습됩니다. 이를 통해 음악 조건이 텍스트 가이드 하에 학습되도록 하여, 사전 학습된 TI2V 능력의 급격한 저하를 방지합니다.
• 3단계 (모달리티 디커플링): 모델은 세 가지 작업(TI2V, MTI2V, MI2V) 모두에서 학습되어, 텍스트가 없을 때 음악만으로 댄스 비디오를 생성할 수 있게 합니다.

4. 추론 전략: 모달리티 특화 CFG

저자들은 모달리티 특화 분류기 없는 가이드(Classifier-Free Guidance, CFG) 전략을 제안합니다. 텍스트는 글로벌 세맨틱을 전달하고 음악은 시간적 역학을 제공한다는 점을 인식하여, 가이드 가중치는 시간에 따라 달라집니다:

• 초기 타임스텝: 텍스트 가이드가 글로벌 세맨틱을 설정하기 위해 지배적입니다.
• 후기 타임스텝: 음악 가이드가 리듬 인지 움직임 역학을 정제하기 위해 점점 더 큰 영향력을 갖게 됩니다.
• 가이드 스케일은 시간이 지남에 따라 감소합니다 (텍스트: $5 \to 1$; 음악: $4 \to 2$). 이는 의미론적 레이아웃에서 리듬 정제로의 매끄러운 전환을 보장합니다.

주요 기여

1. CIPE-Dance 데이터셋: 새로운 점진적 전문가 파이프라인을 통해 구축된, 안무 정보 주석을 포함한 최대 규모의 오픈 소스 댄스 비디오 생성 데이터셋(30만 클립)을 소개합니다.
2. OmniDance 프레임워크: 세 가지 수준의 설계(아키텍처, 커리큘럼 학습, 추론)를 통해 음악 조건을 TI2V 파운데이션 모델에 성공적으로 주입하여 TI2V, MI2V, MTI2V 작업 간의 원활한 전환을 지원하는 통합 프레임워크입니다.
3. 최첨단(SOTA) 성능: 광범한 실험을 통해 OmniDance가 세 가지 생성 작업 모두에서 SOTA 성능을 달로는 동시에 강력한 멀티모달 통합 능력을 보여줌을 입증했습니다.

실험 결과

실험은 CIPE-Dance 데이터셋에서 비디오 품질, 움직임 품질 및 정렬을 평가하며 수행되었습니다.

• TI2V 작업: OmniDance는 비디오 품질 지표(IQ: 67.74, AQ: 55.17)와 움직임 충실도(FIDk: 13.55) 측에서 강력한 베이스라인(CogVideoX1.5-5B, HunyuanVideo, WAN2.2-TI2V-5B)을 능가했습니다.
• MI2V 작업: OmniDance는 음악 기반 생성에서 SOTA 결과를 달성하였으며, 시각적 품질(IQ: 65.61)과 비트 정렬(BAS: 0.293) 측에서 톨킹 헤드 모델(Hallo2) 및 추론 전용 베이스라인(WAN-S2V, Echomimic-V3)을 앞질렀습니다.
• MTI2V 작업: 모델은 효과적인 멀티모달 시너지를 보여주었으며, 정체성과 장면 안정성을 유지하면서 높은 일관성(OC: 13.08)과 강력한 비트 동기화(BAS: 0.287)를 달성했습니다.
• 절제 연구(Ablation Studies): 점진적 특화(MTPS) 또는 커리큘럼 단계를 제거하면 시간적 매끄러움과 비트 정렬이 크게 저하되어, 제안된 아키텍처 및 학습 설계의 필요성을 입증했습니다.

의의 및 주장

본 논문은 데이터 부족과 효과적인 음악 통합이라는 두 가지 과제를 해결함으로써, 멀티모달 기반 댄스 비디오 생성의 중요한 진전을 이루었다고 주장합니다. 대규모 고품질 데이터셋과 텍스트(의미론) 및 음악(역학)의 상호 보완적 역할을 존중하는 원칙적인 프레임워크를 활용함으로써, 저자들은 높은 시각적 충실도와 표현력 있는 리듬 정렬 움직임을 모두 갖춘 댄스 비디오를 생성하는 것이 가능하다는 것을 보여주었습니다. 이 작업은 세 가지 별개의 생성 작업을 단일 모델로 통합하여 별도의 생성기가 필요하지 않도록 합니다. 저자들은 실시간 생성이 아직 지원되지 않음을 인정하면서도, 이들의 접근 방식을 증류(distillation) 기술과 결합하는 것이 향후 효율성을 위한 유망한 경로가 될 것임을 시사합니다.