TokenDance: Token-to-Token Music-to-Dance Generation with Bidirectional Mamba

1. 문제 정의 (Problem)

기존의 3D 음악 - 춤 생성 (Music-to-Dance Generation) 모델들은 다음과 같은 한계를 가지고 있습니다:

• 데이터의 제한: 기존 3D 춤 데이터셋 (FineDance, AIST++ 등) 이 매우 작아 (약 3~8 시간), 모델이 다양한 음악 스타일과 안무 패턴을 학습하기 어렵습니다.
• 일반화 능력 부족: 제한된 데이터로 인해 학습된 모델은 실제 환경 (In-the-wild) 의 복잡한 음악에 적용 시, 지나치게 단순하고 반복적인 안무를 생성하거나 표현력이 떨어지는 문제가 발생합니다.
• 연속 공간 회귀의 한계: 기존 1 단계 (One-stage) 방법론들은 연속적인 공간에서 모션을 직접 회귀 (Regression) 하는 방식을 사용하는데, 이는 누적 오차와 매니폴드 드리프트 (Manifold Drift) 를 유발하여 긴 시퀀스에서 물리적으로 타당하지 않은 모션을 생성할 수 있습니다.
• 미세한 리듬 및 구조 모델링 부재: 음악을 연속적인 신호로만 처리할 경우, 세밀한 리듬 단서와 고수준의 음악적 구조를 명시적으로 모델링하기 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 TokenDance라는 2 단계 프레임워크를 제안하여 위 문제들을 해결합니다. 핵심은 음악과 춤을 모두 **이산화된 토큰 (Discrete Tokens)**으로 변환하고, 이를 **양방향 Mamba (Bidirectional Mamba)**를 기반으로 생성하는 것입니다.

2.1. 1 단계: 이진 모달리티 토큰화 (Dual-Modality Tokenization)

음악과 춤을 모두 유한한 집합의 토큰으로 변환하여 구조화된 사전 지식 (Prior) 을 학습합니다.

• Finite Scalar Quantization (FSQ) 적용: 기존 VQ-VAE 의 코드북 붕괴 (Codebook Collapse) 문제를 해결하기 위해 FSQ 를 사용합니다. 이는 명시적인 코드북을 유지하지 않고 채널별로 스칼라 값을 이산화하여 균일한 코드 사용을 보장합니다.
• 춤 토큰화 (Dance Tokenization):
  • 상체 (Upper-body) 와 하체 (Lower-body) 모션을 분리하여 각각 별도의 코드북을 구성합니다.
  • SMPL 파라미터를 인코딩하며, 관절 위치, 속도, 가속도 및 정역학 (Forward Kinematics) 일관성을 보장하기 위한 동적 - 운동학적 제약 (Dynamic-Kinematic Constraints) 을 손실 함수에 포함합니다.
• 음악 토큰화 (Music Tokenization):
  • 음악을 음향적 (Acoustic) 요소 (리듬, 박자 등) 와 의미론적 (Semantic) 요소 (장르, 스타일 등) 로 분해합니다.
  • MFCC 를 의미론적 특징으로, 나머지를 음향적 특징으로 간주하여 각각 전용 FSQ 코드북을 통해 토큰화합니다. 이를 통해 이질적인 정보의 상호 간섭을 방지하고 표현력을 확장합니다.

2.2. 2 단계: 토큰 - 투 - 토큰 생성 (Token-to-Token Generation)

학습된 음악 토큰을 기반으로 춤 토큰을 생성하는 단계입니다.

• Local-Global-Local 아키텍처:
  • Local Scanner: 음향 및 의미 음악 토큰, 그리고 상/하체 모션 토큰 각각의 국소적 시간 의존성을 모델링합니다.
  • Global Scanner: 양쪽 모달리티 정보를 융합하고 장르 (Genre) 인식 게이팅 메커니즘을 통해 전역적인 안무 일관성을 유지합니다.
• Bidirectional Mamba (BiMamba) 백본:
  • 선택적 상태 공간 모델 (SSM): Mamba 아키텍처를 사용하여 국소적 시간 연속성을 효율적으로 모델링합니다.
  • 양방향성: 음악의 프레이징과 안무의 연속성을 위해 순방향과 역방향 (시간 반전) 경로를 모두 처리하여 문맥을 통합합니다.
  • 비자기회귀 (Non-autoregressive) 추론: Mamba 의 병렬 스캔 (Parallel Scan) 기능을 활용하여 단계별 디코딩 없이 전체 시퀀스를 병렬로 생성하므로, 추론 속도가 매우 빠릅니다.

3. 주요 기여 (Key Contributions)

1. TokenDance 프레임워크: 생성 품질과 추론 속도 모두에서 최첨단 (SOTA) 성능을 달성하는 효율적인 2 단계 음악 - 춤 생성 프레임워크를 제안했습니다.
2. 음악 토큰화 (Music Tokenization): 음악을 이산화된 토큰으로 변환하는 방식을 도입하여, 제한된 데이터에서도 모델의 일반화 능력을 획기적으로 향상시켰습니다. 이는 모델 아키텍처에 구애받지 않는 보편적인 효과 (Model-agnostic) 를 입증했습니다.
3. Local-Global-Local 생성기 및 BiMamba: 국소적 리듬 정렬과 전역적 안무 일관성을 동시에 모델링하며, 비자기회귀 방식을 통해 실시간 적용이 가능한 고속 생성을 가능하게 했습니다.

4. 실험 결과 (Results)

AIST++, FineDance, PopDanceSet 등 다양한 데이터셋에서 기존 모델 (FACT, Bailando, EDGE, Lodge 등) 과 비교 평가되었습니다.

• 생성 품질 (Quality):
  • FID (Fréchet Inception Distance): 모든 데이터셋에서 낮은 FID 값을 기록하여 모션의 사실성과 품질이 우수함을 입증했습니다 (예: PopDanceSet 에서 FIDk 17.77, FIDg 15.95).
  • 다양성 (Diversity): DIV 점수가 높아 단순 반복이 아닌 풍부한 안무 패턴을 생성합니다.
• 리듬 정렬 (Rhythmic Alignment):
  • Beat Alignment Score (BAS) 에서 높은 점수를 받아 음악의 박자와 춤의 움직임이 정확히 동기화됨을 확인했습니다.
• 추론 속도 (Inference Speed):
  • 비자기회귀 방식의 이점: 1024 프레임 기준 1.22 초, 4096 프레임 기준 2.31 초로, 기존 방법들 (FACT 는 35 초 이상) 에 비해 압도적으로 빠른 속도를 보여줍니다.
• 사용자 연구 (User Study):
  • 40 명의 참가자를 대상으로 한 블라인드 테스트에서 춤 동기화, 품질, 창의성 모든 항목에서 다른 SOTA 모델들보다 높은 점수를 받았습니다.

5. 의의 및 결론 (Significance)

• 데이터 효율성: 제한된 3D 춤 데이터셋에서도 음악의 구조적 특성을 토큰화하여 학습함으로써, 과적합을 줄이고 실제 환경 (In-the-wild) 의 복잡한 음악에 대한 일반화 능력을 크게 향상시켰습니다.
• 실시간 적용 가능성: Mamba 기반의 비자기회귀 생성 방식을 통해, 가상 현실 (VR), 디지털 캐릭터 애니메이션, 실시간 춤 교육 등 지연 시간이 중요한 응용 분야에 실용적으로 적용할 수 있는 가능성을 열었습니다.
• 새로운 패러다임: 음악을 연속 신호가 아닌 '구조화된 토큰'으로 접근함으로써, 음악 - 춤 생성 작업을 회귀 문제가 아닌 구조화된 시퀀스 예측 문제로 재정의하여 학습 복잡도를 낮추고 성능을 극대화했습니다.

요약하자면, TokenDance 는 이산화된 토큰화 전략과 양방향 Mamba 아키텍처를 결합하여, 기존 모델들의 한계였던 생성 품질, 다양성, 그리고 추론 속도를 동시에 해결한 획기적인 음악 - 춤 생성 모델입니다.