TeMuDance: Contrastive Alignment-Based Textual Control for Music-Driven Dance Generation

1. 문제 정의 (Problem Statement)

기존의 음악 기반 3D 춤 생성 (Music-Driven Dance Generation) 연구는 높은 리얼리즘과 음악 - 동작 간의 정렬 (Alignment) 을 달성했으나, 자연어 설명을 통한 구체적인 동작 제어 (Semantic Controllability) 가 부족하다는 한계가 있었습니다.

• 데이터의 단절: 음악 - 춤 데이터셋은 리듬 정렬은 제공하지만 텍스트 주석이 없고, 텍스트 - 동작 데이터셋은 언어 지도는 제공하지만 음악이 없습니다. 따라서 음악 - 텍스트 - 동작 (Music-Text-Motion) 의 3 중 (Triplet) 데이터셋이 존재하지 않아, 지도 학습을 통한 텍스트 기반 제어를 구현하기 어렵습니다.
• 기존 방법의 한계:
  • 장르 레이블과 같은 거시적 제어는 구체적인 동작 의도를 전달하지 못합니다.
  • 텍스트 기반 편집이나 이산적 (Discrete) 코드북 기반 방법은 리듬과 의미론적 동작의 자연스러운 통합을 방해하거나, 학습된 분포에 제한을 받아 새로운 지시를 따르기 어렵습니다.

2. 제안 방법론 (Methodology: TeMuDance)

TeMuDance 는 수동으로 주석이 달린 3 중 데이터셋 없이도 텍스트 기반 제어가 가능한 프레임워크를 제안합니다. 핵심은 동작 (Motion) 을 공통의 의미적 앵커 (Anchor) 로 활용하여 분리된 데이터셋을 통합하는 것입니다.

2.1. 핵심 아키텍처

1. 프리트레인된 음악 기반 춤 생성 백본 (Frozen Backbone):
   • 음악 - 춤 데이터 (FineDance) 로 사전 학습된 확산 모델 (Diffusion Model) 을 백본으로 사용합니다.
   • 이 백본은 고정 (Frozen) 되어 리듬 정합성과 물리적 리얼리즘을 유지합니다.
2. 텍스트 제어 브랜치 (Text Control Branch):
   • ControlNet 에서 영감을 받아, 백본의 디노이저 (Denoiser) 구조를 복제하여 학습 가능한 제어 브랜치를 추가합니다.
   • 텍스트 인코더 (BERT) 를 통해 추출된 텍스트 임베딩을 중간 레이어에 주입하여, 백본 매개변수를 수정하지 않고도 생성 방향을 의미론적으로 유도합니다.

2.2. 동작 중심 교차 모달 정렬 (Motion-Centred Bridging)

3 중 데이터가 부재한 상황에서 텍스트와 음악을 연결하기 위해 **대조적 정렬 (Contrastive Alignment)**을 사용합니다.

• 공유 임베딩 공간 학습: 음악 - 춤 데이터 (FineDance) 와 텍스트 - 동작 데이터 (HumanML3D) 를 동작 (Motion) 을 매개체로 하여 하나의 공통 잠재 공간에 정렬합니다.
• 도메인 간 정렬 (Domain Alignment): 두 데이터셋의 동작 분포 차이를 줄이기 위해, 배치별 평균과 공분산을 정렬하는 정규화 항 (Bridge Loss) 을 도입합니다.
• 가상 3 중 데이터 생성 (Pseudo-Triplet Construction):
  • Dual-Stream Training: 두 개의 데이터 스트림을 번갈아 사용합니다.
  • Cross-Modal Retrieval: 텍스트 - 동작 쌍에서 음악이 누락된 경우, 동작 임베딩을 사용하여 음악 - 춤 데이터베이스에서 가장 유사한 음악을 검색 (Retrieval) 하여 가상 음악 조건을 생성합니다. 반대로 음악 - 춤 데이터에서 누락된 텍스트도 유사한 방식으로 채웁니다.
  • 신뢰도 필터링: 검색된 매칭의 유사도가 임계값 이하일 경우 해당 샘플을 배제하여 노이즈가 있는 가짜 주석을 제거합니다.

2.3. 학습 전략

• 이중 스트림 미세 조정 (Dual-Stream Fine-tuning): 텍스트 제어 브랜치를 학습할 때, 텍스트 - 동작 스트림은 의미론적 제어 (Semantic Control) 를, 음악 - 춤 스트림은 리듬 정합성 (Rhythmic Fidelity) 을 유지하도록 가중치 합으로 학습합니다.
• 추론 (Inference): Classifier-Free Guidance 를 활용하여 음악의 영향력과 텍스트의 제어력을 사용자가 조절할 수 있는 균형을 제공합니다.

3. 주요 기여 (Key Contributions)

1. TeMuDance 프레임워크: 3 중 (Triplet) 데이터셋 없이 텍스트 기반 제어가 가능한 음악 - 춤 생성 모델 제안.
2. 동작 중심 브리징 메커니즘: 분리된 데이터셋을 공유 잠재 공간에 정렬하여, 텍스트 - 동작 데이터의 의미 개념을 음악 기반 생성에 전이 (Transfer) 가능하게 함.
3. 신뢰도 기반 필터링이 적용된 이중 스트림 학습: 가짜 주석의 노이즈를 억제하면서도 두 데이터 스트림이 상호 보완되도록 설계.
4. Kinematic Primitive Success (KPS) 지표: 음악 조건 하에서 텍스트 프롬프트가 의도된 운동학적 속성 (Kinematic attributes) 을 성공적으로 유도하는지 측정하는 새로운 작업 정렬 (Task-aligned) 평가 지표 제안.

4. 실험 결과 (Results)

• 음악 기반 춤 생성 품질 (FineDance & AIST++):
  • 기존 최첨단 모델 (EDGE, Bailando, LODGE 등) 대비 가장 낮은 FID(실제 동작 분포와의 유사성) 를 기록하여 높은 리얼리즘을 입증했습니다.
  • 신체 접촉 (Physical Body Contact) 점수와 비트 정렬 점수 (BAS) 에서도 최상위 또는 경쟁력 있는 성능을 보였습니다.
• 텍스트 제어 능력 (KPS 평가):
  • 자세 (Pose) 수준: '킥 (kick)', '손 들어 올리기 (hands_up)' 등 음악만으로는 발생하기 어려운 세부 동작에서 텍스트 조건이 없을 때보다 60% 이상의 성공률 향상 (Lift) 을 보였습니다.
  • 궤적 (Trajectory) 수준: '시계 방향 회전', '걷기' 등 이동 관련 지시에서 60% 이상의 향상.
  • 전반적: 텍스트 조건이 음악만으로는 생성되지 않는 구체적인 동작 패턴을 성공적으로 유도함을 증명했습니다.
• 사용자 연구:
  • 생성된 춤의 리얼리즘과 물리적 타당성에서 기존 모델 대비 62.5%~85.4% 의 선호도를 기록했습니다.
  • TM2D 와 비교 시, 텍스트 지시가 춤 전체에 자연스럽게 융합된 연속적인 안무 (Choreographic Coherence) 측면에서 75% 의 선호도를 보였습니다.

5. 의의 및 결론 (Significance)

TeMuDance 는 음악 기반 춤 생성 분야에서 고품질의 리듬 정합성과 정밀한 의미론적 제어를 동시에 달성하는 새로운 패러다임을 제시합니다.

• 데이터 효율성: 대규모 3 중 데이터셋 구축의 어려움 없이, 기존에 존재하는 분리된 데이터셋을 효과적으로 결합하여 학습할 수 있는 방법을 제시했습니다.
• 실용성: 자연어 지시를 통해 가상 캐릭터의 춤을 구체적으로 제어할 수 있어, 미디어 제작 및 엔터테인먼트 산업에서의 자동화된 애니메이션 생성에 큰 잠재력을 가집니다.
• 평가 기준: 기존 텍스트 - 동작 평가 지표의 한계를 극복하고, 음악 조건 하에서의 텍스트 제어력을 정량화하는 새로운 표준 (KPS) 을 제시했습니다.

결론적으로, TeMuDance 는 음악의 리듬을 해치지 않으면서도 사용자의 구체적인 의도를 반영한 고품질 3D 춤 생성을 가능하게 하는 획기적인 접근법입니다.