기술 요약: TMD-Bench 및 RhyJAM

문제 제기

통합 오디오-비주얼 생성 기술은 영화 제작 및 인터랙티브 미디어와 같은 일반적 응용 분야에서 크게 발전했으나, 음악-댄스 공동 생성에 적용될 때는 상당한 도전에 직면합니다. 거친 시간적 동기화와 의미적 대응을 주로 요구하는 일반적인 오디오-비주얼 합성과 달리, 음악-댄스 생성은 미세한 리듬 결합을 요구합니다. 리듬, 구절, 악센트와 같은 음악적 요소는 박자 수준의 해상도로 춤 동작을 주도해야 하며, 생체 역학적으로 타당한 전환과 조율된 사지 궤적이 필요합니다.

현재의 평가 패러다임은 이러한 특정 과제를 해결하지 못합니다. 기존 오디오-비주얼 생성 평가 지표 (예: VABench) 는 단일 모달 품질 평가나 의미적 대응 및 장면 수준의 물리적 제약을 측정하는 일반적 일관성 점수에 의존합니다. 이러한 지표들은 음악 리듬과 춤 동작 역학 사이의 고유한 미세 정렬을 포착하기에 부족하여, 음악-댄스 모델을 체계적으로 평가하고 개선하는 능력에 공백을 남깁니다.

방법론

1. TMD-Bench: 다수준 평가 패러다임

저자들은 텍스트 기반 음악-댄스 공동 생성을 세 가지 상호 보완적 축에 걸쳐 평가하도록 설계된 포괄적인 벤치마크인 TMD-Bench를 소개합니다.

• 단일 모달 생성 품질: 음악과 비디오의 충실도를 독립적으로 평가합니다.
• 지시 사항 준수: 생성된 콘텐츠가 텍스트 명세를 얼마나 잘 따르는지 평가합니다.
• 교차 모달 리듬 정렬: 음악과 동작 간의 시간적 결합을 측정합니다.

평가 파이프라인은 두 가지 수준에서 작동합니다.

• 물리적 계층 (계산 가능 지표):
  • 오디오: 제작 품질, 복잡성, 즐거움, 유용성 지표를 사용하며, 여섯 가지 차원 (악기, 리듬, 템포, 장르, 분위기, 기능) 에 걸쳐 구조화된 의미 레이블을 생성하기 위해 Music Captioner(Qwen-Omni 를 미세 조정) 를 활용합니다.
  • 비디오: 시공간 일관성, 영상 품질, 동작 역학을 위한 VBench 스타일 지표를 활용하며, 의미적 유사성을 위해 ViCLIP 로 보완합니다.
  • 정렬 (MDAlign): 두 가지 물리적 지표를 도입합니다.
    • 비디오 박자 일관성 점수 (VBCS): 동작 악센트와 음악 박자 간의 시간적 근접성을 측정합니다.
    • 오디오 박자 히트 점수 (ABHS): 동작 반응이 음악 박자를 얼마나 커버하는지 측정합니다.
• 지각 계층 (MLLM-as-a-Judge):
  • 의미적 일관성, 스타일적 의도, 리듬 동기화에 대한 인간 판단을 근사하기 위해 멀티모달 대규모 언어 모델 (특히 Gemini 3.0 Pro) 을 활용하여, 순수 알고리즘적 지표가 지각적 '느낌'을 포착하는 데 한계가 있음을 보완합니다.

2. RhyJAM: 통합 생성 모델

벤치마크의 유효성을 입증하기 위한 기준선을 제공하기 위해 저자들은 RhyJAM(Rhythm Joint Audio–Motion Generation Model) 을 제안합니다.

• 아키텍처: 단일 프로세스 내에서 음악과 춤 동작을 동시에 생성하는 엔드투엔드 통합 확산 모델입니다.
• 수식화: 잠재 공간에서 연속 시간 수송을 학습하기 위해 Flow-Matching을 활용합니다. 이 모델은 오디오와 비디오를 잠재 변수로 인코딩하고, 시간적 정렬을 보장하기 위해 동일한 확산 시간 단계에서 노이즈 교란을 적용합니다.
• 메커니즘: 융합 모듈은 순차적 어텐션 연산 (모달 내, 텍스트 조건부, 교차 모달) 을 사용하여 시간적 구조와 의미적 가이드를 점진적으로 통합함으로써, 두 모달리티 모두에 대한 공유 의미 조건부 학습을 가능하게 합니다.

3. 데이터셋

이 연구는 정제된 10k 규모 리듬 정렬 음악-댄스 데이터셋을 기반으로 합니다. 이 데이터셋은 품질 우선 전략으로 구축되었으며, Music Captioner 훈련을 위한 순수 음악 스트림과 공동 생성 훈련을 위한 리듬 정렬 오디오-비디오 스트림을 분리했습니다.

주요 결과

실험은 TMD-Bench 테스트 세트 (100 개의 다양한 프롬프트) 에서 수행되었으며, RhyJAM 을 폐쇄형 상용 모델 (예: Sora 2, Veo 3, Kling 2.6), 캐스케이드 파이프라인, 오픈소스 통합 모델 (예: JavisDiT, Ovi, LTX-2) 과 비교했습니다.

• 리듬 정렬:
  • 물리적 지표: RhyJAM 은 모든 방법 중 최고의 **박자 커버리지 (ABHS = 0.27)**를 달성하면서도 강력한 **박자 근접성 (VBCS = 0.50)**을 유지하여 Sora 2 와 같은 최상위 상용 시스템과 비교 가능한 수준을 보였습니다.
  • 지각 지표: RhyJAM 은 0.79의 고수준 정렬 점수를 달성하여 모든 오픈소스 및 캐스케이드 기준선을 상회하고, 최강의 폐쇄형 시스템에 근접하는 성능 수준에 도달했습니다.
  • 어텐션 시각화: 교차 모달 어텐션 맵은 RhyJAM 이 안정된 오디오-비주얼 결합을 나타내는 매끄럽고 연속적인 대각선 패턴을 보인 반면, 기준선 모델들은 단편화된 활성화와 국소적 떨림을 보임을 보여주었습니다.
• 단일 모달 품질:
  • 오디오: RhyJAM 은 리듬 관련 차원 (리듬 & 그루브: 0.59) 에서 주목할 만한 개선을 보였으며, 미학 측면에서도 경쟁력 있는 성능을 발휘했으나, 전반적인 제작 충실도 측면에서는 최상위 상용 시스템 대비 격차가 여전히 존재합니다.
  • 비디오: 이 모델은 동작, 품질, 일관성 측면에서 경쟁력 있는 점수를 달성하여 대부분의 오픈소스 기준선을 상회했으나, 폐쇄형 모델과의 성능 격차는 지속됩니다.
• 지시 사항 준수: RhyJAM 은 특히 리듬과 템포와 같은 의미적 차원에서 텍스트 명세를 강력하게 준수하는 것으로 나타났으며, 이는 Music Captioner 를 통해 검증되었습니다.

중요성 및 주장

본 논문은 TMD-Bench가 리듬 결합의 특정 요구사항과 일반 오디오-비주얼 평가 간의 격차를 해소하기 위해 음악-댄스 공동 생성에 맞춰 설계된 최초의 벤치마크라고 주장합니다. 계산 가능한 물리적 지표와 지각적 MLLM 판단을 통합함으로써 생성 모델의 체계적인 비교 및 분석을 가능하게 합니다.

RhyJAM의 도입은 리듬 정렬 데이터로 훈련된 통합 아키텍처가 교차 모달 일관성에 내재된 이점을 가짐을 보여줍니다. 결과는 상용 모델이 고품질 단일 모달 출력을 생성하지만, 종종 일관된 리듬 최적화가 부족함을 시사합니다. RhyJAM 은 리듬 및 운동학적 일관성을 위한 명시적 최적화가 달성 가능함을 증명하여, 작업의 미세한 시간적 요구 사항을 더 잘 충족하는 차세대 음악-댄스 모델을 구축할 수 있는 경로를 제시합니다. 저자들은 이 연구를 강력하고 공개적으로 이용 가능한 음악-댄스 공동 생성 시스템을 개발하기 위한 커뮤니티 노력의 토대로 위치시킵니다.