기술 요약: MACE-Dance

문제 정의

음악 기반 댄스 비디오 생성 작업은 오디오 입력과 참조 이미지를 바탕으로 고품질의 댄스 비디오를 합성하는 것을 목표로 합니다. 음악 기반 3D 댄스 생성, 포즈 기반 이미지 애니메이션, 오디오 기반 토킹헤드 합성 등 관련 분야의 발전에도 불구하고, 기존 접근법들은 생성 대상과 제약 조건 간의 근본적인 불일치로 인해 이 특정 작업을 적절히 해결하지 못합니다.

• 3D 댄스 생성: 운동학적으로 타당한 동작을 생성하는 데 효과적이지만, 2D 비디오로 렌더링될 때 현실적인 인간 - 장면 상호작용과 고충실도 시각적 질감을 결여하는 경우가 많습니다.
• 포즈 기반 이미지 애니메이션: 이러한 방법들은 수동 포즈 설계에 의존하는데, 이는 시간이 많이 소요되며 복잡한 전신 댄스 시퀀스의 경우 어렵습니다. 또한, 기존 오디오 기반 방법들 (예: 토킹헤드) 은 복잡한 전신 이동을 필요로 하는 댄스와 달리 단순한 상체 제스처에 초점을 맞춥니다.
• 직접 엔드 - 투 - 엔드 접근법: 현재 제한적으로 연구 중인 직접 음악 - 비디오 생성은 댄스 고유의 3D 특성을 포착하지 못해 운동 품질 (예: 물리적 비현실성) 과 시각적 외관 (예: 흐림, 아티팩트) 이 저하되는 결과를 초래합니다.

핵심 과제는 (1) 운동학적으로 타당하고 예술적으로 표현력 있는 댄스 동작과 (2) 강력한 시공간 일관성을 갖춘 고충실도 시각적 외관을 동시에 달성하는 데 있습니다.

방법론: MACE-Dance

저자들은 캐스케이드 혼합 전문가 (Cascaded Mixture-of-Experts, MoE) 아키텍처를 활용한 MACE-Dance 프레임워크를 제안합니다. 이 시스템은 복잡한 작업을 모션 전문가 (Motion Expert) 와 외관 전문가 (Appearance Expert) 라는 두 개의 전문화된 단계로 분해하며, 2D 키포인트가 아닌 명시적인 3D 모션 표현 (SMPL 파라미터) 으로 연결됩니다. 이러한 선택은 전신 기하학적 구조를 보존하고, 포즈를 시점과 분리하며, 가림 현상에 대한 강인성을 제공합니다.

1. 모션 전문가 (음악 - 3D 모션)

이 모듈은 음악을 조건으로 3D 모션 시퀀스를 생성하여 운동학적 타당성과 예술적 표현력을 보장합니다.

• 아키텍처: BiMamba-Transformer 하이브리드 백본을 갖춘 확산 모델 (Diffusion Model).
  • BiMamba: 양방향 상태 공간 모델을 사용하여 음악과 댄스 시퀀스 내의 모달 내부 국소 의존성을 포착하여 세밀한 시간적 연속성을 보장합니다.
  • Transformer: 크로스 어텐션을 통해 전체 댄스 구조를 장기적인 음악 구절과 정렬함으로써 크로스 모달 글로벌 컨텍스트를 모델링합니다.
  • 비자기회귀 생성: 모델이 한 번의 패스로 전체 시퀀스를 생성하여 효율성을 높이고 자기회귀 방법에서 흔히 발생하는 노출 편향을 방지합니다.
• 학습 전략: 저자들은 전통적인 Classifier-Free Guidance (CFG) 대신 Guidance-Free Training (GFT) 을 채택합니다. GFT는 단일 모델을 훈련하여 온도 제어 샘플링 행동을 암시적으로 표현하도록 하여 분포 불일치를 완화하고 생성 안정성을 향상시킵니다.
• 손실 함수: 물리적 현실성을 보장하기 위해 재구성 손실, 3D 관절 손실, 속도 손실, 발 접촉 손실의 가중 합으로 모델을 최적화합니다.

2. 외관 전문가 (모션 및 참조 조건부 비디오 합성)

이 모듈은 생성된 3D 모션을 사용하여 참조 이미지를 애니메이션화함으로써 최종 비디오를 합성하며, 시각적 정체성과 시공간 일관성을 유지합니다.

• 베이스 모델: 범용 캐릭터 애니메이션 모델인 Wan-Animate를 기반으로 구축되었습니다.
• 분해된 파인튜닝 전략: 일반 애니메이션과 복잡한 댄스 간의 도메인 격차를 해소하기 위해 저자들은 2 단계 파인튜닝 접근법을 도입했습니다.
  • 운동학 단계: Body Adapter만 파인튜닝하여 운동학적 조건부 및 모션 준수를 강화하고, 백본의 생성적 사전 지식을 변경하지 않으면서 생성된 비디오가 3D 모션 지침을 엄격히 따르도록 보장합니다.
  • 미적 단계: 각 DiT 블록의 어텐션 및 피드포워드 프로젝션에 경량 LoRA 어댑터를 연결합니다. 이 단계는 피부, 헤어, 직물 등의 질감 충실도를 향상시키고 복잡한 카메라 안무 처리를 통해 시각적 품질을 정제하며 피사체의 정체성을 유지합니다.
• 프로젝터: 3D-to-2D 모션 프로젝터는 모션 전문가에서 나온 SMPL 시퀀스를 외관 전문가에서 필요한 2D 키포인트로 변환하여 3D 및 2D 도메인을 연결합니다.

주요 기여

1. 데이터셋 및 벤치마크: 저자들은 20 개 이상의 댄스 장르에 걸친 7 만 개 클립 (116 시간) 으로 구성된 대규모 데이터셋인 MA-Data를 큐레이션했습니다. 이는 3D 렌더링 데이터 (모션 중심) 와 자연스러운 인터넷 데이터 (외관 중심) 를 결합합니다. 또한 운동학적 충실도, 다양성, 동기화, 시각적 품질 지표를 포괄하는 종합적인 모션 - 외관 평가 프로토콜을 설계했습니다.
2. MACE-Dance 프레임워크: 모션과 외관 생성을 시너지 있게 통합하여 음악 기반 댄스 비디오 생성에서 최첨단 (SOTA) 성능을 달성하는 캐스케이드 MoE 프레임워크입니다.
3. 모션 전문가 혁신: BiMamba-Transformer 하이브리드 아키텍처와 Guidance-Free Training (GFT) 전략을 도입하여 FineDance 데이터셋에서 음악 기반 3D 댄스 생성 분야에서 SOTA 성능을 달성했습니다.
4. 외관 전문가 혁신: 분해된 운동학 - 미적 파인튜닝 전략을 개발하여 MA-Data 데이터셋에서 포즈 기반 이미지 애니메이션 분야에서 SOTA 성능을 달성했습니다.

결과

광범위한 실험을 통해 MACE-Dance 가 3D 생성 방법과 애니메이션 모델을 파이프라인으로 연결한 방법, 일반 인간 모션 비디오 생성기를 포함한 기존 베이스라인보다 여러 지표에서 우월함을 입증했습니다.

• 모션 품질: FineDance 데이터셋에서 모션 전문가는 최상의 FID (17.83), 다양성 (DIV), 비트 정렬 점수 (BAS) 를 달성하여 높은 충실도, 다양성, 음악 동기화를 나타냅니다.
• 비디오 품질: MA-Data 데이터셋에서 MACE-Dance 는 이미지 품질 (IQ), 미적 품질 (AQ), 피사체 일관성 (SC), 시간적 깜빡임 (TF) 에서 SOTA 점수를 달성했습니다.
• 사용자 연구: 40 명의 참가자가 참여한 이중 맹검 사용자 연구에서 MACE-Dance 는 댄스 동기화, 댄스 품질, 댄스 창의성, 지각적 품질, 시간적 일관성, 정체성 일관성 등 모든 6 가지 차원에서 베이스라인 (예: Hallo2, EDGE, Lodge, MEGA) 보다 압도적으로 선호됨이 확인되었습니다.
• 장기 시퀀스 생성: 이 프레임워크는 BiMamba-Transformer 의 길이 외삽 및 포즈 고정 릴레이 렌더링을 활용하여 상당한 모션 드리프트나 시각적 열화 없이 일관된 장기 시퀀스 비디오 (추론 시 최대 34 초) 를 성공적으로 생성합니다.

중요성과 주장

본 논문은 MACE-Dance 가 댄스 분야 AIGC 에서 중요한 진전을 이루었다고 주장합니다. 명시적으로 작업을 모션과 외관 생성으로 분해하고 3D 중간 표현을 활용함으로써, 프레임워크는 허위 크로스 모달 상관관계와 물리적 타당성 처리에 어려움을 겪는 엔드 - 투 - 엔드 모델의 한계를 극복합니다.

저자들은 그들의 접근 방식이 비디오 품질과 모션 표현력에 대한 새로운 벤치마크를 설정할 뿐만 아니라 제어 가능하고 해석 가능한 파이프라인을 제공한다고 강조합니다. 명시적인 3D 모션 출력은 모션 편집, 다른 캐릭터 리그로의 리타게팅, VR/AR 및 임베디드 AI 의 잠재적 활용과 같은 다운스트림 애플리케이션을 가능하게 하여 블랙박스 비디오 생성 모델과 구별됩니다. 이 연구는 복잡하고 다중 모달인 생성 작업을 해결하는 데 있어 전문화된 전문가 모듈과 구조화된 중간 표현의 중요성을 강조합니다.