Controllable Dance Generation with Style-Guided Motion Diffusion

이 논문은 음악의 스타일과 사용자 프롬프트를 통합하여 다양한 스타일의 춤을 생성하고, 공간 - 시간 마스킹 메커니즘을 통해 궤적 기반 생성, 춤 끼워넣기, 춤 인페인팅 등 다양한 제어 작업을 수행할 수 있는 '스타일 가이드 모션 확산 (SGMD)' 모델을 제안합니다.

핵심

이 논문은 **"음악을 듣고 스타일을 정하면, AI 가 그 스타일에 맞춰 춤을 추게 해주는 기술"**에 대한 연구입니다.

기존의 AI 춤 생성 기술은 단순히 "음악에 맞춰 춤을 추는 것"에는 집중했지만, **"어떤 느낌 (스타일) 으로 춤을 추게 할지"**나 "특정 동작만 수정하고 나머지는 AI 가 채워주게 하는 것" 같은 세밀한 조절은 잘 못했습니다. 이 연구는 그 빈틈을 메우는 **'스타일 가이드 무브 확산 (SGMD)'**이라는 새로운 기술을 제안합니다.

이 기술을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. 핵심 아이디어: "춤추는 AI 에게 '연출가'를 붙이다"

기존의 AI 는 마치 악보만 보고 기계적으로 춤을 추는 로봇 같았습니다. 음악이 빠르면 빨리, 느리면 느리게 추지만, 그 춤의 '분위기'나 '스타일'은 일정했습니다.

하지만 이 연구에서 제안한 SGMD는 그 로봇에게 **전문적인 '연출가 (Style Modulation)'**를 붙여준 것과 같습니다.

• 연출가의 역할: 사용자가 "이 춤은 '힙합'처럼 강렬하게", 혹은 "발레처럼 우아하게"라고 말하면 (스타일 프롬프트), AI 는 그 지시에 맞춰 춤의 톤과 매력을 바꿉니다.
• 결과: 같은 음악이라도, '힙합' 스타일과 '발레' 스타일로 춤을 추면 완전히 다른 느낌의 춤이 나옵니다.

2. 마법 같은 도구: "시간과 공간의 가위 (Spatial-Temporal Masking)"

이 기술의 가장 멋진 점은 사용자가 직접 춤을 '수정'할 수 있다는 것입니다. 이를 위해 연구팀은 **'시간과 공간의 가위'**라는 비유가 가능한 기술을 개발했습니다.

• 상황: AI 가 만든 춤 중 일부가 마음에 들지 않거나, 특정 부분만 고정하고 싶을 때.
• 작동 원리:
  • 시간 (Time) 조절: "처음 3 초는 내가 직접 춤을 추고, 그 뒤는 AI 가 이어줘." (앞부분은 고정, 뒷부분은 생성)
  • 공간 (Space) 조절: "다리는 내가 추는 대로 고정하고, 상체만 AI 가 알아서 추게 해줘." (하체는 고정, 상체는 생성)
  • 빈칸 채우기 (Inpainting): "이 부분의 춤이 끊어졌는데, 이 빈칸을 자연스럽게 채워줘."

이것은 마치 사진 편집 프로그램에서 '필터'를 씌우거나 '부분 수정'을 하듯이, 춤의 특정 부분만 지우거나 고정하고 AI 가 나머지 부분을 자연스럽게 이어 붙여주는 것과 같습니다.

3. 스타일을 어떻게 배우게 했나? "세 가지 언어"

AI 에게 스타일을 가르칠 때, 연구팀은 세 가지 방법을 시도했습니다.

1. 단순 분류 (One-hot): "힙합", "발레"처럼 카테고리만 알려주는 것. (너무 단순함)
2. 장르 이름 (Genre Name): "힙합"이라는 단어 자체를 분석하는 것. (약간 더 좋음)
3. 상세한 설명 (Style Description): **"힙합은 강렬한 비트에 맞춰 발을 구르고, 몸의 힘을 뿜어내는 춤이야"**라고 GPT-3 같은 거대 언어 모델이 쓴 자세한 설명을 주는 것.

결과: 세 번째 방법인 **'상세한 설명'**을 주는 것이 가장 좋은 춤을 만들어냈습니다. 마치 요리사에게 "매운 음식"이라고만 하는 것보다 "매운맛이 입안에서 터지고, 후추 향이 강하게 느껴지는 음식"이라고 설명해 주는 것이 더 맛있는 요리를 만드는 것과 같습니다.

4. 왜 이 기술이 중요한가?

• 게임과 영화: 게임 캐릭터나 영화 속 배우가 상황에 맞는 다양한 스타일의 춤을 추게 할 수 있습니다.
• 개인 맞춤: 사용자가 "내 춤은 좀 더 우아하게, 하지만 발동작은 이대로 유지해줘"라고 요청하면 AI 가 바로 반영해 줍니다.
• 창의성: 단순히 춤을 추는 것을 넘어, 예술적인 표현을 할 수 있는 도구가 됩니다.

요약

이 논문은 **"음악에 맞춰 춤을 추는 AI 에게 '연출가'를 붙이고, '가위'로 춤의 특정 부분만 수정할 수 있게 만든 기술"**입니다. 사용자는 이제 춤의 스타일과 특정 동작을 마음대로 지시할 수 있게 되어, 훨씬 더 다양하고 창의적인 춤을 만들어낼 수 있게 되었습니다.

한 줄 평: "이제 AI 는 단순히 춤을 추는 로봇이 아니라, 사용자의 지시에 따라 스타일을 바꿔주는 유능한 안무 파트너가 되었습니다."

기술 요약

1. 문제 정의 (Problem)

기존의 자동 춤 생성 (Dance Generation) 연구는 다음과 같은 주요 한계를 가지고 있었습니다:

• 통제 가능성 (Controllability) 부재: 사용자가 생성된 춤의 특정 부분 (예: 특정 관절, 특정 시간대) 을 제어하거나 편집할 수 있는 메커니즘이 부족했습니다.
• 스타일 모델링의 미흡: 음악의 스타일 (장르, 감정, 분위기 등) 을 명시적으로 반영하지 못해, 생성된 춤이 음악의 표현적 특성과 잘 맞지 않거나 단조로웠습니다.
• 기존 모델의 한계: GAN 기반 모델은 모드 붕괴 (Mode Collapse) 로 인해 다양성이 부족하고, 기존 확산 (Diffusion) 모델은 음악과 춤의 동기화는 잘 하지만 스타일 제어나 공간적/시간적 제약 조건을 유연하게 적용하기 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 스타일 유도 운동 확산 (Style-Guided Motion Diffusion, SGMD) 이라는 새로운 프레임워크를 제안했습니다. 이는 Transformer 아키텍처 기반의 확산 모델을 확장한 것으로, 다음과 같은 핵심 구성 요소를 포함합니다.

가. 스타일 모듈레이션 (Style Modulation)

• 목적: 음악 조건 (Music Condition) 에 더해 사용자가 제공한 스타일 프롬프트 (Style Prompts) 를 통합하여 생성된 춤의 스타일을 제어합니다.
• 구현: 기존 Transformer 블록에 경량화된 Style Modulation (SM) 모듈을 추가합니다.
  • 입력 특징 ($z$) 을 정규화한 후, 스타일 프롬프트 ($s$) 를 통해 학습된 가중치 ($r \cdot FC(s)$) 를 곱하여 스타일 정보를 주입합니다.
  • 이 방식은 입력의 내용 (Content) 특징을 유지하면서 스타일 특징만 선택적으로 강화하여 계산 비용을 최소화합니다.
• 프롬프트 유형:
  1. One-hot Encoding: 장르 카테고리 직접 지정.
  2. Genre Name: CLIP 을 이용한 장르 이름의 임베딩.
  3. Style Description (가장 우수): GPT-3 를 활용하여 춤의 특징 (몸짓, 분위기 등) 을 상세히 기술한 텍스트 프롬프트 생성.

나. 공간 - 시간 마스킹 (Spatial-Temporal Masking)

• 목적: 생성된 춤에 대한 유연한 제어 (Flexible Control) 를 가능하게 합니다.
• 작동 원리: 확산 역과정 (Reverse Diffusion Process) 에서 알려진 프레임/관절과 알려지지 않은 프레임/관절을 구분하는 2 차원 마스크 ($M$) 를 적용합니다.
  • 알려진 시퀀스: 노이즈를 추가하여 $t-1$ 단계의 노이즈를 생성.
  • 알려지지 않은 시퀀스: 모델이 예측한 값을 노이즈로 변환.
  • 결합: 마스크 $M$ 을 사용하여 두 결과를 결합하여 다음 단계의 입력으로 사용합니다.
• 응용: 이를 통해 궤적 기반 생성, 춤의 중간 채우기 (In-betweening), 부분 채우기 (Inpainting), 상체/하체 분리 생성 등이 가능합니다.

다. 학습 및 추론

• 클래식ifier-free Guidance: 조건 ($c$) 과 스타일 프롬프트 ($s$) 를 무작위로 마스킹하여 학습함으로써, 추론 시 조건과 스타일의 영향을 조절할 수 있는 가이드 웨이트 ($w$) 를 활용합니다.
• 손실 함수: 확산 손실 ($L_d$) 에 더해, 물리적 현실성을 높이기 위해 관절 위치 손실 ($L_j$), 속도 손실 ($L_v$), 발 접촉 일관성 손실 ($L_f$) 을 가중치와 함께 결합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 작업 정의: 통제 가능한 춤 생성 (Controllable Dance Generation) 과 스타일 기반 생성이라는 미개척 분야를 체계적으로 연구하고 벤치마크를 구축했습니다.
2. SGMD 프레임워크: 스타일 프롬프트를 통합하는 경량 모듈과 공간 - 시간 제어를 위한 마스킹 메커니즘을 포함한 확산 기반 모델을 제안했습니다.
3. 다양한 태스크 지원: 궤적 기반 생성, Seed Motion, In-betweening, Inpainting, 상/하체 생성 등 다양한 제어 시나리오를 위한 새로운 실험 설정과 벤치마크를 제시했습니다.
4. SOTA 성능 달성: 다양한 생성 및 편집 태스크에서 기존 최첨단 모델 (EDGE 등) 을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: AIST++ (1,408 개의 고품질 춤 시퀀스, 10 개 장르).
• 주요 지표: 비트 정렬 점수 (BeatAlign), 물리적 발 접촉 점수 (PFC), FID (생성 품질), 다양성 (Diversity).
• 성능 비교:
  • 일반 생성: BeatAlign 점수에서 기존 Diffusion 모델 (EDGE) 대비 유의미한 개선 (0.25 $\to$ 0.28, 가이드 웨이트 2 사용 시 0.31). FIDk(운동학적) 점수에서도 가장 낮은 값을 기록하여 물리적 현실성이 뛰어남을 증명.
  • 장기 생성 (Long-term): 7.5 초 및 10 초 이상의 긴 춤 생성에서도 EDGE 보다 높은 다양성과 품질을 유지하며, 시간이 지남에 따라 다양성이 감소하는 문제를 해결했습니다.
  • 통제 가능한 생성: 궤적, Seed Motion, In-betweening 등 모든 제어 태스크에서 BeatAlign 및 기타 지표에서 EDGE 를 상회했습니다. 특히 BeatAlign 점수가 Ground Truth 에 근접하거나 초과하는 경우가 있어 음악과 움직임의 조화 능력이 뛰어남을 보여줍니다.
  • Ablation Study:
    • 스타일 프롬프트: GPT-3 기반의 스타일 설명 (Style Description) 프롬프트가 One-hot 또는 장르 이름보다 성능이 우수했습니다.
    • 오디오 표현: Jukebox 를 활용한 오디오 특징 추출이 BeatAlign 점수에서 가장 좋은 결과를 보였습니다.
    • 모듈 검증: 스타일 모듈레이션과 스타일 설명 프롬프트를 모두 사용할 때 가장 높은 성능을 발휘했습니다.
• 사용자 연구: 16 명의 참가자를 대상으로 한 평가에서 생성된 춤의 60% 가 기존 모델 (EDGE) 보다 선호되었으며, 다양성과 예술적 표현력이 우수하다고 평가받았습니다.

5. 의의 및 결론 (Significance)

이 논문은 음악 기반 춤 생성 분야에서 스타일 제어와 사용자 정의 제약 조건 (제어 가능성) 을 동시에 해결하는 중요한 진전을 이루었습니다.

• 예술적 표현 확장: 단순한 물리적 현실성을 넘어, 사용자가 원하는 스타일 (장르, 감정) 과 구체적인 동작 제약 (특정 관절 고정, 경로 지정) 을 반영하여 창의적인 춤을 생성할 수 있게 했습니다.
• 실용적 응용: 가상 아바타, 비디오 게임, 영화 제작 등 다양한 분야에서 맞춤형 춤 생성 및 편집 도구로 활용 가능성이 큽니다.
• 연구 방향 제시: 텍스트 기반 스타일 설명과 대규모 언어 모델 (LLM) 의 결합, 그리고 확산 모델의 제어 가능성에 대한 새로운 연구 방향을 제시했습니다.

요약하자면, SGMD 는 음악의 리듬과 스타일을 정교하게 반영하면서도 사용자가 직접 춤의 구조와 스타일을 세밀하게 통제할 수 있는 차세대 춤 생성 모델입니다.