Exploring Motion-Language Alignment for Text-driven Motion Generation

논문 개요: MLA-Gen

이 논문은 텍스트 기반 인간 동작 생성 (Text-driven Human Motion Generation) 분야에서 **동작 - 언어 정렬 (Motion-Language Alignment)**의 중요성을 재조명하고, 이를 해결하기 위한 새로운 프레임워크 MLA-Gen을 제안합니다. 기존 방법론들이 전체적인 동작의 의미는 잘 포착하지만, 텍스트의 세부적인 시맨틱 (semantic) 정보와 동작의 미세한 동역학을 정밀하게 일치시키는 데 한계가 있음을 지적하고, 이를 극복하기 위한 메커니즘을 개발했습니다.

1. 문제 정의 (Problem)

• 세부 정렬의 부재: 기존 텍스트 - 동작 생성 모델 (예: Diffusion 기반, Flow 기반) 은 사전 학습된 CLIP 등을 통해 텍스트의 전역적 (global) 의미는 잘 반영하지만, 텍스트 토큰과 시간적 동작 프레임 간의 미세한 (fine-grained) 정렬이 부족합니다.
  • 예시: "왼쪽 무릎을 들어 오른팔꿈치에 닿게 한다"는 텍스트에서 '왼쪽 무릎'과 '오른팔꿈치'의 구체적인 동작이 정확히 구현되지 않거나, 방향이 뒤바뀌는 등의 오류가 발생합니다.
• Attention Sink 현상의 발견: 저자들은 동작 생성 모델의 교차 주의 (Cross-Attention) 메커니즘에서 Attention Sink 현상을 발견했습니다. 이는 텍스트 시퀀스의 시작 토큰 (Start token, 예: <startoftext>) 에 불균형적으로 높은 주의 집중도가 발생하여, 실제 의미 정보를 가진 다른 토큰들이 제대로 활용되지 못하게 만드는 문제입니다. 이로 인해 생성된 동작은 전체적인 맥락은 맞지만 세부적인 동적 디테일이 손실됩니다.

2. 방법론 (Methodology: MLA-Gen)

제안된 MLA-Gen 프레임워크는 전역적 동작 사전 지식 (Global Priors) 과 미세한 국소적 조건부 (Local Conditioning) 를 통합하며, Attention Sink 문제를 해결하기 위한 전략을 포함합니다.

A. 핵심 구성 요소

1. 메모리 슬롯 (Memory Slots) 을 통한 전역 동작 사전 지식:
   • 학습 가능한 메모리 슬롯 세트를 도입하여 다양한 시퀀스에 공통적으로 나타나는 **전역 동작 패턴 (Global Motion Prototypes)**을 학습합니다.
   • 이를 통해 모델은 일관된 동작 구조를 유지하면서도 공통적인 동작 패턴을 효과적으로 재현할 수 있습니다.
2. 미세한 동작 - 언어 정렬 (Local Fine-grained Alignment):
   • 동작 프레임과 텍스트 토큰 간의 **교차 주의 (Cross-Attention)**를 수행하여, 각 시간 단계에서 텍스트의 세부 의미와 동작을 정밀하게 연결합니다.
   • 전역 CLIP 특징과 국소적 텍스트 특징을 융합하여 조건부 (Conditioning) 정보를 생성합니다.

B. Attention Sink 해결 전략

1. SinkRatio (지표):
   • Attention Sink의 정도를 정량화하기 위해 SinkRatio라는 새로운 지표를 제안합니다. 이는 각 동작 프레임이 텍스트 토큰 중 상위 K 개 토큰에 집중하는 비율을 측정합니다.
2. Sink-Mask (토큰 마스킹):
   • 생성 과정의 특정 시간 단계 (timestep) 에서 시작 토큰의 주의 가중치를 강제로 0 으로 설정 (마스킹) 하여, 모델이 시작 토큰에 과도하게 의존하지 않고 의미 있는 다른 텍스트 토큰에 주의를 기울이도록 유도합니다.
3. Sink-ctrl (적응형 Classifier-Free Guidance):
   • 기존 CFG(Classifier-Free Guidance) 를 개선한 Sink-ctrl을 제안합니다.
   • 실시간으로 계산된 SinkRatio 를 기반으로 가이드 강도 (Guidance Strength) 를 동적으로 조절합니다. Attention Sink가 심할 때는 보정 계수를 증가시켜 의미 정렬을 강화하고, 그렇지 않을 때는 안정성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. MLA-Gen 프레임워크 제안: 메모리 슬롯과 미세한 교차 모델 어텐션을 통해 전역적 동작 구조와 국소적 텍스트 정렬을 명시적으로 모델링하는 새로운 아키텍처를 제시했습니다.
2. Attention Sink 현상 규명 및 해결: 동작 - 언어 정렬 과정에서 발생하는 Attention Sink 현상을 최초로 발견하고, 이를 측정하는 SinkRatio 지표를 개발했습니다. 이를 바탕으로 Sink-Mask 와 Sink-ctrl 전략을 통해 생성 품질을 향상시켰습니다.
3. 성능 향상: 기존 최첨단 (SOTA) 방법론들에 비해 동작의 품질 (FID) 과 텍스트 - 동작 정렬 정확도 (R-Precision, CLIP Score) 에서 모두 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: HumanML3D 벤치마크에서 평가 수행.
• 정량적 결과:
  • FID (Fréchet Inception Distance): 기존 모델 (ACMDM-S) 의 0.107 에서 MLA-Gen-S 는 0.056으로, MLA-Gen-B 는 0.040으로 크게 개선되어 생성된 동작이 실제 동작 분포에 더 가깝습니다.
  • R-Precision (정렬 정확도): Top-1 정확도가 0.522 (ACMDM-B) 에서 0.527로 향상되었으며, Top-3 점수도 0.810 에서 0.814로 개선되었습니다.
  • CLIP Score: 텍스트와 동작의 의미 일치도가 0.652 에서 0.656으로 상승했습니다.
• 정성적 결과:
  • 시각화 실험에서 MLA-Gen 은 "왼쪽 발로 차기", "손을 머리 위로 모아 박수 치기"와 같은 구체적인 신체 부위와 동작의 시간적 일관성을 기존 모델보다 훨씬 정확하게 구현함을 보였습니다.
  • Ablation Study 를 통해 메모리 슬롯, 국소적 정렬, Sink-Mask, Sink-ctrl 등 모든 구성 요소가 성능 향상에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 텍스트 기반 동작 생성 분야에서 **정렬 (Alignment)**의 역학을 이해하고 제어하는 것이 핵심임을 강조합니다. 단순히 텍스트를 인코딩하는 것을 넘어, 모델 내부의 주의 메커니즘 (Attention Mechanism) 에서 발생하는 편향 (Sink) 을 분석하고 이를 교정하는 전략을 도입함으로써, 더욱 정교하고 세부적인 동작 생성을 가능하게 했습니다.

이는 인간 - 로봇 상호작용, 가상 현실 캐릭터 애니메이션 등 정밀한 동작 제어가 필요한 분야에서 중요한 진전을 이루었으며, 향후 비디오 생성이나 embodied agent 제어와 같은 다른 멀티모달 생성 작업에도 적용 가능한 통찰을 제공합니다.