MoLingo: Motion-Language Alignment for Text-to-Human Motion Generation (기술 요약)

이 논문은 텍스트 설명을 기반으로 사실적이고 자연스러운 인간 동작을 생성하는 새로운 모델인 MoLingo를 제안합니다. 기존 방법들의 한계를 극복하기 위해, **연속적인 잠재 공간 (Continuous Latent Space)**에서의 확산 (Diffusion) 과정을 최적화하고, 텍스트와 동작 간의 **의미론적 정렬 (Semantic Alignment)**을 강화하는 데 중점을 두었습니다.

1. 문제 정의 (Problem)

텍스트 기반 인간 동작 생성 (Text-to-Motion, T2M) 은 애니메이션, AR/VR, 로봇 제어 등 다양한 분야에서 중요하지만, 다음과 같은 주요 과제가 존재합니다:

• 복잡한 분포: 관절의 원시 포즈 (Raw Pose) 공간에서 직접 노이즈 제거 (Denoising) 를 수행하면 관절 간 상관관계가 복잡하여 생성 품질이 떨어지고, 모션 캡처 데이터의 노이즈가 아티팩트로 남을 수 있습니다.
• 잠재 공간의 한계: 기존 잠재 공간 확산 모델들은 전체 시퀀스를 하나의 벡터로 압축하거나 (정보 손실), 이산화된 토큰 (VQ) 을 사용하거나 (양자화 오차 발생) 단일 텍스트 토큰으로 조건부 학습을 수행하는 경우가 많습니다. 이는 미세한 동작 디테일과 텍스트의 정교한 의미를 모두 반영하는 데 한계가 있습니다.
• 조건부 학습의 비효율성: 단일 텍스트 토큰을 사용하는 방식은 텍스트의 풍부한 의미를 포착하기에 부족하며, 동작과 텍스트 간의 정렬 (Alignment) 이 불완전할 수 있습니다.

2. 방법론 (Methodology)

MoLingo 는 **마스크된 자동회귀 직선 흐름 (Masked Auto-regressive Rectified Flow)**을 연속적인 잠재 공간에서 수행하는 모델입니다. 핵심 구성 요소는 다음과 같습니다.

2.1. 의미론적으로 정렬된 잠재 공간 (Semantically Aligned Latent Space)

• SAE (Semantic Aligned Autoencoder): 기존 VAE 나 일반 AE 와 달리, 프레임 수준의 텍스트 레이블을 사용하여 잠재 공간의 구조를 학습합니다.
• 동작 잠재와 클래스 토큰의 정렬: 각 동작 잠재 (Motion Latent) 에 대응하는 텍스트 레이블을 인코딩하여 '클래스 토큰 (Class Token)'을 생성하고, 이 두 가지 간의 코사인 유사도 (Cosine Similarity) 를 최대화하는 손실 함수를 적용합니다.
• 반복적 토큰 필터링: BABEL 데이터셋의 특성상 연속된 프레임이 동일한 텍스트 레이블을 가질 수 있는데, 이를 필터링하여 지나치게 강한 정렬로 인한 잠재 공간의 붕괴를 방지합니다.
• 효과: 유사한 의미를 가진 동작들이 잠재 공간에서 서로 가깝게 위치하도록 하여, 확산 과정이 더 효율적으로 작동하도록 합니다.

2.2. 다중 토큰 크로스 어텐션 (Multi-token Cross-Attention)

• 단일 토큰의 한계 극복: 기존 방법들은 보통 하나의 텍스트 토큰을 사용하여 조건을 부여했으나, MoLingo 는 T5-Large 인코더를 통해 생성된 다중 텍스트 토큰을 사용합니다.
• 크로스 어텐션 메커니즘: 동작 잠재 (Motion Latents) 와 텍스트 토큰 간의 크로스 어텐션 (Cross-Attention) 을 적용하여, 텍스트의 전체적인 문맥과 세부적인 의미를 동작 생성 과정에 강력하게 주입합니다.
• 텍스트 어댑터 (Text Adapter): 텍스트 임베딩을 동작 잠재와 상호작용하기 쉽게 변환하는 어댑터 레이어를 도입하여 교차 모달 상호작용을 강화합니다.

2.3. 마스크된 자동회귀 직선 흐름 (Masked Auto-regressive Rectified Flow)

• 연속적 생성: 이산적인 토큰 예측이 아닌, 연속적인 값의 잠재 공간에서 직선 흐름 (Rectified Flow) 을 기반으로 한 확산 모델을 사용합니다.
• 마스크된 생성: 학습 시 동작 잠재의 일부를 마스킹하고, 추론 시에는 초기에 모든 잠재가 마스킹된 상태에서 시작하여 Transformer 디코더를 통해 순차적으로 (Auto-regressive) 노이즈를 제거하며 정제된 동작을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 SOTA 모델 제안: 연속 잠재 공간에서 마스크된 자동회귀 직선 흐름을 사용하여 인간 동작 생성 분야에서 새로운 최첨단 (State-of-the-Art) 성능을 달성했습니다.
2. 의미론적 정렬 잠재 공간 (SAE): 텍스트와 동작의 의미론적 정렬을 위한 새로운 인코더 아키텍처를 제안하여, 텍스트 지시를 더 정확하게 따르는 동작을 생성하도록 했습니다.
3. 강화된 텍스트 조건부 학습: 단일 토큰 대신 다중 토큰과 크로스 어텐션을 도입하여, 텍스트 - 동작 정렬 (Text-Motion Alignment) 과 생성된 동작의 사실성을 크게 향상시켰습니다.
4. 광범위한 평가 및 오픈 소스: 다양한 평가 프로토콜 (MARDM-67, TMR-272, TMR-263) 에서 기존 모델들을 압도하는 성능을 입증했으며, 코드와 모델을 공개합니다.

4. 실험 결과 (Results)

HumanML3D 데이터셋을 기반으로 한 실험 결과, MoLingo 는 기존 최첨단 모델들 (MDM, MLD, MARDM, ACMDM, MotionStreamer 등) 을 압도하는 성능을 보였습니다.

• 정량적 평가 (Quantitative Metrics):
  • FID (Fréchet Inception Distance): 생성된 동작의 분포가 실제 동작과 얼마나 가까운지를 측정. MoLingo (SAE) 는 0.066, VAE 변형은 0.049로 기존 모델들보다 낮아 더 높은 사실성을 보임.
  • R-Precision (Top-1): 텍스트와 동작의 일치도를 측정. MoLingo (SAE) 는 0.544로 기존 최고 기록 (0.522 등) 을 갱신.
  • CLIP-Score: 텍스트와 동작의 의미론적 유사도. MoLingo (SAE) 는 0.739로 최상위 성능 달성.
• 정성적 평가 (Qualitative):
  • 복잡한 동작 (예: 손수레, 발차기, 골프 스윙) 에서도 텍스트 지시를 정확하게 따르며 자연스러운 동작을 생성.
  • 기존 모델들이 보였던 균형 붕괴 (Balance artifacts) 나 텍스트 지시 무시 현상이 크게 개선됨.
• 사용자 연구 (User Study):
  • 생성된 동작의 사실성과 텍스트 일치도에 대한 사용자 평가에서, 기존 모델 (MoMask, DisCoRD, MotionStreamer) 대비 **77%~84%**의 높은 선호도를 기록.
• 로봇 적용: 생성된 동작을 물리 시뮬레이션 (RL Tracking Controller) 에 적용했을 때, 발과 바닥의 접촉이 안정적이고 물리적으로 타당한 결과를 보여 로봇 제어 분야로의 확장성 입증.

5. 의의 및 결론 (Significance)

MoLingo 는 텍스트 기반 인간 동작 생성 분야에서 잠재 공간의 구조화와 조건부 학습 메커니즘의 중요성을 입증했습니다. 특히, 단순한 생성 품질 향상을 넘어 텍스트의 미세한 의미까지 정확하게 반영하는 의미론적 정렬이 생성 모델의 성능을 결정하는 핵심 요소임을 보여줍니다.

이 연구는 단순한 애니메이션 생성을 넘어, AR/VR 콘텐츠 제작, 물리 기반 로봇 제어, 가상 인간 (Digital Human) 개발 등 다양한 응용 분야에서 신뢰할 수 있는 동작 생성 솔루션을 제공하며, 향후 연구의 새로운 기준을 제시합니다.