논문 요약: THE QUEST FOR GENERALIZABLE MOTION GENERATION: DATA, MODEL, AND EVALUATION (ViMoGen)

이 논문은 3D 인간 모션 생성 (MoGen) 분야에서 기존 모델들이 겪는 **일반화 **(Generalization)를 해결하기 위해 제안된 통합 프레임워크인 ViMoGen을 소개합니다. 저자들은 텍스트 기반 모션 생성이 비디오 생성 (ViGen) 분야에 비해 일반화 능력이 부족하다는 점을 지적하고, ViGen 의 강력한 일반화 지식을 MoGen 으로 전이 (Transfer) 하는 데이터, 모델, 평가 체계를 체계적으로 구축했습니다.

---

1. 문제 정의 (Problem)

기존의 텍스트 - 모션 (Text-to-Motion) 생성 모델들은 표준 벤치마크 (예: HumanML3D) 에서는 좋은 성능을 보이지만, 훈련 데이터에 없는 복잡하거나 희귀한 (Long-tail) 명령어에 대해서는 일반화 능력이 현저히 떨어집니다.

• 데이터 부족: 고품질 광학 모션 캡처 (MoCap) 데이터는 정확하지만 규모가 작고 시맨틱 다양성이 부족합니다.
• 시맨틱 격차: 웹 기반 비디오 데이터는 다양하지만, 시각적 모션 캡처 (Visual MoCap) 를 통해 추출된 모션은 노이즈와 정확도 문제가 있습니다.
• 평가의 한계: 기존 평가 지표 (FID 등) 는 분포 기반 통계에 의존하여 생성된 모션의 질과 프롬프트 충실도를 세밀하게 평가하지 못합니다.

2. 방법론 (Methodology)

저자들은 **데이터 **(Data)의 세 가지 핵심 기둥을 통해 이 문제를 해결했습니다.

2.1 데이터: ViMoGen-228K

일반화 가능한 모션 생성을 위해 228,000 개의 고품질 모션 샘플로 구성된 대규모 데이터셋 ViMoGen-228K를 구축했습니다.

• **광학 MoCap 데이터 **(171.5K) 30 개의 공개된 MoCap 데이터셋을 통합하고 텍스트 주석을 추가하여 고품질의 물리적 동역학 (Dynamics) priors 를 제공합니다.
• **야외 비디오 기반 데이터 **(41.9K) 대규모 웹 비디오 데이터베이스에서 엄격한 필터링 (약 1% 만 선별) 을 거쳐 추출한 모션으로, 시맨틱 범위를 확장합니다.
• **합성 비디오 기반 데이터 **(14.7K) 최신 비디오 생성 모델 (Wan2.1) 을 사용하여 특정 프롬프트로 생성된 비디오를 모션 캡처한 데이터입니다. 이는 기존 데이터셋에 없는 희귀한 행동 (Long-tail) 을 의도적으로 생성하여 시맨틱 다양성을 극대화합니다.

2.2 모델: ViMoGen 및 ViMoGen-light

ViMoGen은 유동 매칭 (Flow Matching) 기반의 Diffusion Transformer (DiT) 아키텍처로, MoCap 의 정밀함과 ViGen 의 일반화 능력을 통합합니다.

• **이중 분기 구조 **(Dual-Branch)
  • **T2M **(Text-to-Motion) 텍스트와 MoCap priors 를 결합하여 물리적으로 타당하고 정확한 모션을 생성합니다.
  • **M2M **(Motion-to-Motion) 비디오 생성 모델에서 추출된 모션 토큰을 참조하여 시맨틱 다양성과 일반화 능력을 확장합니다.
• **적응형 게이트 메커니즘 **(Adaptive Gating) 두 분기는 상호 배타적으로 작동하며, 프롬프트와 생성된 비디오 모션의 시맨틱 일치도를 기반으로 자동으로 분기를 선택합니다. (일치 시 M2M, 불일치 시 T2M 으로 폴백)
• ViMoGen-light: 추론 시 비디오 생성 모델을 거치지 않고, ViMoGen 의 일반화 능력을 지식 증류 (Knowledge Distillation) 를 통해 경량화한 모델입니다.

2.3 평가: MBench

기존 벤치마크의 한계를 극복하기 위해 MBench를 제안했습니다. 이는 3 가지 주요 축 (모션 품질, 프롬프트 충실도, 일반화 능력) 에 걸쳐 9 가지 세부 차원으로 세분화된 계층적 평가 체계입니다.

• 일반화 평가: HumanML3D 에 없는 'Open-world' 어휘를 사용하여 모델이 훈련되지 않은 동작을 얼마나 잘 생성하는지 평가합니다.
• 정량적 및 정성적 평가: VLM(Vision-Language Model) 을 활용한 자동 평가와 인간 선호도 평가를 결합하여 자동 지표와 인간의 판단이 일치하도록 검증했습니다.

3. 주요 기여 (Key Contributions)

1. ViMoGen-228K 데이터셋: 텍스트 - 모션 쌍과 텍스트 - 비디오 - 모션 3 중항 (Triplets) 을 포함하며, 광학 MoCap 의 품질과 웹/합성 데이터의 시맨틱 다양성을 모두 갖춘 대규모 데이터셋.
2. ViMoGen 모델: 게이트 메커니즘을 통해 MoCap 의 정밀한 동역학과 ViGen 의 풍부한 시맨틱 지식을 통합한 Diffusion Transformer. 또한, 비디오 생성 의존성을 제거한 경량화 모델 ViMoGen-light를 제안.
3. MBench 벤치마크: 모션 품질, 조건 일관성, 일반화 능력을 세밀하게 평가하는 인간 정렬 (Human-aligned) 벤치마크.

4. 실험 결과 (Results)

MBench 및 HumanML3D 벤치마크에서 ViMoGen 과 ViMoGen-light 는 기존 최첨단 (SOTA) 모델들 (MDM, T2M-GPT, MotionLCM, MoMask 등) 을 압도적으로 능가했습니다.

• 일반화 능력: ViMoGen 은 일반화 점수 (Generalizability) 에서 기존 모델 대비 약 20% 이상 향상된 성능을 보였습니다. 특히 훈련 데이터에 없는 복잡한 동작 (예: "활을 쏘고 소파에 앉기") 에 대해 물리적으로 타당하고 의미 있는 모션을 생성했습니다.
• 정밀도: ViMoGen-light 는 비디오 생성 모델 없이도 ViMoGen 과 유사한 일반화 성능을 유지하면서 추론 속도와 비용을 크게 절감했습니다.
• 품질: Jitter(흔들림), 발 미끄러짐 (Foot sliding), 신체 침투 (Body penetration) 등의 물리적 결함 지표에서도 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 모션 생성 분야에서 데이터의 양과 질, 모델 아키텍처의 혁신, 그리고 평가 체계의 정교함을 동시에 다룸으로써 분야의 패러다임을 전환합니다.

• 시맨틱 격차 해소: 비디오 생성 모델의 강력한 일반화 능력을 모션 생성에 성공적으로 전이하여, 텍스트 프롬프트에 대한 이해도와 생성 범위를 획기적으로 넓혔습니다.
• 실용성: ViMoGen-light 는 고비용의 비디오 생성 과정 없이도 고성능을 발휘하므로, 애니메이션, 로봇 공학, 재활 등 실제 응용 분야에 즉시 적용 가능한 솔루션을 제공합니다.
• 미래 지향성: 이 프레임워크는 범용 모션 기초 모델 (General-purpose Motion Foundation Model) 로 나아가는 중요한 초석이 됩니다.

결론적으로, ViMoGen 은 단순히 모션을 생성하는 것을 넘어, 인간이 의도하는 복잡한 시맨틱 명령을 물리적으로 타당한 3D 모션으로 변환하는 새로운 표준을 제시합니다.