Bilingual Text-to-Motion Generation: A New Benchmark and Baselines

논문 요약: 이중 언어 텍스트 - 모션 생성 (Bilingual Text-to-Motion Generation)

이 논문은 영어와 중국어라는 두 가지 언어를 동시에 처리할 수 있는 이중 언어 텍스트 - 모션 생성 (Text-to-Motion) 을 위한 새로운 벤치마크와 기반 모델을 제안합니다. 기존 연구가 영어에만 의존하고 있어 비영어권 사용자의 접근성과 문화적 정확성이 부족하다는 문제를 해결하기 위해, 대규모 데이터셋 구축과 언어 간 의미 정렬 기법을 도입했습니다.

1. 문제 제기 (Problem)

기존의 텍스트 - 모션 생성 기술은 다음과 같은 한계를 가지고 있습니다:

• 데이터 부족: 고품질의 이중 언어 (또는 비영어권) 텍스트 - 모션 데이터셋이 존재하지 않습니다.
• 번역 기반 접근법의 한계: 단순히 텍스트를 번역하여 영어 모델에 입력하는 방식은 문화적 뉘앙스, 신체 부위 기반의 동작 (embodied semantics), 그리고 시간적 순서 (temporal decomposition) 를 왜곡하여 부정확한 모션을 생성합니다.
• 코드 스위칭 (Code-switching) 처리 불가: 사용자가 한 문장 내에서 두 언어를 섞어 사용하는 경우 (예: "He walks in a 逆时针 (counterclockwise) circle") 기존 모델은 이를 해석하지 못해 의미상 오류가 발생합니다.
• 다국어 모델의 부적합: 기존 다국어 텍스트 인코더는 모션 생성에 특화되지 않았으며, 언어 간 성능 편차가 큽니다.

2. 방법론 (Methodology)

저자들은 BiHumanML3D 데이터셋과 BiMD (Bilingual Motion Diffusion) 모델을 제안했습니다.

A. BiHumanML3D 데이터셋 구축

• 기반: 널리 사용되는 HumanML3D 데이터셋을 확장하여 구축했습니다.
• 주석 과정 (Annotation Pipeline):
  1. LLM 기반 초기 번역: 대형 언어 모델 (LLM) 을 사용하여 영어 설명을 중국어로 번역합니다.
  2. 정제 (Refinement): 번역의 오류 (성별 편향, 직역, 불자연스러운 표현 등) 를 수정하기 위해 보조 LLM 을 활용합니다.
  3. 인간 검증: 인간 어노테이터가 LLM 과 협력하여 번역의 정확성과 문맥적 충실도를 최종 검증하고 수정합니다.
• 결과: 13,312 개의 고품질 이중 언어 모션 - 텍스트 쌍을 포함하는 데이터셋을 완성했습니다.

B. BiMD (Bilingual Motion Diffusion) 모델

• 크로스 링구얼 어라인먼트 (Cross-Lingual Alignment, CLA):
  • 영어와 중국어 텍스트 임베딩을 공유된 잠재 공간 (Shared Latent Space) 에서 명시적으로 정렬합니다.
  • Teacher-Student 구조: 강력한 영어 - 비전 정렬 능력을 가진 OpenCLIP(Teacher) 을 기반으로, 다국어 능력을 가진 XLM(Student) 을 지식 증류 (Knowledge Distillation) 를 통해 미세 조정합니다. 이를 통해 두 언어의 의미 표현을 통일된 조건 공간으로 매핑합니다.
• 이중 언어 확산 훈련 (Bilingual Diffusion Training):
  • 단일 모델이 영어와 중국어 입력 모두를 처리하도록 훈련합니다. 각 모션 데이터는 영어 또는 중국어 설명 중 무작위로 선택된 텍스트와 짝을 이루어 학습됩니다.
  • 이를 통해 모델은 언어 간 공통된 동작 패턴을 학습하면서도 언어별 뉘앙스를 포착할 수 있게 됩니다.
• 코드 스위칭 지원: CLA 모듈 덕분에 언어가 섞인 입력 (Code-switching) 에 대해서도 일관된 모션을 생성할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. BiHumanML3D 벤치마크: 텍스트 - 모션 생성 분야의 첫 번째 이중 언어 벤치마크를 공개했습니다. 이는 LLM 보조 주석과 엄격한 수동 검증을 통해 구축되었습니다.
2. BiMD 및 CLA 아키텍처: 언어 간 의미 정렬 (CLA) 을 포함한 간단한 그러나 효과적인 베이스라인 모델인 BiMD 를 제안했습니다.
3. 제로샷 (Zero-shot) 및 코드 스위칭 성능: 영어 데이터만 학습한 모델이 중국어 입력에 대해, 혹은 반대의 경우에도 우수한 성능을 발휘하는 제로샷 전이 능력과 코드 스위칭 처리 능력을 입증했습니다.

4. 실험 결과 (Results)

• 성능 지표 (BiHumanML3D 기준):
  • FID (Fréchet Inception Distance): BiMD(CLA 포함) 는 0.045를 기록하여, CLA 없이 훈련된 모델 (0.169) 과 단일 언어 모델들보다 월등히 낮은 (더 좋은) 값을 보였습니다.
  • R@3 (Recall@3): **82.8%**로, 기존 모델들 (약 80% 대) 보다 높은 정확도를 보였습니다.
• 비교 실험:
  • 번역 기반 접근법 vs. BiMD: 직접 번역된 텍스트를 사용하는 방식은 R Precision@3 에서 약 70% 수준으로 떨어지는 반면, BiMD 는 80% 이상을 유지하여 번역의 한계를 극복했습니다.
  • 단일 언어 훈련 vs. 이중 언어 훈련: 이중 언어 훈련은 영어 성능을 저하시키지 않으면서 (R@1: 0.558, FID: 0.045 유지) 중국어와 제로샷 기능을 추가했습니다.
• 사용자 연구:
  • 모션 선호도: 영어 프롬프트에 대해 중국어만 학습한 제로샷 모델이 Ground Truth 와 경쟁할 수 있는 품질을 보여주었습니다.
  • 의미 일관성: CLA 를 적용한 모델이 언어 간 의미 일관성에서 68.1% 의 선호도를 받아, 적용하지 않은 모델 (24.8%) 을 압도했습니다.

5. 의의 및 결론 (Significance)

이 연구는 텍스트 - 모션 생성 분야에서 언어 장벽을 허무는 중요한 전환점이 되었습니다.

• 문화적 포용성: 영어 중심의 기존 기술에서 벗어나, 다양한 문화적 배경과 언어를 가진 사용자에게 접근 가능한 기술을 제공합니다.
• 기술적 혁신: 단순한 번역이 아닌, 언어 간 의미 공간의 정렬 (Alignment) 을 통해 모션 생성의 정확도와 일관성을 획기적으로 개선했습니다.
• 미래 전망: 가상 애니메이션, 로봇 공학, 게임 등 글로벌 시장에서 다국어 인터랙션이 필요한 분야에 필수적인 기반을 마련했습니다.

요약하자면, 이 논문은 BiHumanML3D 데이터셋과 CLA 기법을 적용한 BiMD 모델을 통해, 이중 언어 환경에서도 고품질의 모션을 생성할 수 있음을 입증하고, 번역 기반 접근법의 한계를 극복하는 새로운 패러다임을 제시했습니다.