기술 요약: MotionMERGE

문제 정의

현재의 모션-언어 모델은 이해와 생성과 같은 작업을 통합하는 데 성공했지만, 주로 거친粒度 (coarse granularity) 수준에서 작동합니다. 이러한 모델들은 인간의 움직임을 간결한 텍스트 요약으로 설명된 단일 연속체로 취급하여, 특정 신체 부위나 정밀한 시간 세그먼트를 이해, 편집, 추론할 수 있는 능력이 부족합니다. 이러한 한계는 두 가지 근본적인 병목 현상에서 비롯됩니다:

1. 모델 한계: 기존 통합 프레임워크는 국소화된 운동 패턴에 집중할 메커니즘이 부족하며, 언어를 정밀한 시공간 세부 사항과 정렬시키지 못합니다.
2. 데이터 한계: 훈련 데이터는 정밀한 감독이 부족합니다. 구체적으로 부위 수준의 주석과 시간적으로 국소화된 교정 지시가 결여되어 있습니다. furthermore, 기존 모션 편집 데이터셋은 전체 신체 수정에 국한되어 있으며, 복잡한 다단계 편집에 필요한 구조화된 추론 데이터 (Chain-of-Thought) 가 부족합니다.

이러한粒度 격차는 특정 사지와 시간 간격을 제어해야 하는 애니메이션, 재활, 인간-컴퓨터 상호작용과 같은 고정밀 시나리오에서 모션 모델의 배포를 방해합니다.

방법론: MotionMERGE

저자들은粒度 격차를 해소하도록 설계된 통합 프레임워크인 MotionMERGE(Multi-granular motion Editing, Reasoning, Generation, and Explanation, 다粒度 운동 편집, 추론, 생성 및 설명) 를 제안합니다. 이 프레임워크는 세 가지 시너지 혁신을 통합합니다:

1. 통합 다粒度 아키텍처

MotionMERGE 는 다양한 모션 작업을 단일 대형 언어 모델 (LLM) 내의 조건부 텍스트 생성으로 재정의합니다.

• Motion VQ-VAE: 연속 모션 데이터를 벡터 양자화 변분 오토인코더 (VQ-VAE) 를 사용하여 운동 원시 토큰으로 이산화합니다. 이는 계산 비용과 오류 누적을 줄입니다.
• 모션 인식 언어 모델: T5 백본을 기반으로 구축된 이 모델은 텍스트와 모션 토큰이 교차된 시퀀스를 처리합니다. 텍스트 토큰, 모션 토큰 (VQ-VAE 코드북에서 유래), 그리고 특수 제어 토큰 (예: <Motionless>, <SEP>, <Motion Tokens>) 을 병합한 통합 어휘를 활용합니다.
• 粒度 제어: 특정 프롬프트와 특수 토큰을 사용하여, 모델은 거친粒度 캡션 작성부터 정밀한 부위 수준 편집 및 시간적 grounding 에 이르기까지 단일 아키텍처 내에서 다양한 작업을 처리할 수 있습니다.

2. 추론 인식粒度 시너지 (RAGS) 사전 학습

이산 모션 토큰과 다수준 의미 간의 불일치를 해결하기 위해, 저자들은 네 가지 목표에 대한 공동 감독을 적용하는 사전 학습 전략인 RAGS를 도입합니다:

• 시간 인식 감독: LLM 의 시간적 사전 지식이 부족함을 극복하기 위해 모션 토큰과 설명을 정확한 시간 간격에 고정합니다.
• 국소화 정렬 감독: 상세한 설명의 특정 부분을 해당하는 국소 모션 세그먼트에 매핑하도록 모델을 훈련시켜 국소 텍스트-모션 매핑의 "사전"을 구축함으로써 정렬 문제를 분해합니다.
• 모션 일관성 감독: 희소한 모션 토큰에 조건을 부여하여 생성을 모션 채우기 (infilling) 로 재구성함으로써 시퀀스 전반에 걸친 의존성을 강화합니다.
• 모션 기반 Chain-of-Thought (CoT) 감독: 복잡한 모션 변환을 중간 상태의 시퀀스로 분해합니다. 기존 텍스트 기반 CoT 와 달리, 각 추론 단계는 정렬된 중간 모션 상태와 짝을 이루어 해석 가능한 단계별 추론을 가능하게 합니다.

3. MotionFineEdit 데이터셋

정밀한 편집 및 추론 훈련을 지원하기 위해, 저자들은 다음을 포함하는 대규모 데이터셋 MotionFineEdit을 선별했습니다:

• 규모: 약 837K 개의 원자 편집 삼중항과 144K 개의 복잡한 삼중항.
• 粒度: 신체 부위 수준 편집, 명시적 시간 간격, 지속 시간 수정을 포함한 정밀한 시공간 교정 지시를 제공합니다.
• 모션 기반 CoT: 복잡한 편집을 중간 모션 상태의 시퀀스로 분해하는 최초의 주석을 도입하여 단계별 추론을 용이하게 합니다.
• 구축: 물리적 타당성과 지시 충실도를 보장하기 위해 텍스트 기반 정밀 모션 생성기, 엄격한 자동 필터링, 인간 검증을 포함한 확장 가능한 파이프라인을 통해 구축되었습니다.

주요 결과

광범위한 실험은 MotionMERGE 가 거친 및 정밀한粒度 벤치마크 모두에서 최첨단 방법을 능가함을 보여줍니다:

• 텍스트 기반 모션 편집: MotionFineEdit 벤치마크에서 MotionMERGE 는 시퀀스 수준 검색에서 79.84% R@1을, 원자 편집에서 스니펫 수준 (정밀) 검색에서 **41.81%**를 달성합니다. 반면, 이전 방법들 (예: MotionLab, TMED) 은 스니펫 수준 작업에서 무작위 확률 수준 (예: 약 7% R@1) 의 성능을 보이며粒度 격차를 부각시킵니다.
• 모션 캡션 작성: HumanML3D에서 MotionMERGE 는 R-정밀도 (Top-1: 0.602) 와 BERTScore (38.8) 에서 최첨단 성능을 달성합니다. 상세한 캡션 작성을 위한 FineMotion 데이터셋에서는 모든 모델 크기에서 이전 모델 (MG-MotionLLM) 을 일관되게 능가합니다.
• 텍스트-모션 생성: MotionMERGE 는 HumanML3D에서 통합 프레임워크 중 최고의 성능을 달성하여 R-Top3 0.826 및 FID 0.233 을 기록하며, 전문화된 확산 기반 생성기와의 격차를 줄였습니다.
• Zero-Shot 추론: 모델은 복잡한 작업에서 등장하는 Zero-Shot 능력을 보여줍니다. 예를 들어, "한 걸음 전진, 절, 한 걸음 후진"과 같은 다단계 지시를 중간 동작으로 분해하고 해당하는 모션 스크립트를 생성하여 CoT 감독의 효과를 검증합니다.

중요성 및 주장

이 논문은 MotionMERGE 가 더 정밀한粒度와 인간과 유사한 추론으로 모션과 상호작용하는 모델로의 중요한 진전을 나타낸다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 통합: 단일 모델 내에서 여러粒度에 걸쳐 다양한 모션-언어 작업 (생성, 이해, 편집, 추론) 을 통합한 최초의 프레임워크입니다.
2. 격차 해소: RAGS 사전 학습과 MotionFineEdit 데이터셋을 도입함으로써 국소화된 모델링 부족과 정밀한 감독 부재라는 이중 병목 현상을 효과적으로 해결합니다.
3. 패러다임 전환: 전문화 - 일반화 트레이드오프에 도전하여, 정밀한 이해와 데이터 품질에 투자함으로써 통합 모델이 전문 모델과 비교 가능한 성능을 달성하면서도 더 넓은 능력을 제공할 수 있음을 보여줍니다.
4. 벤치마킹: MotionFineEdit 은 기존 방법의 한계, 특히 국소화된 시공간 제어와 복잡한 추론에서의 한계를 드러내는 새로운 도전적인 벤치마크를 확립합니다.

저자들은 그들의 접근 방식이 언어 기반 모션 제어, 해석 가능성, 그리고 추론에서 도약적인 발전을 가능하게 하여 애니메이션 및 상호작용 분야에서 더 정밀한 응용을 위한 길을 연다고 결론지었습니다.