Bridging Semantic and Kinematic Conditions with Diffusion-based Discrete Motion Tokenizer

이 논문은 의미적 조건과 운동학적 조건을 통합하기 위해 확산 기반 이산 모션 토크나이저 (MoTok) 를 도입한 3 단계 프레임워크를 제안하여, 적은 토큰 수로 높은 제어 가능성과 운동 충실도를 달성함을 보여줍니다.

핵심

🏗️ 1. 문제: 왜 기존 방식은 힘들었을까요?

기존의 움직임 생성 AI 들은 크게 두 부류로 나뉩니다.

1. 의미 중심 (토큰 방식): "왼손으로 컵을 들고 오른쪽으로 돌아서라"라는 **명령어 (텍스트)**를 잘 이해합니다. 하지만 명령을 구체적으로 실행할 때, 손가락이 어디에 닿아야 하는지 같은 미세한 자세를 맞추는 데는 약합니다. 마치 건축 설계도는 완벽하지만, 벽돌 하나하나를 쌓는 시공은 서툴러서 건물이 비틀거리는 경우입니다.
2. 자세 중심 (확산 모델): 손가락 하나하나의 위치를 정밀하게 조절할 수 있습니다. 하지만 "컵을 들고 돌아서라"는 큰 의미를 잃어버리고, 엉뚱한 동작을 하거나 부자연스러워지는 경우가 많습니다. 마치 시공팀은 벽돌을 아주 잘 쌓지만, 설계도 없이 막상 쌓으니 건물이 기울어지는 경우입니다.

핵심 문제: 이 두 가지를 모두 잘하려면, AI 가 너무 많은 정보를 한 번에 처리해야 해서 "의미"와 "자세" 사이에서 타협을 해야 했습니다. 자세를 정확히 하려니 의미가 흐려지고, 의미를 지키려니 자세가 부정확해지는 것이죠.

---

🚀 2. 해결책: 모톡 (MoTok) 의 '3 단계 협업 시스템'

저자들은 이 문제를 해결하기 위해 **세 단계 (지각 - 계획 - 제어)**로 나누어 역할을 명확히 했습니다.

1 단계: 지각 (Perception) - "명령을 듣다"

사용자가 입력한 텍스트 ("컵을 들고 돌아서") 나 궤도 (손이 이동할 경로) 를 AI 가 분석합니다. 이때 **전체적인 흐름 (글로벌)**과 **세부적인 제약 (로컬)**을 구분해서 준비합니다.

2 단계: 계획 (Planning) - "건축가가 스케치하다"

여기서 MoTok의 핵심인 **'토큰 (Token)'**이 나옵니다.

• 비유: 건축가가 간단한 스케치를 그리는 단계입니다. "여기에 문이 있고, 저기에 창문이 있다"는 **큰 그림 (의미)**만 잡습니다.
• 기존 방식의 한계: 기존에는 이 스케치에 "벽돌 하나하나의 위치"까지 다 그려 넣으려다 보니 스케치가 너무 복잡해지고, AI 가 혼란을 겪었습니다.
• MoTok 의 혁신: MoTok 은 **의미만 담은 아주 간결한 스케치 (컴팩트한 토큰)**만 그립니다. "손이 여기로 간다"는 정도만 기록하고, 손이 어떻게 움직이는지 같은 세부적인 디테일은 나중에 맡깁니다.

3 단계: 제어 (Control) - "시공팀이 정교하게 완성하다"

이제 **확산 모델 (Diffusion Model)**이 나옵니다.

• 비유: 건축가의 간단한 스케치를 받은 정교한 시공팀이 작업을 시작합니다.
• 작동 원리: 시공팀은 스케치에 있는 "문 위치"를 바탕으로, 벽돌을 쌓으면서 실시간으로 "손이 궤도에서 벗어나지 않게", "자연스럽게 움직이게" **수정 (보정)**을 가합니다.
• 핵심: 세부적인 자세 (자세, 궤도) 는 이 단계에서 AI 가 스스로 완벽하게 맞추기 때문에, 2 단계의 계획자가 세부 사항에 신경 쓸 필요가 없습니다.

---

✨ 3. 왜 이것이 획기적인가요? (비유로 설명)

[기존 방식: 모든 것을 한 사람이 하려다]
한 명의 장인이 "이 집은 2 층이고, 창문은 3 개고, 벽돌은 100 만 개를 정확히 쌓아라"라고 모든 것을 한 번에 외우려다 보니, **창문 위치 (의미)**를 지키느라 **벽돌 쌓기 (자세)**가 엉망이 되거나, 그 반대가 되었습니다.

[MoTok 방식: 전문가 팀워크]

• 건축가 (계획자): "2 층에 창문 3 개"라는 핵심 아이디어만 아주 간결하게 적어서 넘깁니다. (데이터 양이 6 분의 1 로 줄어듦!)
• 시공팀 (확산 모델): 그 아이디어를 받아 실제 벽돌을 쌓으면서 "아, 이 벽돌은 이 궤도를 따라가야겠네"라고 실시간으로 수정하며 완벽하게 완성합니다.

결과:

1. 효율성: 필요한 정보량 (토큰 수) 이 기존보다 6 분의 1로 줄어들어 훨씬 빠르고 가볍습니다.
2. 정확도: "손이 궤도에서 0.08cm 만 벗어나도 실패"라는 조건에서도, **의미 (텍스트)**를 잃지 않으면서 **자세 (궤도)**도 완벽하게 맞춥니다.
3. 자연스러움: 기계적인 움직임이 아니라, 실제 사람이 움직이는 것처럼 매끄럽고 자연스러운 결과를 냅니다.

---

💡 요약

이 논문은 **"큰 그림을 그리는 사람 (의미)"**과 **"세부 작업을 하는 사람 (자세)"**을 분리해서, 각각의 전문성을 극대화한 새로운 AI 시스템을 만들었습니다.

마치 명령을 내리는 지휘자와 악기를 완벽하게 연주하는 오케스트라가 협력하여, 지휘자의 뜻도 정확히 전달되면서 악기 소리도 완벽하게 조화시키는 것과 같습니다. 덕분에 우리는 더 적은 정보로, 더 정확하고 자연스러운 사람 움직임을 AI 로 만들어낼 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 인간 동작 생성 (Motion Generation) 연구는 크게 두 가지 패러다임으로 나뉘어 왔으며, 각각의 한계가 존재했습니다.

• 연속적 확산 모델 (Continuous Diffusion Models): 정교한 운동학적 제어 (Kinematic Control, 예: 궤적, 관절 위치) 에 탁월하지만, 고수준의 의미론적 조건 (Semantic Conditioning, 예: 텍스트 설명) 을 처리하는 데는 비효율적일 수 있습니다.
• 이산 토큰 기반 생성기 (Discrete Token-based Generators): 텍스트와 같은 의미론적 입력을 처리하고 확장 가능한 아키텍처를 제공하지만, 기존 토크나이저 (Tokenizer) 들은 고수준 의미와 저수준 운동 디테일을 함께 인코딩해야 하므로, 높은 토큰 수 (Token Rate) 나 계층적 코드가 필요했습니다. 이는 생성기의 부담을 늘리고, 정밀한 운동학적 제어를 적용할 때 의미론적 조건과 충돌하여 생성 품질이 저하되는 문제를 야기했습니다.

핵심 과제: 고수준 의미 (Semantic) 와 저수준 운동학적 제약 (Kinematic Constraints) 을 동시에 만족시키면서도, 효율적인 토큰 압축과 높은 생성 품질을 달성하는 방법론을 찾는 것입니다.

2. 제안 방법론 (Methodology)

저자들은 "지각 - 계획 - 제어 (Perception-Planning-Control)" 라는 3 단계 프레임워크를 제안하며, 그 핵심에 MoTok이라는 새로운 토크나이저를 도입했습니다.

A. MoTok: 확산 기반 이산 동작 토크나이저

기존 VQ-VAE 방식과 달리, MoTok 은 의미 추상화와 정밀한 재구성을 분리합니다.

1. 인코더 (Encoder): 연속적인 동작 시퀀스를 압축된 잠재 벡터 (Latent) 로 변환합니다.
2. 벡터 양자화 (Vector Quantizer): 잠재 벡터를 이산 토큰 시퀀스로 매핑합니다. 이때 단일 레이어 코드북 (Single-layer Codebook) 만 사용하여 매우 컴팩트한 토큰을 생성합니다.
3. 디코더 (Decoder with Diffusion): 양자화된 토큰을 바로 동작으로 복원하는 것이 아니라, 확산 모델 (Diffusion Model) 의 조건부 신호 (Conditioning Signal) 로 변환합니다. 이후 확산 디코더가 이 조건을 바탕으로 정밀한 운동학적 디테일을 재구성합니다.
   • 효과: 이산 토큰은 의미 구조만 담당하게 되어 토큰 수를 획기적으로 줄일 수 있으며, 운동학적 디테일은 확산 모델이 담당하여 재구성 품질을 유지합니다.

B. 통합 조건부 생성 프레임워크 (Unified Conditional Generation)

• 지각 (Perception): 텍스트 (전역 조건) 와 궤적/키포인트 (국소 조건) 를 각각 인코딩합니다.
• 계획 (Planning): 이산 토큰 공간에서 동작 토큰 시퀀스를 생성합니다.
  • Coarse Constraint: 국소 조건 (예: 궤적) 은 토큰 생성 단계에서 '대략적인 제약'으로 작용하여 토큰 생성을 유도합니다.
  • 지원 모델: 자기회귀 (AR) 모델과 이산 확산 (DDM) 모델 모두를 지원하는 통합 인터페이스를 제공합니다.
• 제어 (Control): 확산 디코딩 단계에서 정밀한 운동학적 제어를 수행합니다.
  • Fine Constraint: 확산 과정의 각 디노이징 (Denoising) 단계에서 제어 손실 (Control Loss) 을 최소화하도록 최적화 (Optimization-based guidance) 를 수행하여, 토큰 계획 단계에 고주파수 디테일의 부담을 주지 않으면서 정밀한 궤적 추적을 달성합니다.

3. 주요 기여 (Key Contributions)

1. 3 단계 패러다임 제안: 의미론적 조건과 운동학적 제어를 분리하여 처리하는 '지각 - 계획 - 제어' 아키텍처를 제안하여, AR 및 DDM 생성기 모두에 적용 가능한 통합 프레임워크를 구축했습니다.
2. MoTok 토크나이저 개발: 의미 추상화와 저수준 재구성을 분리함으로써, 기존 방법보다 6 분의 1 수준의 토큰 수로 동등하거나 더 높은 품질의 동작을 생성할 수 있게 했습니다.
3. Coarse-to-Fine 조건 주입 전략: 운동학적 신호를 토큰 계획 단계에서는 '대략적 제약'으로, 확산 디코딩 단계에서는 '정밀 제약'으로 주입하여, 제어 가능성과 사실성 (Realism) 간의 트레이드오프를 해결했습니다.

4. 실험 결과 (Results)

HumanML3D 및 KIT-ML 데이터셋에서 기존 최첨단 방법 (MaskControl, InterControl 등) 과 비교 평가되었습니다.

• 제어 가능성 및 정밀도 향상:
  • 궤적 오차 (Trajectory Error): MaskControl 대비 0.72cm 에서 0.08cm로 대폭 감소했습니다.
  • FID (생성 품질): 0.083 에서 0.029로 개선되어 실제 동작 분포에 훨씬 근접했습니다.
  • 제어 강도에 따른 성능: 기존 방법들은 제어되는 관절이 늘어날수록 품질이 떨어지는 반면, MoTok 은 제약이 강해질수록 오히려 FID 가 개선되었습니다 (0.033 → 0.014).
• 효율성:
  • 동일한 성능을 내기 위해 MaskControl 이 사용하는 토큰 수의 약 6 분의 1만 사용했습니다.
  • 텍스트 - 동작 생성 (Text-to-Motion) 태스크에서도 MoTok-DDM-4 는 MoMask 보다 적은 토큰으로 더 낮은 FID (0.039 vs 0.045) 를 기록했습니다.
• 시각적 결과: 다양한 관절과 프레임에 대한 제어 실험에서 MoTok 은 제공된 궤적을 가장 정확하게 따르면서도 자연스러운 전체 동작을 생성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 연속적 확산 모델의 운동학적 제어 능력과 이산 토큰 모델의 의미론적 처리 능력을 성공적으로 결합했습니다. MoTok 은 토큰의 부담을 줄이면서도 확산 모델을 통해 정밀한 디테일을 복원하는 '분업 (Division of Labor)' 구조를 통해, 복잡한 조건부 동작 생성 문제를 해결했습니다.

이는 애니메이션, 로봇공학, 그리고 embodied agent 분야에서 고수준의 의도 (텍스트) 와 저수준의 물리적 제약 (궤적, 관절 제어) 을 동시에 만족시키는 고품질 동작 생성을 가능하게 하는 중요한 기술적 진보로 평가됩니다. 특히, 제어 조건이 강화될수록 오히려 생성 품질이 향상되는 특성은 기존 방법론의 한계를 극복한 획기적인 결과입니다.