기술 요약: 인간 동작 생성을 위한 언어 가이드 트랜스포머 토크나이저 (LG-Tok)

문제 정의

텍스트 기반 인간 동작 생성 패러다임에서, 동작 토큰화(motion tokenization)와 생성 모델을 결부터 하는 2단계 접근 방식은 핵심적인 역할을 해왔습니다. 그러나 **재구성 품질(reconstruction quality)**과 생성 복잡도(generation complexity) 사이에는 근본적인 트레이드오프가 존재합니다. 기존 방식들은 일반적으로 rFID로 측정되는 동작 재구성 충실도를 높이기 위해 이산적 토큰(discrete tokens)의 수를 늘리는 데 의존합니다. 이는 재구성을 향상시키지만, 시퀀스 길이를 증가시켜 자기회귀(autoregressive) 생성 모델의 학습 난이도를 높이고, 결과적으로 gFID로 측정되는 생성 품질을 저하시키는 경우가 많습니다.

또한, 기존의 토크나이저는 주로 합성곱 신경망(CNN) 구조를 사용합니다. 이러한 구조는 국소적 수용 영역(local receptive fields)의 한계로 인해, 자연어 설명과 동작 의미론(semantics)을 정렬하는 데 필요한 **전역적 언어 가이드(global language guidance)**를 지원하는 데 어려움을 겪습니다. 아울러, 토큰화 과정에서 언어 조건을 무분별하게 통합하면 모델이 재구성을 위해 텍스트 임베딩에 과도하게 의존하여, 텍스트만으로는 전달할 수 없는 미세한 동작 세부 사항을 독립적으로 포착하지 못하는 **지름길 학습(shortcut learning)**의 위험이 있습니다.

방법론: LG-Tok

저자들은 자연어를 토큰화 단계에서부터 동작과 정렬하여, 압축적이고 고수준의 의미론적 표현을 생성하는 언어 가이드 토큰화(Language-Guided Tokenization, LG-Tok) 프레임워크를 제안합니다.

1. 트랜스포머 기반 토크나이저 및 디토크나이저

기존의 CNN 기반 방식과 달리, LG-Tok은 토크나이저(인코더)와 디토크나이저(디코더) 모두에 트랜스포머 기반 아키텍처를 채택합니다.

• 전역적 문맥(Global Context): 셀프 어텐션(self-attention) 메커니즘을 활용하여 모델의 전역적 문맥 인지 능력을 강화함으로써, CNN의 국소적 수용 영역 한계를 극복합니다.
• 아키텍처: 토크나이저와 디토크나이저는 RMSNorm, SwiGLU 활성화 함수, 그리고 짧은 시퀀스 작업을 수용하기 위해 베이스가 100인 회전 위치 임베딩(RoPE)을 포함한 LLaMA 스타일의 구성 요소로 구축되었습니다. 또한, 높은 충실도의 재구성을 보장하기 위해 UNet 스타일의 롱 스킵 연결(long skip connections)이 통합되었습니다.
• 입력 메커니즘: 학습 가능한 잠재 토큰(latent tokens) 시퀀스는 선형 투영된 동작 특징 및 (동결된 LLaMA 인코더로부터의) 텍텍스트 임베딩과 결합되어 입력을 형성합니다. 토크나이저는 오직 학습 가능한 잠재 토큰에 해당하는 표현만을 출력합니다.

2. 언어 가이드 토큰화 (Language-Guided Tokenization)

핵심 혁신은 언어 가이드를 단순히 생성 단계뿐만 아니라 토큰화 단계까지 확장한 것입니다.

• 의미론적 추상화(Semantic Abstraction): 토큰화 중에 텍스트 임베딩을 주입함으로써, 잠재 토큰이 고수준의 의미론적 정보를 중복해서 인코딩해야 하는 부담을 덜어줍니다. 이를 통해 잠재 토큰은 텍스트만으로는 전달할 수 없는 미세한 동작의 세부 사항을 포착하는 데 집중할 수 있습니다.
• 이중 이점: 이 접근 방식은 잠재 토큰이 토큰화 과정에서 언어적 의미 지식을 흡수하도록 할 뿐만 아니라, 디토크나이징 과정에서 언어 조건이 동작 재구성을 보조할 수 있도록 합니다.

3. 언어 드롭(Language-Drop) 스킴

모델이 "지름길 학습"(재구성을 위해 텍text에 과도하게 의존하는 현상)에 빠지는 것을 방지하기 위해, 저자들은 언어 드롭 스킴을 도입했습니다.

• 학습 전략: 학습 중에는 확률 $p$ (0.1로 설정)로 언어 조건이 무작위로 제거됩니다. 이는 토크나이저와 디토크나이저가 언어 입력과 독립적으로 견고하고 자립적인 토큰 표현을 학습하도록 강제합니다.
• 추론 능력: 이 스킴은 생성 시 **언어-프리 가이드 디코딩(language-free guidance decoding)**을 가능하게 합니다. 텍스트가 있는 경우와 없는 경우 모두에서 작동하도록 학습함으로써, 저자들은 동작 공간 내에서 직접 **분류기 없는 가이던스(Classifier-Free Guidance)**를 적용할 수 있습니다. 최종 동작은 무조건적(unconditional) 재구성과 조건부(conditional) 재구성 사이를 외삽(extrapolate)하여 합성됩니다:
  $$\hat{m} = (1 + g) \times \hat{m}_c - g \times \hat{m}_u$$
  여기서 $g$는 가이던스 스케일입니다.

주요 기여

1. 언어 가이드 토크나이저 (LG-Tok): 자연어를 토큰화 단계에서 동작과 정렬하여, 생성 학습을 단순화하는 압축적이고 고수준의 의미론적 표현을 생성하는 새로운 방법론을 제시했습니다.
2. 트랜스포머 기반 아키텍처: 표준 CNN 기반 토크나이저에서 벗어나, 효과적인 교차 모달 정렬과 전역 문맥 모델링을 위해 어텐션 메커니즘을 사용하는 완전한 트랜스포머 기반 토크나이저 및 디토크나이저를 도입했습니다.
3. 언어 드롭 스킴: 지름길 학습을 완화하고, 로짓(logit)이나 노이즈 공간뿐만 아니라 동작 공간 내에서 직접 분류기 없는 가이던스 디코딩을 가능하게 하는 독특한 학습 전략을 제공합니다.

실험 결과

본 방법론은 HumanML3D, KIT-ML, Motion-X의 세 가지 벤치마크에서 평가되었습니다.

• 최첨단 성능(SOTA): LG-Tok은 여러 지표에서 기존 방식들(예: MARDM, MoMask, T2M-GPT)을 능가하는 성능을 보였습니다.
  • HumanML3D에서 LG-Tok은 Top-1 R-Precision 0.542와 FID 0.057을 달성하여, MARDM(각각 0.500 및 0.114)을 크게 앞질렀습니다.
  • Motion-X에서 LG-Tok-mid는 최고치인 0.591의 Top-1 R-Precision을 기록했습니다.
• 효율성: LG-Tok-mini 변형 모델은 표준 236개 토큰 구성의 약 절반인 104개의 토큰만을 사용하면서도 경쟁력 있는 성능(HumanML3D에서 FID 0.085)을 유지하여, 의미론적 표현의 효율성을 입증했습니다.
• 재구성 vs. 생성: 본 방법론은 트레이드오프를 성공적으로 조절합니다. HumanML3D의 경우, 토큰 수가 증가할수록 모든 지표가 개선됩니다. 더 큰 데이터셋인 Motion-X에서는, 증가한 시퀀스 길이가 생성 모델에 부담을 주기 시작하기 전 최적의 생성 품질을 얻을 수 있는 "스윗 스팟(sweet spot)"(160개 토큰)을 찾아냈습니다.
• 절제 연구(Ablation Studies): 실험을 통해 토크나이저와 디토크나이저 모두에 언어를 주입하는 것이 최상의 결과를 낸다는 점을 확인했습니다. 또한, 언어 드롭 스킴이 지름길 학습을 방지하고 FID 점수를 안정화하는 데 결정적임을 입로 증명했습니다.

의의 및 주장

본 논문은 LG-Tok이 동작 토큰화에서의 재구성 충실도와 생성 난이도 사이의 근본적인 긴장 관계를 해결한다고 주장합니다. 언어와 동작의 정렬을 토큰화 단계로 전환함으로써, 이 방법은 의미론적으로 풍부하면서도 압축적인 잠재 토큰을 생성합니다.

저자들은 다음과 같은 점을 강조합니다:

• 생성 학습 단순화: 언어 가이던스로 고수준의 의미론적 인코딩을 분담시킴으로써, 생성 모델의 학습 부담(퍼플렉서티 감소로 입증됨)을 줄였습니다.
• 유연성 향 향상: 언어 드롭 스킴을 통해 재학습 없이도 다양한 생성 전략(언어-프리 가이던스 등)을 사용할 수 있습니다.
• 우수한 일반화 능력: 이 프레임링은 서로 다른 생성 백본(MoSa 및 MoMask)에 적용했을 때 일관된 개선을 보여주며, 이는 이산적 토큰화 파이프라인 전반에 걸친 광범위한 적용 가능성을 시사합니다.

이 연구는 트랜스포머의 유연성을 활용하여 다중 모달 정렬에서 국소 수용 영역 아키텍처의 한계를 극례함으로써, 더욱 효율적이고 의미론적으로 인지된 동작 생성을 향한 진일보를 제시합니다.