기술 요약: MoScale – 텍스트-모션 생성을 위한 차세대 스케일 자기회귀 모델

1. 문제 제기

텍스트-모션 생성은 텍스트 설명을 충실히 반영하는 인간 동작을 합성하는 것을 목표로 합니다. 최근 모델들 (확산 모델, 마스킹된 트랜스포머, 그리고 차기 토큰 자기회귀 모델) 은 현실적인 국부적 역학을 생성하지만, 전역적 의미 구조를 유지하는 데 어려움을 겪습니다. 구체적으로, 기존 방법들은 반복 횟수 (예: "점프 점프 두 번") 나 순차적 동작 패턴 (예: "돌아서서 물건을 줍고 다시 돌아서기") 과 관련된 복잡한 텍스트 지시사항과 정렬되지 않는 경우가 많습니다.

저자들은 이러한 한계의 두 가지 주요 원인을 다음과 같이 지적합니다:

1. 확산 및 마스킹 모델: 이러한 모델들은 양방향 정제에 의존하며 인과적 순서 없이 전체 해상도 시퀀스를 생성합니다. 단일 비방향 예측 단계에서 전역적 의미를 추론하는 것은 본질적으로 어렵고, 후속 정제는 주로 초기 초안에서 설정된 전역 구조를 변경하기보다는 국부적 일관성을 강제합니다.
2. 차기 토큰 자기회귀 (AR) 모델: 언어 모델링에서는 성공적이지만, 모션 생성에서는 성능이 떨어집니다. 인간 동작은 매우 예측 가능한 단기 역학을 보이므로, AR 모델은 전역적 시간 구조를 학습하기보다는 단기 예측 가능성을 활용하여 손실을 최소화합니다. furthermore, 모션 토큰화에서의 시간적 컨볼루션 인코더는 국부적 상관관계를 증폭시켜 모델에게 장거리 추론을 덜 필요하게 만들고, 결과적으로 국부적으로는 일관되지만 전역적으로는 정렬되지 않은 동작을 생성합니다.

2. 방법론: MoScale

본 논문은 표준 차기 토큰 예측을 거칠고 세밀한 인과적 위계로 대체하는 MoScale, 즉 차세대 스케일 자기회귀 프레임워크를 제안합니다.

2.1 계층적 모션 표현

MoScale 은 잔차 VQ-VAE를 사용하여 모션 시퀀스를 $K$개의 스케일로 된 이산 토큰으로 인코딩합니다.

• 거친 스케일: 전역 구조를 인코딩합니다.
• 세밀한 스케일: 이전 수준에서 포착되지 않은 잔차 세부 사항을 나타냅니다.
• 토큰화: 입력 모션 $m$이 주어지면 인코더가 잠재 특징을 생성합니다. 이러한 특징은 서로 다른 시간 해상도 ($L_1, \dots, L_K$) 로 다운샘플링됩니다. 각 스케일 $k$에서 목표 특징은 원래 특징에서 이전 스케일들의 누적 재구성을 뺀 잔차입니다. 이 잔차는 공유 코드북을 사용하여 양자화되어 이산 토큰 $z_k$를 생성합니다.

2.2 차세대 스케일 자기회귀 생성

하나의 토큰을 한 번에 예측하는 대신, 모델은 특정 스케일에 대한 토큰 그룹 $z_k$ 전체를 다음 조건에 기반하여 예측합니다:

1. 이전에 생성된 더 거친 스케일들 ($z_1, \dots, z_{k-1}$).
2. 사전 훈련된 T5 인코더에서 파생된 텍스트 임베딩.

아키텍처는 자기 주의 (self-attention) 에서 스케일별 인과적 마스킹을 사용하는 인과적 트랜스포머를 사용하여 더 세밀한 스케일에서 더 거친 스케일로 정보가 유출되는 것을 방지하고, 엄격한 계층적 인과성을 보장합니다. 교차 주의 (cross-attention) 는 일관된 의미적 지시를 유지하기 위해 원시 텍스트 임베딩에 주의합니다.

2.3 정제 전략

데이터 부족과 오류 전파 문제를 해결하기 위해 MoScale 은 두 가지 정제 메커니즘을 도입합니다:

• 스케일 간 계층적 정제:

  • 문제: 표준 차기 스케일 AR 은 깨끗한 정답 입력으로 교사 강제 (teacher forcing) 를 사용하여 추론 중 불완전한 거친 스케일 예측에서 복구하는 방법을 학습하지 못합니다.
  • 해결: 훈련 중 모델은 거친 스케일 ($k-1$) 의 토큰에 무작위로 코드북 항목의 일부 집합을 대체하여 교란을 도입합니다. 그런 다음 스케일 $k$의 모델은 이 손상된 입력을 기반으로 잔차를 예측하도록 훈련됩니다. 이는 모델이 적응적 정제를 학습하고 이전 단계에서 전파된 오류를 수정하도록 강요하여 노출 편향을 줄입니다.

• 스케일 내 시간적 정제:

  • 문제: 텍스트 - 모션 데이터셋은 언어 코퍼스에 비해 작습니다.
  • 해결: 각 스케일 내에서 모델은 선택적 마스킹 및 재예측 전략을 사용합니다. 단일 스케일 내에서 사용 가능한 양방향 주의를 활용하여 모델은 낮은 신뢰도 토큰을 식별하고, 이를 마스킹한 후 반복적으로 재예측합니다. 이는 확산 스타일의 반복적 정제를 모방하지만 인과적 AR 프레임워크 내에서 작동하여 전역적 거칠기에서 세밀함으로의 구조를 방해하지 않으면서 국부적 시간적 일관성과 충실도를 향상시킵니다.

3. 주요 기여

1. 차세대 스케일 AR 프레임워크: 차기 토큰 AR 의 (단기 단축키) 한계와 확산/마스킹 모델의 전역 정렬 문제를 극복하는 모션 생성용 계층적 인과 구조를 도입합니다.
2. 정제 메커니즘: 오류 전파와 제한된 데이터를 처리하기 위한 스케일 간 계층적 정제와 스케일 내 양방향 컨텍스트를 활용하여 국부적 일관성을 향상시키기 위한 스케일 내 시간적 정제를 제안합니다.
3. 최첨단 성능: MoScale 이 표준 벤치마크에서 최첨단 (SOTA) 성능을 달성하면서도 높은 훈련 효율성을 유지함을 입증합니다.
4. 제로샷 일반화: 작업별 미세 조정이 없이 다양한 작업 (인페인팅, 아웃페인팅, 편집, 연속 생성) 으로 일반화되는 프레임워크의 능력을 보여줍니다.

4. 실험 결과

모델은 HumanML3D와 KIT-ML 데이터셋에서 평가되었습니다.

• 정량적 성능: MoScale 은 기존 차기 토큰 AR, 확산, 마스킹된 트랜스포머 베이스라인을 능가합니다.
  • HumanML3D 에서 최상의 R-Precision(Top-1: 0.540) 과 MM-Dist(2.830) 를 달성하며, 경쟁력 있는 FID(0.046) 를 보입니다.
  • 모델 크기 (4 에서 18 개의 스케일/단계) 에 따라 효과적으로 확장됩니다.
• 정성적 성능: 시각화는 베이스라인이 실패하는 곳에서 MoScale 이 미세한 의미 (예: 특정 반복 횟수와 복잡한 시퀀스) 를 성공적으로 포착함을 보여줍니다.
• 복잡도 분석: MoScale 은 복잡한 텍스트 설명에서 베이스라인 대비 가장 큰 상대적 개선을 보여주며, 복잡한 의미 지시사항에 대한 계층적 설계의 유효성을 검증합니다.
• 효율성: MoScale 은 확산 모델보다 빠르게 훈련되며 마스킹된 트랜스포머와 비교 가능한 수준입니다. 추론은 효율적입니다 (전체 모델 0.28 초, 최소 구성 0.08 초) 로, 확산 기반 방법 (예: MotionDiffuse 의 7.12 초) 보다 훨씬 빠릅니다.
• 사용자 연구: 사용자는 텍스트 정렬 (71.5% 투표) 과 모션 품질 (73.3% 투표) 모두에서 베이스라인보다 MoScale 을 선호합니다. 제로샷 편집 작업에서 모션 품질, 텍스트 정렬, 일관성 측면에서 가장 높은 선호도 점수를 받습니다.

5. 중요성과 주장

본 논문은 계층적 인과성이 개선된 텍스트 정렬의 주요 동력이라고 주장합니다. 가장 거친 스케일에서 전역적 의미 발판을 설정하고 이를 점진적으로 정제함으로써 MoScale 은 차기 토큰 AR 의 "단기 단축키"와 양방향 정제 모델의 "전역 구조 불안정성"을 피합니다.

저자들은 다음과 같이 강조합니다:

• 계층적 예측 경로는 세부적인 텍스트 단서를 포착하는 데 지배적인 요소이며, 양방향 반복적 정제만으로는 달성할 수 없는 성능을 보입니다.
• 시간적 정제는 주로 국부적 부드러움과 일관성에 기여하지만 전역적 텍스트 정렬에서는 보조적인 역할을 합니다.
• 이 프레임워크는 다양한 중간 상태를 시뮬레이션하기 위해 스케일 간 교란을 활용하여 제한된 데이터 환경에서 견고합니다.
• MoScale 은 마스킹 및 재예측 전략을 통해 조건부 (텍스트-모션) 와 무조건부 (편집, 인페인팅) 작업 모두에 대한 통합된 접근 방식을 제공하며, 편집되지 않은 영역을 효과적으로 보존합니다.

이 연구는 확산 스타일의 이점 (반복적 정제, 양방향 컨텍스트) 을 인과적이고 계층적인 자기회귀 프레임워크에 통합하는 것이 텍스트 - 모션 생성을 위한 훈련 효율성, 전역적 의미 정렬, 국부적 모션 품질의 우수한 균형을 제공함을 시사합니다.