기술 요약: 테스트 시간 인간 모션 제어를 위한 MSCoT

문제 정의

본 논문은 인간 모션 합성 분야에서 테스트 시간, 훈련 없는 제어 가능성이라는 과제를 다룹니다. 최근 텍스트 - 모션 모델은 높은 사실감을 달성했지만, 재훈련 없이 정밀하고 세밀한 제약 조건 (예: 특정 관절 궤적, 장애물 회피, 또는 장면 상호작용) 을 통합하는 데는 종종 어려움을 겪습니다. 기존 접근 방식은 다음과 같은 중요한 트레이드오프에 직면해 있습니다:

• 확산 기반 모델은 원시 공간에서 모션을 교란시켜 높은 제어 충실도를 제공하지만, 반복적인 노이즈 제거 단계로 인한 높은 계산 비용으로 인해 실시간 응용 분야에서는 느립니다.
• 토큰 기반 모델(자기회귀 또는 마스킹) 은 샘플링 효율이 높지만 제어에는 어려움을 겪습니다. 자기회귀 모델은 초기 예측에서의 오차 누적으로 고통받고, 마스킹 모델은 제어 신호가 부분적으로 마스킹 해제된 시퀀스에만 적용되기 때문에 종종 전역적 드리프트를 초래합니다.
• 훈련 의존적 방법(예: ControlNet 사용) 은 훈련 중 목표 제어 신호가 필요하므로, 추론 시 재훈련 없이 임의의 제약을 정의해야 하는 최종 사용자의 활용성을 제한합니다.

목표는 추가적인 제어 전용 훈련 없이 빠른 추론, 임의의 관절 및 궤적에 대한 정밀한 제어, 그리고 높은 모션 품질을 달성하는 방법을 개발하는 것입니다.

방법론: MSCoT

저자들은 모션을 다중 스케일 계층적 표현으로 이산화하고, coarse-to-fine(거칠게부터 정밀하게) 방식으로 토큰 시퀀스를 예측하는 프레임워크인 MSCoT(Multi-Scale Coarse-to-fine conTrol) 를 제안합니다.

1. 다중 스케일 계층적 표현

MSCoT 는 다중 스케일 VQ-VAE를 사용하여 연속적인 모션 시퀀스를 점진적으로 더 정밀한 시간 해상도의 $K$개 이산 토큰 시퀀스 ($z_1, \dots, z_K$) 로 인코딩합니다.

• Coarse Scales(거친 스케일): 저주파, 전역적 정보 (예: 전체 궤적, 보행) 를 포착합니다.
• Fine Scales(정밀한 스케일): 고주파, 국부적 세부 사항 (예: 주기적인 팔다리의 흔들림) 을 포착합니다.
• 적응형 스케일링: 스케줄링 전략은 각 스케일의 시간 해상도를 목표 모션 길이에 맞게 동적으로 조정하여, 재훈련 없이 가변 길이 모션을 처리할 수 있도록 합니다.

2. 다중 스케일 자기회귀 Transformer

Transformer 백본은 토큰 시퀀스를 자기회귀적으로 생성합니다. 각 스케일 $k$에서 모델은 텍스트 프롬프트 $y$와 더 거친 스케일 토큰 $z_{<k}$에 조건부로 전체 토큰 시퀀스 $z_k$를 병렬로 예측합니다. 이는 단계별 자기회귀 토큰 예측에 비해 효율적인 생성을 가능하게 합니다.

3. 다중 스케일 토큰 가이드

훈련 없는 제어를 달성하기 위해 MSCoT 는 분석적 베이지안 형식에 기반한 다중 스케일 토큰 가이드 전략을 도입합니다.

• 목표: 단일 스케일 업데이트 내에서 사용자 정의 제어 목표 $G$(예: 목표 관절 위치까지의 거리 최소화) 를 향해 토큰 사후 확률 분포 $p(z_k | z_{<k}, G)$를 유도합니다.
• 근사: 정확한 사후 확률 계산 (모든 코드북 조합에 대한 합계 필요) 은 계산적으로 불가능하므로, 저자들은 코드북 임베딩 공간에서 1 차 테일러 근사를 사용합니다.
• 메커니즘: 이 방법은 토큰 임베딩에 대한 목표 가능도 (likelihood) 의 기울기를 계산합니다. 사전 기대 임베딩 (모델의 믿음) 주변에서 목표 가능도를 근사화하고, 목표의 상승 방향과 일치하도록 토큰 확률을 업데이트합니다. 이를 통해 전체 코드북을 반복하지 않고도 효율적이고 미분 가능한 제어가 가능해집니다.

4. 연속 토큰 정제

이산 코드북의 한계 (양자화 아티팩트) 를 극복하기 위해 경량의 토큰 리파이너(소형 Transformer) 는 이산 토큰 임베딩에 대한 연속적인 잔차 조정을 예측합니다.

• 테스트 시간 최적화: 최종 스케일에서 모델은 이러한 잔차에 대해 기울기 기반 최적화를 수행하여 제어 목표를 더욱 최소화함으로써, 사용자의 제약 조건과 정밀하게 정렬되도록 보장합니다.

주요 기여

1. MSCoT 패러다임: 빠르고 정밀한 훈련 없는 인간 모션 제어를 가능하게 하는 새로운 다중 스케일 coarse-to-fine 제어 패러다임.
2. 효율적 가이드 전략: 이산 샘플링의 비미분 가능성을 극복하는 다중 스케일 토큰 가이드 방법. 분석적 사후 근사를 사용하여 단일 스케일 업데이트 내에서 임의의 제어 목표를 가능하게 함.
3. 이론적 및 경험적 검증: 1 차 근사의 오차 유계를 증명하는 이론적 분석과 함께, 생성 품질, 제어 정확도, 추론 속도에서 최첨단 성능을 보여주는 광범위한 실험.

실험 결과

이 방법은 HumanML3D와 KIT-ML 데이터셋에서 평가되었습니다.

• 제어 정확도: MSCoT 는 기존 베이스라인 (확산 기반 OmniControl 및 토큰 기반 MaskControl 포함) 을 크게 능가합니다. HumanML3D 에서 평균 제어 오차를 61% 감소시켰으며, 궤적 오차 (>50cm) 를 거의 0 에 가깝게 줄였습니다 (MaskControl 의 1.16% 대비 0.11%).
• 모션 품질: 모션 충실도를 개선하여 FID 를 48% 향상시켰습니다 (MaskControl 의 0.236 대비 0.124) 고, 높은 R-Precision 을 유지했습니다.
• 추론 속도: MSCoT 는 확산 기반 방법보다 훨씬 빠르며, MaskControl 보다 10 배 빠른 추론(39.02 초 대비 3.61 초) 을 달성했고, OmniControl 보다 33 배 빠릅니다.
• 일반화 능력: 이 프레임워크는 테스트 시 제어 목표를 정의하기만 하면 재훈련 없이 장애물 회피 및 인간 - 장면 상호작용과 같은 보이지 않는 작업에도 성공적으로 일반화됩니다.

중요성과 주장

본 논문은 MSCoT 가 제어 능력을 훈련 요구 사항과 분리함으로써 제어 가능한 모션 합성 분야에서 중요한 발전을 이루었다고 주장합니다.

• 훈련 없는 유연성: 훈련 중 ControlNet 이나 특정 제어 데이터에 의존하는 방법과 달리, MSCoT 는 사용자가 모델 재훈련 없이 추론 시 임의의 제어 목표 (예: "이 장애물을 피하라", "손을 이 지점으로 이동하라") 를 지정할 수 있게 합니다.
• 효율성 vs 품질 트레이드오프: 높은 제어 충실도가 보통 느린 추론 (확산) 이나 낮은 제어 (토큰 모델) 의 대가로 오르는 전통적인 트레이드오프를 해결합니다. MSCoT 는 높은 충실도와 높은 속도를 모두 달성합니다.
• 확장성: 적응형 스케일링 메커니즘은 모델이 실제 응용 분야에서 흔한 과제인 가변 길이 모션을 효과적으로 처리할 수 있게 합니다.

저자들은 MSCoT 를 실시간, 정밀하며 유연한 모션 제어가 중요한 애니메이션, 로봇공학, AR/VR 응용 분야를 위한 실용적인 솔루션으로 위치시킵니다. 그들은 이산 코드북 용량과 평균장 근사에 대한 의존성과 관련된 한계를 인정하며, 향후 연구가 더 큰 코드북이나 신체 구조 인식 오토인코더를 탐구할 수 있음을 시사합니다.