MotionBricks: Scalable Real-Time Motions with Modular Latent Generative Model and Smart Primitives

"MotionBricks: Scalable Real-Time Motions with Modular Latent Generative Model and Smart Primitives" 논문의 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

이 논문은 생성형 모션 합성이 애니메이션 및 로봇공학 등 산업 생산에 채택되는 것을 방해하는 두 가지 주요 병목 현상을 해결합니다:

• 실시간 확장성: 기존 생성 모델 (예: 확산 모델) 은 추론에 수 초 또는 수 분이 소요되어 60 초 이상의 FPS 가 필요한 실시간 응용 분야에 부적합합니다. 반면, 모션 매칭이나 애니메이션 그래프와 같은 전통적인 방법은 빠르지만 심각한 확장성 문제를 겪습니다. 수천 개의 모션 클립과 복잡한 상태 머신을 관리하는 것은 노동 집약적이며 취약합니다.
• 통합 및 제어: 현재 생성 모델은 세밀한 다중 모달 제어가 부족합니다. 텍스트 - 모션 모델은 특정 키프레임, 속도 명령과 같은 정밀한 공간적 제약 조건을 처리하는 데 어려움을 겪는 반면, 전통적인 방법은 다양한 작업에 걸쳐 잘 일반화되지 않는 경직된 사전 정의 태그 또는 원-핫 벡터를 필요로 합니다. 고수준 행동 설계와 저수준 모션 생성을 연결하는 체계적인 인터페이스가 부족합니다.

2. 방법론

MotionBricks 는 확장 가능하고 실시간이며 제어 가능한 모션 합성을 달성하기 위해 모듈형 잠재 생성 백본과 스마트 프라미티브를 결합한 통합 프레임워크를 제안합니다.

A. 신경 백본 (저수준)

핵심은 작업별 미세 조정 없이 대규모 데이터셋 (35 만 개 이상의 클립) 으로 훈련된 점진적, coarse-to-fine 생성 모델입니다.

• 구조화된 멀티헤드 토크나이저: 단일 거대한 코드북 대신 모델은 멀티헤드 양자화 전략을 사용합니다. 이는 루트(전역 궤적) 와 포즈(관절 구성) 표현을 분리합니다. 포즈는 $K$개의 별도 코드북을 사용하여 이산 토큰으로 인코딩되어, 모델이 미묘한 구성 요소를 학습하고 토큰 오예측에 대한 견고성을 제공하도록 합니다.
• 점진적 생성 파이프라인:
  1. 루트 모듈: 키프레임 간의 지속 시간 (프레임 수) 을 예측하고 초기 전역 루트 궤적을 생성하는 트랜스포머 기반 모듈입니다. 타이밍 및 공간적 제약을 처리합니다.
  2. 포즈 모듈: 예측된 루트 궤적과 키프레임 제약 조건에 조건부로 포즈 토큰의 분포를 모델링하는 대형 트랜스포머입니다. 고품질 잠재 토큰을 생성하기 위해 마스킹 토큰 모델링 전략 (반복 예측) 을 사용합니다.
  3. 디코더: 이산 포즈 토큰과 루트 궤적을 연속 모션 (관절 위치, 회전, 속도) 으로 업샘플링하는 U-Net 스타일 디코더입니다. 스킵 연결을 통해 유연한 제약 조건 (컨텍스트 및 대상 키프레임) 을 수용합니다.

B. 스마트 프라미티브 (고수준 인터페이스)

사용자 의도와 신경 백본 간의 간극을 메우기 위해 저자는 백본에 필요한 키프레임 제약 조건을 생성하는 플러그 앤 플레이 인터페이스 역할을 하는 "스마트 프라미티브"를 도입합니다.

• 스마트 로코모션: 항해 처리를 담당합니다. 사용자 속도/방향 명령에 기반하여 초기 루트 궤적을 생성하기 위해 임계 감쇠 스프링 모델을 사용한 후 신경 백본을 통해 이를 정제합니다. 스타일별 키프레임을 주입하여 (예: 웅크리기, 은신, 달리기) 다양한 스타일을 지원하며 경직된 상태 머신 없이 부드러운 전환을 가능하게 합니다.
• 스마트 오브젝트: 물체 상호작용 (예: 물체 집기, 등반) 을 처리합니다. "의도 키프레임"(소프트 또는 하드 제약) 과 "상호작용 바인딩"(물체 기하학에 고정 로직) 을 통해 상호작용을 정의합니다. 이를 통해 단일 키프레임 세트가 서로 다른 위치와 방향의 물체에 적응할 수 있습니다.

C. 추론 루프

시스템은 자기 autoregressive 방식으로 작동합니다. 런타임 시 스마트 프라미티브는 게임 이벤트 또는 사용자 입력에 기반하여 대상 키프레임을 생성합니다. 이러한 키프레임과 컨텍스트 프레임은 백본에 입력되어 타이밍, 루트 궤적, 포즈 토큰을 예측하며, 이는 연속 모션으로 디코딩됩니다. 제어 신호가 변경되면 시스템은 응답성을 보장하기 위해 재계획을 트리거합니다.

3. 주요 기여

1. 모듈형 잠재 생성 백본: 멀티헤드 토크나이저와 점진적 루트 - 포즈 생성 파이프라인을 특징으로 하는 새로운 아키텍처입니다. 2ms 지연 시간과 초당 15,000 프레임 처리량을 유지하면서 최첨단 (SOTA) 모션 품질을 달성합니다.
2. 스마트 프라미티브 인터페이스: 미세 조정, 작업별 태깅, 또는 수동 애니메이션 그래프 구성 없이 복잡한 행동 (항해 및 물체 상호작용) 을 작성하기 위한 통합 제로-샷 인터페이스입니다.
3. 제로-샷 일반화: 모델은 한 번 대규모 데이터셋으로 훈련된 후 재훈련 없이 애니메이션, 로봇공학, 다양한 스타일 등 다양한 하류 작업에 적용됩니다.
4. 크로스 도메인 배포: Unreal Engine 5 와 같은 고품질 가상 환경과 Unitree G1 휴머노이드 로봇과 같은 실제 물리적 제어 모두에서 성공적으로 배포되어 시뮬레이션 - 현실 간극을 해소했습니다.

4. 결과

저자는 MotionBricks 를 네 가지 데이터셋 (전유 35 만 개 클립 데이터셋, HumanML3D, LaFAN1-G1(로봇공학), 7 만 개 하위 집합) 에서 평가했습니다.

• 정량적 성능:
  • 속도: 2ms 지연 시간으로 초당 15,000 프레임을 달성하여 확산 기반 방법 (종종 10~60ms 소요) 을 크게 능가하고 결정론적 방법과 맞먹거나 초과합니다.
  • 품질: 최상의 Fréchet Inception Distance (FID) 및 Maximum Mean Discrepancy (MMD) 점수를 달성하여 실제 값에 대한 우수한 분포 매칭을 나타냅니다.
  • 정밀도: 35 만 개 데이터셋에서 99.6% 의 거의 완벽한 도달 성공률을 보였으며, 발 미끄러짐/침투 오류가 낮아 물리적 타당성 측면에서 베이스라인을 능가했습니다.
  • 인간 평가: 사용자 연구에서 SOTA 방법 대비 가장 높은 승률 (86.5%) 과 품질 점수를 받았습니다.
• 애블레이션 연구:
  • 확장성: 멀티헤드 토크나이저는 더 큰 코드북 (최대 $10^9$개 토큰) 과 함께 효과적으로 확장되는 반면, 단일 헤드 베이스라인은 빠르게 정체됩니다.
  • 견고성: 시스템은 토큰 교란이 있어도 고품질을 유지하며, 루트 - 포즈 분리는 발 미끄러짐을 유발하지 않고 유연한 루트 궤적 보간을 가능하게 합니다.
• 실제 배포: Unitree G1 로봇에 성공적으로 배포되어 실시간으로 복잡한 전체 몸체 제어, 로코모션, 물체 상호작용을 시연했습니다.

5. 의의

MotionBricks 는 산업용 모션 합성에서 패러다임의 전환을 의미합니다:

• 민주화: 거대한 애니메이션 상태 머신을 구축하는 노동 집약적이고 전문가만 가능한 과정을 비전문가도 접근 가능한 "플러그 앤 플레이" 생성 방식으로 대체합니다.
• 확장성: 애니메이션 그래프의 "결합 폭발" 문제를 단일 모델로 항해, 아크로바틱, 상호작용 등 광범위한 기술 세트를 온더플라이로 생성함으로써 해결합니다.
• 통합: 가상 캐릭터와 물리적 로봇 모두에서 작동하는 단일 프레임워크를 제공하여, embodied AI 및 인터랙티브 애니메이션을 위한 통합된 향후 방향을 제시합니다.
• 생산 타당성: 실시간 성능 (2ms 지연 시간) 과 높은 물리적 타당성을 달성함으로써 생성형 모션을 실험적 연구에서 게임 엔진 및 로봇 공학을 위한 실용적이고 생산 준비가 된 도구로 이동시킵니다.