💻 computer science

Beyond MoCap: Scaling Motion Tokenizers with Synthetic Human Motion for Generative Modeling

본 논문은 기존 모션 캡처 데이터셋의 한계를 극복하기 위해, 재설계된 VQ-VAE 토크나이저를 대규모의 다양한 합성 모션 데이터와 함께 공동으로 스케일링함으로써 모션 표현 공간을 확장하고 인간 모션 생성의 일반화 능력을 향상시키는 프레임워크를 제안한다.

원저자: Yiwen Yan, Wanning He, Yu-Wing Tai

게시일 2026-06-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiwen Yan, Wanning He, Yu-Wing Tai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: 로봇 무용수의 "제한된 어휘력"

당신이 로봇에게 춤을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 단어 사전(이를 토크나이저라고 부릅니다)과 이전에 보았던 일련의 춤 동작들을 건네줍니다.

현재 대부분의 로봇 무용수들은 모션 캡처(MoCap) 데이터로 학습됩니다. 이는 특수 스튜디오에서 기록된 실제 인간의 움직임 영상입니다. 문제는 이 데이터셋들이 마치 "걷기", "앉기", "흔들기"와 같은 단어들만 들어있는 사전와 같다는 점입니다. 여기에는 "브레이크댄스", "쿵푸", 또는 "요가 자세"와 같이 복잡하거나 드문 동작을 설명하는 단어들이 빠져 있습니다.

로봇의 사전이 너무 작기 때문에, 당신이 로봇에게 "브레이크댄스 플레어를 해봐"라고 요청하면, 로봇은 그 동작을 설명할 적절한 "단어"를 자신의 어휘집에서 찾지 못합니다. 결국 로봇은 자신이 알고 있는 단어들을 이용해 짐작하려 애쓰게 되고, 그 결과 실제 브레이크댄스처럼 보이지 않는 서툴고 망가진 동작을 만들어냅니다.

저자들은 단순히 로봇의 두뇌(AI 모델)를 더 크게 만드는 것만으로는 이 문제를 해결할 수 없다고 주장합니다. 만약 사전이 너무 작다면, 더 큰 두뇌는 단지 틀린 단어를 더 잘 추측하게 될 뿐이기 때문입니다.

해결책: "합성 체육관"과 더 큰 사전

저자들은 수천 명의 새로운 실제 인간을 촬영할 필요 없이, 로봇에게 훨씬 풍부한 어휘를 가르칠 수 있는 2단계 해결책을 제안합니다.

1. 합성 체육관 (가짜 데이터 생성하기)

인간이 희귀한 동작을 수행하기를 기다리는 대신, 연구팀은 수백만 개의 새로운 가짜 인간 움직임을 생성할 수 있는 디지털 체육관을 구축했습니다.

작동 방식: 이들은 식물을 교배하는 것(유전 알고리즘)과 유사한 과정을 사용합니다. 기존의 두 포즈(예: 부모 포즈의 팔 위치와 부모 포즈의 다리 위치)를 가져와서 이를 "교배"하여 새로운 자식 포즈를 만들어냅니다.
안전 점검: 컴퓨터가 아무렇게나 만들어내도록 내버려 두지는 않습니다. 이들은 "물리 필터"(엄격한 코치와 같은 역할)를 사용하여 다음과 같이 확인합니다: "이 포즈는 물리적으로 가능한가? 인간이 뼈가 부러지지 않고 이 자세를 유지할 수 있는가?" 만약 답이 '아니오'라면 그 동작은 버려집니다. '예'라면 유지됩니다.
결과: 이를 통해 실제 데이터셋에는 거의 등장하지 않는 희귀하고 극단적이며 복잡한 동작들을 포함하는 거대한 움직임 라이브러리가 만들어집니다.

2. 더 큰 사전 (토크나이저 확장하기)

이 거대한 새로운 동작 라이브러리를 확보하고 나면, 기존의 사전(코드북)은 이 모든 것을 담기에 너무 작다는 사실을 깨닫게 됩니다.

비유: 100만 권의 책이 담긴 도서관을 단 하나의 신발 상자에 넣으려고 노력한다고 상상해 보세요. 당신은 책을 구겨서 억지로 집어넣어야 하며, 그 과정에서 모든 세부 사항을 잃게 됩니다.
해결책: 저자들은 더 큰 신발 상자(더 큰 코드북)를 만들었습니다. 이들은 사전을 몇 백 개의 "단어"에서 수천 개로 확장했습니다. 이를 통해 시스템이 생성한 모든 새롭고 복잡한 동작에 대해 고유하고 구체적인 "단어"를 할당할 수 있게 되었습니다.

이 모든 것이 결합되는 방식

연구팀은 이미 동작 생성을 잘 수행하고 있는 기존 AI 모델(예: T2M-GPT 또는 MotionGPT)을 가져왔지만, 기존의 작고 오래된 사전 대신 자신들의 새로운 거대 사전을 교체하여 적용했습니다.

그들은 로봇의 두뇌를 바꾸지 않았습니다: AI 아키텍처는 정확히 그대로 유지했습니다.
단지 더 나은 도구를 주었을 뿐입니다: 그들은 새로운 다양한 데이터와 더 큰 사전을 사용하여 모델을 재학습시켰습니다.

결과: "서툰 동작"에서 "표현력 있는 동작"으로

새로운 시스템을 테스트했을 때의 결과는 다음과 같습니다:

더 나은 사실성: 로봇은 이전에는 실패했던 브레이크댄스, 요가, 쿵푸와 같은 복잡한 동작을 이제 수행할 수 있게 되었습니다.
더 나은 일반화 능력: 본 적 없는 동작(out-of-distribution)을 요구받았을 때도, 어휘가 훨씬 풍부해졌기 때문에 훨씬 더 뛰어난 성능을 보여주었습니다.
아키텍처 변경 없음: 이는 병목 현상이 AI 모델 자체가 아니라, 모델이 강제로 사용해야 했던 제한된 "어휘"에 있었음을 증명했습니다.

요약

이 논문은 다음과 같이 말하는 것과 같습니다: "단순히 더 똑똑한 로봇을 만들지 말고, 더 큰 사전을 주어라." 새로운 동작을 발명할 수 있는 안전한 가상 체육관을 만들고, 이를 저장할 더 큰 사전을 확장함으로써, 기존 AI 모델이 훨씬 더 다양하고 사실적이며 복잡하고 희귀한 동작을 처리할 수 있도록 만들었습니다.

기술 요약: 모션 캡처를 넘어서: 생성 모델을 위한 합성 인간 동작 기반의 모션 토크나이저 확장

문제 정의
현재의 인간 동작 생성 모델, 특히 이산적 잠재 표현(예: VQ-VAE 토크나이저와 결로 결합된 MotionGPT와 같은 자기회귀 트랜스포머)에 의존하는 모델들은 기존 모션 캡처(MoCap) 데이터셋의 제한된 다양성으로 인해 근본적인 제약을 받습니다. Human3.6M 및 AMASS와 같은 데이터셋은 흔하고 반복적인 동작(예: 걷기, 앉기)에 편중되어 있어, 학습된 잠재 공간 내에 "제한된 모션 어휘(restricted motion vocabulary)"를 형성합니다. 결과적으로, 이러한 모델들은 곡예나 정형화된 퍼포먼스와 같이 희귀하고 복잡하거나 역동적인 움직임(모션의 "롱 테일(long tail)")을 생성하는 데 실패합니다. 저자들은 단순히 모델 아키텍처나 학습 시간을 늘리는 것만으로는 이 병목 현상을 극복할 수 없다고 주장합니다. 주요 한계는 학습된 모션 표현 자체의 지지 집합(support)에 있습니다.

방법론
본 논문은 모션 데이터 분포와 모션 토크나이저의 용량을 공동으로 확장하는 프레임워크를 제안합니다. 이 접근 방식은 두 가지 주요 구성 요소로 이루어집니다.

확장 가능한 합성 모션 생성 파이프라인:
- 포즈 합성: 유전 알고리즘에서 영감을 얻은 이 파이프라인은 포즈 공간에 대한 구조적 확률 탐색을 수행합니다. 포즈를 골반에 뿌리를 둔 운동학적 트리(kinematic tree)로 표현하며, 뼈의 방향을 위해 구면 좌표계를 사용합니다. 교차(crossover)(부모 포즈 간의 사지 루트 하위 트리를 교환)와 변이(mutation)(가우시안 노이즈를 이용한 뼈 방향의 섭동)를 통해 시스템은 다양한 포즈를 생성합니다.
- 물리적 필터링: 해부학적 타당성을 보장하기 위해, 생성된 포즈는 다이내믹스 포즈 사전 지식(Akhter and Black [2015])을 사용하여 필터링되며, 이는 관절 각도를 실행 가능한 범위 내로 제한합니다. 부모보다 유효성 점수가 높거나 같은 포즈만이 유지됩니다.
- 포즈-투-모션 변환: 유효한 포즈는 구면 보간(spherical interpolation)을 통해 모션 시퀀스로 변환됩니다. 경량 트랜스포머 기반의 회복 모델이 사용되어 신체 특징으로부터 전역 루트 궤적(방향 및 이동)을 예측하고 회복함으로써, 모션 시퀀스가 물리적으로 타당하고 시간적으로 일관되도록 보장합니다.
- 데이터 규모: 파이프라인은 HumanML3D 데이터셋을 기준으로 약 64배의 추가적인 합성 모션을 생성하여, 모션 공간의 커버리지, 특히 과소 대표된 영역을 크게 확장합니다.
증강된 VQ-VAE 토크나이저:
- 코드북 확장: 고정된 크기의 코드북(예: 약 512개 항목)이 확장된 분포를 수용하기에 불충분하다는 점을 인식하여, 저자들은 코드북 크기( $K$ )를 2048로 늘립니다.
- 결합 학습: 토크나이저는 실제 데이터와 합성 데이터의 혼합( $D = (1-\lambda)D_{real} + \lambda D_{syn}$ )으로 학습됩니다. 저자들은 분포 내 충실도(in-distribution fidelity)와 분포 외 일반화(out-of-distribution generalization) 사이의 균형을 맞추기 위해 혼합 비율(구체적으로 1:2의 실제 대 합성 비율)을 채택합니다.
- 안정화 전략: 더 큰 어휘 집합과 함께 코드북 붕괴(collapse)를 방지하기 위해, 학습에는 지수 이동 평균(EMA) 업데이트와 주기적인 코드북 리셋이 활용됩니다.
다운스트림 모델로의 적응:
- 개선된 토크나이저는 기존의 자기회귀 모션 생성 프레임워크(예: T2M-GPT, MotionGPT, MotionAgent)에 아키텍처 변경 없이 통합됩니다. 모델들은 원래의 텍스트-모션 쌍은 그대로 유지하면서, 새로운 증강된 토크나이저로 학습 데이터를 재토큰화함으로써 미세 조정(fine-tuning)됩니다.

주요 기여

병목 현상 식별: 본 연구는 모션 생성의 핵심 병목이 단순한 모델 아키텍처 문제가 아니라, 제한된 데이터로 인해 발생하는 모션 토크나이저의 제한된 지지 집합임을 밝혀냈습니다.
결합 스케일링: 모션 생성을 개선하기 위해서는 모델 크기만을 키우는 것이 아니라, 학습 데이터 분포와 토큰 용량을 동시에 확장해야 함을 입증했습니다.
합성 파이프라인: 모션 공간의 롱 테일을 커버하는, 다양하고 물리적으로 타당한 모션을 생성하는 확장 가능한 파이프라인을 도입했습니다.
증강된 토크나이저: 확장된 코드북을 통해 합성 분포에 적응하여 높은 코드북 활용도와 풍부한 모션 어휘를 달성하는 VQ-VAE 토크나이저를 개발했습니다.
아키텍처 불가지론적 개선: 본 방법론은 아키텍처 변경 없이도 다양한 백본에서 일관된 개선을 이끌어내는, 기존 이산 토큰 모델을 업그레이드하기 위한 실질적인 레시피를 제공합니다.

결과
HumanML3D(분포 내) 및 Motion-X++(분포 외)에 대한 광범 l한 실험은 본 접근 방식의 효능을 입증합니다:

토크나이저 성능: HumanML3D에서 재구성 FID가 42.4% 개선되었습니다(0.132에서 0.076으로 감소). 미학습 데이터셋인 Motion-X++에서 토크나이저는 상당한 일반화 이득을 보였으며, 다양한 서브셋(예: "Sports" 서브셋에서 12.4% 감소)에서 MPJPE가 감소했습니다.
생성 성능: 다운스트림 모델에 적용되었을 때, 증강된 토크나이저는 모션 충실도(FID)를 일관되게 향상시켰습니다. 예를 들어, T2M-GPT의 FID는 16.4%, MotionGPT는 24.1%, MotionAgent는 20.0% 개선되었습니다.
질적 개선: 모델들은 기존 토크나이저로는 표현이 미흡하거나 불가능했던 복잡하고 희귀한 동작(예: 브레이크댄스 플레어, 요가 포즈, 쿵푸)을 합성하는 능력이 향상되었습니다.
절제 연구(Ablation Studies): 실험을 통해 코드북 크기 2048이 재구성 품질과 코드북 활용도 사이의 최적의 균형을 제공함을 확인했습니다. 또한, 1:2(실제:합성)의 혼합 비율이 분포 내 충실도와 분포 외 일반화 사이의 최적의 절충안임을 확인했습니다.

의의 및 주장
본 논문은 인간 모션 합성의 주요 병목이 생성 모델의 아키텍처가 아니라, 제한된 데이터로부터 유도된 제한된 토큰 공간이라고 주장합니다. 합성 모션을 표현 학습과 함께 스케일링함으로써, 저자들은 더 표현력 있고 제어 가능하며 일반화 가능한 모션 합성을 향한 "원칙적인 경로"를 제시합니다. 이 연구는 모션 생성 모델의 잠재력을 완전히 끌어올리기 위해 분야가 단순히 정제된 MoCap 데이터셋에만 의존하는 것을 넘어 합성 데이터 확장(synthetic data expansion)을 수용해야 함을 시사합니다. 저자들은 현재 파이프라인이 신체 움직임에 집중하고 있다는 점(미세한 손/얼굴 역학 제외)과 합성된 모션에 텍스트 주석을 아직 결합하지 않았다는 한계를 언급했으나, 향arian 텍스트 레이블을 추가하는 것이 의미적 정렬을 더욱 강화할 수 있다고 보고 있습니다.