💻 computer science

OmniMotion-X: Versatile Multimodal Whole-Body Motion Generation

OmniMotion-X는 텍스트-투-모션(text-to-motion), 뮤직-투-댄스(music-to-dance), 스피치-투-제스처(speech-to-gesture)와 같은 다양한 작업에 걸쳐 사실적이고 일관되며 제어 가능한 전신 인간 동작을 생성하기 위해, 최대 규모의 통합 모션 데이터셋(OmniMoCap-X)으로 학습된 자기회귀 확산 트랜스포머(autoregressive diffusion transformer)와 새로운 참조 모션 컨디셔닝 전략을 활용하는 최첨단의 다재다능한 멀티모달 프레임워크입니다.

원저자: Guowei Xu, Yuxuan Bian, Ailing Zeng, Zhuo Chen, Mingyi Shi, Shaoli Huang, Wen Li, Lixin Duan, Qiang Xu

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guowei Xu, Yuxuan Bian, Ailing Zeng, Zhuo Chen, Mingyi Shi, Shaoli Huang, Wen Li, Lixin Duan, Qiang Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 춤을 가르치려 한다고 상상해 보세요. "왼팔을 움직여"라고 말할 수도 있고, 노래를 틀어주며 "이 비트에 맞춰 춤춰봐"라고 할 수도 있습니다. 하지만 만약 당신이 로봇이 이 모든 것을 한꺼번에 수행하기를 원한다면 어떻게 될까요? 노래를 듣고, 구전되는 이야기를 따라가며, 바닥의 특정 경로에 반응하면서도, 동시에 실제 사람처럼 자연스럽게 움직이는 모습을 보고 싶다면 어떨까요? 이것이 바로 컴퓨터 과학자들이 기계에게 기초부터 인간의 움직임을 창조하도록 가르치려는 분야인 '모션 생성(motion generation)'의 성배입니다. 오랫동안 이 로봇들은 서툰 초보자와 같았습니다. 음악에 맞춰 춤을 추거나 텍텍스트 프롬프트에 따라 연기할 수는 있었지만, 이 기술들을 혼합할 수는 없었습니다. 또한 이들은 마치 실제 수영 선수의 깨끗한 영상을 보는 대신, 사람들이 물에서 첨벙거리는 흐릿한 영상을 보며 수영을 배우는 것처럼, 지저받은 데이터로 학습되는 경우가 많았습니다. 연구자들이 던지는 핵심 질문은 이것입니다: "우리는 이 모든 다양한 지시를 한 번에 이해하고, 고품질의 데이터로부터 학습하며, 자신의 발에 걸려 넘어지지 않고 매끄럽고 현실적이며 지속적인 인간의 움직임을 만들어낼 수 있는 단 하나의 '두뇌'를 구축할 수 있을까?"

여기 OmniMotion-X가 등장합니다. 이 프로젝트는 디지털 움직임의 오케스트라를 지휘하는 초강력 지휘자 역할을 합니다. 이전의 모션 생성 AI 모델들을 하나의 악기만을 완벽하게 연주할 수 있는 솔로 연주자라고 생각해 보세요. 바이올린 솔로가 필요하면 하나의 모델을 부르고, 드럼 솔로가 필요하면 다른 모델을 불렀습니다. 그들은 함께 합주할 수 없었습니다. 그러나 OmniMotion-X는 통합된 "시퀀스 투 시퀀스(sequence-to-sequence)" 모델입니다. 이것을 단순히 대본(텍스트)을 읽거나 비트(음악)를 듣는 것뿐만 아니라, 이전 장면(참조 모션)을 보고 "좋아, 저들이 방금 어떻게 움직였는지에 기반하여, 다음에 어떻게 움직여야 하는지 정확히 알겠어"라고 말할 수 있는 숙련된 스토리텔러라고 상상해 보세요. 이 모델은 '디퓨전 트랜스포머(Diffusion Transformer)'라는 영리한 기술을 사용하는데, 이는 마치 노이즈와 정전기로 가득 찬 점토 블록에서 시작하여 완벽하고 유연한 춤이 나타날 때까지 천천히 노이즈를 깎아내는 조각가와 같습니다.

여기서의 비결은 연구자들이 모델을 가르친 방식에 있습니다. 로봇에게 모든 가능한 지시를 한꺼번에 던져주는 대신(그것은 마치 개에게 앉아, 기다려, 물어와, 굴러를 동시에 가르치는 것과 같습니다), 그들은 "이 이야기에 따라 몸을 움직여라"와 같은 단순한 개념부터 가르쳤습니다. 로봇이 기초를 익히고 나면, 그들은 "이제 이 특정 리듬에 맞춰라" 또는 "이제 이 정확한 경로를 따라라"와 같이 더 어려운 제약 조건들을 천천히 추가했습니다. 이러한 단계별 접근 방식은 로봇이 혼란에 빠지거나 압도당하는 것을 방지했습니다.

하지만 똑똑한 두뇌에는 좋은 데이터가 필요하며, 바로 이 지점에서 이 논문의 두 번째 절반이 빛을 발합니다. 연구진은 기존의 모션 데이터셋들이 서로 다른 상자에서 나온 뒤섞인 퍼즐 조각들과 같다는 점을 깨달았습니다. 어떤 것은 저품질의 추정치이고, 어떤 것은 일관되지 않은 설명이며, 그 중 어느 것도 서로 맞물리지 않았습니다. 이를 해결하기 위해 그들은 역대 가장 거대한 통합 모션 데이터셋인 OmniMoCap-X를 구축했습니다. 그들은 28개의 서로 다른 고품질 모션 캡처 소스(생각해 보세요, 이는 고성공 슈트를 입고 기록된 28개의 서로 다른 전문 무용단과 배우들입니다)를 모아 하나의 거대하고 완벽하게 조직된 라이브러리로 합쳤습니다. 그들은 로봇이 모든 움직임에 대해 동일한 "언어"(SMPL-X라고 불림)를 사용하도록 모든 것을 표준화했습니다. 심지어 고급 AI를 사용하여 이 움직임의 비디오를 관찰하고, 그 안에서 무슨 일이 일어나고 있는지에 대한 상세하고 구조화된 이야기를 작성함으로써, 로봇이 단순히 사람이 움직였다는 사실뿐만 아니라 '왜' 그리고 '어떻게' 움직였는지까지 이해하도록 했습니다.

결과는 인상적입니다. 텍스트를 춤으로 바꾸거나, 음성을 제스처로 바꾸거나, 사람이 다음에 무엇을 할지 예측하는 작업에서 테스트했을 때, OmniMotion-X는 이전의 모든 방법보다 뛰어난 성능을 보였습니다. 그것은 단순히 무작위로 팔다리를 휘두르는 것이 아니라, 비트에 맞춰 스텝을 맞추는 등 일관되고 현실적이며 오랫동안 무너지지 않고 지속되는 동작을 만들어냈습니다. 예를 들어, 노래에 기반하여 춤을 생성하라고 요청하면 단순히 무작위로 움직이는 것이 아니라 비트에 맞춰 스텝을 맞췄습니다. 만약 "참조 모션"(예: 걷는 사람의 클립)을 준다면, 그것은 그 걷기를 매끄럽게 이어가거나 새로운 지시에 따라 스타일과 흐름을 유지하면서 변화시킬 수 있었습니다.

하지만 제작자들은 자신들의 로봇이 여전히 할 수 없는 부분에 대해서도 솔직합니다. 단일 인물의 움직임에는 뛰어나지만, 그 사람이 복잡한 사물이나 다른 사람과 현실적으로 상호작용해야 할 때(예: 컵을 떨어뜨리지 않고 집어 들거나, 친구와 하이파이브를 하는 것 등)는 어려움을 겪습니다. 또한 다소 느려서, 단일 샘플을 생성하는 데 약 2.14초가 걸리는데, 이는 일부 더 단순한 모델들보다 느린 편입니다. 그러나 이 논문은 서로 다른 유형의 데이터를 통합하고 모델을 스마트한 단계별 방식으로 가르침으로써, 우리가 디지털 휴먼이 실제 인간처럼 우아하고 복잡하게 움직이도록 만드는 것에 훨씬 더 가까워질 수 있다는 것을 증명합니다. 아직 해결된 문제는 아니지만, 이는 기계에게 춤추고, 제스처를 취하고, 우리와 함께 움직이는 법을 가르치는 데 있어 거대한 도약입니다.

기술 요약: OmniMotion-X

문제 정의

현재의 인간 동작 생성 방식은 다채롭고 다중 모달적인 전신 제어를 달성하는 데 있어 상당한 한계에 직면해 있습니다. 기존의 접근 방식은 대부분 작업별로 파편화되어 있어(예: Text-to-Motion, Music-to-Dance, 또는 Speech-to-Gesture를 위한 별도의 모델), 교차 작업 일반화(cross-task generalization)를 저해합니다. 또한, 기존의 통합 모델들은 다음과 같은 문제로 어려움을 겪습니다:

다중 모달 충돌(Multimodal Conflict): 고수준의 의미론적 가이드(텍스트)와 저수준의 물리적 제약(관절 궤적, 오디오 리듬) 사이의 균형을 맞추는 데 어려움이 있으며, 이는 최적화 문제와 제어력 저하로 이어집니다.
데이터 부족 및 품질 문제: 대규모의 통합 데이터셋이 부족합니다. 기존의 대부분의 데이터셋은 특정 작업에 국한되어 있고, 일관되지 않은 모션 포맷(BVH, SMPL, SMPL-H)을 사용하거나, "Garbage in, Garbage out" 효과를 유발하는 비 모션 캡처(non-mocap) 추정 방식에 의존합니다. 또한, 텍스트 주석은 시각적 맥락 없이 LLM에 의해 생성되어 일관성이 없거나, 고수 수준의 의미를 포착하기에는 너무 단순합니다.
시간적 일관성(Temporal Consistency): 다양한 입력 조건이 결합될 때, 장기간의 일관된 스타일과 역동성을 유지하며 긴 시간 동안의 응집력 있는 동작을 생성하는 것은 여전히 어려운 과제입니다.

방법론

저자들은 유연한 전신 동작 생성을 위해 설계된 통합 시퀀스-투-시퀀스 자기회귀 확산 트랜스포머(sequence-to-sequence autoregressive diffusion transformer)인 OmniMotion-X를 제안합니다.

1. 모델 아키텍처

핵심 백본(Core Backbone): 모델은 확산 트랜스포머(Diffusion Transformers, DiTs)를 활용합니다.
다중 모달 조건화(Multimodal Conditioning): 별도의 제어 분기를 사용하는 대신, OmniMotion-X는 조건 토큰을 접두사 컨텍스트(prefix context)로 결로(concatenate)합니다. 조건에는 다음이 포함됩니다:
- 텍스트 ( $c_t$ ): T5-XXL 인코더를 통한 의미론적 가이드.
- 글로벌 모션 ( $c_g$ ): 시공간적 제어 신호.
- 음성 ( $c_s$ ) 및 음악 ( $c_m$ ): wav 및 Librosa 인코더를 통한 리듬 및 스타일 정렬.
- 참조 모션 ( $c_r$ ): 사용자가 제공한 동작이나 이전에 생성된 클립에서 유도된 새로운 조건화 신호입니다. 이는 모션 사전 확률(prior) 역할을 하여, 단일 시작 포즈가 제공할 수 없는 미세한 시공간적 맥락(스타일, 역동성)을 제공합니다.
생성 패러다임: 모델은 모션 클립 단위로 생성하는 자기회귀(autoregressive) 방식을 채택합니다. 모델은 노이즈가 아닌 깨끗한 모션 $\hat{x}_0$ 를 직접 예측하며, 단순한 확산 목적 함수를 사용합니다.

2. 훈련 전략: 약한-강한 점진적 조건화(Weak-to-Strong Progressive Conditioning)

고수준의 의미론적 가이드와 저수준의 물리적 제약 사이의 충돌을 해결하기 위해, 저자들은 점진적인 약한-강한 혼합 조건 훈련 전략을 도입했습니다:

1단계: 텍스트 전용 조건을 사용하여 모션-의미론적 정렬을 구축합니다.
2단계: 더 강력하고 세밀한 조건(참조 모션, 글로벌 모션)을 점진적으로 통합합니다.
3단계: 오디오 신호(음성/음악)를 포함합니다.
이 단계적 접근 방식은 모델이 지배적인 저수 수준 신호(의미 이해를 억제할 수 있는 신호)에 과적합되는 것을 방을하며, 모션 생성 과정을 점진적으로 제약함으로써 최적화 충돌을 해결합니다.

3. OmniMoCap-X 데이터셋

이 프레임워크를 지원하기 위해 저자들은 OmniMoCap-X를 구축하였으며, 이는 현재까지 가장 큰 규모의 통합 다중 모달 모션 데이터셋입니다:

규모: 28개의 공개 데이터셋에서 추출한 6430만 프레임, 총 286.2시간의 데이터로 구성됩니다.
범위: Text-to-Motion (T2M), Music-to-Dance (M2D), Speech-to-Gesture (S2G), Human-Object Interaction (HOI), Human-Scene Interaction (HSI), Human-Human Interaction (HHI)를 포함한 10가지 태스크를 지원합니다.
표준화: 모든 데이터는 30 FPS로, 정규화된 월드 좌표계를 포함한 SMPL-X 포맷(신체, 손, 턱, 얼굴 표정 포함)으로 통일되었습니다.
주석 품질: 모션 시퀀스를 비디오로 렌더링하고 이를 GPT-4o(시각-언어 모델)로 처리하여 생성된 구조적이고 계층적인 캡션을 특징으로 합니다. 이를 통해 캡션이 저수준의 운동학적 세부 사항과 고수준의 의미론을 모두 포착하도록 보장하며, 텍스트 전용 LLM에서 흔히 발생하는 환각 현상을 방지합니다.

주요 기여

OmniMotion-X 프레임워크: 다양한 다중 모달 태스크(T2M, M2D, S2G, GSTC)와 이들의 유연한 조합을 지원하는 통합 자기회귀 확산 트랜스포머입니다.
참조 모션 조건화: 콘텐츠, 스타일 및 시간적 역동성의 일관성을 크게 향 향상시키고, 상호작적인 클립 단위 생성을 가능하게 하는 조건 신호로서 참조 모션을 도입했습니다.
점진적 훈련 전략: 다중 입도(multi-granular) 제약을 효과적으로 처리하고 최적화 충돌을 방지하는 약한-강한 혼합 조건화 방식을 제공합니다.
OmniMoCap-X 데이터셋: 표준화된 SMPL-X 포맷과 시각 기반의 계층적 캡션을 갖춘 고품질의 통합 데이터셋으로, 기존 데이터셋의 파편화 및 품질 문제를 해결합니다.

실험 결과

OmniMoCap-X에서 균일하게 샘플링된 테스트 세트(다양한 시나리오에 걸친 280개 샘플)에 대해 광범한 평가를 수행했습니다.

Text-to-Motion (T2M): OmniMotion-X는 R-Precision, FID, Diversity 측면에서 베이스라인(MDM, MLD, MoMask, MotionCraft)을 크게 능가합니다. 또한, 더 강력한 텍스트 인코더(T5-XXL)와 참조 모션 사전 확률 덕분에 OmniMoCap-X로 훈련된 베이스라인 버전보다도 우수한 성능을 보입니다.
Global Spatiotemporal Controllable Generation (GSTC): 이 모델은 밀집된 공간 제어 신호(관절/궤적 가이드)를 따르는 능력이 탁-월하며, 데이터셋 크기로 인해 일반화에 어려움을 겪는 OmniControl보다 우수한 성능을 보여줍니다.
Music-to-Dance (M2D) & Speech-to-Gesture (S2G): 모델은 경쟁력 있는 성능을 달성했습니다. FID 점수가 특정 전문 베이스라인보다 약간 높은 것은 다양하게 구성된 훈련 데이터(OmniMoCap-X)와 특정 소규모 테스트 세트 간의 분포 차이 때문입니다. 모델은 더 높은 생성 다양성을 보여줍니다.
Ablation Studies: 점진적 훈련 전략을 제거하면 텍스트-모션 정렬 및 시공간 제어 능력이 크게 저하되며, 이는 약한-강한 접근 방식의 필요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 OmniMotion-X가 다채롭고 다중 모달적인 전신 동작 생성 분야에서 새로운 SOTA(State-of-the-Art)를 확립한다고 주장합니다. 다양한 태스크를 단일 프레임워크 아래 통합하고 고품질의 표준화된 데이터셋을 활용함으로써, 이 방법은 현실적이고 응집력 있으며 제어 가능한 장기 동작의 상호작적인 생성을 가능하게 합니다.

저자들은 참조 모션 메커니즘이 핵심적인 혁신임을 강조하며, 이것이 시간적 일관성과 스타일을 유지하는 "클립 단위"의 자기회귀 생성을 가능하게 하여, 기존의 다중 모달 모션 합성에서 부족했던 기능을 제공한다고 설명합니다. 또한, OmniMoCap-X 데이터셋은 고품질의 모션 캡처 데이터와 시각에 근거한 일관된 주석을 우선시함으로써 "Garbage in, Garbage out" 문제를 해결한 기초 자원으로서 제시됩니다.

인정된 한계점:
논문은 현재 모델이 장면, 물체 또는 타인과의 물리적 상호작용에 대한 명시적인 조건화가 부족하여, 복잡한 환경에서 그럴듯한 상호작용 동작을 생성하는 데 한계가 있음을 언급했습니다. 또한, 다양한 다중 모달 조건을 집계하기 위해 필요한 방대한 컨텍스트 길이로 인해 추론 속도가 병목 현상이 될 수 있다고 밝혔습니다.