📊 statistics

Riemannian Motion Generation: A Unified Framework for Human Motion Representation and Generation via Riemannian Flow Matching

이 논문은 유클리드 공간의 한계를 넘어 비유클리드 기하학적 구조를 반영한 리만 다양체 기반의 통합 프레임워크 'RMG'를 제안하여, 리만 흐름 매칭을 통해 인간 동작 생성의 정확도와 안정성을 획기적으로 개선했음을 보여줍니다.

원저자: Fangran Miao, Jian Huang, Ting Li

게시일 2026-03-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fangran Miao, Jian Huang, Ting Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏃‍♂️ 1. 문제: "평평한 바닥"에서 춤을 추게 하려다 망친 경우

지금까지 컴퓨터가 사람의 움직임을 만들 때는, 마치 평평한 평면 (Euclidean space) 위에서 모든 동작을 계산했습니다.

비유: 사람의 팔, 다리, 몸통을 모두 '직선'과 '숫자'의 나열로만 생각한 거예요.
문제점: 하지만 사람의 몸은 평평한 종이 위에 있는 게 아니라, 관절이 꺾이고 회전하는 복잡한 구조를 가지고 있죠. 마치 구슬 (공) 이나 회전하는 바퀴처럼 말입니다.
결과: 컴퓨터가 "팔을 들어라"라고 할 때, 평평한 숫자 세계에서는 팔이 비현실적으로 뻗거나, 관절이 꺾이는 게 아니라 뚫고 지나가는 기괴한 동작이 나올 수 있습니다. 이를 고치기 위해 나중에 수동으로 수정하는 번거로움이 있었습니다.

🌍 2. 해법: "구형의 지구" 위에서 춤을 추게 하자 (리만 기하학)

이 연구 (RMG) 는 **"사람의 몸은 평평한 종이 위에 있는 게 아니라, 구 (球) 모양의 공간에 있다"**는 사실을 인정했습니다.

비유: 사람의 회전 동작 (팔을 돌리는 것, 고개를 끄덕이는 것) 은 평면이 아니라 지구본 (구면) 위에서 움직이는 것과 같습니다.
아이디어: 컴퓨터에게 "평평한 종이"가 아니라 **"구형의 지구"**라는 규칙을 가르쳐 주었습니다. 이를 수학적으로는 **'리만 다양체 (Riemannian Manifold)'**라고 부릅니다.
효과: 이제 컴퓨터는 "팔을 돌린다"고 할 때, 지구본을 따라 자연스럽게 회전하는 경로를 찾습니다. 숫자를 억지로 수정할 필요 없이, 처음부터 자연스러운 동작이 만들어집니다.

🧩 3. 핵심 기술: "조각난 퍼즐"을 각각의 규칙에 맞게 맞추기

이 연구는 사람의 움직임을 두 가지 주요 부분으로 나누어 따로따로 다뤘습니다.

이동 (Translation): "어디로 갈까?" (발걸음)
- 비유: 평평한 도로를 걷는 것. (이건 평면으로 계산해도 됩니다.)
회전 (Rotation): "어떻게 몸을 틀까?" (관절 회전)
- 비유: 지구본을 돌리는 것. (이건 구면에서 계산해야 합니다.)

기존 방법들은 이 둘을 다 평평한 숫자 줄로 섞어놓았지만, 이 연구는 "도로는 도로대로, 지구본은 지구본대로" 각각의 자연스러운 규칙 (기하학) 에 맞춰서 학습시켰습니다.

🎨 4. 학습 방법: "가장 짧은 길"을 따라 가르치기

컴퓨터가 새로운 동작을 배울 때, **리만 플로우 매칭 (Riemannian Flow Matching)**이라는 기술을 썼습니다.

비유:
- 기존: "A 지점에서 B 지점으로 가라"고 할 때, 평평한 지도에서 직선으로 가라고 가르쳤는데, 실제로는 산이 있어서 직선으로 갈 수 없으니 컴퓨터가 헤맸습니다.
- 이 연구: "A 지점에서 B 지점으로 가라"고 할 때, **지형 (산, 계곡) 을 고려한 가장 자연스러운 길 (지오데식, Geodesic)**을 가르쳤습니다.
- 결과: 컴퓨터는 이 자연스러운 길 위를 따라 움직임을 만들어내므로, 동작이 훨씬 매끄럽고 현실적입니다.

🏆 5. 성과: "최고의 무용가" 탄생

이 방법을 적용한 결과, 컴퓨터가 만든 동작은 다음과 같이 평가받았습니다.

현실감 (FID): 실제 사람이 춤추는 영상과 거의 구별이 안 될 정도로 자연스러워졌습니다. (기존 최고 기록을 깨뜨림)
다양성: 같은 "춤추기" 명령어도 사람마다, 혹은 같은 사람이라도 매번 조금씩 다른 자연스러운 동작을 만들어냅니다.
확장성: 작은 데이터셋뿐만 아니라, **운동선수 100 만 명분의 데이터 (MotionMillion)**가 있어도 잘 작동했습니다.

💡 요약: 왜 이 연구가 중요할까요?

이 연구는 **"컴퓨터에게 사람의 움직임을 가르칠 때, 사람의 몸이 가진 자연스러운 규칙 (구형 회전 등) 을 존중해 주면 훨씬 더 잘 배운다"**는 것을 증명했습니다.

앞으로 이 기술은 게임 속 캐릭터가 더 자연스럽게 걷게 하거나, 가상 현실 (VR) 에서 아바타가 내 말에 맞춰 리얼하게 반응하게 하는 데 큰 역할을 할 것입니다. 마치 컴퓨터가 "인간다운" 움직임을 이해하게 된 셈입니다.

1. 문제 정의 (Problem)

기존의 인간 동작 생성 (Human Motion Generation) 연구는 대부분 유클리드 공간 (Euclidean space) 에서 동작을 학습합니다. 그러나 실제 유효한 인간 동작은 구조화된 비유클리드 기하학 (non-Euclidean geometry) 을 따릅니다.

기존 방법의 한계: 대부분의 파이프라인은 관절의 위치를 중복된 유클리드 좌표로 인코딩합니다. 예를 들어, $J$ 개의 관절을 가진 인체 구조는 본질적으로 $3J$ 차원의 자유도를 가지지만, 기존 방법들은 상관관계가 높은 여러 뷰를 연결하여 훨씬 더 높은 차원의 공간에서 학습합니다.
결과: 모델은 유효한 동작이 존재하는 저차원 매니폴드 (manifold) 가 아닌, 제약이 없는 고차원 공간에서 훈련되므로 최적화가 어렵고, 샘플링 안정성이 떨어지며, 물리적으로 타당한 동작 생성에 실패할 수 있습니다.

2. 제안 방법: 리만 운동 생성 (RMG)

저자들은 **리만 운동 생성 (Riemannian Motion Generation, RMG)**이라는 통합 프레임워크를 제안합니다. 이는 동작을 곱 매니폴드 (product manifold) 상에서 표현하고, **리만 플로우 매칭 (Riemarian Flow Matching)**을 통해 역학을 학습합니다.

2.1. 동작 표현 (Motion Representation)

RMG 는 동작을 여러 매니폴드 요인으로 분해하여 표현하며, 각 요인은 그 고유의 자연스러운 기하학 구조를 따릅니다.

전역 병진 (Global Translation, $T$ ): $R^3$ 유클리드 공간으로 표현됩니다.
전역 방향 및 관절 회전 (Global Orientation & Joint Rotations, $R$ ): 단위 쿼터니언 (unit quaternions) 을 사용하여 $S^3$ 초구 (hypersphere) 상의 곱 매니폴드 $(S^3)^J$ 로 표현됩니다. 이는 6D 회전 표현의 중복성을 제거하고 부드러운 측지선 (geodesic) 을 제공합니다.
최종 표현: 본 논문은 전역 병진 ( $T$ ) 과 회전 ( $R$ ) 만으로 충분함을 입증하고, 위치 좌표 ( $P$ ) 나 시간 차분 ( $d\cdot$ ) 과 같은 추가 요인을 제거하여 $R^3 \times (S^3)^J$ 형태의 컴팩트한 표현을 채택합니다. 이는 스케일 불변성 (scale-free) 과 내재적 정규화를 제공합니다.

2.2. 학습 및 추론 (Training and Inference)

리만 플로우 매칭: 유클리드 공간의 선형 보간 대신, 매니폴드 상의 **측지선 (geodesic)**을 따라 $x_0$ (사전 분포) 에서 $x_1$ (실제 데이터) 로 이동하는 경로를 정의합니다.
벡터장 학습: 신경망 $v_\theta$ $v_{θ}$ 는 접공간 (tangent space) 의 속도 벡터를 예측하도록 학습됩니다.
- 손실 함수: 목표 조건부 속도 $v_t(x_t|x_1)$ 와 예측된 접공간 속도 $\Pi_{T_{x_t}M} v_\theta(x_t, t)$ 사이의 제곱 오차를 최소화합니다.
- 매니폴드 보존: 신경망의 출력을 접공간에 투영 ( $\Pi$ ) 하여 유효한 매니폴드 역학을 보장합니다.
추론: 사전 분포에서 샘플링한 후, 학습된 매니폴드 ODE 를 리만 오일러 업데이트 (Riemannian Euler update) 를 통해 적분하여 $t=1$ 까지 동작을 생성합니다.

3. 주요 기여 (Key Contributions)

RMG 프레임워크 제안: 인간 동작 생성에 대한 기하학적 패러다임을 제시하며, 곱 매니폴드 모델링과 리만 플로우 매칭을 결합했습니다.
효율적이고 컴팩트한 표현: 전역 병진과 회전 ( $T+R$ ) 만으로 동작을 표현하는 것이 가장 안정적이고 효과적임을 체계적으로 평가 및 입증했습니다.
확장성 증명: 리만 플로우 매칭이 대규모 데이터셋 (MotionMillion) 과 현대적인 고용량 생성 아키텍처 (Diffusion Transformer) 에서 효과적으로 확장됨을 최초로 입증했습니다.
성능 개선: 텍스트 기반 동작 생성 벤치마크에서 품질, 정렬 (alignment), 다양성 측면에서 기존 최첨단 모델들을 능가하는 결과를 달성했습니다.

4. 실험 결과 (Results)

HumanML3D 데이터셋:
- HumanML3D 포맷에서 FID 0.043을 기록하여 기존 최상위 모델 (MoMask, 0.045) 을 능가하는 가장 낮은 FID 를 달성했습니다.
- MotionStreamer 포맷에서도 모든 지표 (FID, R@1, Diversity 등) 에서 1 위를 기록했습니다.
MotionMillion 데이터셋 (대규모):
- 100 만 개의 동작 클립을 가진 대규모 데이터셋에서도 강력한 베이스라인 (MotionMillion-7B 등) 을 압도했습니다 (FID 5.6, R@1 0.86).
- 모델 크기 확대 시에도 성능이 지속적으로 향상되어, 성능 향상이 단순히 모델 스케일링이 아닌 표현 기하학의 효과에서 비롯됨을 보여줍니다.
Ablation Study:
- $T+R$ 표현이 $T+P$ 나 시간 차분 ($dT, dR$) 을 포함한 다른 조합보다 훨씬 안정적이고 낮은 FID 를 보였습니다.
- 시간 차분 모델링은 오히려 장기적인 구조 모델링을 약화시켜 성능을 저하시켰습니다.

5. 의의 및 결론 (Significance)

이 논문은 인간 동작 생성 분야에서 **표현의 기하학 (representation geometry)**이 모델 설계만큼이나 중요함을 강조합니다.

기하학적 일관성: 동작을 유클리드 벡터가 아닌 자연스러운 매니폴드 (유클리드 공간과 초구의 곱) 로 표현함으로써, 생성 과정 자체에서 물리적 제약과 기하학적 일관성을 내재화했습니다.
실용성 및 확장성: RMG 는 소규모 데이터셋부터 대규모 데이터셋까지, 그리고 다양한 출력 포맷에서도 일관된 성능 향상을 보여주며, 고충실도 인간 동작 생성을 위한 확장 가능하고 실용적인 경로로 자리 잡았습니다.
이론적 배경: 리만 플로우 매칭이 고차원 유클리드 공간에서의 플로우 매칭보다 저차원 매니폴드에서 학습할 때 통계적 오차 한계가 더 엄격하게 (asymptotically better) 수렴함을 이론적으로 뒷받침했습니다.

결론적으로, RMG 는 동작 생성의 복잡성을 인위적인 고차원 공간이 아닌, 동작의 본질적인 기하학적 구조를 반영한 저차원 매니폴드에서 해결함으로써 새로운 표준을 제시합니다.