📊 statistics

Riemannian Motion Generation: A Unified Framework for Human Motion Representation and Generation via Riemannian Flow Matching

यह शोधपत्र रिमानियन मोशन जनरेशन (RMG) प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो स्केल-फ्री प्रतिनिधित्व के लिए अंतर्निहित ज्यामितीय गुणों और स्थिर गतिशीलता का लाभ उठाने के लिए प्रोडक्ट मैनिफोल्ड पर रिमानियन फ्लो मैचिंग का उपयोग करके मानव गति को मॉडल करता है ताकि अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Fangran Miao, Jian Huang, Ting Li

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fangran Miao, Jian Huang, Ting Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Riemannian Motion Generation" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: एक ग्रिड पर नहीं, बल्कि एक गोले (Sphere) पर नृत्य करना

कल्पना कीजिए कि आप एक रोबोट को नृत्य करना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (Euclidean Space):
पिछले अधिकांश तरीकों ने रोबोट को यह सिखाया कि मानव शरीर को एक सपाट, अनंत स्प्रेडशीट में संख्याओं के ग्रिड की तरह माना जाए। उन्होंने रोबोट को बताया: "बाएं पैर को 3.4 इंच दाईं ओर ले जाओ, फिर 1.2 इंच ऊपर।"

समस्या क्या थी? मानव शरीर सपाट ग्रिड नहीं होते। वे जोड़ों (joints) के साथ घूमने वाली सांधिक मशीनें (articulated machines) हैं। यदि आप घूमती हुई बांह को ग्रिड पर एक सीधी रेखा की तरह मानते हैं, तो गणित जटिल हो जाता है। रोबोट दीवार के आर-पार "चलने" की कोशिश कर सकता है या अपने अंग को एक असंभव आकार में मरोड़ सकता है क्योंकि ग्रिड यह नहीं समझता कि एक जोड़ केवल घूम सकता है, खिंच (stretch) नहीं सकता। इसे ठीक करने के लिए, कंप्यूटर को लगातार रोबोट की "पुलिसिंग" करनी पड़ती है, उसे कहना पड़ता है, "नहीं, यह शारीरिक रूप से असंभव है, इसे ठीक करो!" यह धीमा है और अक्सर झटकेदार, अप्राकृतिक गतिविधियों का कारण बनता है।

नया तरीका (Riemannian Motion Generation):
यह पेपर एक स्मार्ट तरीका प्रस्तावित करता है: शरीर को ग्रिड की तरह मानना बंद करें। इसे एक ग्लोब (globe) की तरह मानें।

लेखकों ने महसूस किया कि मानव गति स्वाभाविक रूप से एक विशिष्ट आकार (एक "मैनिफोल्ड") पर रहती है जहाँ घूमने और हिलने के नियम पहले से बने होते हैं। रोबोट को भौतिकी के नियम सीखने के लिए मजबूर करने के बजाय, उन्होंने रोबोट के मस्तिष्क को पहले दिन से ही भौतिकी के नियमों के भीतर रहने के लिए बनाया।

मुख्य अवधारणाओं की व्याख्या

1. "प्रोडक्ट मैनिफोल्ड" (LEGO सेट बनाम सूप)

कल्पना कीजिए कि आपके पास सूप का एक बाल्टी है (सभी शरीर के अंगों का एक मिला-जुला मिश्रण)। पिछले तरीकों ने पूरे सूप को एक साथ चखकर उसकी रेसिपी सीखने की कोशिश की।

यह पेपर सूप को उसके अवयवों (ingredients) में तोड़ने का सुझाव देता है: अनुवाद/स्थानांतरण (Translation) (फर्श पर आगे बढ़ना), घूर्णन (Rotation) (कूल्हों को घुमाना), और जोड़ों के कोण (Joint Angles) (घुटनों को मोड़ना)।

उपमा: एक LEGO सेट के बारे में सोचें। आप ईंटों को बेतरतीब ढंग से नहीं चिपकाते। आप उन्हें विशिष्ट तरीकों से एक साथ जोड़ते हैं।
नवाचार: लेखकों ने एक ऐसा सिस्टम बनाया जहाँ "आगे बढ़ना" एक सपाट फर्श (Euclidean space) पर रहता है, लेकिन "घूमना" एक गोले (sphere) पर रहता है (क्योंकि आप 360 डिग्री घूम सकते हैं, लेकिन बिना रीसेट किए 361 डिग्री नहीं घूम सकते)। इन अवयवों को अलग करके और रोबोट को प्रत्येक के लिए विशिष्ट नियम सिखाकर, यह सिस्टम बहुत अधिक कुशल हो जाता है।

2. Riemannian Flow Matching (सबसे छोटा रास्ता)

रोबोट "स्थिर खड़े होने" की मुद्रा से "कूदने" की मुद्रा तक कैसे पहुंचना सीखता है?

पुराना तरीका: रोबोट ज़िग-ज़ैग रेखा में चलने की कोशिश कर सकता है या दीवार के माध्यम से चक्कर लगा सकता है क्योंकि वह केवल सपाट निर्देशांकों (coordinates) के आधार पर अनुमान लगा रहा है।
नया तरीका (Geodesics): लेखक Geodesics की अवधारणा का उपयोग करते हैं। कल्पना कीजिए कि आप एक बास्केटबॉल पर चलने वाली चींटी हैं। दो बिंदुओं के बीच का सबसे छोटा रास्ता गेंद के माध्यम से एक सीधी रेखा नहीं है (जो असंभव है); यह सतह के साथ एक वक्र (curve) है।
जादू: रोबत स्वाभाविक रूप से इन "वक्राकार सबसे छोटे रास्तों" का पालन करना सीखता है। उसे यह बताने की ज़रूरत नहीं है कि "हड्डी को मत तोड़ो"; गोले का गणित यह सुनिश्चित करता है कि अंग जुड़ा रहे और सही ढंग से घूमे।

3. "स्केल-फ्री" लाभ (अब कोई रूलर नहीं)

पुराने तरीकों में, यदि आपने रोबोट को एक लंबे बास्केटबॉल खिलाड़ी पर प्रशिक्षित किया, तो वह एक छोटे बच्चे को एनिमेट करने में भ्रमित हो जाता। "ऊंचाई" के लिए संख्याएँ बहुत बड़ी या बहुत छोटी थीं।

नया तरीका: क्योंकि वे "प्री-शेप स्पेस" नामक एक गणितीय आकार का उपयोग करते हैं, सिस्टम स्वचालित रूप से आकार को अनदेखा कर देता है। यह केवल मुद्रा के आकार (shape) की परवाह करता है। यह एक बच्चे के चेहरे पर मुस्कान और एक विशालकाय के चेहरे पर मुस्कान को पहचानने जैसा है। यह सिस्टम को बहुत अधिक स्थिर और प्रशिक्षित करने में आसान बनाता है।

परिणाम: यह क्यों मायने रखता है?

लेखकों ने इस नए सिस्टम का परीक्षण दो बड़े डांस डेटासेट्स (HumanML3D और MotionMillion) पर किया।

यथार्थवाद (Realism): उत्पन्न गतियाँ अधिक सुचारू और वास्तविक हैं। रोबोट "ग्लिच" नहीं करता या अपने अंगों को असंभव कोणों में नहीं मरोड़ता।
दक्षता (Efficiency): यह तेजी से सीखता है और गतियों को वैध बनाए रखने के लिए कम "पुलिसिंग" की आवश्यकता होती है।
स्केलेबिलिटी (Scalability): यह छोटे डेटासेट्स के समान ही बड़े डेटासेट्स (लाखों क्लिप्स) पर भी उतना ही अच्छा काम करता है, जो यह साबित करता है कि यह ज्यामितीय दृष्टिकोण गति निर्माण का भविष्य है।

निचोड़

इस पेपर को रोबोट के ऑपरेटिंग सिस्टम को अपग्रेड करने के रूप में देखें।

पुराना OS: "X, Y, Z निर्देशांक हिलाओ। यदि आप भौतिकी तोड़ते हैं, तो फिर से प्रयास करें।"
नया OS (RMG): "आप घूर्णन के एक गोले और गति के एक फर्श पर रहते हैं। यहाँ वे प्राकृतिक पथ हैं जिन्हें आप ले सकते हैं। बस वक्र का अनुसरण करें।"

मानव शरीर की प्राकृतिक ज्यामिति का सम्मान करके, AI उच्च-गुणवत्ता वाली, यथार्थवादी मानव गति उत्पन्न कर सकता है जो केवल चलती हुई संख्याओं का संग्रह नहीं, बल्कि जीवंत महसूस होती है।

यहाँ शोध पत्र "Riemannian Motion Generation: A Unified Framework for Human Motion Representation and Generation via Riemannian Flow Matching" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान मानव गति निर्माण (human motion generation) विधियाँ मुख्य रूप से यूक्लिडियन स्पेस (euclidean spaces - समतल सदिश स्थान) में कार्य करती हैं, जबकि वास्तविक मानव गतियाँ स्वाभाविक रूप से संरचित गैर-यूक्लिडियन ज्यामिति (structured non-Euclidean geometry) का पालन करती हैं।

अतिरेक और अक्षमता (Redundancy and Inefficiency): मौजूदा पाइपलाइन अक्सर गति को रेडंडेंट यूक्लिडियन निर्देशांकों (जैसे कि जोड़ों की स्थिति, वेग और वैश्विक अनुवाद को जोड़ना) का उपयोग करके एनकोड करती हैं। $J$ जोड़ों वाले कंकाल के लिए, अंतर्निहित स्वतंत्रता की डिग्री (degrees of freedom) लगभग $3J$ होती है, लेकिन सामान्य एनकोडिंग बहुत अधिक आयामी एम्बिएंट स्पेस (ambient space) घेर लेती है।
अनुकूलन चुनौतियाँ (Optimization Challenges): उच्च-आयामी अनियंत्रित स्थानों में जनरेटिव मॉडल को प्रशिक्षित करना अनुकूलन को कठिन बनाता है, जिससे सैंपलिंग अस्थिरता आती है, और अक्सर भौतिक रूप से अवास्तविक गतियाँ उत्पन्न होती हैं जिन्हें ठीक करने के लिए पोस्ट-प्रोसेसिंग या बाधाओं (constraints) की आवश्यकता होती है।
ज्यामितीय बेमेल (Geometric Mismatch): मुख्य मुद्दा यह है कि डेटा एक निम्न-आयामी मैनिफोल्ड (manifold) पर स्थित है जिसमें मजबूत ज्यामितीय संरचनाएं (घूर्णन, अनुवाद) हैं, लेकिन मॉडल इस संरचना को अनदेखा करने के लिए प्रशिक्षित होते हैं, और गति को मनमाने उच्च-आयामी परिवर्तन के रूप में देखते हैं।

2. कार्यप्रणाली: रिमानियन मोशन जनरेशन (RMG)

लेखक RMG प्रस्तावित करते हैं, जो एक एकीकृत ढांचा है जो गति को सीधे एक प्रोडक्ट मैनिफोल्ड (product manifold) पर मॉडल करता है और रिमानियन फ्लो मैचिंग (Riemannian Flow Matching) के माध्यम से जनरेशन डायनेमिक्स को सीखता है।

A. मोशन रिप्रेजेंटेशन (द मैनिफोल्ड)

कच्चे जोड़ निर्देशांकों (raw joint coordinates) के बजाय, RMG गति को घटकों में विभाजित करता है, जिनमें से प्रत्येक को उसके प्राकृतिक रिमानियन मैनिफोल्ड पर दर्शाया जाता है। लेखक पहचानते हैं कि ग्लोबल ट्रांसलेशन ( $T$ ) और रोटेशन ( $R$ ) ही आर्टिकुलेटेड मोशन को कैप्चर करने के लिए पर्याप्त हैं, जिससे एक संक्षिप्त प्रतिनिधित्व प्राप्त होता है:
$\mathcal{M}_{RMG} = \mathbb{R}^3 \times (S^3)^J$

ग्लोबल ट्रांसलेशन ( $T$ ): इसे यूक्लिडियन स्पेस $\mathbb{R}^3$ (रूट जॉइंट ट्रैजेक्टरी) में दर्शाया गया है।
ग्लोबल ओरिएंटेशन और जॉइंट रोटेशन ( $R$ ): इन्हें हाइपरस्फीयर $S^3$ $S^{3}$ पर यूनिट क्वार्टरनियन्स (unit quaternions) द्वारा दर्शाया गया है। $J$ $J$ जोड़ों के लिए, रोटेशन स्पेस प्रोडक्ट मैनिफोल्ड $(S^3)^J$ $(S^{3})^{J}$ है।
- लाभ: यूनिट क्वार्टरनियन्स 6D रोटेशन की रेडंडेंसी को समाप्त करते हैं, स्मूथ जियोडेसिक्स (geodesics) प्रदान करते हैं, और री-ऑर्थोगोनलाइजेशन की आवश्यकता को खत्म करते हैं।
स्केल-फ्री (Scale-Free): यह प्रतिनिधित्व स्वाभाविक रूप से सामान्यीकृत (normalized) है (यूनिट क्वार्टरनियन्स का नॉर्म 1 होता है), जिससे डेटासेट-स्तरीय मीन/स्टैंडर्ड डेविएशन नॉर्मलाइजेशन की आवश्यकता समाप्त हो जाती है।
नोट: पेपर स्पष्ट रूप से अंतिम इष्टतम कॉन्फ़िगरेशन में "लोकल पोज़" (local pose) और "टेम्पोरल डिफरेंस" (temporal differences) को त्याग देता है, क्योंकि वे रेडंडेंट या स्थिरता के लिए हानिकारक पाए गए।

B. रिमानियन फ्लो मैचिंग (Riemannian Flow Matching)

यह ढांचा फ्लो मैचिंग को रिमानियन मैनिफोल्ड्स के अनुकूल बनाता है:

प्रायर डिस्ट्रीब्यूशन (Prior Distribution): मैनिफोल्ड पर एक मीन-सेंटर्ड "रैप्ड" गॉसियन डिस्ट्रीब्यूशन परिभाषित किया गया है। संदर्भ बिंदु $\mu$ को रेस्ट पोज़ (शून्य अनुवाद, आइडेंटिटी रोटेशन) पर सेट किया गया है।
जियोडेसिक इंटरपोलेशन (Geodesic Interpolation): एक शोर नमूने $x_0$ और एक वास्तविक नमूने $x_1$ के बीच लीनियर इंटरपोलेशन के बजाय, RMG मैनिफोल्ड पर एक जियोडेसिक के साथ पथ का निर्माण करता है:
$x_t = \text{Exp}_{x_0}(t \cdot \text{Log}_{x_0}(x_1))$
वेक्टर फील्ड लर्निंग (Vector Field Learning): एक न्यूरल नेटवर्क $v_\theta(x_t, t)$ $v_{θ} (x_{t}, t)$ वेलोसिटी फील्ड की भविष्यवाणी करता है।
- प्रोजेक्शन: चूंकि नेटवर्क का आउटपुट एम्बिएंट यूक्लिडियन स्पेस में मौजूद होता है, इसलिए आउटपुट को टेंजेंट स्पेस $T_{x_t}\mathcal{M}$ पर प्रोजेक्ट किया जाता है ताकि यह सुनिश्चित हो सके कि डायनेमिक्स मैनिफोल्ड पर ही रहें: $\Pi_{T_{x_t}\mathcal{M}} v_\theta(x_t, t)$ ।
ट्रेनिंग ऑब्जेक्टिव (Training Objective): मॉडल प्रेडिक्टेड टेंजेंट वेलोसिटी और ट्रू जियोडेसिक टेंजेंट वेलोसिटी के बीच मीन-स्क्वेर्ड एरर को कम करता है:
$\mathcal{L}(\theta) = \mathbb{E} \left[ \| v_t(x_t | x_1) - \Pi_{T_{x_t}\mathcal{M}} v_\theta(x_t, t) \|^2_2 \right]$
इन्फरेंस (Inference): सैंपलिंग में मैनिफोल्ड पर सीखे गए ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) को रिमानियन यूलर अपडेट का उपयोग करके इंटीग्रेट करना शामिल है, जो स्वाभाविक रूप से मैनिफोल्ड बाधाओं को बनाए रखता है।

3. प्रमुख योगदान (Key Contributions)

ज्यामितीय प्रतिमान (Geometric Paradigm): RMG का परिचय, जो मानव गति को प्रोडक्ट मैनिफोल्ड ( $\mathbb{R}^3 \times (S^3)^J$ ) पर मॉडल करने वाला पहला फ्रेमवर्क है जो रिमानियन फ्लो मैचिंग का उपयोग करता है।
संक्षिप्त प्रतिनिधित्व (Compact Representation): यह प्रदर्शन करना कि $T+R$ (ट्रांसलेशन + रोटेशन) प्रतिनिधित्व सबसे स्थिर और प्रभावी है, जो जटिल पोज़ या टेम्पोरल डिफरेंस वाले रिप्रेजेंटेशन से बेहतर प्रदर्शन करता है।
स्केलेबिलिटी (Scalability): यह पहला प्रमाण कि रिमानियन फ्लो मैचिंग बड़े डेटासेट्स (MotionMillion) और उच्च-क्षमता वाले आर्किटेक्चर (अरबों पैरामीटर वाले डिफ्यूजन ट्रांसफॉर्मर) तक प्रभावी ढंग से स्केल कर सकता है।
सैद्धांतिक औचित्य (Theoretical Justification): यह दिखाने के लिए सैद्धांतिक प्रमाण प्रदान किए गए कि इंट्रिन्सिक मैनिफोल्ड ( $d$ आयामों) पर सीखना एम्बिएंट यूक्लिडियन स्पेस ( $D$ आयामों, जहाँ $D \gg d$ ) की तुलना में बेहतर एसिम्प्टोटिक एरर रेट्स ( $n^{-2s/(2s+d)}$ ) देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन HumanML3D और MotionMillion पर किया गया।

HumanML3D (Text-to-Motion):
- मानक HumanML3D फॉर्मेट में 0.043 का SOTA FID प्राप्त किया, जो पिछले सर्वश्रेष्ठ MoMask (0.045) से बेहतर है।
- MotionStreamer फॉर्मेट के तहत सभी रिपोर्ट किए गए मेट्रिक्स (FID, R@1, Diversity, Multimodality) में प्रथम स्थान प्राप्त किया।
- मोशन क्वालिटी, टेक्स्ट एलाइनमेंट और डाइवर्सिटी के बीच बेहतर संतुलन दिखाया।
MotionMillion (Large-Scale):
- मजबूत बेसलाइन्स (MotionMillion-3B/7B) को काफी पीछे छोड़ दिया।
- 5.6 का FID (सर्वश्रेष्ठ बेसलाइन के 10.3 के मुकाबले) और 0.86 का R@1 प्राप्त किया।
- सिद्ध किया कि मॉडल साइज और डेटा वॉल्यूम बढ़ाने पर भी ज्यामितीय लाभ बने रहते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- प्रतिनिधित्व (Representation): $T+R$ लगातार सबसे मजबूत रहा। पोज़ ( $P$ ) या टेम्पोरल डिफरेंस ( $d\cdot$ ) जोड़ने से प्रदर्शन में गिरावट आई या हाई गाइडेंस स्केल्स के तहत स्थिरता कम हो गई।
- गाइडेंस (Guidance): $T+R$ प्रतिनिधित्व ने वाइड रेंज के गाइडेंस स्केल्स ( $\omega \in [2.5, 9.5]$ ) में लो FID बनाए रखा, जबकि अन्य रिप्रेजेंटेशन में प्रदर्शन घटता गया।

5. महत्व और प्रभाव (Significance and Impact)

ज्यामिति-जागरूक मॉडलिंग (Geometry-Aware Modeling): यह पेपर स्थापित करता है कि डेटा की अंतर्निहित ज्यामिति का सम्मान करना केवल एक सैद्धांतिक सुंदरता नहीं बल्कि उच्च-फिडेलिटी जनरेशन के लिए एक व्यावहारिक आवश्यकता है। यह ध्यान को जनरेशन के बाद "अमान्य आउटपुट को ठीक करने" से हटाकर डिज़ाइन द्वारा "अमान्यता को रोकने" पर केंद्रित करता है।
स्केलेबिलिटी (Scalability): यह सिद्ध करता है कि रिमानियन विधियाँ केवल छोटे डेटासेट्स या सरल मॉडलों तक सीमित नहीं हैं, बल्कि आधुनिक, बड़े पैमाने के जनरेटिव AI के लिए भी व्यवहार्य हैं।
दक्षता (Efficiency): अंतर्निहित मैनिफोल्ड तक आयामों को कम करके, यह विधि सीखने की समस्या को सरल बनाती है, जिससे अधिक स्थिर प्रशिक्षण और बेहतर सामान्यीकरण (generalization) मिलता है।
भविष्य की दिशाएँ: यह ढांचा अन्य डोमेन (जैसे रोबोटिक्स, मॉलिक्यूलर डायनेमिक्स) में स्ट्रक्चर्ड डेटा के लिए रिमानियन फ्लो मैचिंग लागू करने के मार्ग खोलता है, और सुझाव देता है कि भविष्य के मोशन जनरेशन को आर्किटेक्चरल जटिलता के बजाय ज्यामितीय निरंतरता (geometric consistency) को प्राथमिकता देनी चाहिए।