💻 computer science

Spherical Latent Motion Prior for Physics-Based Simulated Humanoid Control

यह शोध पत्र स्फेरिकल लेटेंट मोशन प्रायर (SLMP) को प्रस्तुत करता है, जो एक दो-चरणीय विधि है जो सूचना की हानि के बिना स्थिर, विविध और भौतिक रूप से सुसंगत ह्यूमनॉइड नियंत्रण सक्षम करने के लिए एक उच्च-गुणवत्ता वाले ट्रैकिंग कंट्रोलर को एक संरचित स्फेरिकल लेटेंट स्पेस में आसवित (distill) करती है, जबकि मौजूदा VAE और AMP दृष्टिकोणों की तुलना में कॉम्बैट टास्क और विभिन्न रोबोट रूपात्मकताओं (morphologies) में बेहतर प्रदर्शन और सामान्यीकरण प्रदर्शित करती है।

मूल लेखक: Jing Tan, Weisheng Xu, Xiangrui Jiang, Jiaxi Zhang, Kun Yang, Kai Wu, Jiaqi Xiong, Shiting Chen, Yangfan Li, Yixiao Feng, Yuetong Fang, Yujia Zou, Yiqun Song, Renjing Xu

प्रकाशित 2026-03-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jing Tan, Weisheng Xu, Xiangrui Jiang, Jiaxi Zhang, Kun Yang, Kai Wu, Jiaqi Xiong, Shiting Chen, Yangfan Li, Yixiao Feng, Yuetong Fang, Yujia Zou, Yiqun Song, Renjing Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Spherical Latent Motion Prior for Physics-Based Simulated Humanoid Control" (SLMP) के पेपर का विवरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में विभाजित किया गया है।

बड़ी समस्या: रोबोटों को बिना तोड़े लड़ना सिखाना

कल्पना कीजिए कि आप एक रोबोट को बॉक्सिंग सिखाना चाहते हैं। आप उसे सिर्फ यह नहीं कह सकते, "अपना हाथ बाईं ओर ले जाओ, फिर दाईं ओर लात मारो।" यदि आप ऐसा करते हैं, तो रोबोट गिर सकता है, उसके जोड़ असंभव आकृतियों में मुड़ सकते हैं, या वह किसी ग्लिच वाले वीडियो गेम के पात्र जैसा दिख सकता है।

फिजिक्स-आधारित सिमुलेशन की दुनिया में, रोबोट गुरुत्वाकर्षण और संतुलन के वास्तविक नियमों द्वारा संचालित होते हैं। उन्हें स्वाभाविक रूप से चलाने के लिए, शोधकर्ता आमतौर पर उन्हें मानव गतिविधियों का एक "चीट शीट" (जैसे नृत्य या लड़ाई के क्लिप्स की एक लाइब्रेरी) देते हैं जिसे वे कॉपी कर सकें।

हालाँकि, मौजूदा तरीकों में दो बड़ी खामियाँ हैं:

"धुंधली फोटो" की समस्या (VAE): कुछ तरीके सभी मानव गतिविधियों को एक छोटे सारांश में संकुचित करने की कोशिश करते हैं। यह एक हाई-डेफिनिशन फोटो को एक छोटे थंबनेल में सिकोड़ने जैसा है। आप बारीक विवरण (जैसे मुक्का कैसे मुड़ता है) खो देते हैं, और यदि आप उस थंबनेल से मूल फोटो का अनुमान लगाने की कोशिश करते हैं, तो आपको कुछ अजीब और टूटा हुआ मिल सकता है।
"टूटे हुए रिकॉर्ड" की समस्या (AMP): अन्य तरीके एक "जज" (एक AI डिस्क्रिमिनेटर) का उपयोग करते हैं जो रोबोट को बताता है कि उसकी चाल असली दिख रही है या नहीं। समस्या यह है कि रोबोट जज को खुश करने में इतना अच्छा हो जाता है कि वह नई चीजें आज़माना बंद कर देता है। वह एक ऐसी चाल ढूंढ लेता है जो हमेशा "अच्छा काम किया" दिलाती है और वह उसे बार-बार करता रहता है, जैसे कोई टूटा हुआ रिकॉर्ड। इसमें विविधता की कमी होती है।

समाधान: SLMP (द "ग्लोब ऑफ गुड मूव्स")

लेखक SLMP (Spherical Latent Motion Prior) का प्रस्ताव करते हैं। इसे अपने रोबोट के "चीट शीट" को व्यवस्थित करने के एक नए, स्मार्ट तरीके के रूप में समझें।

1. दो-चरणीय प्रशिक्षण (Two-Stage Training)

चरण 1: मास्टर ट्रेनर। पहले, वे एक "मास्टर कोच" (एक विशेषज्ञ कंट्रोलर) को प्रशिक्षित करते हैं जो मोशन कैप्चर डेटा की हुबहू नकल कर सकता है। यह कोच जानता है कि वास्तविक मानव फाइटर की तरह दिखने के लिए हर जोड़ को कैसे हिलाना है।
चरण 2: ग्लोब पर छात्र। रोबोट को वीडियो की एक विशाल लाइब्रेरी देने के बजाय, वे एक "स्टूडेंट रोबोट" को मास्टर कोच से सीखना सिखाते हैं। लेकिन यहाँ एक ट्रिक है: वे छात्र को एक परफेक्ट स्फेयर (ग्लोब) की सतह पर सीखने के लिए मजबूर करते हैं।

2. गोला (Sphere) क्यों? (रचनात्मक उपमा)

कल्पना कीजिए कि रोबोट की संभावित चालें एक मानचित्र पर बिंदु हैं।

पुराने तरीके (VAE) एक सपाट मानचित्र की तरह थे जहाँ किनारे खाली बंजर भूमि थे। यदि आप किनारे पर कोई रैंडम स्थान चुनते, तो आप मानचित्र से बाहर गिर जाते (रोबोट क्रैश हो जाता)।
SLMP एक ग्लोब की तरह है। इसमें कोई किनारे नहीं हैं। सतह का हर बिंदु एक वैध, सुरक्षित स्थान है।
- यदि आप ग्लोब पर कोई रैंडम स्थान चुनते हैं, तो वह एक वास्तविक, संतुलित चाल (जैसे पंच या डॉज) के अनुरूप होता है।
- यदि आप "किक" के पास का कोई स्थान चुनते हैं, तो आस-पास के स्थान भी किक ही होते हैं, बस थोड़े अलग। यह समान चालों के लिए स्मूथ नेबरहुड्स (smooth neighborhoods) बनाता है।

3. गुप्त नुस्खा: "डिस्क्रिमिनेटर" और "स्थानीय नियम"

यह सुनिश्चित करने के लिए कि ग्लोब सही ढंग से व्यवस्थित है, वे एक विशेष प्रशिक्षण ट्रिक का उपयोग करते हैं:

जज (Discriminator): यह AI रोबोट को देखता है और कहता है, "वह चाल असली इंसान जैसी दिखती है!" या "वह नकली दिखती है!"
लोकल रूलबुक (स्थानीय नियम पुस्तिका): यह इस पेपर का सबसे बड़ा नवाचार है। यह रोबोट को बताता है: "यदि तुम ग्लोब पर 'पंच' के बगल में खड़े हो, तो तुम्हारी चाल एक पंच जैसी होनी चाहिए, डांस जैसी नहीं।"
- यह सुनिश्चित करता है कि यदि आप ग्लोब पर कोई रैंडम स्थान चुनते हैं, तो आपको वह चाल मिलेगी जो रोबोट की वर्तमान स्थिति के लिए तर्कसंगत है। यदि रोबोट खड़ा है, तो एक रैंडम चयन स्टांस या धीमी चाल देगा। यदि वह हवा में है, तो रैंडम चयन लैंडिंग देगा, न कि पंच (क्योंकि आप उड़ते समय पंच नहीं मार सकते)।

उन्होंने इसे काम करने के लिए सिद्ध करने हेतु क्या किया?

डेटासेट: उन्होंने केवल सामान्य चलने के डेटा का उपयोग नहीं किया। उन्होंने एक किकबॉक्सिंग विशेषज्ञ को काम पर रखा और दो घंटे की वास्तविक लड़ाई (पंच, किक, डॉज, फुटवर्क) रिकॉर्ड की। यह उच्च-गुणवत्ता वाली "लड़ाई की चालों" की एक विशाल लाइब्रेरी है।
परीक्षण: उन्होंने रोबोट को अपने "ग्लोब" से रैंडम चालें चुनने दिया और देखा कि क्या वह जीवित रह पाता है।
- पुराने तरीके: रोबोट अक्सर तुरंत गिर जाता क्योंकि उसने एक "खराब" रैंडम चाल चुनी होती।
- SLMP: रोब-ट 30 सेकंड की रैंडम चालों के बाद भी लगभग 100% समय जीवित रहा। वह स्वाभाविक और संतुलित दिखा।
कॉम्बैट सिमुलेशन (लड़ाई का सिमुलेशन): उन्होंने SLMP से प्रशिक्षित दो रोबोटों को एक रिंग में डाला। उन्होंने रोबोटों को बहुत सरल नियम दिए (जैसे, "यदि आप प्रतिद्वंद्वी को मारते हैं, तो एक अंक प्राप्त करें। यदि आप गिरते हैं, तो आप हार जाते हैं")। उन्होंने उन्हें लड़ने के जटिल निर्देश नहीं दिए।
- परिणाम: रोबोटों ने अपने आप जटिल रणनीतियाँ विकसित कीं! उन्होंने पंच मारना, बचना, जवाबी हमला करना और पैरों का मूवमेंट करना सीखा, क्योंकि "ग्लोब" ने उन्हें विभिन्न चालों को एक्सप्लोर करने का एक सुरक्षित और संरचित तरीका दिया।

निचोड़ (Bottom Line)

SLMP एक अव्यवस्त लाइब्रेरी के बजाय रोबोट को "अच्छी चालों का एक ग्लोब" देने जैसा है।

अब गिरने का डर नहीं: क्योंकि ग्लोब में कोई किनारे नहीं हैं, रैंडम विकल्प हमेशा सुरक्षित होते हैं।
अब बोरिंग लूप्स नहीं: क्योंकि ग्लोब व्यवस्थित है, रोबोट एक ही चीज़ करते रहने में फंसने के बिना कई अलग-अलग चालों को एक्सप्लोर कर सकता है।
स्मार्ट लर्निंग: इस आधार के साथ, रोबोट बहुत सरल निर्देशों का उपयोग करके जटिल कार्य (जैसे लड़ना) सीख सकता है, जिससे शोधकर्ताओं को हजारों जटिल नियम लिखने की आवश्यकता नहीं पड़ती।

यह तकनीक भविष्य में वास्तविक वीडियो गेम पात्रों, बेहतर वर्चुअल रियलिटी अवतारों और ऐसे रोबोटों को बनाने में मदद कर सकती है जो वास्तविक दुनिया में सुरक्षित रूप से और स्वाभाविक रूप से चल सकें।

यहाँ शोध पत्र "Spherical Latent Motion Prior for Physics-Based Simulated Humanoid Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फिजिक्स-आधारित सिम्युलेटेड ह्यूमनॉइड्स (humanoids) को नियंत्रित करना चुनौतीपूर्ण है क्योंकि इसमें अस्थिर डायनेमिक्स और लो-लेवल कंट्रोल के लिए रिवॉर्ड डिज़ाइन की संवेदनशीलता होती है। जबकि मोशन प्रायर्स (Motion Priors) का उपयोग क्रियाओं (actions) को भौतिक रूप से प्रशंसनीय मैनिफोल्ड्स तक सीमित करने के लिए किया जाता है, मौजूदा दृष्टिकोणों में महत्वपूर्ण सीमाएँ हैं:

वेरिएशनल ऑटोएनकोडर्स (VAE): मोशन को गाऊसीय लेटेंट बॉटलनेक (Gaussian latent bottleneck) में कंप्रेस करने से अक्सर सूक्ष्म मोटर विवरण (सूचना की हानि) लुप्त हो जाते हैं। इसके अलावा, लेटेंट स्पेस से रैंडम सैंपलिंग अक्सर अमान्य व्यवहार उत्पन्न करती है या गिरने का कारण बनती है क्योंकि स्पेस के बड़े हिस्से में ट्रेनिंग सिग्नल का अभाव होता है।
एडवर्सरियल मोशन प्रायर्स (AMP): ये वास्तविक और सिम्युलेटेड मोशन के बीच अंतर करने के लिए एडवर्सरियल रिवॉर्ड्स पर निर्भर करते हैं। हालाँकि, ये अक्सर मोड कोलैप्स (mode collapse) से ग्रस्त होते हैं, जहाँ पॉलिसी उच्च-रिवॉर्ड वाले व्यवहारों के एक छोटे सेट पर अभिसरित (converge) हो जाती है, जिससे विविध मोशन स्किल्स को कैप्चर करने या जटिल डेटासेट्स तक स्केल करने में विफलता होती है।

मुख्य चुनौती एक ऐसा लेटेंट स्पेस प्राप्त करना है जो विविधता (diversity) और वैधता (validity) दोनों का समर्थन करे: सूचना की हानि के बिना स्थिर रैंडम सैंपलिंग की अनुमति देना और सूक्ष्म मोटर विवरणों को सुरक्षित रखना।

2. कार्यप्रणाली: स्फेरिकल लेटेंट मोशन प्रायर (SLMP)

लेखक SLMP का प्रस्ताव करते हैं, जो एक दो-चरणीय फ्रेमवर्क है जो एक यूनिट स्फीयर (unit sphere) पर एक संरचित लेटेंट एक्शन स्पेस का निर्माण करता है।

चरण 1: एक्सपर्ट मोशन ट्रैकिंग

एक उच्च-गुणवत्ता वाला, गोल-कंडीशन्ड मोशन ट्रैकिंग कंट्रोलर ( $\pi_{track}$ ) का उपयोग करके रीइन्फोर्समेंट लर्निंग (PPO) के माध्यम से एक एक्सपर्ट ट्रैकर को प्रशिक्षित किया जाता है।
यह कंट्रोलर ह्यूमनॉइड की स्थिति और एक रेफरेंस गोल (मोशन कैप्चर डेटा से प्राप्त) को टारगेट जॉइंट पोजीशंस में मैप करता है, जिससे रेफरेंस डेटासेट का लगभग पूर्ण ट्रैकिंग प्राप्त होता है।

चरण 2: स्फेरिकल लेटेंट स्पेस में डिस्टिलेशन

एक्सपर्ट कंट्रोलर को एक प्रायर पॉलिसी ( $\pi_\phi$ ) में डिस्टिल किया जाता है जो एक यूनिट स्फीयर ( $\|z_t\|_2 = 1$ ) पर सीमित एक लेटेंट कोड $z_t$ पर कंडീഷन्ड होती है। ट्रेनिंग ऑब्जेक्टिव लेटेंट मैनिफोल्ड को आकार देने के लिए तीन घटकों को जोड़ता है:

इमिटेशन डिस्टिलेशन लॉस ( $L_{distill}$ ): यह सुनिश्चित करता है कि प्रायर पॉलिसी एन्कोडेड गोल्स पर कंडീഷन्ड होने पर एक्सपर्ट कंट्रोलर की नकल करे।
डिस्क्रिमिनेटर लॉस ( $L_{disc}$ ): एक डिस्क्रिमिनेटर एक्सपर्ट एक्शन्स (पॉजिटिव) और रैंडम लेटेंट सैंपल्स द्वारा जेनरेट किए गए एक्शन्स (नेगेटिव) के बीच अंतर करता है। यह एक इन-डिस्ट्रीब्यूशन सिग्नल प्रदान करता है।
डिस्क्रिमिनेटर-गाइडेड लोकल सेमेंटिक कंसिस्टेंसी लॉस ( $L_{DLSC}$ ): यह SLMP का अभिनव मुख्य भाग है।
- यह एक जियोमेट्रिक वेट ( $w_d$ ) को एक रैंडम लेटेंट और एक एक्सपर्ट लेटेंट के बीच स्फेरिकल दूरी के आधार पर परिभाषित करता है, जो लोकल स्मूथनेस को प्रोत्साहित करता है।
- यह एक सेमेंटिक वेट ( $w_c$ ) को डिस्क्रिमिनेटर के आउटपुट के आधार पर परिभाषित करता है। यदि एक रैंडम लेटेंट एक आउट-ऑफ-डिस्ट्रीब्यूशन एक्शन उत्पन्न करता है, तो वेट बढ़ जाता है, जिससे कड़े प्रतिबंध लागू होते हैं।
- परिणाम: यह लॉस एक संरचित लेटेंट स्पेस को तराशता है जहाँ स्फीयर पर निकटतम बिंदु सेमेंटिक रूप से सुसंगत और भौतिक रूप से वैध क्रियाओं के अनुरूप होते हैं, जो AMP में दिखने वाले "कोलैप्स" और VAE में दिखने वाले "ब्लरिंग" को रोकता है।

हाई-लेवल कंट्रोल एप्लीकेशन

डाउनस्ट्रीम कार्यों (जैसे, टू-एजेंट कॉम्बैट) में, एक हाई-लेवल पॉलिसी कॉम्पैक्ट लेटेंट स्पेस में काम करती है, जो लेटेंट कोड्स ( $z_t$ ) आउटपुट करती है। इसके बाद SLMP प्रायर इन कोड्स को फुल-बॉडी, फिजिक्स-कंसिस्टेंट PD एक्शन्स में अनुवादित करता है। यह हाई-लेवल निर्णय लेने और लो-लेवल फिजिक्स निष्पादन को अलग करता है।

3. मुख्य योगदान

नया डेटासेट: विविध स्ट्राइकिंग, इवेजन (evasion), फुटवर्क और ट्रांजिशन को प्रदर्शित करने वाला एक दो-घंटे का ह्यूमन कॉम्बैट मोशन कैप्चर डेटासेट एकत्र करना और रिलीज़ करना, जो विशेष रूप से फिजिक्स-आधारित ह्यूमनॉइड कंट्रोल के लिए तैयार किया गया है।
SLMP फ्रेमवर्क: एक नवीन दो-चरणीय डिस्टिलेशन विधि जो एक संरचित स्फेरिकल लेटेंट एक्शन स्पेस बनाती है। यह VAEs के इंफॉर्मेशन बॉटलनेक्स और AMPs के मोड कोलैप्स से बचता है।
डिस्क्रिमिनेटर-गाइडेड सेमेटिक कंसिस्टेंसी: एक अनूठा लॉस फंक्शन जो स्फीयर पर जियोमेट्रिक निकटता को डिस्क्रिमिनेटर फीडबैक के साथ जोड़ता है ताकि यह सुनिश्चित हो सके कि रैंडम सैंपलिंग स्थिर और सेमेंटिक रूप से वैध व्यवहार प्रदान करे।
सामान्यीकरण (Generalization): यह प्रदर्शन करना कि यह विधि विभिन्न ह्यूमनॉइड रोबोट मॉर्फोलॉजी में सामान्यीकृत होती है और केवल स्पार्स रिवॉर्ड्स का उपयोग करके जटिल मल्टी-एजेंट इंटरैक्शन का समर्थन करती है।

4. प्रयोगात्मक परिणाम

लेखकों ने अपने कस्टम कॉम्बैट डेटासेट का उपयोग करके SLML को PULSE (VAE-आधारित) और ASE (AMP-आधारित) जैसे बेसलाइन्स के विरुद्ध मूल्यांकित किया।

मोशन ट्रैकिंग क्वालिटी: SLMP ने 99.5% सफलता दर और कम MPJPE (मीन पर-जॉइंट पोजीशन एरर) हासिल की, जो PULSE से काफी बेहतर है और एक्सपर्ट कंट्रोलर की ऊपरी सीमा के करीब है। यह न्यूनतम सूचना हानि की पुष्टि करता है।
रैंडम सैंपलिंग स्टेबिलिटी:
- 1,000 रैंडम रोलआउट ट्रायल्स में, SLMP ने 10 सेकंड में ~99.8% सर्वाइवल रेट (कोई गिरावट नहीं) बनाए रखा।
- इसके विपरीत, PULSE का सर्वाइवल रेट उसके गाऊसीय लेटेंट स्पेस की टेल में सेमेंटिक स्पर्सिटी के कारण रोलआउट की अवधि बढ़ने के साथ नाटकीय रूप से गिर गया (लगभग 10-12% तक)।
सेमेटिक रियलिज्म: SLMP से प्राप्त रैंडम सैंपल्स ने फुट स्लाइडिंग जैसे आर्टिफैक्ट्स के बिना विविध, सुसंगत कॉम्बैट मोशन (गार्ड्स, जैब्स, किक्स) उत्पन्न किए। लेटेंट स्फीयर के विज़ुअलाइज़ेशन ने दिखाया कि मैनिफोल्ड स्टेट के अनुकूल होता है: एक न्यूट्रल स्टांस एक मल्टी-मोडल स्फीयर (कई वैध भविष्य) देता है, जबकि एक एरियल किक स्फीयर को कुछ वैध क्षेत्रों तक सीमित कर देता है (भौतिक रूप से प्रतिबंधित)।
टू-एजेंट कॉम्बैट:
- केवल स्पार्स रूल-बेस्ड रिवॉर्ड्स (हिट/नॉकआउट) का उपयोग करके, SLMP ने हाई-लेवल पॉलिसियों को विविध, मानव-समान कॉम्बैट रणनीतियों को सीखने में सक्षम बनाया।
- डेंस रिवॉर्ड शेपिंग (NCP-स्टाइल) वाले बेसलाइन्स क्षयकारी (degenerate) स्थिर इंटरैक्शन की ओर अभिसरित हुए, जबकि AMP-ऑगमेंटेड रिवॉर्ड्स दोहराव वाले पंचिंग की ओर ले गए। SLMP ने सफलतापूर्वक एक्सप्लोरेशन और स्टेबिलिटी के बीच संतुलन बनाया।
ट्रांसफेरेबिलिटी: पाइपलाइन को विभिन्न सिम्युलेटेड ह्यूमनॉइड मॉर्फोलॉजी में सफलतापूर्वक स्थानांतरित किया गया, जो इसकी मजबूती (robustness) को सिद्ध करता है।

5. महत्व

SLMP लेटेंट स्पेस में विविधता (diversity) और वैधता (validity) के बीच के ट्रेड-ऑफ को हल करके फिजिक्स-आधारित ह्यूमनॉइड कंट्रोल में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

कम रिवॉर्ड इंजीनियरिंग: एक मजबूत, संरचित मोशन प्रायर प्रदान करके, SLMP हाई-लेवल पॉलिसियों को सरल, स्पार्स रिवॉर्ड्स का उपयोग करके जटिल व्यवहार (जैसे कॉम्बैट) सीखने की अनुमति देता है, जिससे जटिल रिवॉर्ड शेपिंग की आवश्यकता समाप्त हो जाती है।
मजबूती (Robustness): स्फेरिकल स्ट्रक्चर यह सुनिश्चित करता है कि रैंडम एक्सप्लोरेशन (जो RL के लिए महत्वपूर्ण है) विनाशकारी विफलताओं (गिरने) की ओर न ले जाए, जिससे यह जटिल, गतिशील वातावरण में एजेंटों को प्रशिक्षित करने के लिए अत्यधिक उपयुक्त बन जाता है।
स्केलेबिलिटी: विभिन्न मॉर्फोलॉजी में सामान्यीकरण करने और बड़े पैमाने के, मल्टी-मोडल डेटासेट्स को संभालने की इसकी क्षमता यह सुझाव देती है कि यह अगली पीढ़ी के रोबोटिक कंट्रोल और वर्चुअल कैरेक्टर एनिमेशन के लिए एक व्यवहार्य आधार है।