💻 computer science

Articulated-Body Dynamics Network: Dynamics-Grounded Prior for Robot Learning

यह शोध पत्र आर्टिकुलेटेड-बॉडी डायनेमिक्स नेटवर्क (ABD-Net) को प्रस्तुत करता है, जो एक नवीन ग्राफ न्यूरल नेटवर्क आर्किटेक्चर है जो फॉरवर्ड डायनेमिक्स की कम्प्यूटेशनल संरचना को रोबोट पॉलिसी लर्निंग में एक इंडक्टिव बायस के रूप में समाहित करता है, जिससे मौजूदा बेसलाइनों की तुलना में विविध रोबोटिक प्लेटफॉर्म्स पर बेहतर सैंपल एफिशिएंसी, जनरलाइजेशन और रियल-वर्ल्ड सिम-टू-रियल ट्रांसफर प्रदर्शन प्राप्त होता है।

मूल लेखक: Sangwoo Shin, Kunzhao Ren, Xiaobin Xiong, Josiah Hanna

प्रकाशित 2026-03-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sangwoo Shin, Kunzhao Ren, Xiaobin Xiong, Josiah Hanna

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना, दौड़ना या नाचना सिखा रहे हैं। अतीत में, हमने उन्हें सिखाने के दो मुख्य तरीके आजमाए हैं:

"कोरी स्लेट" (Blank Slate) पद्धति: हम रोबोट को एक मस्तिष्क (न्यूरल नेटवर्क) देते हैं और कहते हैं, "यह तुम्हारे शरीर के बारे में नंबरों की एक सूची है। अब समझो कि तुम्हें कैसे हिलना है।" रोबोट को शून्य से यह सीखना पड़ता है कि यदि वह अपना बायां पैर हिलाता है, तो उसे संतुलन बनाए रखने के लिए अपने दाएं पैर को कैसे समायोजित करना चाहिए। यह बिल्कुल वैसा ही है जैसे बिना सीट पर बैठे, भौतिकी (physics) की पाठ्यपुस्तक पढ़कर साइकिल चलाना सीखने की कोशिश करना।
"बिंदुओं को जोड़ने" (Connect the Dots) पद्धति: हम रोबोट को बताते हैं, "तुम्हारा बायां पैर तुम्हारे कूल्हे (hip) से जुड़ा है, और तुम्हारा कूल्हा तुम्हारी रीढ़ से जुड़ा है।" रोबोट यह सीखता है कि उसके हिस्से आपस में कैसे बात करते हैं। यह बेहतर तो है, लेकिन यह अभी भी एक जंजीर के लिंक को समझने जैसा है, बिना यह समझे कि जब आप एक सिरे को खींचते हैं तो वह जंजीर क्यों हिलती है।

समस्या:
मौजूदा पद्धतियां जानती हैं कि हिस्से कहाँ जुड़े हैं, लेकिन वे वास्तव में यह नहीं समझतीं कि शरीर के माध्यम से बल (forces) का प्रवाह कैसे होता है। वे स्थिति की "गंभीरता" (gravity) को चूक जाती हैं: कि कैसे एक पैर का वजन घुटने को प्रभावित करता है, जो कूल्हे को प्रभावित करता है, जो पूरे शरीर के संतुलन को प्रभावित करता है।

समाधान: ABD-NET (एक "स्मार्ट बॉडी" मस्तिष्क)
लेखकों ने एक नए प्रकार का रोबोट मस्तिष्क बनाया जिसे ABD-NET कहा जाता है। केवल कनेक्शन जानने के बजाय, ABD-NET इस तरह बनाया गया है कि यह शरीर के माध्यम से बल के संचार की वास्तविक भौतिकी (physics) की नकल करता है।

इसे समझाने के लिए यहाँ एक रचनात्मक उपमा दी गई है:

"भारी बैकपैक" की उपमा

कल्पना कीजिए कि आपने एक भारी बैकपैक पहना हुआ है।

पुराना तरीका (Standard AI): बैकपैक के स्ट्रैप्स सिर्फ तार की तरह हैं। रोबोट के मस्तिष्क को अनुमान लगाना पड़ता है, "अगर मैं आगे झुकता हूँ, तो क्या बैकपैक मुझे नीचे खींचेगा? अगर मैं अपना बायां पैर उठाता हूँ, तो क्या बैकपैक मुझे दाईं ओर झुका देगा?" वह इसे बार-बार प्रयास और त्रुटि (trial and error) के माध्यम से सीखता है, जिसमें बहुत समय लगता है और वह कई बार गिरता है।
ABD-NET का तरीका: बैकपैक एक विशेष आंतरिक संरचना के साथ बना है जो स्वचालित रूप से जानता है कि वजन कैसे बदलता है।
- जब आप अपना पैर उठाते हैं, तो "वजन का संकेत" केवल मस्तिष्क तक नहीं कूदता। यह आपके पैर से ऊपर, आपके कूल्हे तक, फिर आपकी रीढ़ तक और अंत में आपके सिर तक बहता है, ठीक वैसे ही जैसे एक पेड़ के ऊपर पानी बहता है।
- ABD-NET को इस तरह डिज़ाइन किया गया है कि सूचना बिल्कुल उसी तरह प्रवाहित होती है: पैरों (बच्चों) से ऊपर सिर (माता-पिता) की ओर।
- जैसे-जैसे संकेत ऊपर बढ़ता है, यह "भारी" होता जाता है (नीचे के हिस्सों के वजन के बारे में अधिक जानकारी एकत्र करता है)। जब तक यह मस्तिष्क तक पहुँचता है, मस्तिष्क को पता होता है कि पूरा शरीर कितना भारी महसूस हो रहा है और उसे कैसे संतुलित करना है।

यह सरल चरणों में कैसे काम करता है

"नीचे से ऊपर" का प्रवाह (The "Bottom-Up" Flow): वास्तविक दुनिया में, यदि आप गेंद को लात मारते हैं, तो बल आपके पैर से शुरू होकर आपकी टांग के ऊपर तक जाता है। ABD-NET रोबोट के मस्तिष्क को इसी तरह से जानकारी संसाधित करने के लिए मजबूर करता है। यह पैरों से शुरू होता है और शरीर में परत-दर-परत ऊपर की ओर बढ़ता है।
"जड़त्व" (Inertia) को सीखना: भौतिकी में, "जड़त्व" यह है कि किसी चलती हुई चीज़ को रोकना कितना कठिन है। ABD-NET के पास शरीर के हर हिस्से के लिए एक विशेष "सीखने योग्य वजन" (learnable weight) है। जैसे-जैसे संकेत ऊपर जाता है, यह इन वजनों को जोड़ता जाता है। यह रोबोट को सिखाता है: "ओह, मेरा पैर भारी है, इसलिए यदि मैं इसे तेज़ी से हिलाता हूँ, तो मेरा पूरा शरीर डगमगा जाएगा।"
"जादुई फ़िल्टर" (The "Magic Filter"): रोबोट एक विशेष फ़िल्टर (एक गणितीय ट्रिक) भी सीखता है जो गति के उस "शोर" (noise) को हटा देता है जो महत्वपूर्ण नहीं है, और केवल आवश्यक भौतिकी को रखता है। यह मस्तिष्क को बहुत स्मार्ट और तेज़ बनाता है।

यह एक बड़ी बात क्यों है?

शोधकर्ताओं ने वास्तविक रोबोटों (एक कुत्ते जैसा रोबोट Go2 और एक मानव जैसा रोबोट G1) और कंप्यूटर सिमुलेशन पर इसका परीक्षण किया। यहाँ क्या हुआ:

तेज़ सीखना: क्योंकि रोबोट पहले से ही "जानता" है कि भौतिकी कैसे काम करती है (मस्तिष्क के डिज़ाइन के कारण), वह नए कार्यों को बहुत तेज़ी से सीखता है। उसे चलने का तरीका समझने के लिए कम प्रयासों की आवश्यकता होती है।
आश्चर्यों को संभालने में बेहतर: यदि आप अचानक रोबोट को भारी कर देते हैं (जैसे कि एक भारी बैकपैक जोड़ना), तो पुराने रोबोट गिर जाते क्योंकि वे अपने मूल वजन के आदी थे। ABD-NET वाले रोबोट तुरंत अनुकूलित (adapt) हो जाते हैं। वे समझते हैं कि "भारी होने का मतलब है कि मुझे अधिक ज़ोर लगाने की ज़रूरत है," इसलिए वे बिना गिरे चलते रहते हैं।
वास्तविक दुनिया में सफलता: शोधकर्ताओं ने इस मस्तिष्क को वास्तविक प्रयोगशालाओं में असली रोबोट पर लगाया। रोबोट घास, मिट्टी और टाइल्स पर चले, और यहाँ तक कि नाचे भी, बिना गिरे। उन्होंने यह सब रियल-टाइम में किया, जिसका अर्थ है कि रोबोट इतना तेज़ सोच पा रहा था कि वह लड़खड़ाकर गिर न जाए।

मुख्य निष्कर्ष

ABD-NET को एक रोबोट को निर्देशों की केवल एक सूची देने के बजाय, उसमें संतुलन और भौतिकी की अंतर्निहित समझ देने के रूप में देखें।

एक रोबोट के यह कहने के बजाय कि, "मैंने अपना पैर हिलाने की कोशिश की, मैं गिर गया। चलो फिर से कोशिश करते हैं," ABD-NET कहता है, "मैं जानता हूँ कि मेरा पैर भारी है और यह मेरे कूल्हे से जुड़ा है, इसलिए यदि मैं इसे इस तरह से हिलाता हूँ, तो मुझे संतुलित रहने के लिए पीछे झुकने की आवश्यकता है।"

यह एक बच्चे को पूल में फेंककर यह उम्मीद करने के बजाय कि वह खुद सीख जाएगा, उसे उछाल (buoyancy) और स्ट्रोक के वास्तविक तंत्र को सिखाने के बीच का अंतर है ताकि वह पहले दिन से ही आत्मविश्वास के साथ तैर सके।

यहाँ शोध पत्र "Articulated-Body Dynamics Network: Dynamics-Grounded Prior for Robot Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आर्टिकुलेटेड रोबोट्स (जैसे कि ह्यूमनॉइड, क्वाड्रुपेड्स) के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) अक्सर कम सैंपल दक्षता (sample efficiency) और गतिशील परिवर्तनों (जैसे द्रव्यमान या घर्षण में परिवर्तन) के प्रति खराब सामान्यीकरण (generalization) से ग्रस्त होता है।

वर्तमान सीमाएँ: मौजूदा दृष्टिकोण, जैसे कि ग्राफ न्यूरल नेटवर्क (GNNs) और ट्रांसफॉर्मर्स, रोबोट की स्थानिक संबद्धता (spatial connectivity/topology) को एक इंडक्टिव बायस (inductive bias) के रूप में शामिल करते हैं। वे यह परिभाषित करते हैं कि कौन से लिंक एडजसेंसी मास्क या अटेंशन मैकेनिज्म के माध्यम से सूचना का आदान-प्रदान करते हैं।
अंतराल (The Gap): हालाँकि, ये विधियाँ सूचना के एकत्रीकरण (aggregation) को पूरी तरह से डेटा-संचालित प्रक्रिया मानती हैं, और इस बात की भौतिक अर्थवत्ता (physical semantics) को अनदेखा करती हैं कि बल और जड़त्व प्रभाव (inertial effects) शरीर के माध्यम से कैसे प्रसारित होते हैं। विशेष रूप से, वे फॉरवर्ड डायनेमिक्स (forward dynamics) की कम्प्यूटेशनल संरचना को एनकोड करने में विफल रहती हैं, जहाँ जड़त्व संबंधी मात्राएँ एक किनेमैटिक ट्री के साथ चाइल्ड लिंक्स से पैरेंट लिंक्स की ओर संचित होती हैं।

2. कार्यप्रणाली: ABD-NET

लेखक ABD-NET (Articulated-Body Dynamics Network) प्रस्तावित करते हैं, जो एक नवीन ग्राफ न्यूरल नेटवर्क आर्किटेक्चर है जो पॉलिसी एक्टर के भीतर आर्टिकुलेटेड बॉडी एल्गोरिदम (ABA) की कम्प्यूटेशनल संरचना को सीधे समाहित करता है।

मुख्य आर्किटेक्चर

नेटवर्क में तीन मॉड्यूल शामिल हैं:

लिंक-वार ऑब्जर्वेशन एनकोडिंग: अवलोकनों (observations) को प्रत्येक लिंक $i$ के लिए लिंक-विशिष्ट एम्बेडिंग्स ( $z_i$ ) में प्रोजेक्ट किया जाता है।
डायनेमिक्स-इन्फॉर्म्ड मैसेज पासिंग (मुख्य नवाचार):
- बॉटम-अप प्रोपेगेशन: ABA के अनुरूप, नेटवर्क संदेशों को सख्ती से चाइल्ड से पैरेंट लिंक्स की ओर (लीफ-टू-रूट ट्रैवर्सल) एकत्रित करता है।
- लर्नेबल इनर्टिया (Learnable Inertia): निश्चित भौतिक स्थिरांकों के बजाय, नेटवर्क उन मापदंडों को सीखता है जो भौतिक मात्राओं के समान हैं:
  - $B_i$ : एक बेस फीचर जो रिजिड-बॉडी इनर्टिया ( $I_i$ ) के समान है।
  - $W_i$ : एक लर्न करने योग्य मोशन बेसिस जो जॉइंट मोशन सबस्पेस ( $S_j$ ) के समान है।
- कन्स्ट्रेंट प्रोजेक्शन: जॉइंट-अनुमत दिशाओं के साथ इनर्टिया को हटाने की प्रक्रिया (जो ABA का एक प्रमुख चरण है) की नकल करने के लिए, नेटवर्क एक प्रोजेक्शन ऑपरेशन का उपयोग करके चाइल्ड का योगदान ( $v^a_j$ ) गणना करता है:
  $v^a_j = v_j - v_j \odot (W_j W_j^\top v_j)$
  यह जॉइंट द्वारा अनुमत दिशाओं के साथ फीचर्स को कम करता है, जिससे यह सुनिश्चित होता है कि केवल बाधित (constrained) जड़त्व प्रभाव ही पैरेंट तक पहुँचें।
- ऑर्थोगोनैलिटी कन्स्ट्रेंट: यह सुनिश्चित करने के लिए कि $W_j$ ऑर्थोनॉर्मल बना रहे, एक सहायक लॉस ( $L_{orth}$ ) जोड़ा गया है, जो मानक ABA में पाए जाने वाले इनवर्स मैट्रिक्स ऑपरेशन के सन्निकटन (approximation) को स्थिर करता है।
एक्शन डिकोडिंग: जॉइंट एक्शन्स को पैरेंट लिंक के प्रतिनिधित्व ( $v_{PA(j)}$ ) से डिकोड किया जाता है, क्योंकि पैरेंट नोड उसके संपूर्ण सबट्री के एकत्रित डायनेमिक प्रभावों को समाहित करता है।

मुख्य डिज़ाइन विकल्प

मॉडल-आधारित RL के विपरीत, जहाँ डायनेमिक्स को भविष्यवाणी के लिए स्पष्ट रूप से मॉडल किया जाता है, ABD-NET एक मॉडल-फ्री पद्धति है। यह फॉरवर्ड डायनेमिक्स संरचना का उपयोग केवल पॉलिसी नेटवर्क के भीतर एक इंडक्टिव बायस के रूप में करता है ताकि यह सीखा जा सके कि क्रियाएं (actions) शरीर के माध्यम से अधिक कुशलता से कैसे प्रसारित होती हैं।

3. मुख्य योगदान

नवीन आर्किटेक्चर: ABD-NET का परिचय, जो मॉडल-फ्री RL एक्टर में फॉरवर्ड डायनेमिक्स (विशेष रूप से ABA) की कम्प्यूटेशनल संरचना को समाहित करने वाला पहला पॉलिसी आर्किटेक्चर है।
कुशल पुनर्गठन (Efficient Reformulation): इनर्टिया प्रोपेगेशन के एक लर्न करने योग्य, मैट्रिक्स-फ्री संस्करण का व्युत्पन्न, जो महंगे और संख्यात्मक रूप से अस्थिर इनवर्स ऑपरेशंस से बचता है, जिससे कुशल प्रशिक्षण संभव होता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): विविध मॉर्फोलॉजी (ह्यूमनॉइड, क्वाड्रुपेड, हॉपर) में बेहतर सैंपल दक्षता, डायनेमिक शिफ्ट्स (मास परिवर्तन) के प्रति मजबूती और कम्प्यूटेशनल दक्षता का प्रदर्शन।
सिम-टू-रियल वैलिडेशन: वास्तविक दुनिया के अत्याधुनिक रोबोट्स (Unitree G1 ह्यूमनॉइड और Go2 क्वाड्रुपेड) पर सफल तैनाती और रियल-टाइम ऑनबोर्ड इन्फरेंस।

4. प्रयोगात्मक परिणाम

लेखकों ने Genesis और SAPIEN सिम्युलेटर और वास्तविक हार्डवेयर पर ABD-NET का मूल्यांकन किया।

सैंपल दक्षता (Sample Efficiency): ABD-NET ने लर्निंग कर्व्स में बेसलाइन (जैसे कि BOT/SWAT जैसे ट्रांसफॉर्मर्स, मानक GNNs और MLPs) को लगातार पीछे छोड़ दिया। इसने उच्चतम इंटरक्वाटाइल मीन (IQM) स्कोर प्राप्त किया, जो Genesis पर सबसे मजबूत बेसलाइन (SWAT) से 7.6% और SAPIEN पर 36.6% बेहतर था।
डायनेमिक शिफ्ट्स के प्रति मजबूती: मास जनरलाइजेशन टेस्ट में (बेस मास को 1.5–2.0× बढ़ाकर), ABD-NET ने काफी उच्च रिटेंशन रेट दिखाया।
- उदाहरण: 2× मास वाले हॉपर (Hopper) पर, ABD-NET सफलतापूर्वक झुकाव (tilts) से रिकवर हुआ, जबकि SWAT बेसलाइन विफल रही।
- परिणाम: ABD-NET ने सर्वश्रेष्ठ बेसलाइन की तुलना में औसतन 23.9% सुधार हासिल किया।
कम्प्यूटेशनल दक्षता: लीफ-टू-रूट कम्प्यूटेशन के बावजूद, ABD-NET ने ट्रांसफार्मर-आधारित विधियों की तुलना में 3× कम FLOPs प्राप्त किए और रियल-टाइम कंट्रोल के लिए उपयुक्त तेज़ इन्फरेंस समय बनाए रखा।
वास्तविक दुनिया में तैनाती:
- नीतियों को Unitree Go2 (क्वाड्रुपेड) और G1 (ह्यूमनॉइड) पर सफलतापूर्वक स्थानांतरित किया गया।
- विविध भू-भागों (डामर, घास, मिट्टी) और गतिशील व्यवहारों (डांसिंग) पर मजबूत लोकोमोशन प्राप्त किया।
- इन्फरेंस लेटेंसी (Inference latency) 5ms से कम रही (जो 50Hz कंट्रोल के लिए 20ms के बजट के भीतर है)।

5. महत्व और प्रभाव

भौतिकी और शिक्षण के बीच सेतु: यह पेपर प्रदर्शित करता है कि केवल कनेक्टिविटी को एनकोड करने के बजाय भौतिकी की कम्प्यूटेशनल लॉजिक (जड़त्व कैसे संचित होता) को स्पष्ट रूप से एनकोड करना अधिक प्रभावी है। यह नियंत्रण नीतियों को सीखने के लिए एक मजबूत इंडक्टिव बायस प्रदान करता है।
सामान्यीकरण (Generalization): इस आर्किटेक्चर की विशिष्ट पैरामीटर मानों के बजाय सापेक्ष प्रोपेगेशन संरचनाओं पर निर्भरता इसे भौतिक विसंगतियों (सिम-टू-रियल गैप, मास परिवर्तन) के प्रति स्वाभाविक रूप से मजबूत बनाती है।
व्यावहारिक प्रयोज्यता: यह सिद्ध करके कि जटिल भौतिकी-प्रेरित आर्किटेक्चर वास्तविक समय में एम्बेडेड हार्डवेयर (Jetson Orin) पर चल सकते हैं, यह कार्य उन्नत RL नीतियों को वास्तविक रोबोट पर तैनात करने में एक बड़ी बाधा को दूर करता है।
भविष्य की दिशाएं: लेखक सुझाव देते हैं कि यह आर्किटेक्चर पॉलिसी और डायनेमिक्स मॉडल दोनों के रूप में कार्य कर सकता है, जो मॉडल-आधारित RL और जटिल संपर्क (contact) वाले हेरफेर (manipulation) कार्यों में क्रांति ला सकता है।

संक्षेप में, ABD-NET ज्यामितीय प्रायोर (geometric priors) से आगे बढ़कर डायनेमिक्स-ग्राउंडेड प्रायर्स की ओर बढ़कर रोबोट लर्निंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जिसके परिणामस्वरूप ऐसी नीतियां प्राप्त होती हैं जो तेजी से सीखती हैं, बेहतर सामान्यीकरण करती हैं और वास्तविक दुनिया में अधिक मजबूती से व्यवहार करती हैं।