💻 computer science

Batched Differentiable Rigid Body Dynamics in PyTorch for GPU-Accelerated Robot Learning

यह शोध पत्र BARD को प्रस्तुत करता है, जो बैच किए गए डिफरेंशिएबल रिजिड-बॉडी डायनेमिक्स के लिए एक स्व-निहित, GPU-अनुकूलित PyTorch लाइब्रेरी है, जो संख्यात्मक सटीकता बनाए रखते हुए और प्रभावी ग्रेडिएंट-आधारित सिस्टम आइडेंटिफिकेशन को सक्षम करते हुए, थ्रूपुट और प्रशिक्षण गति में Pinocchio जैसे मौजूदा CPU-बाउंड समाधानों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yue Wang, Yanran Xu, Wenbo Wu, Chuanhang Qiu, Zhaoxing Li

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yue Wang, Yanran Xu, Wenbo Wu, Chuanhang Qiu, Zhaoxing Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना, दौड़ना या वस्तुओं को उठाना सिखाने की कोशिश कर रहे हैं। इसे कुशलतापूर्वक करने के लिए, रोबोट के मस्तिष्क (AI) को लगातार खुद से पूछने की आवश्यकता होती है, "यदि मैं अपना पैर इस तरह हिलाता हूँ, तो मेरे संतुलन पर क्या प्रभाव पड़ेगा?" इसके लिए जटिल गणित की आवश्यकता होती है जिसे रिजिड-बॉडी डायनेमिक्स (rigid-body dynamics) कहा जाता है।

लंबे समय तक, यह गणित करना एक चम्मच से स्विमिंग पूल भरने की कोशिश करने जैसा था। वैज्ञानिकों द्वारा उपयोग किए जाने वाले मानक उपकरण (जैसे कि पिनोकियो (Pinocchio) नामक एक लाइब्रेरी) एक समय में एक गणना करने के लिए एक एकल "मस्तिष्क" (CPU) पर काम करने के लिए बनाए गए थे। जब शोधकर्ताओं ने एक साथ हजारों रोबनों को प्रशिक्षित करने के लिए आधुनिक, सुपर-फास्ट ग्राफिक्स कार्ड (GPUs) का उपयोग करने की कोशिश की, तो ये पुराने उपकरण एक बाधा बन गए। यह एक ट्रैक्टरों के ट्रैफिक जाम में फेरारी चलानेने जैसा था।

यह पेपर bard (Batched Articulated Rigid-body Dynamics) को पेश करता है, जो इस ट्रैफिक जाम को ठीक करने के लिए विशेष रूप से PyTorch (एक लोकप्रिय AI फ्रेमवर्क) के लिए बनाया गया एक नया टूल है।

यहाँ बताया गया है कि bard कैसे काम करता, जिसे सरल उपमाओं के माध्यम से समझाया गया है:

1. "आलसी" शेफ (टियर्ड लेजी इवैल्यूएशन - Tiered Lazy Evaluation)

कल्पना कीजिए कि एक शेफ 4,000 मेहमानों के लिए एक विशाल दावत तैयार कर रहा है।

पुराना तरीका: शेफ हर मेहमान के लिए हर एक व्यंजन बनाता है, भले ही मेहमान A को केवल सूप चाहिए और मेहमान B को केवल सलाद। इससे बहुत अधिक समय और ऊर्जा बर्बाद होती है।
bard का तरीका: शेफ स्मार्ट तरीके से "आलसी" है। वे केवल वही पकाते हैं जिसकी वास्तव में मांग की गई है। यदि AI को केवल यह जानने की आवश्यकता है कि रोबोट का हाथ कहाँ है (फॉरवर्ड काइनेमैटिक्स), तो शेफ रोबोट की मांसपेशियों के भीतर के बलों (forces) की गणना करने का कष्ट नहीं करता है। यदि उसे केवल बलों की आवश्यकता है, तो शेफ हाथ की स्थिति को छोड़ देता है। अनावश्यक काम को छोड़कर यह भारी मात्रा में समय बचाता है।

2. "पहले से मिला हुआ" पेंट (मैटमुल-फ्री ट्रांसफॉर्म्स - Matmul-Free Transforms)

पुराने उपकरणों में, जब भी रोबोट का कोई जोड़ (joint) हिलता था, तो कंप्यूटर को नई स्थिति का पता लगाने के लिए संख्याओं के दो बड़े ग्रिड (मैट्रिक्स) का एक जटिल गुणन (multiplication) करना पड़ता था। इसे हजारों बार करना धीमा होता है।

bard का तरीका: लेखकों ने महसूस किया कि रोबोट के जोड़ों का "आकार" कभी नहीं बदलता, केवल कोण बदलता है। इसलिए, उन्होंने शो शुरू होने से पहले ही "पेंट" (स्थिरांक/constants) को पहले से मिला लिया। हर बार जोड़ हिलने पर पेंट मिलाने के बजाय, वे बस पहले से मिले हुए आधार में थोड़ा सा "कोण" (साइन और कोसाइन) जोड़ देते हैं। यह एक धीमी, भारी मिक्सिंग प्रक्रिया को एक त्वरित, सरल स्टिर (stir) में बदल देता है।

3. "असेंबली लाइन" बनाम "एकल कार्यकर्ता" (लेवल-पैरेलल प्रोपेगेशन - Level-Parallel Propagation)

रोबोट पेड़ों की तरह बने होते हैं (एक शरीर जिसमें हाथ और पैर होते हैं)। पुराने उपकरण पेड़ को तने से लेकर सिरे तक, एक समय में एक शाखा के हिसाब से गणना करते थे, और अगली स्टेप शुरू करने से पहले पिछली स्टेप के पूरा होने का इंतज़ार करते थे।

bard का तरीका: एक असेंबली लाइन की कल्पना करें। पूरे पेड़ को एक कार्यकर्ता द्वारा करने के बजाय, bard एक ही ऊंचाई (डेप्थ) पर मौजूद सभी शाखाओं को एक साथ समूहबद्ध करता है। यह एक क्वाड्रुपेड (चार पैरों वाले) रोबोट के चारों पैरों की गति को एक साथ (simultaneously) कैलकुलेट करता है, न कि एक-एक करके। यह पेड़ के पूरे "लेवल" को एक विशाल बैच के रूप में प्रोसेस करता है, जिससे GPU की जबरदस्त शक्ति का उपयोग होता है।

4. परिणाम: गति और सटीकता

शोधकर्ताओं ने एक NVIDIA H200 GPU (एक बहुत शक्तिशाली कंप्यूटर चिप) पर 4,096 रोबोट सिमुलेशन को एक साथ चलाते हुए bard का परीक्षण किया।

गति: यह पता लगाने के लिए कि रोबोट का हाथ कहाँ है, bard पुराने मानक की तुलना में 64 गुना तेज़ था। रोबोट के आंतरिक बलों की गणना करने के लिए, यह अभी भी काफी तेज़ था (वास्तविक प्रशिक्षण परिदृश्य में 8.5 गुना तक तेज़)।
सटीकता: इतनी तेज़ होने के बावजूद, यह पुराने, धीमे उपकरणों के समान ही सटीक है। गणितीय त्रुटियां इतनी कम थीं कि वे नगण्य थीं (जैसे कि रेत के एक कण और एक पहाड़ के बीच का अंतर)।
वास्तविक दुनिया का परीक्षण: उन्होंने एक 11-पैर वाले रोबोट (एक स्पाइन वाला क्वाड्रुपेड) को मूव करने के लिए 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) नामक विधि का उपयोग करके सिखाने के लिए bard का उपयोग किया। क्योंकि bard इतना तेज़ था, प्रशिक्षण प्रक्रिया पुराने उपकरणों का उपयोग करने की तुलना में 8.5 गुना तेज़ थी।

5. यह क्यों महत्वपूर्ण है

यह पेपर दिखाता है कि bard शोधकर्ताओं को एक एकल GPU पर जटिल रोबोट प्रशिक्षण चलाने की अनुमति देता है जिसके लिए पहले कंप्यूटरों के एक विशाल क्लस्टर की आवश्यकता होती थी। यह एक "ड्रॉप-इन" रिप्लेसमेंट के रूप में कार्य करता है, जिसका अर्थ है कि वैज्ञानिक अपने पूरे कोड को दोबारा लिखे बिना पुराने टूल को bard से बदल सकते हैं।

संक्षेप में, bard रोबोट भौतिकी (robot physics) के भारी, धीमे गणित को अनुकूलित करता है ताकि यह आधुनिक AI की गति से चल सके, जिससे रोबोट बहुत तेज़ी से और अधिक कुशलता से सीख सकते हैं।

तकनीकी सारांश: पायटॉर्च में बैचड डिफरेंशिएबल रिजिड बॉडी डायनेमिक्स (bard)

समस्या विवरण
जैसे-जैसे रोबोट नियंत्रण बड़े पैमाने पर सुदृढीकरण शिक्षण (Reinforcement Learning - RL) की ओर बढ़ रहा है जिसमें इन-लूप डायनेमिक्स गणना शामिल है, क्षेत्र एक महत्वपूर्ण थ्रूपुट बाधा का सामना कर रहा है। वर्तमान प्रशिक्षण पाइपलाइन, जैसे कि Isaac Lab और MuJoCo Playground में, पायटॉर्च (PyTorch) के माध्यम से बैचड GPU निष्पादन पर निर्भर करती हैं। हालाँकि, मानक डायनेमिक्स लाइब्रेरी, Pinocchio, CPU-बाउंड और अनुक्रमिक (sequential) है। यह आर्किटेक्चर हर मूल्यांकन के लिए एक रैखिक CPU–GPU डेटा ट्रांसफर ओवरहेड को मजबूर करता है और अनुक्रमिक ट्री ट्रैवर्सल के दौरान GPU कोर्स को खाली छोड़ देता है। जबकि मौजूदा GPU सिमुलेटर जैसे Brax और MuJoCo MJX उच्च थ्रूपुट प्रदान करते हैं, वे गैर-पायटॉर्च पारिस्थितिकी तंत्र (JAX) से बंधे हुए हैं या मोनोलिथिक सिमुलेटर के रूप में कार्य करते हैं जो कस्टम लॉस फंक्शन या फिजिक्स-इंफॉर्म्ड रिवॉर्ड्स के लिए आवश्यक स्टैंडअलोन, डिफरेंशिएबल ऑपरेटर्स (जैसे जैकोबियन या मास मैट्रिसेस) को एक्सपोज़ नहीं करते हैं। इसके विपरीत, मौजूदा पायटॉर्च-संगत डिफरेंशिएबल लाइब्रेरी जैसे ADAM, बैकएंड जनरैलिटीिटी के लिए GPU थ्रूपुट का त्याग करती हैं, और कर्नेल फ्यूजन का लाभ उठाने या डेटा-डिपेंडेंट कंट्रोल फ्लो से बचने में विफल रहती हैं जो पायटॉर्च कंपाइलर के ग्राफ ट्रेसिंग को तोड़ देता है।

कार्यप्रणाली
लेखक bard (Batched Articulated Rigid-body Dynamics) प्रस्तुत करते हैं, जो फेदरस्टोन (Featherstone) के रिजिड-बॉडी डायनेमिक्स एल्गोरिदम (FK, RNEA, CRBA, ABA, और Jacobians) को लागू करने वाली एक शुद्ध-पायटॉर्च लाइब्रेरी है। लाइब्रेरी को बैचड GPU मूल्यांकन और torch.compile के साथ पूर्ण अनुकूलता के लिए डिज़ाइन किया गया है। प्रदर्शन लाभ चार विशिष्ट डिज़ाइन रणनीतियों के माध्यम से प्राप्त किए जाते हैं:

टियर्ड लेज़ी इवैल्यूएशन (Tiered Lazy Evaluation): हर कॉल पर सभी किनेमैटिक मात्राओं की गणना करने के बजाय, bard किनेमैटिक स्टेट को तीन स्तरों में विभाजित करता है जो वैलिडिटी फ्लैग्स द्वारा सुरक्षित हैं: (1) स्थानीय पैरेंट-चाइल्ड ट्रांसफॉर्म्स, (2) स्पेशियल एडजॉइंट्स (केवल डायनेमिक्स एल्गोरिदम के लिए आवश्यक), और (3) वर्ल्ड-फ्रेम पोसेस (केवल FK/Jacobian क्वेरी के लिए आवश्यक)। यह सुनिश्चित करता है कि केवल RNEA कॉल करने वाले RL लूप को वर्ल्ड-फ्रेम प्रोपेगेशन की कम्प्यूटेशनल लागत वहन न करनी पड़े।
मैट्रिक्स-मल्टीप्लिकेशन-फ्री जॉइंट ट्रांसफॉर्म्स: GPU पर हजारों छोटी $4 \times 4$ मैट्रिक्स मल्टीप्लिकेशंस के लॉन्च ओवरहेड को समाप्त करने के लिए, लाइब्रेरी मॉडल बिल्ड टाइम पर रोड्रिग्स रोटेशन कांस्टेंट (Rodrigues rotation constants) को प्री-कंप्यूट करती है। रनटाइम पर, पैरेंट-चाइल्ड ट्रांसफॉर्म्स को $\sin(q_i)$ और $\cos(q_i)$ के साथ केवल स्केलर-मैट्रिक्स मल्टीप्लीकेशन का उपयोग करके रिकवर किया जाता है, जिससे पायटॉर्च कंपाइलर को सभी जॉइंट्स और बैच एलिमेंट्स को एक सिंगल कर्नेल में ऑपरेशन्स को फ्यूज करने की अनुमति मिलती है।
लेवल-पैरेलल ट्री प्रोपेगेशन (Level-Parallel Tree Propagation): हालांकि फेदरस्टोन के एल्गोरिदम स्वाभाविक रूप से अनुक्रमिक होते हैं, bard ट्री ट्रैवर्सल को लेवल-पैरेलल बैचड ऑपरेशन्स में पुनर्गठित करता है। नोड्स को एक ही ट्री डेप्थ पर समूहीकृत करके, लाइब्रेरी $n_b$ (बॉडीज़ की संख्या) अनुक्रमिक स्टेप्स को $d$ (ट्री डेप्थ) बैचड स्टेप्स में कम करती है। जबकि बैकवर्ड पासेस (फोर्स एक्युमुलेशन) डेटा डिपेंडेंसी के कारण अनुक्रमिक बने रहते हैं, सभी $B$ एनवायरनमेंट्स प्रत्येक नोड पर एक साथ प्रोसेस किए जाते हैं।
डायरेक्ट जैकोबियन कॉलम कंस्ट्रक्शन: सिंगल-DOF जॉइंट्स के लिए, लाइब्रेरी पूर्ण $6 \times 6$ एडजॉइंट मैट्रिसेस के निर्माण को बायपास करती है। इसके बजाय, यह प्री-कंप्यूटेड ऑफसेट्स और उपलब्ध वर्ल्ड-फ्रेम पोसेस का उपयोग करके सीधे जैकोबियन कॉलम कंप्यूट करती है, जिससे एडजॉइंट कंस्ट्रक्शन को कुशल क्रॉस प्रोडक्ट्स और मैट्रिक्स-वेक्टर मल्टीप्लिकेशंस से बदल दिया जाता है।

लाइब्रेरी एक बैच-फर्स्ट मेमोरी लेआउट का उपयोग करती है और कैश-लाइन वेस्टेज से बचने के लिए ट्रांसपोज़्ड स्पेशियल ट्रांसफॉर्म्स को कंटिग्युअसली स्टोर करती है। यह ईगर मोड (अधिकतम थ्रूपुट के लिए ग्रेडिएंट ट्रैकिंग को छोड़कर) और फंक्शनल मोड (पूर्ण ऑटोमैटिक डिफरेंशिएशन) दोनों का समर्थन करती है और स्टैटिक कंट्रोल फ्लो और कॉन्स्टेंट इंडेक्स टेंसर का उपयोग करके torch.compile के साथ पूरी तरह से संगत है।

प्रमुख योगदान

bard: एक ओपन-सोर्स, शुद्ध-पायटॉर्च डायनेमिक्स लाइब्रेरी जो फेदरस्टोन के एल्गोरिदम का बैचड GPU मूल्यांकन सक्षम करती है।
सिस्टम-लेवल तकनीकें: GPU पर रिकर्सिव ट्री कंप्यूटेशन चलाने के लिए नवीन तरीके, जिसमें किनेमैटिक्स कैशिंग, प्री-एलोकेटेड वर्कस्पेस और लेवल-पैरेलल प्रोपेगेशन शामिल हैं।
वैलिडेशन: ग्रेडिएंट-आधारित सिस्टम आइडेंटिफिकेशन और 4,096 समानांतर एनवायरनमेंट्स के साथ बड़े पैमाने पर RL ट्रेनिंग पर व्यापक परीक्षण।

प्रायोगिक परिणाम
लेखकों ने एक NVIDIA H200 GPU पर पांच रोबोट मॉडल्स (7 से 23 DOF तक) पर Pinocchio और ADAM के विरुद्ध bard का मूल्यांकन किया:

संख्यात्मक सटीकता (Numerical Accuracy): bard, फ्लोटिंग-पॉइंट राउंडिंग एरर्स के भीतर Pinocchio के बराबर है। FK और Jacobians के लिए अधिकतम विसंगतियां मशीन एप्सिलॉन ( $\approx 10^{-16}$ ) के करीब थीं, और RNEA तथा CRBA के लिए $10^{-13}$ से नीचे थीं। ABA ने अपने थ्री-पास स्ट्रक्चर में एरर एक्युमुलेशन के कारण थोड़ी अधिक विसंगतियां ( $10^{-10}$ तक) दिखाईं, लेकिन व्यावहारिक सीमाओं के भीतर रही।
थ्रूपुट: 4,096 के बैच साइज पर, bard ने फॉरवर्ड किनेमैटिक्स के लिए Pinocchio की तुलना में 64× अधिक थ्रूपुट और Jacobians के लिए 63× अधिक थ्रूपुट प्राप्त किया। डायनेमिक्स एल्गोरिदम के लिए, स्पीडअप 3× से 7× के बीच रहा।
सिस्टम आइडेंटिफिकेशन: 5% टॉर्क नॉइज़ वाले 7-DOF मैनिपुलेटर पर एक ग्रेडिएंट-आधारित आइडेंटिफिकेशन टास्क में, bard ने 1.24% के माध्य त्रुटि के साथ लिंक मास को सफलतापूर्वक रिकवर किया।
RL इंटीग्रेशन: 11-DOF क्वाड्रुपेड के लिए 4,096 समानांतर एनवायरनमेंट्स के साथ एक Isaac Lab AMP ट्रेनिंग पाइपलाइन में एकीकृत होकर, bard ने Pinocchio की तुलना में 8.5× अधिक थ्रूपुट और ADAM की तुलना में 2.0× अधिक थ्रूपुट प्राप्त किया।

महत्व और दावे
पेपर का दावा है कि bard पायटॉर्च के लिए एक नेटिव, उच्च-प्रदर्शन, मॉड्यूलर डायनेमिक्स लाइब्रेरी प्रदान करके रोबोटिक्स इकोसिस्टम में एक महत्वपूर्ण अंतर को भरता है। यह सिंगल GPU पर इन-लूप डायनेमिक्स के साथ बड़े पैमाने पर RL ट्रेनिंग को सक्षम बनाता है, जो पहले CPU बॉटलनैक या इकोसिस्टम असंगति के कारण बाधित था। लेखक नोट करते हैं कि थ्रूपुट का लाभ बड़े बैच साइज़ पर किनेमैटिक्स-प्रधान वर्कलोड के लिए सबसे अधिक स्पष्ट है। वे यह भी चेतावनी देते हैं कि लो-एंड GPUs (जैसे NVIDIA L4) पर डायनेमिक्स-हैवी वर्कलोड के लिए torch.compile रजिस्टर स्पिलिंग के कारण प्रदर्शन को कम कर सकता है, जिसके लिए ऐसे मामलों में ईगर मोड की सिफारिश की जाती है। यह कार्य प्रदर्शित करता है कि सीरियल एल्गोरिदम को पैरेलल GPU निष्पादन के लिए पुनर्गठित करने से संख्यात्मक सटीकता या डिफरेंशिएबिलिटी से समझौता किए बिना महत्वपूर्ण प्रदर्शन लाभ प्राप्त किया जा सकता है।