🤖 machine learning

Constraint-Enhanced Reinforcement Learning Based on Dynamic Decoupled Spherical Radial Squashing

यह शोध पत्र डायनेमिक डिकपल्ड स्फेरिक रेडियल स्क्वैशिंग (DD-SRad) को प्रस्तुत करता है, जो एक बाधा-संवर्धित सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो स्थिति-अनुकूलित, प्रति-जोड़ त्रिज्याओं की गणना करके विषम एक्चुएटर दर सीमाओं और समदैशिक बाधाओं के बीच ज्यामितीय बेमेल को हल करती है, जिससे शून्य बाधा उल्लंघन, सटीक ग्रेडिएंट बैकप्रोपैगेशन, और सिमुलेशन एवं उच्च-निष्ठा वाले ह्यूमनॉइड रोबोट परिनियोजन दोनों में उत्कृष्ट कार्य प्रदर्शन प्राप्त होता है।

मूल लेखक: Qijun Liao, Zhaoxin Yu, Jue Yang

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qijun Liao, Zhaoxin Yu, Jue Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक वीडियो गेम कंट्रोलर का उपयोग करके एक रोबोट को चलना, नाचना या दौड़ना सिखा रहे हैं। वास्तविक दुनिया में, रोबोट के जोड़ों (जैसे घुटने, कूल्हे और टखने) की गति की कुछ भौतिक सीमाएँ होती हैं। यदि आप रोबोट के घुटने को एक स्थिति से दूसरी स्थिति में बहुत तेज़ी से झटके से जाने के लिए कहते हैं, तो उसका मोटर जल सकता है, या रोबोट लड़खड़ा कर गिर सकता है।

समस्या यह है कि हर जोड़ की एक अलग गति सीमा होती है। आपके रोबोट के कूल्हे (hips) मज़बूत और तेज़ हो सकते हैं, जो तेज़ी से हिल सकते हैं, जबकि उसके टखने (ankles) नाजुक और धीमे हो सकते हैं। यह एक ऐसी कार की तरह है जिसका इंजन तो ऊँची आरपीएम (RPM) तक जा सकता है, लेकिन पहिए कीचड़ में फंसे हुए हैं और केवल धीरे ही घूम सकते हैं।

समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) वाली गलती

रोबोट को सिखाने के पुराने तरीकों ने इन गति सीमाओं को संभालने के लिए पूरे रोबोट पर एक "ग्लोबल स्पीड कैप" (वैश्विक गति सीमा) लगाने की कोशिश की। कल्पना कीजिए कि आपके पास धावकों का एक समूह है: एक स्प्रिंटर (तेज़ दौड़ने वाला), एक मैराथन धावक और एक छोटा बच्चा। यदि आप उन सभी से कहते हैं, "आप केवल बच्चे जितनी तेज़ दौड़ सकते हैं," तो स्प्रिंटर को अनावश्यक रूप से रोक दिया जाता है। यदि आप उनसे कहते हैं, "जितनी हो सके उतनी तेज़ दौड़ो," तो बच्चा पीछे छूट जाएगा (या रोबोट के मामले में, वह टूट जाएगा)।

गणितीय शब्दों में, पेपर कहता है कि पुराने तरीकों ने अनुमत गतिविधियों के एक आयताकार बॉक्स के अंदर एक पूर्ण वृत्त (गोले) को फिट करने की कोशिश की।

बॉक्स: वास्तविक दुनिया का प्रतिनिधित्व करता है जहाँ कूल्हा बहुत अधिक हिल सकता है, लेकिन टखना थोड़ा ही हिल सकता है।
वृत्त: पुराने AI पद्धति का प्रतिनिधित्व करता है। यह उस बॉक्स के अंदर एक वृत्त को फिट करने की कोशिश करता है।
परिणाम: वृत्त बॉक्स के बड़े खाली कोनों को छोड़ देता है। रोबलेट को बताया जाता है कि वह अपने कूल्हे को उतनी तेज़ी से नहीं हिला सकता जितना कि वह शारीरिक रूप से कर सकता है, सिर्फ इसलिए ताकि "वृत्त" सुरक्षित रहे। यह रोबोट की क्षमता को बर्बाद करता है।

समाधान: DD-SRad (डायनामिक डिकपल्ड स्फेरिक रेडियल स्क्वैशिंग)

लेखकों ने DD-SRad नामक एक नई विधि बनाई है। इसे प्रत्येक उंगली (जोड़) के लिए एक स्मार्ट, समायोज्य दस्ताने (adjustable glove) देने के रूप में समझें।

पूरे हाथ के लिए एक बड़े नियम के बजाय, DD-SRad प्रत्येक उंगली के लिए एक विशिष्ट "गति सीमा" की गणना करता है जो निम्नलिखित पर आधारित है:

वह विशिष्ट उंगली कितनी तेज़ी से हिलने की अनुमति है।
वह उंगली वर्तमान में कहाँ स्थित है।

यदि रोबोट का कूल्हा ऐसी स्थिति में है जहाँ वह सुरक्षित रूप से तेज़ी से हिल सकता है, तो "दस्ताना" उसे जाने देता है। यदि टखना अपनी सीमा के करीब है, तो "दस्ताना" केवल उस टखने के लिए कस जाता है।

उपमा (Analogy):
कल्पना कीजिए कि आप एक बहुत ही संवेदनशील एक्सीलेटर और भारी ब्रेक वाली कार चला रहे हैं।

पुरानी विधि: आप एक्सीलेटर के नीचे लकड़ी का एक ब्लॉक रख देते हैं ताकि आप उसे 1 इंच से अधिक न दबा सकें। यह आपको सुरक्षित रखता है, लेकिन आप तब भी तेज़ नहीं हो सकते जब रास्ता साफ़ हो।
DD-SRad: आपके पास एक स्मार्ट पेडल है जो आपकी वर्तमान गति और सड़क की स्थिति के आधार पर जानता है कि आप इसे कितनी ज़ोर से दबा सकते हैं। यह आपको सुरक्षित होने पर पूरी रफ़्तार से जाने देता है, लेकिन दीवार के करीब आने पर धीरे से गति कम कर देता है।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर का परीक्षण डिजिटल रोबोटों (MuJoCo नामक सिम्युलेटर में) और वास्तविक मानवॉइड (Unitree H1 और G1) के उच्च-सटीकता वाले सिमुलेशन पर किया गया।

शून्य टूटे हुए जोड़: यह विधि गारंटी देती है कि रोबोट कभी भी किसी जोड़ को उसकी सीमा से अधिक तेज़ी से हिलने के लिए नहीं कहेगा। यह 100% सुरक्षा गारंटी है।
अधिकतम प्रदर्शन: क्योंकि यह तेज़ जोड़ों को रोकने में बाधा नहीं डालता है, रोबोटों ने पहले की विधियों की तुलना में बेहतर और तेज़ी से हिलना सीखा। परीक्षणों में, उन्होंने बिना किसी नियम को तोड़े उच्चतम संभव स्कोर प्राप्त किए।
बेहतर कवरेज: पेपर का दावा है कि यह विधि पुराने "वृत्त" (circle) तरीकों की तुलना में 30% से 50% अधिक संभावित गतिविधियों को कवर करती है। यह बॉक्स के उन कोनों को भर देती है जो पहले खाली थे।
कोई धीमापन नहीं: अन्य विधियों के विपरीत जिन्हें सुरक्षा जांचने के लिए हर चरण में जटिल गणितीय गणनाओं (समीकरणों को हल करने) की आवश्यकता होती है, DD-SRad एक सरल सूत्र के साथ इसे तुरंत करता है। यह वास्तविक समय के नियंत्रण (real-time control) के लिए पर्याप्त तेज़ है।

मुख्य निष्कर्ष (The Bottom Line)

पेपर का तर्क है कि वास्तविक दुनिया में रोबोट को सुरक्षित और फुर्तीला बनाने के लिए, हमें सभी जोड़ों के साथ एक जैसा व्यवहार करना बंद करना होगा। प्रत्येक जोड़ को उसकी अपनी कस्टम "गति सीमा" देकर जो रोबोट के हिलने के साथ बदलती रहती है, हम नुकसान के जोखिम के बिना रोबोट की पूरी क्षमता को अनलॉक कर सकते हैं। लेखकों ने सफलतापूर्वक इसे सिम्युलेटेड मानवॉइड पर प्रदर्शित किया है, जो एक रोबोट के तकनीकी मैनुअल (डेटाशीट) से एक सुरक्षित रूप से तैनात, उच्च-प्रदर्शन वाली मशीन तक का स्पष्ट मार्ग दिखाता है।

तकनीकी सारांश: डायनेमिक डिकपल्ड स्फेरिक रेडियल स्क्वैशिंग (DD-SRad)

1. समस्या विवरण

भौतिक रोबोटों पर सुदृढीकरण शिक्षण (Reinforcement Learning - RL) नीतियों को तैनात करने के लिए एक्चुएटर रेट बाधाओं (actuator rate constraints) को संतुष्ट करना आवश्यक है: प्रत्येक कंट्रोल स्टेप में प्रत्येक जोड़ के स्थिति कमांड के परिवर्तन की दर पर कठोर सीमाएँ ( $|a^i_t - a^i_{t-1}| \le \delta^i$ )। ये सीमाएँ संरचनात्मक रूप से विषम (heterogeneous) होती हैं; मोटर जड़त्व (inertia) और ट्रांसमिशन कठोरता में अंतर के कारण, रेट लिमिट $\delta^i$ विभिन्न जोड़ों में काफी भिन्न होती है (उदाहरण के लिए, हिप जोड़ों में अक्सर एंकल जोड़ों की तुलना में बहुत अधिक दर की अनुमति होती है)।

मौजूदा विधियाँ इस विषमता को ज्यामितीय रूप से संभालने में विफल रहती हैं:

MPC/QP दृष्टिकोण रनटाइम सॉल्वर ओवरहेड का सामना करते हैं और प्रशिक्षण-तैनाती विसंगति (training-deployment inconsistency) से जूझते हैं, जो एंड-टू-एंड अनुकूलन को रोकता है।
कन्स्ट्रेंड MDP (CMDP) विधियाँ (जैसे CPO, FOCOPS) केवल अपेक्षित-रूप गारंटी प्रदान करती हैं, जिससे प्रति-स्टेप उल्लंघन हो सकते हैं जो हार्डवेयर को नुकसान पहुँचा सकते हैं।
एक्शन पैरामीट्राइजेशन विधियाँ आमतौर पर समदैशिक (isotropic) $\ell_2$ -बॉल बाधाएं (जैसे, स्फेरिक रेडियल स्क्वैशिंग, SRad) लागू करती हैं। विषम बाधाओं के तहत, $R = \min_i \delta^i$ त्रिज्या वाला $\ell_2$ बॉल वास्तविक व्यवहार्य सेट ( $\ell_\infty$ हाइपररेक्टेंगल) को गंभीर रूप से कम कवर करता है। उच्च-बजट वाले जोड़ों के लिए अन्वेषण स्थान (exploration space) को संकुचित करते हुए, $\ell_2$ बॉल और वास्तविक व्यवहार्य सेट का वॉल्यूम अनुपात आयाम और विषमता के साथ तेजी से घटता है।
$\ell_\infty$ क्लिपिंग विधियाँ (जैसे, BoxPre+) सही ज्यामिति को कवर करती हैं लेकिन बाउंड्री पर ग्रेडिएंट को काट देती हैं, जिससे पॉलिसी अपडेट के दौरान दिशात्मक जानकारी खो जाती है।

मुख्य चुनौती कठोर प्रति-स्टेप बाधा संतुष्टि, व्यवहार्य सेट का सटीक $\ell_\infty$ कवरेज, और बिना रनटाइम सॉल्वर ओवरहेड के एंड-टू-एंड ग्रेडिएंट बैकप्रोपैगेशन प्राप्त करना है।

2. कार्यप्रणाली: DD-SRad

यह शोध पत्र डायनेमिक डिकपल्ड स्फेरिक रेडियल स्क्वैशिंग (DD-SRad) का प्रस्ताव करता है, जो एक स्मूथ एनालिटिक एक्शन पैरामीट्राइजेशन है जो पॉलिसी आउटपुट और विषम दर बाधाओं के बीच ज्यामितीय बेमेल को हल करता है।

मुख्य तंत्र

SRad के विपरीत, जो एक एकल वैश्विक त्रिज्या $R$ का उपयोग करता है, DD-SRad प्रत्येक एक्शन डायमेंशन $i$ के लिए स्वतंत्र रूप से एक पोजीशन-एडाप्टिव प्रभावी त्रिज्या $R^i_{\text{eff}}$ की गणना करता है:
$R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) = \begin{cases} \min(\delta^i, a^i_{\max} - a^i_{\text{prev}}) & \text{यदि } u^i > 0 \\ \min(\delta^i, a^i_{\text{prev}} - a^i_{\min}) & \text{यदि } u^i < 0 \\ \delta^i & \text{यदि } u^i = 0 \end{cases}$

यह मैपिंग एक लेटेंट एक्शन $u \in \mathbb{R}^d$ को स्वतंत्र प्रति-डायमेंशन स्फेरिक स्क्वैशिंग के माध्यम से भौतिक एक्शन $a$ में बदल देती है:
$a^i = a^i_{\text{prev}} + R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) \cdot \frac{u^i}{\sqrt{1 + (u^i)^2}}$

प्रमुख गुण

ज्यामितीय संरेखण (Geometric Alignment): DD-SRad का सुलभ सेट (reachable set) दर सीमाओं और स्थिति सीमाओं द्वारा परिभाषित $\ell_\infty$ हाइपररेक्टेंगल है, जो $\ell_2$ बेसलाइन्स द्वारा खोए गए वॉल्यूम को पुनः प्राप्त करता है।
कठोर बाधा संतुष्टि (Hard Constraint Satisfaction): यह मैपिंग किसी भी लेटेंट एक्शन $u$ के लिए प्रायिकता 1 के साथ गारंटी देती है कि $|a^i - a^i_{\text{prev}}| \le \delta^i$ और $a^i \in [a^i_{\min}, a^i_{\max}]$ ।
ग्रेडिएंट संरक्षण (Gradient Preservation): यह मैपिंग स्मूथ और एनालिटिक है (सिवाय $u=0$ के, जो एक मेज़र-ज़ीरो इवेंट है)। इसका जैकोबियन (Jacobian) एक डायगोनली पॉजिटिव डेफिनिट मैट्रिक्स है, जो यह सुनिश्चित करता है कि क्रिटिक से पूर्ण दिशात्मक ग्रेडिएंट जानकारी बिना ट्रंकेशन के पॉलिसी तक पहुँचे।
शून्य ओवरहेड (Zero Overhead): एक प्लग-एंड-प्ले लेयर के रूप में, इसके लिए किसी रनटाइम सॉल्वर (QP/MPC) की आवश्यकता नहीं है और यह SAC और TD3 जैसे ऑफ-पॉलिसी बैकबोन्स में सीधे एकीकृत हो जाता है।

3. मुख्य योगदान

ज्यामितीय संरेखण: DD-SRad प्रति-डायमेंशन एडेप्टिव रेडियाई के माध्यम से व्यवहार्य सेट का सटीक $\ell_\infty$ कवरेज प्राप्त करता है, जो विषम बाधाओं के तहत $\ell_2$ बेसलाइन्स द्वारा खोए गए वॉल्यूम को व्यवस्थित रूप से पुनः प्राप्त करता है।
सैद्धांतिक गारंटी: यह पेपर प्रायिकता 1 के साथ प्रति-स्टेप हार्ड कंस्ट्रेंट सेटिस्फैक्शन को सिद्ध करता है और जैकोबियन कंडीशन नंबर पर बाउंड्स स्थापित करता है, जो वेल-कंडीशन्ड ग्रेडिएंट्स सुनिश्चित करता है।
एंड-टू-एंड अनुकूलता: इसका स्मूथ एनालिटिक रूप शून्य रनटाइम सॉल्वर ओवरहेड के साथ सटीक पॉलिसी ग्रेडिएंट बैकप्रोपैगेशन का समर्थन करता है, जो मानक ऑफ-पॉलिसी एल्गोरिदम के साथ संगत है।
अनुभवजन्य सत्यापन: व्यापक प्रयोगों से पता चलता है कि DD-SRad शून्य बाधा उल्लंघन के साथ उच्चतम टास्क रिटर्न प्राप्त करता है, जो MuJoCo बेंचमार्क और हाई-फिडेलिटी IsaacLab सिमुलेशन दोनों में बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने MuJoCo (Ant, Humanoid, HalfCheetah, Hopper) और IsaacLab (Unitree H1 और G1 ह्यूमनॉइड रोबोट) पर DD-SRad का मूल्यांकन किया।

MuJoCo बेंचमार्क

प्रदर्शन: टाइट हेट्रोजेनियस बाधाओं के तहत, DD-SRad ने सभी 8 एनवायरनमेंट-बैकबोन कॉन्फ़िगरेशन (SAC और TD3) में उच्चतम रिटर्न प्राप्त किया, जो अक्सर अनकन्स्ट्रेंड अपर बाउंड के बराबर या उससे अधिक था।
कंस्ट्रेंट यूटिलाइजेशन: DD-SRas ने स्फेरिक बेसलाइन्स की तुलना में कंस्ट्रेंट-स्पेस कवरेज में 30%–50% सुधार प्रदर्शित किया। SRad-Strict के विपरीत, जो स्ट्रक्चरल कोलैप्स (जैसे Ant-SAC पर 68.8% कंस्ट्रेंट उल्लंघन) से ग्रस्त था, DD-SRad ने शून्य उल्लंघन बनाए रखा।
तुलना: DD-SRad ने रिटर्न में $\ell_\infty$ क्लिपिंग (BoxPre+) से 5%–14% बेहतर प्रदर्शन किया, जो पुष्टि करता है कि बाउंड्री पर ग्रेडिएंट ट्रंकेशन की तुलना में स्मूथ ग्रेडिएंट प्रोपेगेशन श्रेष्ठ है।

हाई-फिडेलिटी सिमुलेशन (IsaacLab)

मजबूती (Robustness): Unitree H1 (रफ टेरेन) और G1 (फ्लैट टेरेन) के आधिकारिक जॉइंट स्पेसिफिकेशन का उपयोग करते हुए, DD-SRad ने इष्टतम लोकोमोशन प्राप्त किया।
- H1 (रफ): DD-SRad ने 48.7% फॉल रेट के साथ 37.14 का रिटर्न प्राप्त किया, जो BoxPre+ (23.11 रिटर्न, 70.2% फॉल) और SRad-Strict (0.83 रिटर्न, 100% फॉल) से काफी बेहतर था।
- G1 (फ्लैट): DD-SRed ने 0.3% फॉल रेट के साथ 5473 का रिटर्न प्राप्त किया और सबसे कम वेलोसिटी ट्रैकिंग एरर (0.138 m/s) दर्ज की।
एडाप्टिव एलोकेशन: रडार चार्ट और स्कैटर प्लॉट ने पुष्टि की कि DD-SRad रेट बजट के टास्क-एडाप्टिव एलोकेशन (जैसे, फ्लैट टेरेन पर एंकल मूवमेंट को कम करते हुए प्रोपल्शन के लिए हिप जॉइंट्स का उपयोग करना) को सक्षम बनाता है, जो क्लिपिंग विधियों के यूनिफॉर्म एक्टिवेशन या स्फेरिक विधियों के ज्यामितीय संपीड़न द्वारा बाधित होता है।

5. महत्व और दावे

यह पेपर हार्डवेयर डेटाशीट से सुरक्षित तैनाती तक एक व्यवस्थित मार्ग प्रदान करने का दावा करता है। जॉइंट रेट स्पेसिफिकेशन से सीधे एक्शन स्पेस को पैरामीटराइज करके, DD-SRad RL एजेंटों को रिवॉर्ड इंजीनियरिंग या पोस्ट-हॉक सेफ्टी फिल्टर्स के बिना भौतिक सीमाओं का सम्मान करने वाली इष्टतम नीतियां सीखने की अनुमति देता है।

लेखक इस बात पर जोर देते हैं कि DD-SRad $\ell_\infty$ प्रकृति के रेट कंस्ट्रेंट्स और $\ell_2$ प्रकृति के मानक स्फेरिक पैरामीट्राइजेशन के बीच मौलिक ज्यामितीय बेमेल को हल करता है। यह निम्नलिखित को सक्षम बनाता है:

सुरक्षित तैनाती: एक्चुएटर लिमिट्स पर हार्ड गारंटी कमांड डिस्कॉर्ड या हार्डवेयर क्षति को रोकती है।
कुशल शिक्षण: व्यवहार्य सेट के पूर्ण ज्यामिति को संरक्षित करके, एजेंट भौतिक रूप से संभव क्रियाओं की पूरी रेंज का अन्वेषण कर सकता है, जिससे तेज़ अभिसरण (convergence) और उच्च प्रदर्शन मिलता है।
स्केलेबिलिटी: यह विधि बिना किसी QP सॉल्वर के कम्प्यूटेशनल बोझ के उच्च-आयामी ह्यूमनॉइड रोबोट्स (17+ जॉइंट्स) तक स्केल करती है।

कार्य यह निष्कर्ष निकालता है कि जबकि मौजूदा विधियाँ या तो सुरक्षा, या ज्यामितीय कवरेज, या प्रशिक्षण दक्षता का त्याग करती हैं, DD-SRad तीनों को एक साथ प्राप्त करता है, जो वास्तविक दुनिया के रोबोटिक नियंत्रण के लिए इसकी उपयोगिता को प्रमाणित करता है।