💻 computer science

Contact-Safe Reinforcement Learning with ProMP Reparameterization and Energy Awareness

यह शोध पत्र एक संपर्क-सुरक्षित सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का प्रस्ताव करता है जो 3D वातावरण में जटिल संपर्क-समृद्ध हेरफेर के लिए मजबूत, सुरक्षित और ऊर्जा-कुशल टास्क-स्पेस प्रक्षेपवक्र (trajectories) उत्पन्न करने के लिए प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन को मूवमेंट प्रिमिटिव्स और एक ऊर्जा-जागरूक कार्टेशियन इम्पीडेंस कंट्रोलर के साथ जोड़ता है।

मूल लेखक: Bingkun Huang, Yuhe Gong, Zewen Yang, Tianyu Ren, Luis Figueredo

प्रकाशित 2026-03-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bingkun Huang, Yuhe Gong, Zewen Yang, Tianyu Ren, Luis Figueredo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोटिक हाथ को मेज पर एक डिब्बे को धकेलना या एक घुमावदार भूलभुलैया (maze) के माध्यम से एक उपकरण को खिसकाना सिखा रहे हैं। यदि आप केवल रोबोट को कहते हैं, "अपने जोड़ों को बाईं ओर, फिर ऊपर, फिर दाईं ओर ले जाओ," तो वह अक्सर एक घबराए हुए नौसिखिए की तरह व्यवहार करता है: वह झटके लेता है, बहुत ज़ोर से टकराता है, और शायद डिब्बे को गिरा सकता है। ऐसा इसलिए है क्योंकि पारंपरिक रोबोट लर्निंग अक्सर जोड़ों के अंदर के छोटे मोटरों पर ध्यान केंद्रित करती है, और दुनिया को छूने के वास्तविक, ऊबड़-खाबड़ अनुभवों को नज़रअंदाज़ कर देती है।

यह शोध पत्र एक नए तरीके से रोबोट को सिखाने का परिचय देता है जिसे PPT (ProMP-PPO-Energy-Tank) कहा जाता है। इसे एक स्मार्ट GPS, एक स्मूथ ड्राइविंग कोच, और एक सेफ्टी सीटबेल्ट के रूप में समझें जो सब एक साथ मिलकर काम करते हैं।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. "स्मार्ट GPS" (ProMPs)

रोबोट को यह बताने के बजाय कि हर मिलीसेकंड में उसे कहाँ जाना है (जिससे झटकेदार और रुक-रुक कर चलने वाली हरकतें होती हैं), यह तरीका रोबोट को एक रास्ते का सामान्य आकार (general shape) सिखाता है।

उपमा (Analogy): कल्पना कीजिए कि आप कागज पर एक वक्र (curve) बना रहे हैं। एक पारंपरिक रोबोट एक समय में एक बहुत छोटा बिंदु आगे बढ़ने की कोशिश करता है, जिससे वह अक्सर डगमगाता रहता है। यह नया तरीका पहले रोबोट को उस वक्र का एक "कच्चा खाका" (sketch) देता है। उसे सामान्य प्रवाह पता होता है: "यहाँ से शुरू करो, वहाँ धीरे से मुड़ो, और यहाँ समाप्त करो।"
लाभ: यह सहज और सुचारू (flowing) गति पैदा करता है, जैसे कि पहली बार चलने की कोशिश करने वाले रोबोट के बजाय एक पेशेवर डांसर।

2. "लर्निंग कोच" (PPO)

एक बार जब रोबोट के पास "कच्चा खाका" (रास्ता) आ जाता है, तो उसे वास्तविक दुनिया से निपटना सीखना होता है, जहाँ चीजें फिसलन भरी हो सकती हैं या डिब्बा उम्मीद से अधिक भारी हो सकता है।

उपमा: सोचिए कि वह कच्चा खाका एक गाने की शीट है। रोबोट एक संगीतकार है। "कोच" (PPO) संगीत को सुनता है। यदि फर्श फिसलन भरा होने के कारण रोबोट गलत सुर लगा देता है, तो कोच कहता है, "ठीक है, बस तारों पर दबाव थोड़ा सा कम या ज़्यादा करें," न कि रोबोट को गाना भूलकर फिर से शुरू करने के लिए कहना।
लाभ: रोबोट बिना घबराए या अनियंत्रित हुए, वास्तविक समय में अपने सुचारू पथ को ढालना सीख जाता है।

3. "सेफ्टी सीटबेल्ट" (Energy Tank)

सुरक्षा के लिए यह सबसे महत्वपूर्ण हिस्सा है। जब एक रोबोट किसी चीज़ को छूता है, तो वह गलती से बहुत ज़ोर से धक्का दे सकता है, जैसे कोई कार दीवार में टकराने से पहले बहुत तेज़ गति पकड़ लेती है।

उपमा: कल्पना कीजिए कि रोबोट के पास एक गैस टैंक है जिसमें "धकेलने वाली ऊर्जा" की एक सीमित मात्रा होती है। हर बार जब रोबमान किसी वस्तु को धकेलता है, तो वह इस टैंक से कुछ ईंधन खर्च करता है। यदि रोबोट बहुत ज़ोर से धक्का देने की कोशिश करता है (ऊर्जा बहुत तेज़ी से जलाता है), तो एक स्मार्ट वाल्व (Energy Tank) तुरंत गैस को काट देता है, जिससे नुकसान पहुँचाने से पहले ही रोबोट धीमा हो जाता है।
लाभ: भले ही रोबोट कोई गलती करे या किसी अचानक आए झटके का सामना करे, वह शारीरिक रूप से इतना बल उत्पन्न नहीं कर सकता कि खुद को या अपने परिवेश को नुकसान पहुँचा सके। यह एक ऐसी कार की तरह है जिसमें गवर्नर लगा हो जो उसे कभी भी तेज़ गति से जाने से रोकता है।

वास्तविक दुनिया का परीक्षण: भूलभुलैया और डिब्बा

शोधकर्ताओं ने इन दो कठिन कार्यों पर इसका परीक्षण किया:

डिब्बा धकेलना: मेज पर एक डिब्बे को धकेलना।
भूलभुलैया में स्लाइड करना: बिना रास्ता देखे (केवल दीवारों को महसूस करके) एक घुमावदार भूलभुलैया के मोड़ों और उभारों के बीच एक उपकरण को खिसकाना।

परिणाम:

पुराने तरीके (चरण-दर-चरण): ये रोबोट तेज़ थे लेकिन झटकेदार थे। वे अक्सर दीवारों से बहुत ज़ोर से टकराते थे, फंस जाते थे, या चीज़ों को गिरा देते थे। वे एक ऐसे ड्राइवर की तरह थे जो हर सेकंड ब्रेक और एक्सीलेटर को ज़ोर-ज़ोर से दबाता है।
नया तरीका (PPT): रोबोट सुचारू रूप से चला, भूलभुलैया की दीवारों के साथ धीरे से चलता रहा। जब वह किसी उभार से टकराया तो वह घबराया नहीं; उसने बस अपनी पकड़ को समायोजित किया। वह बहुत अधिक बार सफल हुआ और उसने "एनर्जी टैंक" को भरा रखा, जिसका अर्थ है कि उसने कभी भी बहुत ज़ोर से धक्का नहीं दिया।

यह क्यों महत्वपूर्ण है

वास्तविक दुनिया में, रोबोट्स को मनुष्यों और नाजुक वस्तुओं के साथ बातचीत करने की आवश्यकता होती है। यदि रोबोट बहुत झटकेदार है, तो वह खतरनाक है। यदि वह बहुत अधिक सतर्क है, तो वह बेकार है।

यह शोध पत्र दिखाता है कि सुचारू योजना (GPS), स्मार्ट लर्निंग (कोच), और कठोर सुरक्षा सीमाओं (सीटबेल्ट) को जोड़कर, हम रोबोट को विनम्र और प्रभावी दोनों बनाना सीख सकते हैं। यह एक चलते हुए बच्चे के लड़खड़ाने और भीड़ भरे कमरे में बिना किसी से टकराए गरिमा के साथ चलने वाले एक वयस्क के बीच का अंतर है।

यहाँ शोध पत्र "Contact-Safe Reinforcement Learning with ProMP Reparameterization and Energy Awareness" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र कॉन्टैक्ट-रिच रोबोटिक मैनिपुलेशन (contact-rich robotic manipulation) की चुनौतियों को संबोधित करता है, जहाँ रोबोटों को भौतिक वातावरण (जैसे, धक्का देना, खिसकाना, असेंबली) के साथ अंतःक्रिया करनी होती है। पारंपरिक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण इस क्षेत्र में तीन मुख्य सीमाओं का सामना करते हैं:

सुगमता का अभाव (Lack of Smoothness): मानक स्टेप-वाइज RL नीतियां अक्सर गैर-स्मूथ और झटकेदार (jerky) प्रक्षेपवक्र (trajectories) उत्पन्न करती हैं, जो संपर्क अंतःक्रियाओं को अस्थिर कर सकती हैं।
सुरक्षा अंतराल (Safety Gaps): हालाँकि सेफ RL (Safe RL) मौजूद है, लेकिन यह ऊर्जा विनिमय (energy exchange) को स्पष्ट रूप से विनियमित करने और असंतत संपर्क गतिकी (जैसे, स्टिक-स्लिप, अचानक प्रभाव) के दौरान बल के विस्फोट (force bursts) को रोकने में संघर्ष करता है।
सामान्यीकरण (Generalization): मौजूदा विधियाँ अक्सर व्यापक पुन: प्रशिक्षण के बिना अनदेखी ज्यामिति या बदलते सतह घर्षण के प्रति विफल हो जाती हैं।

मुख्य उद्देश्य एक ऐसा ढांचा विकसित करना है जो सुचारू, अनुकूलनीय टास्क-स्पेस प्रक्षेपवक्र उत्पन्न करे और साथ ही ऊर्जा सुरक्षा (पैसेविटी/passivity) को सख्ती से लागू करे ताकि वातावरण में अनियंत्रित ऊर्जा इंजेक्शन को रोका जा सके।

2. कार्यप्रणाली: PPT ढांचा (Methodology: The PPT Framework)

लेखक PPT (ProMP PPO Energy-Tank) प्रस्तावित करते हैं, जो तीन प्रमुख घटकों को एकीकृत करने वाला एक हाइब्रिड ढांचा है:

A. प्रक्षेपवक्र प्रतिनिधित्व: प्रोबेबिलिस्टिक मूवमेंट प्रिमिटिव्स (ProMPs)

प्रत्येक टाइमस्टेप पर कच्चे जॉइंट या कार्टेशियन वेगों को आउटपुट करने के बजाय, सिस्टम प्रक्षेपवक्रों को ProMPs पर एक वितरण (distribution) के रूप में प्रस्तुत करता है।

गणितीय सूत्रीकरण (Mathematical Formulation): एक प्रक्षेपवक्र $y(\phi)$ को बेसिस फंक्शन्स (Radial Basis Functions) के एक रैखिक संयोजन के रूप में परिभाषित किया जाता है, जो एक वेट वेक्टर $w$ द्वारा भारित होते हैं।
संभाव्यता प्रकृति (Probabilistic Nature): वेट $w$ एक गाऊसी वितरण ( $w \sim \mathcal{N}(\mu_w, \Sigma_w)$ ) का पालन करते हैं, जो परिवर्तनशीलता को कैप्चर करता है और एक सुचारू, निम्न-आयामी प्रतिनिधित्व की अनुमति देता है।
वाया-पॉइंट कंडीशनिंग (Via-Point Conditioning): सिस्टम प्रक्षेपवक्र पोस्टीरियर को कंडीशन करने के लिए आंशिक ज्यामितीय बाधाओं (via-points) को शामिल कर सकता है, जिससे यह सुनिश्चित होता है कि पथ विशिष्ट वेपॉइंट्स का पालन करे और सुगमता बनाए रखे।

B. पॉलिसी लर्निंग: वेट स्पेस में प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO in Weight Space)

RL एजेंट सीधे रोबोट को नियंत्रित नहीं करता है बल्कि ProMP वेट्स को परिष्कृत (refine) करना सीखता है।

एक्शन स्पेस (Action Space): पॉलिसी $\pi_\theta$ संदर्भ वेट्स ( $w_t = w_{ref} + \Delta w_t$ ) में एक अवशिष्ट अपडेट (residual update) $\Delta w_t$ आउटपुट करती है।
लाभ (Advantage): वेट स्पेस में कार्य करके, पॉलिसी ProMPs की अंतर्निहित सुगमता का लाभ उठाती है, जिससे स्टेप-वाइज RL में होने वाले उच्च-आवृत्ति शोर (high-frequency noise) से बचा जा जा सकता है।
अवलोकन (Observation): इसमें रोबोट की स्थिति (proprioception, wrench) और एक फेज वेरिएबल $\phi$ शामिल है।

C. सुरक्षा परत: एनर्जी-टैंक पैसेविटी कंट्रोल (Energy-Tank Passivity Control)

भौतिक अंतःक्रिया के दौरान सुरक्षा सुनिश्चित करने के लिए, एक एनर्जी-टैंक तंत्र को रियल-टाइम फिल्टर के रूप में एकीकृत किया गया है।

पैसेविटी बाधा (Passivity Constraint): सिस्टम यह सुनिश्चित करता है कि रोबोट असीमित ऊर्जा इंजेक्ट न कर सके ( $\dot{E} \leq p$ )।
पावर मॉनिटरिंग (Power Monitoring): यह तात्कालिक शक्ति $P_t = \lambda_t^\top \nu_t$ (wrench $\times$ twist) की गणना करता है।
डायनेमिक स्केलिंग (Dynamic Scaling): यदि शक्ति एक सीमा ( $P_{max}$ ) से अधिक हो जाती है या ऊर्जा टैंक समाप्त हो जाता है, तो एक स्केलिंग फैक्टर $\gamma_t \in [0, 1]$ को नाममात्र कमांड पर लागू किया जाता है ( $u_t = \gamma_t u^{nom}_t$ )। यह प्रभावी रूप से कमांड को "गेट" करता है, जिससे रोबोट को धीमा किया जाता है या ऊर्जा को सुरक्षित रूप से नष्ट करने के लिए रोका जाता है।

D. निष्पादन (Execution)

अंतिम प्रक्षेपवक्र को कार्टेशियन इम्पीडेंस कंट्रोल के माध्यम से निष्पादित किया जाता है, जो वातावरण के साथ अनुपालन (compliance) बनाए रखते हुए ProMP-जनरेटेड रेफरेंस को ट्रैक करता है।

3. प्रमुख योगदान (Key Contributions)

टास्क-स्पेस RL सूत्रीकरण (C1): एक नवीन दृष्टिकोण जो कार्यों को निम्न-आयामी ProMP वेट स्पेस में पैरामीटराइज करता है और उन्हें कार्टेशियन इम्पीडेंस कंट्रोल के माध्यम से निष्पादित करता है, जिससे कॉन्टैक्ट-रिच कार्यों के लिए सुचारू, अनुपालन प्रक्षेपवक्र सक्षम होते हैं।
रियल-टाइम ऊर्जा-जागरूक सुरक्षा (C2): एक ऊर्जा-टैंक पैसेविटी कंट्रोलर का एकीकरण जो वास्तविक समय में इंटरैक्शन पावर/ऊर्जा को सीमित करता है, जो असंतत गतिकी के दौरान भी सुरक्षा गारंटी प्रदान करता है।
एकीकृत ढांचा (Unified Framework): पहला ढांचा जो डेटा-संचालित मजबूती (RL), प्रक्षेपवक्र-स्तरीय सुगमता (ProMPs), और पैसेविटी-आधारित सुरक्षा (Energy Tank) को कॉन्टैक्ट-रिच मैनिपुलेशन के लिए मजबूती से जोड़ता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि को सिमुलेशन (Genesis) और एक वास्तविक Franka Emika Panda रोबोट पर दो कार्यों के माध्यम से मान्य किया गया: बॉक्स पुशिंग (Box Pushing) और मेज़ स्लाइडिंग (Maze Sliding)।

तुलनात्मक वेरिएंट्स (Comparison Variants)

लेखकों ने PPT की तुलना निम्नलिखित से की:

PP: सुरक्षा के बिना एपिसोड-लेवल ProMP।
S: सुरक्षा के बिना स्टेप-वाइज PPO।
ST: एनर्जी टैंक के साथ स्टेप-वाइज PPO।

मुख्य निष्कर्ष (Key Findings)

सफलता दर (Success Rate): PPT ने काफी उच्च सफलता दर प्राप्त की (जैसे, रियल-वर्ल्ड मेज़ स्लाइडिंग में ST के 60% के मुकाबले 89%)।
सुगमता और स्थिरता (Smoothness & Stability): PPT ने स्टेप-वाइज विधियों की तुलना में कम Jerk RMS (1.85 बनाम 2.70) और कम Peak Wrench (8.5N बनाम 11.2N) वाले प्रक्षेपवक्र उत्पन्न किए।
सुरक्षा (Safety): PPT में ऊर्जा टैंक ने अन्वेषण (exploration) के दौरान बल विस्फोट को प्रभावी ढंग से नियंत्रित किया। इसके विपरीत, स्टेप-वाइज विधि (ST) को बार-बार टैंक हस्तक्षेप की आवश्यकता थी, जिससे गति हिचकिचाहट भरी और अक्षम हो गई।
सामान्यीकरण (Generalization): PPT ने बिना फाइन-ट्यूनिंग के सीधे गलियारों पर प्रशिक्षित नीति को अनदेखी मेज़ (जिसमें मोड़ और ऊंचाई के बदलाव थे) में सफलतापूर्वक स्थानांतरित किया, जो नई ज्यामिति के प्रति मजबूत सामान्यीकरण प्रदर्शित करता है।
सिम-टू-रियल (Sim-to-Real): ढांचा सिमुलेशन से हार्डवेयर पर निर्बाध रूप से स्थानांतरित हुआ, जिसने अनमॉडलled घर्षण और सेंसर शोर को संभालते हुए भी सुरक्षा बाधाओं को बनाए रखा।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य यह प्रदर्शित करके रोबोटिक मैनिपुलेशन के एक महत्वपूर्ण अंतर को पाटता है कि संरचित प्रक्षेपवक्र पूर्ववृत्त (structured trajectory priors - ProMPs) को ऊर्जा-जागरूक सुरक्षा परतों (energy-aware safety layers) के साथ जोड़ने पर पारंपरिक स्टेप-वाइज RL से बेहतर प्रदर्शन होता है।

व्यावहारिक प्रभाव (Practical Impact): यह विधि रोबोटों को नाजुक, कॉन्टैक्ट-रिच कार्यों (जैसे तंग मेज़ों के माध्यम से उपकरण खिसकाना या वस्तुओं को धकेलना) को उच्च विश्वसनीयता और सुरक्षा के साथ करने में सक्षम बनाती है, यहाँ तक कि अनिश्चितता की उपस्थिति में भी।
सैद्धांतिक योगदान (Theoretical Contribution): यह सिद्ध करता है कि एक्शन स्पेस को एक सुचारू मैनिफोल्ड (ProMP weights) में पुन: पैरामीटराइज करने से RL अधिक स्थिर नीतियां सीख सकता है, जबकि एनर्जी टैंक एक कठोर, मॉडल-फ्री सुरक्षा गारंटी प्रदान करता है जो सटीक डायनेमिक मॉडल पर निर्भर नहीं है।

लेखक निष्कर्ष निकालते हैं कि हालांकि निश्चित ऊर्जा बजट रूढ़िवादी हो सकता है, PPT ढांचा सुरक्षित, मजबूत और सामान्यीकरण योग्य कॉन्टैक्ट-रिच मैनिपुलेशन के लिए एक शक्तिशाली प्रतिमान (paradigm) प्रदान करता है। भविष्य का कार्य अनुकूली ऊर्जा प्रबंधन और पदानुक्रमित पूर्ववृत्तों (hierarchical priors) पर केंद्रित होगा।