💻 computer science

Safe Execution of RL Policies Via Acceleration-Based CBF-QP Constraint Enforcement for Real-World Robotic Deployments

यह शोध पत्र Acc-CBF-QP को प्रस्तुत करता है, जो एक त्वरण-आधारित क्वाड्रेटिक प्रोग्राम (Quadratic Program) सुरक्षा फ़िल्टर है जो प्रशिक्षण में बदलाव किए बिना वास्तविक दुनिया के रोबोटिक परिनियोजन में सुदृढीकरण शिक्षण (reinforcement learning) नीतियों पर जॉइंट पोजीशन, वेलोसिटी, टॉर्क और टकराव संबंधी बाधाओं को लागू करता है, जिससे Unitree H1 और Kinova Gen3 जैसे हार्डवेयर पर कार्य प्रदर्शन को बनाए रखते हुए सुरक्षा उल्लंघनों को महत्वपूर्ण रूप से कम किया जाता है।

मूल लेखक: Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

प्रकाशित 2026-07-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसी दुनिया की कल्पना करें जहाँ रोबोट कठोर नियमों के साथ प्रोग्राम किए जाने के बजाय, एक छोटे बच्चे के चलने सीखने की तरह, 'परीक्षण और त्रुटि' (trial and error) के खेल के माध्यम से चलना सीखते हैं। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) का क्षेत्र है। इस डिजिटल खेल के मैदान में, एक रोबोट लाखों क्रियाएं आज़माता है, सफलता के लिए "पॉइंट्स" प्राप्त करता है और विफलता के लिए "जुर्माना" झेलता है, और अंततः अविश्वसनीय चपलता के साथ दौड़ने, कूदने या वस्तुओं को पकड़ने का तरीका सीख जाता है। हालाँकि, इसमें एक पेंच है: जबकि ये AI मस्तिष्क नए करतब सीखने में बहुत कुशल हैं, वे अपनी सीमाओं को जानने में बहुत खराब हैं। यदि आप किसी सीखने वाले रोबोट को बहुत तेज़ दौड़ने या बहुत दूर तक पहुँचने के लिए कहते हैं, तो वह अपना हाथ मरोड़ सकता है या दीवार से टकरा सकता है क्योंकि उसने अभी तक परिणामों से डरना नहीं सीखा है।

इन रोबोटों को सुरक्षित रखने के लिए, इंजीनियर अक्सर कंट्रोल बैरियर फंक्शन्स (Control Barrier Functions - CBFs) का उपयोग करते हैं। इन्हें एक अदृश्य, अटूट बल क्षेत्र (force field) या एक "गार्जियन एंजल" एल्गोरिदम के रूप में समझें जो लगातार यह जाँचता रहता है कि क्या रोबोट कुछ खतरनाक करने वाला है। यदि रोबोट एक रेखा पार करने की कोशिश करता है, तो गार्जियन हस्तक्षेप करता है और उसे धीरे से (या बिना किसी नरमी के) वापस सुरक्षा की ओर धकेलता है। सबसे बड़ी चुनौती हमेशा सीखने वाले रोबोट की जंगली रचनात्मकता और सुरक्षा गार्जियन के सख्त नियमों को इस तरह जोड़ने की रही है जिससे रोबोट की गति धीमी न हो या उसका मस्तिष्क खराब न हो जाए।

यह शोध पत्र एक चतुर समाधान पेश करता है जिसे Acc-CBF-QP कहा जाता है, जो रोबोटिक लर्निंग के लिए एक वास्तविक समय के रेफरी (referee) के रूप में कार्य करता है। शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो रोबोट के "मस्तिष्क" (RL पॉलिसी) और उसके "मांसपेशियों" (मोटर्स) के बीच स्थित है। जब रोबोट का मस्तिष्क एक ऐसा कमांड भेजता है जो नियम तोड़ने जैसा दिखता है—जैसे कि किसी जोड़ (joint) को बहुत तेज़ी से घुमाना या दीवार से टकराना—तो यह सुरक्षा फ़िल्टर तुरंत उस कमांड की पुनर्गणना करता है। यह रोबोट को रोकता नहीं है; इसके बजाय, यह सबसे करीबी संभव सुरक्षित गति खोजता है जो अभी भी वैसा ही दिखता है जैसा कि रोबोट करना चाहता था।

टीम ने दो बहुत अलग रोबोटों पर इसका परीक्षण किया: एक 7-भुजाओं वाला मैकेनिकल आर्म (Kinova Gen3) और एक 19-जोड़ों वाला ह्यूमनाइड रोबोट (Unitree H1)। उन्होंने पाया कि इस फ़िल्टर के बिना, रोबोट लगातार सुरक्षा नियमों को तोड़ रहे थे। वास्तविक ह्यूमनाइड रोबोट पर, अनफ़िल्टर्ड AI ने हर सेकंड लगभग 10 बार सुरक्षा उल्लंघन किए। लेकिन जब उन्होंने Acc-CBF-QP फ़िल्टर जोड़ा, तो वे उल्लंघन 92% कम होकर प्रति सेकंड एक से भी कम रह गए। मैकेनिकल आर्म पर, यह फ़िल्टर इतना प्रभावी था कि इसने सभी उल्लंघनों को पूरी तरह से समाप्त कर दिया।

महत्वपूर्ण रूप से, शोधकर्ताओं ने पाया कि इस सुरक्षा जाल ने रोबोटों को अनाड़ी नहीं बनाया। जब रोबोट अपने सामान्य कार्यों को बिना किसी खतरे के क्षेत्र में टकराए कर रहे थे, तो फ़िल्टर ने उन्हें बिल्कुल वैसे ही चलने दिया जैसा कि AI चाहता था, बिना किसी प्रदर्शन हानि के। यहाँ तक कि जब रोबोटों को आक्रामक गति कमांड के साथ उनकी सीमाओं तक धकेला गया, तब भी फ़िल्टर ने उन्हें टकराने या बंद होने से बचाया, जिससे वे अपने दम पर रहने की तुलना में बहुत अधिक समय तक जीवित रह सके। शोध पत्र सुझाव देता है कि यह विधि तब भी काम करती है जब रोबोट का अपने शरीर का आंतरिक मानचित्र (map) सटीक नहीं होता, क्योंकि इसमें एक विशेष "डिस्टर्बेंस ऑब्जर्वर" (disturbance observer) है जो यह अनुमान लगाता है कि बाहरी बल रोबोट को कैसे धकेल रहे हैं।

लेखकों ने फ़िल्टर द्वारा रोबोट के कमांड की व्याख्या करने के दो अलग-अलग तरीकों की भी तुलना की: एक जो ठीक उसी बल (टॉर्क) से मेल खाने पर केंद्रित था जिसे रोबोट उपयोग करना चाहता था, और दूसरा जो गति (त्वरण/acceleration) के सटीक मिलान पर केंद्रित था। उन्होंने पाया कि "फोर्स-मैचिंग" (बल-मिलान) संस्करण अधिक मजबूत था जब रोबोट का भौतिक मॉडल थोड़ा गलत था, जबकि "स्पीड-मैचिंग" (गति-मिलान) संस्करण थोड़ा बेहतर था जब मॉडल एकदम सटीक था। हालाँकि, वास्तविक दुनिया में, जहाँ मॉडल कभी भी पूर्ण नहीं होते, फोर्स-मैचिंग दृष्टिकोण अधिक विश्वसनीय साबित हुआ।

संक्षेप में, यह शोध पत्र यह दावा नहीं करता है कि इसने रोबोटिक्स की सभी सुरक्षा समस्याओं को हल कर दिया है, न ही यह कहता है कि शुरुआत से ही रोबोट को सुरक्षित बनाना एक बुरा विचार है। इसके बजाय, यह एक व्यावहारिक, प्लग-एंड-प्ले टूल प्रदान करता है जिसे किसी भी मौजूदा रोबोट AI के चारों ओर लपेटा जा सकता है, जिससे इसे बिना AI को फिर से प्रशिक्षित किए वास्तविक हार्डवेयर पर तैनात करना सुरक्षित हो जाता है। यह सीखने वाले रोबोटों की जंगली, लचीली दुनिया और भौतिक दुनिया की सख्त, निर्दयी वास्तविकता के बीच के अंतर को पाटता है, और यह सिद्ध करता है कि आप उच्च प्रदर्शन और सख्त सुरक्षा दोनों एक साथ प्राप्त कर सकते हैं।

तकनीकी सारांश: त्वरण-आधारित CBF-QP के माध्यम से RL नीतियों का सुरक्षित निष्पादन

समस्या विवरण

सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ने चपल लोकोमोशन (agile locomotion) और कुशल हेरफेर (dexterous manipulation) जैसे जटिल रोबोटिक नियंत्रण कार्यों को हल करने के लिए महत्वपूर्ण क्षमता प्रदर्शित की है। हालाँकि, भौतिक हार्डवेयर पर RL नीतियों की तैनाती सुरक्षा गारंटी की कमी के कारण गंभीर रूप से सीमित है। जबकि Safe RL विधियाँ मौजूद हैं जो प्रशिक्षण के दौरान बाधाओं (constraints) को एम्बेड करती हैं (जैसे, Constrained Markov Decision Processes या Control Barrier Functions के माध्यम से), वे अक्सर सांख्यिकीय गारंटी पर निर्भर करती हैं जो वितरण संबंधी बदलावों (distributional shifts) के तहत कम हो जाती हैं। इसके अतिरिक्त, प्रशिक्षण के दौरान सख्त सुरक्षा बाधाएं अत्यधिक रूढ़िवादी हो सकती हैं, जिससे अन्वेषण (exploration) बाधित होता है और अभिसरण (convergence) धीमा हो जाता है। महत्वपूर्ण रूप से, मौजूदा विधियाँ वास्तविक दुनिया में तैनाती के दौरान सामना किए जाने वाले आउट-ऑफ-डिस्ट्रीब्यूशन (OoD) अवस्थाओं के लिए निरंतर बाधा संतुष्टि सुनिश्चित करने में विफल रहती हैं, जिससे हार्डवेयर को नुकसान या सिस्टम शटडाउन हो सकता है।

मूल चुनौती यह है कि कैसे पूर्व-प्रशिक्षित RL नीतियों पर बिना पुन: प्रशिक्षण या स्वयं सीखी गई नीति को संशोधित किए, रनटाइम पर स्पष्ट सुरक्षा बाधाओं (जोड़ स्थिति, वेग, टॉर्क और टकराव सीमा) को लागू किया जाए।

कार्यप्रणाली: Acc-CBF-QP

लेखक Acc-CBF-QP प्रस्तावित करते हैं, जो एक त्वरण-आधारित क्वाड्रेटिक प्रोग्राम (QP) सुरक्षा फ़िल्टर है जो किसी भी पूर्व-प्रशिक्षित RL नीति के चारों حول एक पोस्ट-प्रोसेसिंग लेयर के रूप में कार्य करता है। यह ढांचा RL कमांड को वास्तविक समय में फ़िल्टर करके यह सुनिश्चित करता है कि वह Control Barrier Functions (CBFs) द्वारा परिभाषित एक सुरक्षित सेट का पालन करे।

मुख्य घटक

त्वरण-आधारित QP सूत्रीकरण (Acceleration-Based QP Formulation):
नियंत्रण समस्या को एक QP के रूप में तैयार किया गया है जहाँ निर्णय चर सामान्यीकृत त्वरण ( $\ddot{q}$ ) हैं। यह गतिशील (dynamic) और गतिक (kinematic) बाधाओं को एक साथ संतुष्ट करने की अनुमति देता है, जो अक्सर द्वितीय-क्रम (second-order) की प्रकृति के होते हैं। QP रैखिककृत बाधाओं के अधीन कार्य त्रुटियों के भारित योग को न्यूनतम करता है:
$\ddot{q}^* = \arg\min_{\ddot{q}} \sum_k \|W_k(A_k \ddot{q} - b_k)\|^2 \quad \text{s.t.} \quad A_c \ddot{q} \leq b_c$
बाधा प्रवर्तन (CBFs):
सुरक्षा को एक बंद सेट $\mathcal{C}$ की फॉरवर्ड इनवेरियंस (forward invariance) के रूप में परिभाषित किया गया है। लेखक निम्नलिखित के लिए बाधाएं तैयार करते हैं:

टॉर्क सीमाएँ (Torque Limits): इन्हें इनवर्स डायनेमिक्स के माध्यम से लागू किया जाता है।
जोड़ वेग और स्थिति सीमाएँ (Joint Velocity and Position Limits): इन्हें वेग (सापेक्ष डिग्री 1) के लिए मानक CBFs और स्थिति (सापेक्ष डिग्री 2) के लिए एक्सपोनेंशियल CBFs (ECFCs) का उपयोग करके लागू किया जाता है।
स्व-टकराव बचाव (Self-Collision Avoidance): इसे निगरानी किए जाने वाले बॉडी पेयर्स के बीच की दूरी पर ECBFs का उपयोग करके लागू किया जाता है।

RL एकीकरण और कार्य सूत्रीकरण (RL Integration and Task Formulations):
चूंकि RL नीतियां आमतौर पर ऐसे एक्शन आउटपुट करती हैं जिन्हें वांछित जॉइंट विस्थापन के रूप में व्याख्या किया जाता है (जो निम्न-स्तरीय PD कंट्रोलर के माध्यम से टॉर्क में परिवर्तित होते हैं), इसलिए QP को प्रभावी RL टॉर्क कमांड से विचलन को न्यूनतम करना चाहिए। पेपर में इसे प्राप्त करने के लिए दो विशिष्ट कार्य सूत्रीकरण पेश किए गए हैं:

TorqueTask: यह QP-गणनाबद्ध टॉर्क और वांछित RL टॉर्क ( $\tau_{RL}$ ) के बीच विचलन को न्यूनतम करता है। यह मॉडलिंग त्रुटियों के प्रति मजबूत है क्योंकि यह इनवर्स डायनेमिक्स पर निर्भर करता है।
Forward Dynamics Task (FDTask): यह वांछित टॉर्क के माध्यम से निहित त्वरण और QP-गणनाबद्ध त्वरण के बीच विचलन को न्यूनतम करता है। यह मॉडल की अशुद्धियों के प्रति अधिक संवेदनशील है लेकिन यदि मॉडल पूर्ण है तो सैद्धांतिक रूप से त्वरण विचलन को न्यूनतम करता है।

मजबूती और विक्षोभ अनुमान (Robustness and Disturbance Estimation):
मॉडलिंग त्रुटियों और बाहरी विक्षोभों (disturbances) को संभालने के लिए (जो फ्लोटिंग-बेस रोबोट के लिए महत्वपूर्ण हैं), सिस्टम बाहरी टॉर्क ( $\hat{\tau}_{ext}$ ) का अनुमान लगाने के लिए एक जनरलाइज्ड मोमेंटम ऑब्जर्वर (GMO) का उपयोग करता है। इस अनुमान का उपयोग अनमॉडल डायनेमिक्स की भरपाई करने के लिए इनवर्स डायनेमिक्स गणना में किया जाता है। लेखक एक मजबूती विश्लेषण प्रदान करते हैं जो दिखाते हैं कि सीमित विक्षोभों के तहत, सिस्टम इनपुट-टू-स्टेट सुरक्षा बनाए रखता है, जिससे प्रक्षेपवक्र (trajectories) सुरक्षित सेट के एक पड़ोस के भीतर रहते हैं।
असंभाव्यता को संभालना (Handling Infeasibility):
उन मामलों में जहाँ QP असाध्य (infeasible) हो जाता है (जैसे, परस्पर विरोधी बाधाओं या गंभीर गड़बड़ी के कारण), सिस्टम फॉलबैक तंत्र का उपयोग करता है: डैम्पिंग मोड में स्विच करना या टॉर्क-सैचुरेटेड RL कमांड पर वापस जाना।

प्रमुख योगदान

ओपन-सोर्स फ्रेमवर्क: लेखक एक ओपन-सोर्स पाइपलाइन (Acc-CBF-QP) जारी करते हैं जो CBF बाधाओं के साथ त्वरण-आधारित QP के माध्यम से रोबोटिक्स RL नीतियों पर सुरक्षा लागू करती है।
दोहरे कार्य सूत्रीकरण: TorqueTask और FDTask का परिचय टोरक-परफॉरमेंस ट्रेड-ऑफ पर मौलिक नियंत्रण प्रदान करता है, जिससे उपयोगकर्ताओं को अनुप्रयोग और मॉडल की शुद्धता के आधार पर टॉर्क विचलन या त्वरण विचलन को न्यूनतम करने के बीच चयन करने की अनुमति मिलती है।
स्टेट एस्टीमेशन का एकीकरण: फ्रेमवर्क बाहरी बलों को रिकवर करने के लिए स्टेट एस्टीमेशन और डिस्टर्बेंस ऑब्जर्वर्स को एकीकृत करता है, जो टॉर्क-नियंत्रित और फ्लोटिंग-बेस सिस्टम पर सुसंगत CBF प्रवर्तन के लिए आवश्यक है।
पुन: प्रशिक्षण के बिना रनटाइम सुरक्षा: यह विधि एक मॉड्यूलर इंटरफेस के रूप में कार्य करती है जो किसी भी आर्बिट्रेरी RL पॉलिसी को रैप करती है, बिना किसी अतिरिक्त नीति पुन: प्रशिक्षण या प्रशिक्षण प्रक्रिया में संशोधन के रनटाइम पर बाधाओं को लागू करती है।

प्रयोगात्मक परिणाम

इस फ्रेमवर्क को दो अलग-अलग प्लेटफॉर्म पर मान्य किया गया: एक 7-DoF Kinova Gen3 मैनिपुलेटर और एक 19-DoF Unitree H1 ह्यूमनॉइड, सिमुलेशन और वास्तविक हार्डवेयर दोनों में।

Kinova Gen3 (मैनिपुलेटर):
- बिना सुरक्षा बाधाओं के प्रशिक्षित ऑफ-द-शेल्फ RL नीति का उपयोग करते हुए, Acc-CBF-QP ने सिमुलेशन और हार्डवेयर दोनों में बाधा उल्लंघनों (जोड़ स्थिति, वेग, टॉर्क और टकराव) को पूरी तरह से समाप्त कर दिया।
- नाममात्र कार्य प्रदर्शन (कार्टेशियन प्रक्षेपवक्र ट्रैकिंग) संरक्षित रहा, जिसमें विचलन RL नीति की अंतर्निहित पुनरावृत्ति (repeatability) के सांख्यिकीय रूप से अविभेद्य थे।
Unitree H1 (ह्यूमनॉइड):
- "Constraints as Terminations" (CaT) विधि के साथ प्रशिक्षित Safe-RL बेसलाइन के मुकाबले।
- उल्लंघन में कमी: वास्तविक हार्डवेयर पर, अकेले Safe-RL नीति ने 10.04 उल्लंघन/सेकंड दिए। Acc-CBF-QP के साथ जोड़ने पर उल्लंघनों में 92% की कमी आई और यह घटकर 0.80 उल्लंघन/सेकंड (TorqueTask) रह गया।
- उत्तरजीविता समय (Survival Time): आक्रामक वेग कमांड के तहत, Acc-CBF-QP ने बाधा-प्रेरित शटडाउन को रोका, जिससे बेसलाइन की तुलना में लंबे उत्तरजीविता समय का परिणाम मिला।
- मजबूती: ऊबड़-खाबड़ इलाके पर, QP लेयर ने विफलता मोड को "बाधा उल्लंघन" (जैसे, जोड़ सीमा) से बदलकर "भौतिक रूप से संभावित गिरावट" (physically plausible falls) में बदल दिया, बिना बेसलाइन की तुलना में उत्तरजीविता अवधि में सांख्यिकीय रूप से महत्वपूर्ण गिरावट के।
- कार्य सूत्रीकरण तुलना: TorqueTask ने हार्डवेयर पर मॉडलिंग त्रुटियों के प्रति अधिक मजबूती दिखाई, जबकि FDTask ने सिमुलेशन में थोड़ा बेहतर त्वरण ट्रैकिंग दिखाया।

महत्व और दावे

पेपर का दावा है कि Acc-CBF-QP सीखे गए रोबोटिक व्यवहारों के विश्वसनीय वास्तविक दुनिया के परिनियोजन की ओर एक व्यावहारिक कदम है। इसका प्राथमिक महत्व RL की लचीलेपन और भौतिक प्रणालियों की सख्त सुरक्षा आवश्यकताओं के बीच के अंतर को पाटने में निहित है।

मॉड्यूलरिटी: यह सीखे गए नियंत्रण और त्वरण-स्तर के सुरक्षा फिल्टर के बीच एक मॉड्यूलर इंटरफेस प्रदान करता है, जिससे तैनाती के दौरान सुरक्षा बाधाओं के गतिशील संशोधन की अनुमति मिलती है बिना पुन: प्रशिक्षण के।
सुरक्षा बनाम प्रदर्शन: प्रयोगों से पता चलता है कि जब बाधाएं सक्रिय नहीं होती हैं, तो सुरक्षा प्रवर्तन को बिना किसी मापने योग्य गिरावट के नाममात्र कार्य प्रदर्शन के साथ प्राप्त किया जा सकता है।
वास्तविक दुनिया की प्रयोज्यता: एक जटिल, फ्लोटिंग-बेस ह्यूमनॉइड (Unitree H1) पर सफलतापूर्वक तैनात करके, यह कार्य मान्य करता है कि अनुकूलन-आधारित सुरक्षा परतें वास्तविक हार्डवेयर पर OoD अवस्थाओं और मॉडल की अशुद्धियों से जुड़े जोखिमों को प्रभावी ढंग से कम कर सकती हैं।

लेखक अपनी सीमाओं के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि फ्रेमवर्क वर्तमान में क्लोज्ड-लूप प्रोजेक्टेड सिस्टम के लिए औपचारिक स्थिरता गारंटी के बजाय व्यावहारिक रूप से QP असंभाव्यता (infeasibility) को संभालता है, और अन्य Safe-RL प्रशिक्षण विधियों के साथ व्यापक तुलना भविष्य के कार्य के लिए छोड़ी गई है।