💻 computer science

PPO-EAL: Exact Augmented Lagrangian Proximal Policy Optimization for Safe Robotic Control

यह शोध पत्र PPO-EAL को प्रस्तुत करता है, जो एक नवीन सुरक्षित सुदृढीकरण शिक्षण (सेफ रीइन्फोर्समेंट लर्निंग) ढांचा है जो सैद्धांतिक रूप से पुष्ट, सटीक बाधा संतुष्टि और विविध रोबोटिक बेंचमार्क एवं ज़ीरो-शॉट सिम-टू-रियल परिनियोजन में उत्कृष्ट प्रदर्शन प्राप्त करने के लिए प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन में सटीक ऑगमेंटेड लैग्रेंजियन अनुकूलन को एकीकृत करता है।

मूल लेखक: Jiatao Ding, Songqun Gao, Andrea Del Prete, Matteo Saveriano

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiatao Ding, Songqun Gao, Andrea Del Prete, Matteo Saveriano

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक नाजुक कार्य करना सिखा रहे हैं, जैसे कि एक गियर को असेंबल करना। आप चाहते हैं कि रोबोट तेज़ और कुशल हो (अपने "इनाम" को अधिकतम करे), लेकिन आपको यह भी सुनिश्चित करना होगा कि वह कभी कुछ तोड़े नहीं या खुद को चोट न पहुँचाए (सुरक्षा बाधाओं का पालन करे)।

यह शोध पत्र एक नया शिक्षण तरीका पेश करता है जिसे PPO-EAL कहा जाता है। इसे एक स्मार्ट कोच की तरह समझें जो रोबोट की जीतने की इच्छा और खेल के सख्त नियमों के बीच संतुलन बनाता है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "भागता हुआ छात्र" (The "Runaway Student")

पारंपरिक रोबकी शिक्षण विधियाँ एक ऐसे छात्र की तरह हैं जो 'A' ग्रेड पाने के लिए इतनी मेहनत करता है कि वह स्कूल के ड्रेस कोड को भी अनदेखा कर देता है और स्कूल से बाहर निकाल दिया जाता है। रोबोटिक्स में, मानक लर्निंग एल्गोरिदम अक्सर काम को तेज़ी से करने के लिए सुरक्षा सीमाओं (जैसे बहुत तेज़ी से चलना या ज़ोर से टकराना) को नज़रअंदाज़ कर देते हैं।

अन्य "सुरक्षित" विधियाँ इसे ठीक करने की कोशिश करती हैं, लेकिन वे एक सख्त माता-पिता की तरह होती हैं जो या तो बहुत अस्पष्ट होते हैं (रोबोट को कभी-कभी नियम तोड़ने देते हैं) या बहुत कठोर होते हैं (भारी दंड देते हैं जिससे रोबोट भ्रमित हो जाता है, जिससे वह जम जाता है या अजीब व्यवहार करने लगता है)।

2. समाधान: "परफेक्ट कोच" (PPO-EAL)

लेखकों ने PPO-EAL (प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन विद एग्जैक्ट ऑगमेंटेड लैग्रेंजियन) बनाया है। यहाँ इसके काम करने के तरीके का रूपक (metaphor) दिया गया है:

"क्लिप्ड" अपडेट (सुरक्षा जाल): कल्पना कीजिए कि रोबोट चलना सीख रहा है। यदि वह एक बहुत बड़ा कदम उठाता है, तो कोच उसे वह पूरा कदम उठाने नहीं देता; वे उसे एक सुरक्षित आकार तक "क्लिप" (सीमित) कर देते हैं। यह रोबोट को सीखने के दौरान जंगली या खतरनाक छलांग लगाने से रोकता है।
"एग्जैक्ट" पेनल्टी (परफेक्ट स्केल): अतीत में, कोचों को यह अनुमान लगाने के लिए संघर्ष करना पड़ता था कि रोबोट को नियम तोड़ने के लिए कितना दंड देना है। यदि दंड बहुत कम था, तो रोबोट ने उसे अनदेखा कर दिया। यदि बहुत अधिक था, तो रोबोट घबरा गया। PPO-EAL एक गणितीय ट्रिक का उपयोग करता है जिसे "एग्जैक्ट ऑगमेंटेड लैग्रेंजियन" कहा जाता है। इसे एक परफेक्टली कैलिब्रेटेड स्केल के रूप में समझें। यह स्वचालित रूप से दंड को समायोजित करता है ताकि रोबोट हमेशा ठीक से जान सके कि सीमा कहाँ है, बिना किसी अनुमान या भारी, डरावने दंड के।
"मोमेंटम" (शॉक एब्जॉर्बर): कभी-कभी, जब रोबोट को एहसास होता है कि वह नियम तोड़ने वाला है, तो वह घबरा जाता है और अत्यधिक सुधार करने की कोशिश करता है, जिससे वह अनियंत्रित रूप से झूलने लगता है। लेखकों ने एक "मोमेंटम" विशेषता जोड़ी है। कल्पना कीजिए कि यह कार के शॉक एब्जॉर्बर की तरह है। जब रोबोट अपने पथ को सुधारने की कोशिश करता है, तो शॉक एब्जॉर्बर उसकी गति को सुचारू बनाते हैं, जिससे उसका हिलना या झूलना (oscillating) रुक जाता है। यह रोबोट को स्थिर और सुरक्षित रखता है।

3. प्रमाण: क्या यह काम कर गया?

टीम ने ने चार बहुत अलग "बाधा कोर्स" पर इस नए कोच का परीक्षण किया:

पोल को संतुलित करना: एक चलती हुई गाड़ी पर एक डंडे को सीधा रखना।
डबल पेंडुलम: दो डंडों को एक के ऊपर एक संतुलित करना (जो बहुत कठिन है!)।
रोबोटिक आर्म: एक 7-जॉइंट वाले हाथ को एक विशिष्ट स्थान को छूने के लिए हिलाना।
क्वाड्रुपेड रोबोट: एक चार पैरों वाले रोबोट को बिना गिरे या उसके जोड़ों को नुकसान पहुँचाए चलना सिखाना।

परिणाम:
इन सभी परीक्षणों में, PPO-EAL अन्य शीर्ष विधियों से बेहतर था। इसने तेज़ी से सीखा, अधिक सुरक्षित रहा और उच्च स्कोर प्राप्त किया। इसने बिना रोबोट के प्रदर्शन को धीमा किए, नियमों का सटीक रूप से पालन किया।

4. वास्तविक दुनिया का परीक्षण: गियर असेंबली

अंत में, उन्होंने रोबोट को कंप्यूटर सिमुलेशन से बाहर निकाला और वास्तविक दुनिया में रखा। कार्य एक गियर को असेंबल करना है, जिसमें पुर्जों को बल के साथ जोड़ना शामिल है। यह खतरनाक है क्योंकि यदि रोबोट बहुत ज़ोर से धक्का देता है, तो यह गियर या रोबोट दोनों को नुकसान पहुँचा सकता है।

पुराना तरीका (स्टैंडर्ड PPO): रोबोट ने काम करने की कोशिश की लेकिन अक्सर गियरों से बहुत ज़ोर से टकरा गया, जिससे वह 70% बार विफल रहा।
नया तरीका (PPO-EAL): रोबोट ने कोमलता से काम करना सीखा। वह 80% समय सफल रहा।
"मोमेंटम" संस्करण (PPO-EAL-m): यह संस्करण और भी बेहतर था। इसने मानक रोबोट की तुलना में प्रभाव के बल को लगभग आधा कम कर दिया, जिससे असेंबली बहुत अधिक सुचारू और सुरक्षित हो गई, जबकि काम को तेज़ी से पूरा भी किया।

सारांश

यह शोध पत्र रोबोट को सिखाने का एक नया तरीका प्रस्तुत करता है जो सख्त नियम पालन को सुचारू, स्थिर शिक्षण के साथ जोड़ता है। दंड के लिए एक गणितीय "परफेक्ट स्केल" और स्थिरता के लिए "शॉक एब्जॉर्बर" का उपयोग करके, रोबोट कंप्यूटर सिमुलेशन से वास्तविक, भौतिक दुनिया में जाने के बाद भी अत्यधिक कुशल और अविश्वसनीय रूप से सुरक्षित बनना सीखता है।

तकनीकी सारांश: सुरक्षित रोबोटिक नियंत्रण के लिए PPO-EAL

समस्या विवरण

रोल लर्निंग (RL) ने हेरफेर (manipulation) से लेकर लोकोमोशन (locomotion) तक, जटिल रोबोटिक नियंत्रण कार्यों को हल करने में महत्वपूर्ण क्षमता प्रदर्शित की है। हालांकि, मानक RL दृष्टिकोण अक्सर नीति अपडेट (policy updates) के दौरान व्यवहार्यता बाधाओं (feasibility constraints) की उपेक्षा करते हैं, जिससे महत्वपूर्ण सुरक्षा आवश्यकताओं को पूरा करने में विफलता होती है। जबकि सेफ RL (Safe RL) स्पष्ट भौतिक बाधाओं का उपयोग करके कार्य प्रदर्शन को अधिकतम करने का लक्ष्य रखता है, मौजूदा एल्गोरिदम दो प्राथमिक चुनौतियों का सामना करते हैं:

दक्षता बनाम सटीकता: प्रथम-क्रम लैग्रेंजियन-आधारित विधियाँ (जैसे, PPO-Lagrangian) अक्सर नीति मापदंडों के सापेक्ष धीमे मल्टीप्लायर अपडेट से ग्रस्त होती हैं, जिससे लागत सीमाओं (cost boundaries) के आसपास दोलन (oscillations) या ओवरशूटिंग होती है।
संख्यात्मक अस्थिरता (Numerical Instability): दंड-आधारित (Penalty-based) विधियों को मूल बाधा समस्या के साथ समानता सुनिश्चित करने के लिए अव्यवहारिक रूप से बड़े या अनंत दंड कारकों की आवश्यकता होती है, जिसके परिणामस्वरूप अक्सर खराब-अनुकूलित (ill-conditioned) अनुकूलन और संख्यात्मक अस्थिरता होती है। बाधा-आधारित (Barrier-based) विधियाँ पूर्वाग्रह (bias) पेश करती हैं जो उप-इष्टतम समाधानों की ओर ले जा सकती हैं।

यह शोध पत्र एक प्रथम-क्रम बाधा नीति अनुकूलन ढांचे की आवश्यकता को संबोधित करता है जो सैद्धांतिक रूप से स्थापित बाधा प्रवर्तन प्राप्त करता है, जिसमें अनंत दंड कारकों की आवश्यकता नहीं होती या अस्थिर द्वैत-चर (dual-variable) गतिकी से समझौता नहीं करना पड़ता।

कार्यप्रणाली: PPO-EAL

लेखक PPO-EAL (प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन विद एक्ज़ैक्ट ऑगमेंटेड लैग्रेंजियन) प्रस्तावित करते हैं, जो एक नवीन ढांचा है जो PPO एल्गोरिदम में सटीक ऑगमेंटेड लैग्रेंजियन अनुकूलन को एकीकृत करता है।

मुख्य सूत्र (Core Formulation)

यह विधि बाधा समस्या को एक एक्ज़ैक्ट ऑगमेंटेड लैग्रेंजियन फलन ( $L_{EAL}$ ) का उपयोग करके सूत्रित करती है:
$L_{EAL}(\pi, \lambda) = J_R(\pi) - \sum_{i=1}^n \lambda_i \phi_i(\pi) - \frac{\beta}{2} \sum_{i=1}^n [\phi_i(\pi)]_+^2$
जहाँ:

$J_R(\pi)$ रिवॉर्ड ऑब्जेक्टिव है।
$\phi_i(\pi) = J_{C_i}(\pi) - b_i$ बाधा उल्लंघन (constraint violation) को दर्शाता है।
$\lambda_i$ द्वैत चर (dual variables/Lagrange multipliers) हैं।
$\beta$ द्विघाती दंड गुणांक (quadratic penalty coefficient) है।
$[\cdot]_+$ ReLU फलन को दर्शाता है।

पिछले दृष्टिकोणों के विपरीत, जिन्हें सटीक होने के लिए अनंत $\beta$ की आवश्यकता हो सकती है, PPO-EAL 'फाइनाइट-पेनल्टी एक्ज़ैक्टनेस थ्योरी' (Rockafellar augmented Lagrangian) पर निर्भर करता है, जो अव्यवहारिक रूप से बड़े दंड कारकों के बिना मूल बाधा समस्या के साथ गणितीय समानता सुनिश्चित करता है।

एल्गोरिदम घटक

क्लिप्ड सरोगेट ऑब्जेक्टिव (Clipped Surrogate Objective): मानक PPO का अनुसरण करते हुए, यह विधि रिवॉर्ड और कॉस्ट दोनों के लिए क्लिप्ड सरोगेट ऑब्जेक्टिव का उपयोग करती है ताकि महंगे ट्रस्ट-रीजन अनुकूलन से बचा जा सके और आक्रामक नीति अपडेट को रोका जा सके।
द्वैत-चर स्थिरता (मोमेंटम रेगुलेशन): प्रिमल-ड्यूल स्कीम्स में सामान्य दोलन संबंधी समस्याओं को संबोधित करने के लिए, लेखक लैग्रेंज मल्टीप्लायर्स के लिए मोमेंटम-रेगुलेटेड अपडेट पेश करते हैं। इसमें लागत परिवर्तन की दर पर आधारित एक डेरिवेटिव-टाइप करेक्शन टर्म शामिल है:
$\lambda'_i = \max \{0, \lambda_i + \alpha_\lambda \phi_i(\pi_\theta) + k_d (J_{C_i}(\pi_\theta) - J_{C_i}(\pi_\theta^{old}))\}$
यह एक डैम्पिंग घटक के रूप में कार्य करता है, जो बाधा संतुष्टि में क्षणिक दोलनों को कम करता है जबकि अभिसरण (convergence) गुणों को बनाए रखता है।
बहु-समय-पैमाना अपडेट (Multi-Time-Scale Updates): मानक स्टोकेस्टिक एप्रोक्सिमेशन धारणाओं के तहत अभिसरण सुनिश्चित करने के लिए नीति मापदंडों और लैग्रेंज मल्टीप्लायर्स को अलग-अलग समय पैमानों पर अपडेट किया जाता है।

सैद्धांतिक गारंटी

पेपर मानक रेगुलैरिटी धारणाओं के तहत कठोर विश्लेषण प्रदान करता है:

सटीकता (Exactness): थ्योरम 1 स्थापित करता है कि पर्याप्त बड़े परिमित दंड $\beta$ के लिए, ऑगमेंटेड लैग्रेंजियन का कोई भी स्टेशनरी पॉइंट मूल बाधा समस्या के KKT पॉइंट के अनुरूप होता है।
अभिसरण (Convergence): थ्योरम 2 सिद्ध करता है कि PPO-EAL द्वारा उत्पन्न इटरिट्स (iterates) की अनुक्रम सीमित प्रोजेक्टेड प्रिमल-ड्यूल गतिकी के आंतरिक चेन-ट्रांजिटिव इनवेरिएंट सेट में लगभग निश्चित रूप से (almost surely) अभिसरित होते हैं। यदि एप्रोक्सिमेशन बायस समाप्त हो जाता है, तो इटरिट्स KKT पॉइंट्स पर अभिसरित होते हैं।

प्रमुख योगदान

नवीन एल्गोरिदम: PPO-EAL का प्रस्ताव, जो लैग्रेंजियन द्वैतता को सटीक द्विघाती दंड के साथ एकीकृत करता है, जो अनंत दंड कारकों के बिना प्रमाणित सटीकता और अभिसरण प्राप्त करता है।
कार्यान्वयन और स्थिरता: एक डीप एक्टर-क्रिटिक आर्किटेक्चर के तहत एक सुरक्षित RL पाइपलाइन का कार्यान्वयन, जिसे द्वैत अपडेट में दोलनों को कम करने के लिए मोमेंटम-आधारित संशोधन द्वारा बढ़ाया गया है।
व्यापक सत्यापन: विविध, बढ़ते जटिलता वाले रोबोटिक बेंचमार्क (कार्ट-पोल, डबल पेंडुलम, 7-DoF फ्रैंका मैनिपुलेटर, और क्वाड्रुपेडल लोकोमोशन) और एक ज़ीरो-शॉट सिम-टू-रियल डिप्लॉयमेंट (कॉन्टैक्ट-रिच गियर असेंबली टास्क) में व्यापक मूल्यांकन।

प्रयोगात्मक परिणाम

लेखकों ने PPO-EAL का मूल्यांकन अत्याधुनिक प्रथम-क्रम सेफ RL बेसलाइन्स (PPO-Lagrangian, P3O, और APPO) और मानक PPO के विरुद्ध किया।

सिमुलेशन बेंचमार्क

सुरक्षा सटीकता (Safety Precision): PPO-EAL (और इसका मोमेंटम-रेगुलेटेड वेरिएंट, PPO-EAL-m) ने सभी कार्यों में सुरक्षा बाधाओं को लगातार पूरा किया। इसके विपरीत, मानक PPO और कुछ बेसलाइन्स ने बार-बार सुरक्षा थ्रेशोल्ड का उल्लंघन किया।
प्रदर्शन ट्रेड-ऑफ: PPO-EAL-m ने सटीक सुरक्षा अनुपालन बनाए रखते हुए उच्चतम कार्य रिवॉर्ड प्राप्त किया। उदाहरण के लिए, इनवर्टेड कार्ट-पोल कार्य में, इसने ~597.7 का रिवॉर्ड प्राप्त किया और ~0.99% का उल्लंघन दर दर्ज की, जो PPO-L से बेहतर था जिसका रिवॉर्ड कम था।
मजबूती (Robustness): संवेदनशीलता विश्लेषणों ने दिखाया कि PPO-EAL-m, गैर-मोमेंटम वेरिएंट की तुलना में रैंडम सीड्स और बदलते सुरक्षा थ्रेशोल्ड के प्रति अधिक मजबूत है, विशेष रूप से क्वाड्रुपेडल लोकोमोशन में टॉर्क बाधाओं को बनाए रखने में।
दंड कारक संवेदनशीलता: विधि मध्यम दंड कारकों ( $N \le 20$ ) के साथ प्रभावी रही, जबकि अत्यधिक बड़े कारक ( $N \ge 50$ ) एम्प्लीफाइड एस्टीमेशन नॉइज़ के कारण बाधा उल्लंघन का कारण बने।

वास्तविक दुनिया में तैनाती (Sim-to-Real)

इस पद्धति को एक भौतिक रोबोट पर कॉन्टैक्ट-रिच गियर असेंबली कार्य के लिए तैनात किया गया था, जो उच्च परिशुद्धता और संपर्क बलों (contact forces) को संभालने की आवश्यकता वाला परिदृश्य है।

सफलता दर: PPO-EAL ने हार्डवेयर परीक्षणों में 80% सफलता दर प्राप्त की, जबकि मानक PPO के लिए यह केवल 30% थी।
सुरक्षा मेट्रिक्स: PPO-EAL ने PPO की तुलना में पीक कॉन्टैक्ट फोर्स को लगभग 46% कम कर दिया (28.7 N बनाम 53.4 N)। मोमेंटम-रेगुलेटेड वेरिएंट (PPO-EAL-m) ने पीक फोर्स को 21.5 N और पीक टॉर्क तक और कम कर दिया।
सामान्यीकरण (Generalization): PPO-EAL ने नए टारगेट शाफ्ट पोजीशन और गियर मास के प्रति मजबूत सामान्यीकरण प्रदर्शित किया (लगभग 80% सफलता बनाए रखते हुए), जबकि मानक PPO अनदेखी कॉन्फ़िगरेशन में पूरी तरह विफल रहा (0% सफलता)।

महत्व और दावे

यह पेपर PPO-EAL को सुरक्षा-महत्वपूर्ण रोबोटिक प्रणालियों के लिए एक सामान्य और व्यावहारिक रूप से तैनात करने योग्य सेफ RL फ्रेमवर्क के रूप में प्रस्तुत करता है। लेखकों का दावा है कि क्लिप्ड पॉलिसी अपडेट के साथ सटीक द्विघाती दंड और स्थिर द्वैत-चर अपडेट को जोड़कर, यह विधि मौजूदा प्रथम-क्रम विधियों में व्याप्त सुरक्षा सटीकता और कार्य प्रदर्शन के बीच के ट्रेड-ऑफ को दूर करती है।

यह कार्य रेखांकित करता है कि PPO-EAL:

सैद्धांतिक रूप से स्थापित बाधा प्रवर्तन प्रदान करता है जिसके लिए अनंत दंड कारकों की आवश्यकता नहीं है।
सिमुलेशन और वास्तविक दुनिया के हार्डवेयर दोनों में अत्याधुनिक बेसलाइन्स की तुलना में बेहतर सुरक्षा सटीकता और रिवॉर्ड प्रदर्शन प्राप्त करता है।
जटिल, कॉन्टैक्ट-रिच कार्यों में ज़ीरो-शॉट सिम-टू-रियल ट्रांसफर को सक्षम बनाता है, जो उन प्रणालियों के लिए व्यावहारिक अनुप्रयोग प्रदर्शित करता है जहाँ सुरक्षा सर्वोपरि है।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान कार्यान्वयन फीडफॉरवर्ड आर्किटेक्चर और सॉफ्ट बाधाओं पर निर्भर करता है, यह ढांचा सुरक्षित रोबोटिक नियंत्रण के लिए एक मजबूत आधार स्थापित करता है, जिसमें भविष्य के कार्य संभावित रूप से समृद्ध टेम्पोरल रीजनिंग के लिए सेफ्टी शील्डिंग और रिकरेंट नेटवर्क को शामिल कर सकते हैं।