⚡ electrical engineering

Efficient Policy Optimization in Robust Constrained MDPs with Iteration Complexity Guarantees

यह शोध पत्र रोबस्ट कंस्ट्रेंड मार्कोव डिसीजन प्रोसेस (RCMDPs) के लिए एक नवीन पॉलिसी ऑप्टिमाइज़ेशन एल्गोरिदम प्रस्तावित करता है जो बाइनरी सर्च की आवश्यकता को समाप्त करता है और $O(\epsilon^{-2})$ इटरेशन्स में $\epsilon$ -सबऑप्टिमैलिटी और फिएसिबिलिटी प्राप्त करता है, जो मौजूदा विधियों की तुलना में महत्वपूर्ण कम्प्यूटेशनल स्पीडअप प्रदान करता है।

मूल लेखक: Sourav Ganguly, Kishan Panaganti, Arnob Ghosh, Adam Wierman

प्रकाशित 2026-02-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Sourav Ganguly, Kishan Panaganti, Arnob Ghosh, Adam Wierman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार को व्यस्त शहर में नेविगेट करना सिखा रहे हैं। आप इसे प्रशिक्षित करने के लिए एक हाई-टेक सिम्युलेटर का उपयोग करते हैं। इस आदर्श डिजिटल दुनिया में, कार यात्रियों को उनके गंतव्य तक पहुँचाने के लिए सबसे तेज़ रास्ते चुनना सीखती है (इनाम को अधिकतम करना) और साथ ही कभी भी फुटपाथ या पैदल यात्री से नहीं टकराती (बाधाओं/कन्स्ट्रेंट्स को पूरा करना)।

लेकिन एक समस्या है: सिम्युलेटर एक झूठ बोलने वाला है।

वास्तविक दुनिया में, फुटपाथ सिम्युलेटर की तुलना में अधिक फिसलन भरा है, हवा अधिक तेज चलती है, और सेंसर हमेशा 100% सटीक नहीं होते हैं। यदि आप कार को केवल "परफेक्ट" सिम्युलेटर में प्रशिक्षित करते हैं, तो जैसे ही वह वास्तविक सड़क पर पहुँचती है, वह सिम्युलेशन में किया गया एक "सुरक्षित" कदम वास्तविकता में एक "विनाशकारी" गलती बन सकता है।

यह शोध पत्र ठीक इसी समस्या को संबोधित करता है, जिसे शोधकर्ता रोबस्ट कंस्ट्रेंड मार्कोव डिसिजन प्रोसेस (RCMDP) कहते हैं।

मुख्य समस्या: "सेफ्टी गैप" (सुरक्षा अंतराल)

अधिकांश AI प्रशिक्षण दो नियमों का पालन करते हैं:

कुशल बनें: उच्चतम स्कोर/इनाम प्राप्त करें।
सुरक्षित रहें: नियमों को न तोड़ें (बाधाएं/कन्स्ट्रेंट्स)।

"रोबस्ट" (Robust) भाग का अर्थ है कि हम यह मान रहे हैं कि दुनिया सक्रिय रूप से हमें धोखा देने की कोशिश कर रही है। हम केवल एक ऐसी पॉलिसी नहीं चाहते जो सिम्युलेटर में काम करे; हम एक ऐसी पॉलिसी चाहते हैं जो तब भी काम करे जब वास्तविक दुनिया उस सिम्युलेटर का "सबसे खराब संस्करण" (worst-case version) हो।

लेखक बताते हैं कि वर्तमान तरीके एक ऐसे छात्र की तरह हैं जो "बाइनरी सर्च" रणनीति का उपयोग करके परीक्षा पास करने की कोशिश करता है—लगातार एक सुरक्षा सीमा का अनुमान लगाना, यह जांचना कि क्या वे पास हुए, और फिर से अनुमान लगाना। यह अविश्वसनीय रूप से धीमा और गणनात्मक रूप से महंगा है, खासकर जब "परीक्षा" (वातावरण) जटिल हो जाती है।

समाधान: "बैलेंस्ड स्केल" (संतुलित तराजू) दृष्टिकोण (RNPG)

शोधकर्ताओं ने RNPG (रोबस्ट नेचुरल पॉलिसी ग्रेडिएंट) नामक एक नया एल्गोरिदम प्रस्तावित किया है।

"अनुमान लगाने और जांचने" वाले तरीके के बजाय, कल्पना करें कि AI एक संतुलित तराजू पकड़े हुए है।

तराजू के एक तरफ है लक्ष्य (इनाम)।
दूसरी तरफ है सुरक्षा जाल (बाधाएं/कन्स्ट्रेंट्स)।

एल्गोरिदम एक चतुर गणितीय ट्रिक का उपयोग करता है: यह एक एकल, एकीकृत उद्देश्य बनाता है। यदि AI वर्तमान में किसी सुरक्षा नियम को तोड़ रहा है, तो "सुरक्षा जाल" वाला हिस्सा तराजू पर बहुत भारी हो जाता है, जिससे AI को इनाम की चिंता छोड़ कर पूरी तरह से सुरक्षा की ओर वापस आने पर ध्यान केंद्रित करने के लिए मजबूर किया जाता है। एक बार जब AI नियमों के भीतर सुरक्षित रूप से आ जाता है, तो "सुरक्षा जाल" हल्का हो जाता है, जिससे "लक्ष्य" वाला हिस्सा AI को उच्च पुरस्कारों की ओर खींचने की अनुमति देता है।

इस दृष्टिकोण की "जादुई" विशेषता:

कोई अनुमान नहीं: इसे सही सुरक्षा स्तर खोजने के लिए धीमे "बाइनरी सर्च" करने की आवश्यकता नहीं है। यह बस तराजू को स्वचालित रूप से संतुलित करता है।
गति: क्योंकि यह लगातार पुनर्गणना और अनुमान नहीं लगा रहा है, यह काफी तेज़ है—पिछले तरीकों की तुलना में कभी-कभी 4 से 6 गुना तेज़।
वास्तविक सुरक्षा: यह केवल "ज्यादातर सुरक्षित" होने का लक्ष्य नहीं रखता; यह गणितीय गारंटी प्रदान करता है कि पॉलिसी वास्तव में सुरक्षा सीमाओं का सम्मान करेगी।

यह क्यों महत्वपूर्ण है (वास्तविक दुनिया पर प्रभाव)

शोधकर्ताओं ने विभिन्न डिजिटल "दुनियाओं" पर इसका परीक्षण किया, जैसे कि बदलते शहर में कचरा इकट्ठा करने वाला एक रोबोट और एक "फ्रोजन लेक" (जमी हुई झील) जहाँ बर्फ फिसलन भरी हो सकती है।

प्रत्येक परीक्षण में, उनका तरीका AI का "गोल्डिलॉक्स" (Goldilocks) था:

यह बहुत लापरवाह नहीं था (पुराने तरीकों की तरह जो इनाम के पीछे भागते थे लेकिन दुर्घटनाग्रस्त हो जाते थे)।
यह बहुत डरपोक भी नहीं था (कुछ सुरक्षित तरीकों की तरह जो नियमों को तोड़ने से इतने डरे हुए थे कि वे वास्तव में चल भी नहीं पाते थे)।
यह बिल्कुल सही था: इसने सबसे तेज़, सबसे पुरस्कृत पथ खोजा जो सुरक्षा रेखाओं के भीतर सख्ती से बना रहा।

संक्षेप में: यह शोध पत्र AI को प्रशिक्षित करने का एक तेज़ और स्मार्ट तरीका प्रदान करता है ताकि जब यह "परफेक्ट" प्रयोगशाला छोड़कर हमारी अव्यवस्थपूर्ण, अप्रत्याशित वास्तविक दुनिया में प्रवेश करे, तो यह उत्पादक और सुरक्षित दोनों बनी रहे।

तकनीकी सारांश: इटरेशन कॉम्प्लेक्सिटी गारंटी के साथ रोबस्ट कंस्ट्रेंड MDPs में कुशल पॉलिसी ऑप्टिमाइज़ेशन

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रोबस्ट कंस्ट्रेंड मार्कोव डिसीजन प्रोसेस (RCMDP) को संबोधित करता है। वास्तविक दुनिया के अनुप्रयोगों (जैसे सेल्फ-ड्राइविंग कार) में, एजेंट अक्सर सिम्युलेटर (नोमिनल मॉडल्स) में प्रशिक्षित किए जाते हैं जो वास्तविक दुनिया की गतिशीलता (ट्रू मॉडल) को पूरी तरह से कैप्चर करने में विफल रहते हैं। जबकि मानक कंस्ट्रेंड MDPs (CMDPs) रिवॉर्ड को सुरक्षा बाधाओं (safety constraints) के अधीन अधिकतम करने का लक्ष्य रखते हैं, RCMDPs के लिए यह आवश्यक है कि एजेंट एक परिभाषित अनिश्चितता सेट (जैसे सिम्युलेटर के इर्द-गिर्द केंद्रित) के भीतर सबसे खराब स्थिति वाले स्टोकेस्टिक मॉडल (worst-case stochastic model) के तहत भी इन बाधाओं को पूरा करे।

लेखकों द्वारा पहचाने गए मुख्य चुनौतियाँ:

स्ट्रॉन्ग ड्युअलिटी का अभाव (Lack of Strong Duality): मानक CMDPs के विपरीत, RCMDPs अनिवार्य रूप से स्ट्रॉन्ग ड्युअलिटी को संतुष्ट नहीं करते हैं क्योंकि स्टेट ऑक्यूपेंसी मेजर अब कॉनवेक्स (convex) नहीं रह जाता है (सबसे खराब ट्रांजिशन मॉडल पॉलिसी पर निर्भर करता है)। यह मानक प्रिमल-ड्यूल लैग्रेंजियन विधियों को अप्रभावी बना देता है।
कंप्यूटेशनल अक्षमता (Computational Inefficiency): मौजूदा अत्याधुनिक विधियाँ (जैसे EPIRC-PGS) बाधा थ्रेशोल्ड पर बाइनरी सर्च (binary search) पर निर्भर करती हैं, जो कम्प्यूटेशनल रूप से महंगी है, विशेष रूप से जब डिस्काउंट फैक्टर ( $\gamma$ ) 1 के करीब पहुँचता है, और बड़े स्टेट स्पेस में शोर (noise) के प्रति संवेदनशील होती है।
जटिलता (Complexity): पिछली विधियाँ उच्च इटरेशन कॉम्प्लेक्सिटी ( $O(\epsilon^{-4})$ ) और प्रभावी होराइजन के साथ खराब स्केलिंग से ग्रस्त हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक नया ऑप्टिमाइज़ेशन फ्रेमवर्क और एक एल्गोरिदम प्रस्तावित करते हैं जिसे रोबस्ट नेचुरल पॉलिसी ग्रेडिएंट (RNPG) कहा जाता है।

A. पुनर्गठित उद्देश्य (Reformulated Objective):
मानक लैग्रेंजियन या एपिग्राफ दृष्टिकोण के बजाय, वे एक मिनिमैक्स (minimax) उद्देश्य प्रस्तावित करते हैं जो रिवॉर्ड ऑप्टिमाइज़ेशन और कंस्ट्रेंट संतुष्टि के बीच संतुलन बनाता है:
$\min_{\pi} \max \left\{ \frac{J^{\pi}_{c_0}}{\lambda}, \max_{n} [J^{\pi}_{c_n} - b_n] \right\}$

अंतर्ज्ञान (Intuition): यदि बाधाओं का उल्लंघन होता है, तो दूसरा पद प्रभावी हो जाता है, जो पॉलिसी को सुरक्षा को प्राथमिकता देने के लिए मजबूर करता है। एक बार बाधाएं संतुष्ट हो जाने के बाद, पहला पद ( $\lambda$ द्वारा स्केल किया गया) एजेंट को ऑब्जेक्टिव को मैक्सिमाइज करने की अनुमति देता है। यह फॉर्मूलेशन बाइनरी सर्च की आवश्यकता को समाप्त करता है।

B. RNPG एल्गोरिदम:
एल्गोरिदम KL-डाइवर्जेंस रेगुलाइजेशन के साथ नेचुरल पॉलिसी ग्रेडिएंट का उपयोग करता है। यह स्टैंडर्ड प्रोजेक्टेड ग्रेडिएंट डिसेंट ( $\ell_2$ रेगुलाइजेशन) की तुलना में स्मूथर पॉलिसी अपडेट और बेहतर कन्वर्जेंस सुनिश्चित करता है। अपडेट नियम मिरर डिसेंट (Mirror Descent) के माध्यम से प्राप्त किया जाता है, जो कुशल, स्टेट-वाइज अपडेट की अनुमति देता है।

C. रोबस्ट पॉलिसी इवैल्यूएटर (Robust Policy Evaluator):
"वर्स्ट-केस" आवश्यकता को संभालने के लिए, लेखक एक रोबस्ट इवैल्यूएटर तक पहुंच का अनुमान लगाते हैं। वे विशेष रूप से KL-डाइवर्जेंस-आधारित अनिश्चितता सेट (uncertainty sets) पर ध्यान केंद्रित करते हैं, जो रोबस्ट वैल्यू फंक्शन के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन की अनुमति देते हैं, जिससे केवल नोमिनल मॉडल से सैंपल लेकर गणना को सुलभ बनाया जा सकता है।

D. फंक्शन एप्रोक्सिमेशन तक विस्तार (Extension to Function Approximation):
लेखक निरंतर स्टेट स्पेस के लिए अपने फ्रेमवर्क को रोबस्ट कंस्ट्रेंड एक्टर-क्रिटिक (RCAC) का उपयोग करके विस्तारित करते हैं। वे अनिश्चितता सेट को परिभाषित करने के लिए इंटीग्रल प्रोबेबिलिटी मेट्रिक्स (IPM) का उपयोग करते हैं और न्यूरल नेटवर्क-आधारित वैल्यू एप्रोक्सिमेशन को संभालने के लिए रोबस्ट बेलमैन ऑपरेटर में एक रेगुलाइजेशन टर्म शामिल करते हैं।

3. प्रमुख योगदान (Key Contributions)

नया ऑप्टिमाइज़ेशन फॉर्मूलेशन: एक गैर-बाइनरी सर्च दृष्टिकोण वाला RCMDP जो नॉन-कॉनवेक्स सेटिंग्स में लैग्रेंजियन ड्युअल की कमियों से बचता है।
बेहतर इटरेशन कॉम्प्लेक्सिटी: वे सिद्ध करते हैं कि RNPG एक इटरेशन कॉम्प्लेक्सिटी $O(\epsilon^{-2})$ प्राप्त करता है (यह मानते हुए कि स्ट्रिक्ट फिजिबिलिटी $\xi$ ज्ञात है), जो पिछली विधियों की $O(\epsilon^{-4})$ कॉम्प्लेक्सिटी की तुलना में एक महत्वपूर्ण सुधार है।
फिजिबिलिटी गारंटी: पिछली कार्यप्रणाली के विपरीत, जो केवल $\epsilon$ -उल्लंघन की गारंटी देती है, यह विधि एक स्ट्रिक्टली फिजिबल (feasible) पॉलिसी खोजने का मार्ग प्रदान करती है।
स्केलेबिलिटी: एल्गोरिदम मौजूदा साहित्य की तुलना में स्टेट स्पेस ( $S$ ) और प्रभावी होराइजन ( $1/(1-\gamma)$ ) के साथ बहुत बेहतर निर्भरता दिखाता है।

4. प्रायोगिक परिणाम (Experimental Results)

लेखकों ने अपने एल्गोरिदम का कई बेंचमार्क पर परीक्षण किया: Garnet, Constrained River-swim (CRS), Modified Frozen-lake, और Garbage Collector।

EPIRC-PGS के विरुद्ध प्रदर्शन: RNPG ने सुरक्षा बनाए रखते हुए लगातार उच्च रिवॉर्ड प्राप्त किया। CRS वातावरण में, RNPG एकमात्र ऐसी विधि थी जिसने वास्तव में एक फिजिबल पॉलिसी बनाई।
वॉल-क्लॉक टाइम (Wall-clock Time): RNPG काफी तेज़ है। $\gamma = 0.995$ के लिए, RNPG ने EPIRC-PGS की तुलना में 3x से 6x की गति वृद्धि (speedup) प्राप्त की क्योंकि यह महंगे बाइनरी सर्च लूप से बचता है।
हाइपरपैरामीटर्स के प्रति मजबूती: एल्गोरिदम एक निश्चित $\lambda = 50$ के साथ अच्छा प्रदर्शन करता है, जो बताता है कि यह पिछले तरीकों की तुलना में मैनुअल ट्यूनिंग के प्रति कम संवेदनशील है।
फंक्शन एप्रोक्सिमेशन (Cartpole): निरंतर सेटिंग्स में, RCAC (रोबस्ट कंस्ट्रेंड एक्टर-क्रिटिक) ने स्टैंडर्ड कंस्ट्रेंड एक्टर-क्रिटिक (CAC) और रोबस्ट CRPO को पछाड़ दिया, और पर्यावरणीय गड़बड़ी की उपस्थिति में भी व्यवहार्यता (feasibility) हासिल की जहाँ अन्य विफल रहे।

5. महत्व (Significance)

यह पेपर सुरक्षित सुदृढीकरण शिक्षण (Reinforcement Learning) की एक महत्वपूर्ण समस्या: बाधाओं के तहत सिम-टू-रियल (Sim-to-Real) ट्रांसफर के लिए सैद्धांतिक रूप से ठोस और कम्प्यूटेशनल रूप से कुशल समाधान प्रदान करता है। एक तेज़ कन्वर्जेंस रेट प्रदान करके और बाइनरी सर्च की आवश्यकता को हटाकर, लेखक RCMDP सॉल्वर्स को वास्तविक दुनिया के रोबोटिक और स्वायत्त प्रणालियों में व्यावहारिक तैनाती के करीब ले जाते हैं जहाँ सुरक्षा गैर-परक्राम्य (non-negotiable) है और कंप्यूटेशनल संसाधन सीमित हो सकते हैं।