🤖 machine learning

Robust Peak-cost Constrained Reinforcement Learning

यह शोध पत्र पीक-कॉस्ट (peak-cost) द्वारा सीमित मार्कोव निर्णय प्रक्रियाओं (Markov decision processes) के लिए एक सुदृढ़ सुदृढीकरण शिक्षण (reinforcement learning) ढांचे को प्रस्तुत करता है जो इंटीग्रल प्रोबेबिलिटी मेट्रिक्स (integral probability metrics) के साथ एक सरोगेट अनुकूलन विधि विकसित करके शून्य द्वैत अंतराल (zero duality gap) की कमी और सिम्युलेटर-से-वास्तविक-दुनिया के बेमेल (simulator-to-real-world mismatches) को संबोधित करता है, जिससे डायनेमिक्स व्यवधानों के तहत सुरक्षा सुनिश्चित करते हुए मजबूत रिवॉर्ड प्रदर्शन बनाए रखा जाता है।

मूल लेखक: Shilpa Mukhopadhyay, Sourav Ganguly, Santosh Mohan Rajkumar, Honghao Wei, Debdipta Goswami, Arnob Ghosh

प्रकाशित 2026-07-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shilpa Mukhopadhyay, Sourav Ganguly, Santosh Mohan Rajkumar, Honghao Wei, Debdipta Goswami, Arnob Ghosh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को रस्सी पर चलने (tightrope walking) के लिए प्रशिक्षित कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) कहा जाता है। रोबोट चीज़ों को आज़माकर, गिरकर और फिर से उठकर सीखता है, और अंततः संतुलन बनाना समझ जाता है। आमतौर पर, हम रोबोट को बताते हैं, "बहुत अधिक बार मत गिरना, और जितनी जल्दी हो सके दूसरी ओर पहुँचने की कोशिश करना।" यह एक छात्र को बताने जैसा है, "साल भर में 10 से ज़्यादा 'F' ग्रेड मत लेना, लेकिन जितने हो सकें उतने 'A' ग्रेड पाने की कोशिश करना।"

हालाँकि, वास्तविक दुनिया में, कुछ गलतियाँ इतनी बड़ी होती हैं जिन्हें माफ नहीं किया जा सकता। यदि वह रोबोट एक नाजुक फूलदान लेकर चल रहा है, तो रस्सी से एक बार गिर जाना भी फूलदान को चकनाचूर कर सकता है, भले ही उसने पिछले 99 कदमों में बिल्कुल सही ढंग से चलना सीखा हो। मानक AI प्रशिक्षण अक्सर गलतियों की "औसत" या "कुल" लागत पर ध्यान देता है, जो किसी एक विनाशकारी चूक को छिपा सकता है। यह शोध पत्र एक विशिष्ट, उच्च-जोखिम वाले समस्या का समाधान करता है: हम एक AI को कैसे सिखाएं कि वह अपने पुरस्कारों को अधिकतम करे और साथ ही यह गारंटी भी दे कि उसके द्वारा की गई कोई भी एकल सबसे खराब गलती एक खतरनाक सीमा से नीचे रहे? इसके अलावा, लेखक चिंतित हैं कि रोबोट को एक आदर्श वीडियो गेम सिमुलेशन में प्रशिक्षित किया जा सकता है, लेकिन उसे एक अव्यवस्थित, हवादार वास्तविक दुनिया में तैनात किया जा सकता है। वे पूछते हैं: हम यह कैसे सुनिश्चित करें कि रोबोट केवल इसलिए क्रैश न हो जाए क्योंकि हवा सिमुलेटर के अनुमान से थोड़ी तेज़ चल रही थी?

लेखक, जो अमेरिका के विश्वविद्यालयों के शोधकर्ताओं की एक टीम है, "रॉबस्ट पीक-कॉस्ट कंस्ट्रेंड रीइन्फोर्समेंट लर्निंग" (Robust Peak-cost Constrained Reinforcement Learning) नामक एक क्षेत्र में गहराई से उतरते हैं। वे शुरुआत में पुराने सोचने के तरीके में एक दोष की ओर इशारा करते हैं। वर्षों से, वैज्ञानिक इन सुरक्षा पहेलियों को हल करने के लिए "लैग्रेंजियन मेथड्स" (Lagrangian methods) नामक एक गणितीय उपकरण का उपयोग करते रहे हैं। ये विधियाँ तब बहुत अच्छा काम करती हैं जब आपको समय के साथ होने वाले कुल नुकसान की चिंता होती है। लेकिन लेखकों ने कुछ आश्चर्यजनक खोजा: जब आप किसी भी एक क्षण में होने वाले अधिकतम नुकसान (पीक कॉस्ट) की परवाह करते हैं, तो पुराने गणितीय उपकरण विफल हो जाते हैं। उन्होंने सिद्ध किया कि मानक समस्याओं के विपरीत, इन "पीक कॉस्ट" समस्याओं में हमेशा एक सरल गणितीय शॉर्टकट (जिसे "जीरो डुअलिटी गैप" कहा जाता है) नहीं होता है जो यह गारंटी दे सके कि पुराने तरीके सबसे अच्छा उत्तर ढूंढ लेंगे। वास्तव में, उन्होंने दिखाया कि एक अत्यंत छोटे, सरल दो-अवस्था वाले संसार में भी, पुराने तरीके एक ऐसे समाधान पर अटक सकते हैं जो वास्तव में सबसे अच्छा नहीं है।

तो, उन्होंने इसके बजाय क्या किया? उन्होंने एक नया ढांचा बनाया, जिसे वे RP-CRL कहते हैं। इसे एक नए प्रशिक्षण नियम (training regimen) के रूप में सोचें। रोबोट को केवल "औसत रूप से अच्छा करने" के लिए कहने के बजाय, वे एक "सरोगेट" (surrogate) खेल तैयार करते हैं। इस खेल में, रोबोट को एक साथ दो लक्ष्यों को संतुलित करना होता है: उच्च स्कोर (पुरस्कार) प्राप्त करना और अपने उच्चतम एकल दोष (पीक कॉस्ट) को एक सख्त सीमा के भीतर रखना। लेखकों ने एक विशेष "ट्यूनिंग नॉब" (हाइपरपै參數) का उपयोग करके इन दो लक्ष्यों को संतुलित करने का एक चतुर तरीका डिज़ाइन किया है। यदि रोबोट सुरक्षा नियम तोड़ रहा है, तो प्रशिक्षण पूरी तरह से उस नियम को ठीक करने पर केंद्रित होता है। यदि रोबोट सुरक्षित है, तो प्रशिक्षण उच्च स्कोर प्राप्त करने पर केंद्रित होता है।

"सिम-टू-रियल" (sim-to-real) समस्या (प्रशिक्षण वीडियो गेम और वास्तविक दुनिया के बीच का अंतर) को संभालने के लिए, उन्होंने इसमें "मजबूती" (robustness) की एक परत जोड़ी। कल्पना कीजिए कि रस्सी पर चलने वाले को केवल एक शांत दिन पर प्रशिक्षित नहीं किया जा रहा है, बल्कि सिमुलेटर में यादृच्छिक रूप से हवा के झोंके जोड़े जा रहे हैं और रस्सी के घर्षण (friction) को बदला जा रहा है। रोबोट सबसे खराब स्थिति में जीवित रहने के लिए सीखता है। लेखकों ने यह अनुमान लगाने के लिए एक विधि विकसित की कि अनिश्चित परिस्थितियों में चीजें कितनी खराब हो सकती हैं और उस सबसे खराब स्थिति के लिए तैयार होने के लिए रोबोट की सीखने की प्रक्रिया को समायोजित किया।

उन्होंने अपने नए तरीके का परीक्षण कुछ अलग-अलग परिदृश्यों में किया। सबसे पहले, उन्होंने एक क्लासिक "कार्टपोल" (CartPole) गेम का उपयोग किया, जहाँ एक कार्ट को एक पोल को संतुलित करना होता है। उन्होंने प्रशिक्षण के दौरान गुरुत्वाकर्षण में रैंडम शोर जोड़कर वातावरण को कठिन बना दिया। जब उन्होंने बाद में उन रोबोटों का परीक्षण किया जिनमें गुरुत्वाकर्षण परिवर्तन और भी तेज़ थे, तो पुराने तरीके विफल हो गए—रोबोट गिर गए या सुरक्षा नियमों का उल्लंघन किया। लेकिन नया RP-CRL रोबोट? उसने अपना संतुलन बनाए रखा और सुरक्षित रहा, यहाँ तक कि जंगली गुरुत्वाकर्षण के साथ भी। उन्होंने इसे जटिल, वास्तविक रोबोट सिमुलेशन (जैसे कि एक चार पैरों वाला चींटी या एक तैरने वाला रोबोट) पर भी परखा और समान परिणाम पाए: नए तरीके ने "पीक कॉस्ट" (जैसे कि रोबोट द्वारा उपयोग किया गया अधिकतम बल) को सुरक्षा सीमा के भीतर सुरक्षित रखा, जबकि प्रदर्शन भी अच्छा रहा।

यह शोध पत्र यह दावा नहीं करता है कि उन्होंने ब्रह्मांड की हर सुरक्षा समस्या को हल कर लिया है। वे स्वीकार करते हैं कि यह सिद्ध करना कि उनका नया तरीका कितनी तेज़ी से सटीक उत्तर तक पहुँचता है, भविष्य के शोध का विषय है। हालाँकि, अपने सिमुलेशन के माध्यम से, उन्होंने दिखाया कि उनका दृष्टिकोण एक सुरक्षित सिमुलेशन और एक अराजक वास्तविक दुनिया के बीच के अंतर को प्रभावी ढंग से पाटता है। उन्होंने सिद्ध किया कि गणित के प्रति अपने दृष्टिकोण को बदलकर (पुराने लैग्रेंजियन शॉर्टकट को छोड़कर एक मजबूत सरोगेट को अपनाकर), हम ऐसे AI एजेंट बना सकते हैं जो न केवल औसत रूप से अच्छे हैं, बल्कि जब चीजें गलत होती हैं, तब भी विश्वसनीय रूप से सुरक्षित हैं।

तकनीकी सारांश: रोबस्ट पीक-कॉस्ट कंस्ट्रेंड रीइन्फोर्समेंट लर्निंग (Robust Peak-cost Constrained Reinforcement Learning)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र रोबस्ट पीक-कॉस्ट कंस्ट्रेंड रीइन्फोर्समेंट लर्निंग (RP-CRL) के विषय को संबोधित करता है, जो एक ऐसी समस्या सेटिंग है जहाँ एक एजेंट को अपेक्षित संचयी पुरस्कार (expected cumulative reward) को अधिकतम करना होता है, जबकि यह सुनिश्चित करना होता है कि किसी भी प्रक्षेपवक्र (trajectory) के दौरान सामना किया गया अधिकतम लागत (maximum cost) एक निर्दिष्ट सीमा से नीचे रहे। यह निरूपण उन सुरक्षा-महत्वपूर्ण अनुप्रयोगों से प्रेरित है जहाँ एक एकल विनाशकारी उल्लंघन अस्वीकार्य है, जिससे मानक कंस्ट्रेंड मार्कोव डिसीजन प्रोसेस (CMDP) फ्रेमवर्क—जो अपेक्षित संचयी लागत पर निर्भर करते हैं—अपर्याप्त हो जाते हैं।

लेखक दो महत्वपूर्ण चुनौतियों को औपचारिक रूप देते हैं:

पीक-कॉस्ट बाधाएं (Peak-Cost Constraints): मानक CMDPs के विपरीत, यहाँ बाधा प्रक्षेपवक्र-वार अधिकतम लागत पर निर्भर करती है न कि योगात्मक योग (additive sum) पर। यह स्टेट-एक्शन ऑक्यूपेंसी मेजर के संबंध में एक गैर-उत्तल (non-convex) अनुकूलन समस्या की ओर ले जाता है।
सिम-टू-रियल मिसमैच (Sim-to-Real Mismatch): सिमुलेशन में प्रशिक्षित नीतियां ट्रांजिशन डायनेमिक्स के बेमेल होने के कारण वास्तविक दुनिया में विफल हो सकती हैं। यह शोध पत्र एक ऐसी नीति की खोज करता है जो एक निर्धारित अनिश्चितता सेट (uncertainty set) के भीतर सबसे खराब स्थिति (worst-case) वाले ट्रांजिशन डायनेमिक्स के तहत पीक-कॉस्ट बाधा को पूरा करती है।

मुख्य अनुकूलन समस्या को इस प्रकार परिभाषित किया गया है:
$\min_{\pi} \max_{P \in \mathcal{P}} J^P_r(\pi) \quad \text{s.t.} \quad \max_{P \in \mathcal{P}} \max_{s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) \leq b$
जहाँ $V^{\pi,P}_{c,peak}$ रोबस्ट पीक-कॉस्ट वैल्यू फंक्शन को दर्शाता है, और $\mathcal{P}$ ट्रांजिशन मॉडल्स का अनिश्चितता सेट है।

2. मुख्य योगदान और सैद्धांतिक अंतर्दृष्टि

A. पीक-कॉस्ट MDPs में नॉन-जीरो डुअलिटी गैप (Non-Zero Duality Gap)

एक प्राथमिक सैद्धांतिक योगदान यह प्रदर्शन है कि, मानक CMDPs के विपरीत, पीक-कॉस्ट कंस्ट्रेंड MDPs में शून्य डुअलिटी गैप (zero duality gap) नहीं हो सकता, भले ही स्लेटर की स्थिति (Slater's condition) संतुष्ट हो।

तर्क: "हार्ड-मैक्स" बाधा स्टेट-एक्शन ऑक्यूपेंसी मेजर के संबंध में समस्या की उत्तलता (convexity) को नष्ट कर देती है।
निहितार्थ: मानक लैग्रेंजियन-आधारित प्राइमल-डुअल विधियाँ, जो इष्टतम समाधान प्राप्त करने के लिए स्ट्रॉन्ग डुअलिटी पर निर्भर करती हैं, पीक-कॉस्ट समस्याओं के लिए काम करने की गारंटी नहीं देती हैं। लेखक एक काउंटर-एग्जांपल (यहाँ तक कि दो-स्टेट MDP में भी) प्रदान करते हैं जो दिखाते हैं कि लैग्रेंजियन रिलैक्सेशन स्पष्ट रूप से ढीला (strictly loose) हो सकता है।

B. रोबस्ट सरोगेट ऑप्टिमाइजेशन फ्रेमवर्क (Robust Surrogate Optimization Framework)

डुअलिटी गैप की कमी को दूर करने और डायनेमिक्स अनिश्चितता को संबोधित करने के लिए, लेखक एक सरोगेट ऑप्टिमाइजेशन फ्रेमवर्क प्रस्तावित करते हैं।

सरोगेट ऑब्जेक्टिव: समस्या को सीधे हल करने के बजाय, वे एक सरोगेट ऑब्जेक्टिव को कम करते हैं जो सबसे खराब रिवॉर्ड और सबसे खराब बाधा उल्लंघन के बीच संतुलन बनाता है:
$\min_{\pi} \max \left\{ \frac{\max_{P} J^{\pi,P}_r}{\beta}, \left( \max_{P, s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) - b \right) \right\}$
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि उपयुक्त हाइपरपैरामीटर $\beta$ (विशेष रूप से $\beta \geq C_{max}/\epsilon$ ) के चयन के साथ, सरोगेट समस्या का इष्टतम समाधान मूल समस्या के समान रोबस्ट रिवॉर्ड मान प्राप्त करता है, जबकि वह बाधा का उल्लंघन केवल $\epsilon$ तक ही करता है।

C. IPM के माध्यम से रोबस्ट वैल्यू एस्टीमेशन

अनिश्चितता सेट $\mathcal{P}$ को कुशलतापूर्वक संभालने के लिए, शोध पत्र इंटीग्रल प्रोबेबिलिटी मेट्रिक्स (IPM) का उपयोग करता है।

निरंतर स्टेट स्पेस के लिए, अनिश्चितता सेट को एक नाममात्र मॉडल $P_0$ से IPM दूरी के माध्यम से परिभाषित किया जाता है।
यह लीनियर फंक्शन एप्रोक्सिमेशन के तहत रोबस्ट बेलमैन ऑपरेटर के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन की अनुमति देता है। विशेष रूप से, सबसे खराब स्थिति वाला वैल्यू फंक्शन अपडेट वैल्यू फंक्शन वेट्स के नॉर्म के समान एक रेगुलराइजेशन टर्म शामिल करता है:
$L_P V^{\pi}_{c,peak} = (1-\gamma)c(s,a) + \gamma V^{\pi}_{c,peak} + \rho \|w_{c, 2:d}\|_2$
यह फॉर्मूलेशन नॉन-रेक्टेंगुलर अनिश्चितता सेट्स की कम्प्यूटेशनल जटिलता से बचता है।

3. कार्यप्रणाली: RP-CRL एल्गोरिदम

प्रस्तावित एल्गोरिदम, RP-CRL, एक एक्टर-क्रिटिक फ्रेमवर्क है जिसे रोबस्ट पीक-कंस्ट्रेंड ऑप्टिमाइजेशन के लिए अनुकूलित किया गया है।

एक्टर (Actor): इसे PPO स्टाइल क्लिप्ड ऑब्जेक्टिव का उपयोग करके अपडेट किया जाता है। एक्टर अपडेट के लिए उपयोग किया जाने वाला एडवांटेज सिग्नल गतिशील रूप से (dynamically) चुना जाता है कि वर्तमान पॉलिसी व्यवहार्य (feasible) है या नहीं।
क्रिटिक (Critic): दो क्रिटिक बनाए रखे जाते हैं:
1. रिवॉर्ड क्रिटिक ( $V_r$ ): रोबस्ट अपेक्षित रिवॉर्ड का अनुमान लगाता है।
2. पीक-कॉस्ट क्रिटिक ( $V_{c,peak}$ ): एक max ऑपरेटर (जो स्मूथनेस के लिए Log-Sum-Exponential के माध्यम से अनुमानित है) वाले डिस्काउंटेड रिकर्सन का उपयोग करके रोबस्ट पीक कॉस्ट का अनुमान लगाता है।
रोबस्टिफिकेशन (Robustification): दोनों क्रिटिक अपने टेम्पोरल डिफरेंस (TD) एरर कैलकुलेशन में IPM-आधारित रोबस्टिफिकेशन टर्म ( $\rho \|\cdot\|$ रेगुलराइजेशन) को शामिल करते हैं।
ट्रेनिंग लूप: एल्गोरिदम रिवॉर्ड और कॉस्ट क्रिटिक्स को अपडेट करने के बीच बारी-बारी से काम करता है। एक सेलेक्टर फंक्शन यह निर्धारित करता है कि क्या बाधा उल्लंघन को कम करने को प्राथमिकता देनी है (यदि इनफीज़िबल है) या रिवॉर्ड को अधिकतम करने को (यदि फिज़िबल है), जो प्रभावी रूप से सरोगेट समस्या को हल करता है।

4. प्रयोगात्मक परिणाम

लेखक CartPole और MuJoCo एनवायरनमेंट्स (Ant, HalfCheetah, Humanoid, Swimmer) पर विचलित डायनेमिक्स (perturbed dynamics) के तहत RP-CRL का मूल्यांकन करते हैं।

बेसलाइन्स (Baselines): तुलना निम्नलिखित के विरुद्ध की गई है:
1. पीक-कॉस्ट बाधाओं के लिए अनुकूलित प्राइमल-डुअल (PD) विधि (पूर्व कार्य [5], [6] से)।
2. प्रस्तावित सरोगेट ऑब्जेक्टिव जो एक नॉन-पर्टर्बड (नाममात्र) एनवायरनमेंट में प्रशिक्षित है।
पर्टर्बेशन सेटअप: ट्रेनिंग में सिस्टम डायनेमिक्स (जैसे गुरुत्वाकर्षण $g$ या श्यानता/viscosity) में शोर (noise) इंजेक्ट करना शामिल है। इन्फरेंस का परीक्षण अधिक मजबूत पर्टर्बेशन के तहत किया जाता है।
मुख्य निष्कर्ष:
- कंस्ट्रेंट संतुष्टि: RP-CRL महत्वपूर्ण डायनेमिक्स पर्टर्बेशन के तहत भी बेसलाइन (अक्सर शून्य पीक कॉस्ट प्राप्त करना) के नीचे पीक कॉस्ट बनाए रखने में सफल रहता है। इसके विपरीत, नॉन-रोबस्ट सरोगेट और PD विधि इन्फरेंस के दौरान अक्सर बाधाओं का उल्लंघन करती है।
- रिवॉर्ड प्रदर्शन: RP-CRL, PD मेथड की तुलना में उच्च रिटर्न प्राप्त करता है, जो डुअलिटी की कमी के कारण सब-ऑप्टिमल नीतियां सीखता है।
- रोबस्टनेस: रोबस्ट फॉर्मूलेशन (सरोगेट + IPM) के साथ प्रशिक्षण से नाममात्र डायनेमिक्स पर प्रशिक्षण की तुलना में कम वेरिएंस और बेहतर जनरलाइजेशन के साथ स्मूथ लर्निंग कर्व्स मिलते हैं।
- जनरलाइजेबिलिटी: विधि विभिन्न कॉस्ट फंक्शन डेफिनिशन और पर्टर्बेशन ( $\sigma$ ) के विभिन्न स्तरों के तहत प्रभावी ढंग से कार्य करती है।

5. महत्व और दावे

शोध पत्र का दावा है कि RP-CRL निम्नलिखित तरीकों से सुरक्षा-महत्वपूर्ण RL के लिए एक आवश्यक प्रगति प्रदान करता है:

सैद्धांतिक धारणाओं को सुधारना: यह स्थापित करना कि पीक-कॉस्ट बाधाओं के लिए स्ट्रॉंग डुअलिटी नहीं होती है, जिससे इस विशिष्ट सुरक्षा उद्देश्य के लिए मानक लैग्रेंजियन विधियों के प्रत्यक्ष अनुप्रयोग को अमान्य किया जा सके।
सिम-टू-रियल गैप को पाटना: एक रोबस्ट ऑप्टिमाइजेशन फ्रेमवर्क प्रदान करना जो यह सुनिश्चित करता है कि जब तैनात वातावरण प्रशिक्षण सिम्युलेटर से भिन्न हो, तब भी सुरक्षा बाधाएं पूरी हों।
व्यावहारिक प्रभावकारिता: यह प्रदर्शित करना कि प्रस्तावित सरोगेट दृष्टिकोण, IPM-आधारित रोबस्ट वैल्यू एस्टीमेशन के साथ मिलकर, अनिश्चित वातावरणों में मजबूत रिवॉर्ड प्रदर्शन बनाए रखते हुए प्रभावी रूप से सुरक्षा लागू करता है।

लेखक नोट करते हैं कि हालांकि सरोगेट समाधान मूल समस्या का रोबस्ट रिवॉर्ड मान प्राप्त करता है, बड़े स्टेट स्पेस में प्रस्तावित एक्टर-क्रिटिक एल्गोरिदम के लिए कन्वर्जेंस गारंटी भविष्य के कार्य के लिए छोड़ी गई है।