🤖 machine learning

Utility-Constrained Policy Optimization

यह शोधपत्र यूटिलिटी-कंस्ट्रेंड एमडीपी (UCMDPs) के लिए एक व्यावहारिक कार्यप्रणाली प्रस्तुत करता है जो जोखिम-संवेदनशील बाधाओं और बिना किसी अतिरिक्त प्रशिक्षण लागत के बाधा सीमाओं के लचीले, पोस्ट-ट्रेनिंग समायोजन को सक्षम बनाता है, जबकि सेफ्टी जिमनासियम बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Mehrdad Moghimi, Bernardo Avila Pires

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mehrdad Moghimi, Bernardo Avila Pires

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। आपका लक्ष्य रोबोट को गंतव्य तक जितनी जल्दी हो सके पहुँचाना है (इनाम/रिवॉर्ड को अधिकतम करना)। हालाँकि, आपके पास एक सख्त नियम है: रोबोट न तो पेट्रोल खत्म कर सकता है और न ही चीजों से टकरा सकता है (लागत/कॉस्ट को न्यूनतम करना)।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे आमतौर पर CMDP (कन्स्ट्रेंड मार्कोव डिसीजन प्रोसेस) नामक सिस्टम द्वारा संभाला जाता है। इसे एक सख्त शिक्षक की तरह समझें जो कहता है, "औसतन, आप केवल 25 गैलन पेट्रोल का उपयोग कर सकते हैं।"

पुराने तरीके के साथ समस्या (रिस्क-न्यूट्रल)

पुराने तरीके में एक चालाकी भरा लूपहोल (खामी) है। क्योंकि यह केवल औसत की परवाह करता है, रोबोट एक अजीब रणनीति अपना सकता है:

99% समय, वह बहुत धीरे और सावधानी से चलता है, जिसमें लगभग कोई पेट्रोल खर्च नहीं होता।
1% समय, वह लापरवाही से गाड़ी चलाता है, दीवार से टकरा जाता है और 2,000 गैलन पेट्रोल खर्च कर देता है।

गणितीय रूप से, औसत अभी भी 25 गैलन से कम हो सकता है, इसलिए रोबोट टेस्ट पास कर लेता है। लेकिन वास्तव में, वह 1% वाला क्रैश एक आपदा है। इसे लेखक रिस्क-न्यूट्रल दृष्टिकोण कहते हैं: यह वितरण के "पूंछ" (tail) वाले हिस्से (दुर्लभ लेकिन विनाशकारी घटनाओं) को अनदेखा करता है।

नया समाधान: यूटिलिटी-कन्स्ट्रेंड पॉलिसीज़ (UCP)

लेखक एक नई विधि पेश करते हैं जिसे यूटिलिटी-कन्स्ट्रेंड पॉलिसीज़ (UCP) कहा जाता है। केवल औसत को देखने के बजाय, यह विधि जोखिम के आकार को देखती है। यह पूछती है, "सबसे खराब स्थिति कितनी बुरी है?"

उन्होंने इसे तीन चतुर तरीकों से हल किया है:

1. "बैकपैक" सादृश्य (स्टॉक ऑग्मेंटेशन)

कल्पना कीजिए कि रोबोट ने एक बैकपैक पहना हुआ है। हर बार जब वह एक कदम उठाता है, तो वह बैकपैक में थोड़ा सा "उपयोग किया गया पेट्रोल" जोड़ देता है।

पुराना तरीका: रोबोट केवल अपने वर्तमान स्थान को देखता है। उसे यह नहीं पता होता कि इस विशिष्ट यात्रा में उसने अब तक कितना पेट्रोल इस्तेमाल किया है।
नया तरीका (UCP): रोबोट अपने बैकपैक को देखता है। उसे पता है कि उसके पास वास्तव में कितना पेट्रोल बचा है।
लेखक इसे "स्टॉक ऑग्मेंटेशन" कहते हैं। रोबोट को उसके पिछले खर्चों की याद (बैकपैक) देकर, यह उसे स्मार्ट निर्णय लेने में सक्षम बनाता है। यदि बैकपैक भारी हो रहा है, तो रोबोट को पता चल जाता है कि उसे पेट्रोल खत्म होने से पहले धीमा हो जाना चाहिए, बजाय इसके कि वह औसत गणना के बताने का इंतज़ार करे कि वह मुसीबत में है।

2. "फ्लेक्सिबल बजट" का तरीका

आमतौर पर, जब आप एक रोबोट को प्रशिक्षित करते हैं, तो आपको एक विशिष्ट बजट चुनना पड़ता है (जैसे, "आपके पास 25 गैलन हैं") और उसे हफ्तों तक प्रशिक्षित करना पड़ता है। यदि आप बाद में बजट बदलकर 30 गैलन करना चाहते हैं, तो आपको पूरे रोबोट को फिर से प्रशिक्षित करना होगा।

UCP विधि एक रोबोट को गिरगिट (चैमेलियन) बनाने जैसा है।

प्रशिक्षण के दौरान, शोधकर्ताओं ने रोबोट को यादृच्छिक रूप से अलग-अलग बैकपैक साइज दिए (कुछ में 10 गैलन, कुछ में 30 गैलन)।
क्योंकि रोबोट ने अपने बैकपैक को देखना और उसके अनुसार अपनी ड्राइविंग शैली को तुरंत बदलना सीख लिया है, अब आप इसे बिना पुन: प्रशिक्षित किए कह सकते हैं, "ठीक है, आज तुम्हारे पास 25 गैलन हैं," या "आज तुम्हारे पास 15 हैं।"
रोबोट बस अपने बैकपैक को देखता है, सीमा देखता है, और उसी के अनुसार गाड़ी चलाता है।

3. "सेफ्टी नेट" (रिस्क-सेंसिटिव कंस्ट्रेंट्स)

केवल यह कहने के बजाय कि "औसतन 25 से अधिक न करें," नया तरीका कहता है, "25 से अधिक न करें, और यदि आप करते हैं, तो दंड बहुत अधिक होगा।"

परिणाम: रोबोट उन पागलपन भरे "1% क्रैश" वाले जोखिमों को लेना बंद कर देता है। यह थोड़ा अधिक रूढ़िवादी (कंजर्वेटिव) हो जाता है, लेकिन यह विनाशकारी विफलताओं को समाप्त कर देता है।
आश्चर्य: लेखकों ने पाया कि इन दुर्लभ जोखिमों के प्रति अधिक सावधान रहकर, रोबोट वास्तव में तेजी से चला और बेहतर स्कोर प्राप्त किया। यह पता चला कि "क्रैश" वाले परिदृश्यों से बचने ने रोबोट को सुरक्षित क्षेत्रों में अधिक कुशलता से गाड़ी चलाने के लिए मुक्त कर दिया।

उन्होंने क्या परीक्षण किया

उन्होंने ड्राइविंग और नेविगेशन के वीडियो गेम जैसे कार्यों (जिसे सेफ्टी जिमनासियम कहा जाता है) पर इसका परीक्षण किया।

प्रतियोगिता: उन्होंने अपने नए रोबोट (UCP) की तुलना सर्वश्रेष्ठ मौजूदा रोबोटों के साथ की।
परिणाम: नए रोबोट ने लगभग हर कार्य में दूसरों की बराबरी की या उन्हें पीछे छोड़ दिया।
दृश्य प्रमाण: उनके चार्ट में, आप देख सकते हैं कि पुराने रोबोटों में उच्च लागत की एक "लंबी पूंछ" (कभी-कभार होने वाले क्रैश) थी, जबकि नए रोबोट की लागत सुरक्षित सीमा के आसपास बहुत करीब केंद्रित थी।

सारांश

यह पेपर AI एजेंटों को सुरक्षित और स्मार्ट बनाना सिखाने का एक तरीका प्रस्तुत करता है।

उन्हें एक याददाश्त दें (बैकपैक/स्टॉक) ताकि वे अपनी वर्तमान स्थिति को जान सकें।
उन्हें कई अलग-अलग सीमाओं पर प्रशिक्षित करें ताकि वे बिना पुन: प्रशिक्षण के तुरंत अनुकूलित हो सकें।
दुर्लभ आपदाओं को दंडित करें ताकि वे सुरक्षा के साथ जुआ खेलना बंद कर दें।

परिणाम एक ऐसा AI है जो न केवल कागजों पर नियमों का पालन करता है (औसतन), बल्कि वास्तव में वास्तविक दुनिया में सुरक्षित व्यवहार करता है, उन दुर्लभ लेकिन खतरनाक "क्रैश" से बचता है।

तकनीकी सारांश: यूटिलिटी-प्रतिबंधित नीति अनुकूलन (Utility-Constrained Policy Optimization)

समस्या की परिभाषा

यह शोध पत्र सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में कंस्ट्रेंड मार्कोव डिसीजन प्रोसेस (CMDPs) की सीमाओं को संबोधित करता है। जबकि CMDPs सुरक्षा बाधाओं (safety constraints) को शामिल करने के लिए मानक ढांचा हैं, वे जोखिम-तटस्थ (risk-neutral) बाधाओं को लागू करते हैं, जिसका अर्थ है कि बाधाएं केवल अपेक्षा (expectation) के रूप में संतुष्ट होती हैं। यह जोखिम-तटस्थता ऐसी इष्टतम नीतियों की अनुमति देती है जो कभी-कभी विनाशकारी बाधा उल्लंघन (catastrophic constraint violations) कर सकती हैं, जब तक कि वे दुर्लभ हों। इसके विपरीत, अत्यधिक रूढ़वादी नीतियों को भी अपनाया जा सकता है ताकि इन दुर्लभ उल्लंघनों से बचा जा सके।

जोखिम संवेदनशीलता (risk sensitivity) को संबोधित करने के पिछले प्रयास (जैसे कि चांस कंस्ट्रेंट्स या CVaR के माध्यम से) अक्सर ऐसी नीतियां उत्पन्न करते हैं जो इतिहास-निर्भर (history-dependent) और सीखने में कठिन होती हैं, या वे बिना किसी एकीकृत सैद्धांतिक ढांचे के अर्ली टर्मिनेशन या पेनल्टी शेड्यूल्स जैसे एड-हॉक संशोधनों पर निर्भर करते हैं। लेखक यूटिलिटी-कंस्ट्रेंड MDPs (UCMDPs) को जोखिम-संवेदनशील बाधाओं के लिए एक स्वाभाविक ढांचे के रूप में प्रस्तावित करते हैं, लेकिन वे यह भी नोट करते हैं कि UCMDPs के लिए व्यावहारिक समाधान ऐतिहासिक रूप से अनुपलब्ध रहे हैं क्योंकि इष्टतम इतिहास-निर्भर नीतियां जटिल (intractable) होती हैं।

कार्यप्रणाली: यूटिलिटी-कंस्ट्रेंड नीतियां (UCP)

लेखक यूटिलिटी-कंस्ट्रेंड पॉलिसीज़ (UCP) का परिचय देते हैं, जो UCMDPs को हल करने के लिए डिज़ाइन किया गया एक व्यावहारिक लैग्रेंजियन डीप आरएल एल्गोरिदम है। यह कार्यप्रणाली तीन मुख्य घटकों पर निर्भर करती है:

1. स्टॉक-ऑगमेंटेड फॉर्मूलेशन (Stock-Augmented Formulation)

UCMDPs को मार्कोव नीतियों के साथ हल करने योग्य बनाने के लिए, लेखक अवीला पाइरेस एट अल. [2025] के कार्य पर आधारित एक स्टॉक-ऑगमेंटेड स्टेट फॉर्मूलेशन अपनाते हैं।

स्टॉक ( $Z_t$ ): एक संचयी चर (cumulative variable) जो रिवॉर्ड्स/कॉस्ट के इतिहास को ट्रैक करता है। डिस्काउंटेड स्टॉक का उपयोग करने वाले पिछले फॉर्मूलेशन के विपरीत, UCP एक अनडिस्कउंटेड स्टॉक (undiscounted stock) का उपयोग करता है जिसे $Z_{t+1} = Z_t + R_{t+1}$ के रूप में परिभाषित किया गया है।
तर्क (Rationale): अनडिस्कउंटेड स्टॉक एजेंट के आंतरिक स्टेट को संचयी एपिसोड कॉस्ट के मानक मूल्यांकन मीट्रिक के साथ संरेखित करता है। यह रिवर्स-डिस्कउंटेड अपडेट में देखे गए शुरुआती लागतों के घातीय विस्तार (exponential inflation) को रोकता है, जिससे सीखने की समस्या अधिक स्थिर हो जाती है।
पॉलिसी इनपुट: कंस्ट्रेंट लिमिट्स को प्रारंभिक स्टॉक वैल्यू ( $Z_0$ ) के रूप में एनकोड किया जाता है। फलस्वरूप, नीति $\pi(a|s, z)$ पर्यावरण की स्थिति के साथ प्रारंभिक स्टॉक (और इस प्रकार कंस्ट्रेंट बजट) को इनपुट के रूप में लेती है। यह एक ही प्रशिक्षित नीति को बिना पुन: प्रशिक्षण के विभिन्न कंस्ट्रेंट लिमिट्स के तहत संचालित करने की अनुमति देता है।

2. एल्गोरिद्मिक आर्किटेक्चर (लैग्रेंजियन एक्टर-क्रिटिक)

UCP कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या को हल करने के लिए एक प्राइमल-डुअल एक्टर-क्रिटिक दृष्टिकोण का उपयोग करता है:
$\inf_{\lambda_z \ge 0} \sup_{\pi} \left( \mathbb{E}[f(Z_0 + G^\pi_0)] - \lambda_z \mathbb{E}[g(Z_0 + G^\pi_0)] \right)$
जहाँ $f$ ऑब्जेक्टिव यूटिलिटी है और $g$ कंस्ट्रेंट यूटिलिटी है।

क्रिटिक (Critic): एजेंट रिटर्न (कमुलेंट्स) के पूर्ण वितरण (full distribution) का अनुमान लगाने के लिए एक डिस्ट्रिब्यूशनल क्रिटिक (विशेष रूप से क्वांटाइल रिग्रेशन का उपयोग करके) का उपयोग करता है, न कि केवल अपेक्षित मान (expected value) का। यह गैर-रैखिक (non-linear) यूटिलिटी फंक्शनों के मूल्यांकन के लिए आवश्यक है।
एक्टर (Actor): एक्टर को रिटर्न वितरण के अपेक्षित यूटिलिटी (expected utility) को अधिकतम करने के लिए प्रशिक्षित किया जाता है, न कि मानक Q-वैल्यू को। एक्टर के लिए ऑब्जेक्टिव फंक्शन को मानक सॉफ्ट एक्टर-क्रिटिक (SAC) से बदलकर निम्न किया गया है:
$L^{UO}_{actor} = \mathbb{E}[u(z + G_\psi(s, z, A_\theta))] - \alpha \log \pi_\theta(A_\theta|s, z)$
जहाँ $u(x) = f(x) - \lambda_z g(x)$ ।
लैग्रेंज मल्टीप्लायर अपडेट: मल्टीप्लायर $\lambda_z$ को एपिसोड के दौरान देखे गए कंस्ट्रेंट उल्लंघन के आधार पर समय-समय पर अपडेट किया जाता है, जिसमें सख्त व्यवहार्यता (strict feasibility) के मामलों को संभालने के लिए एक टॉलरेंस $\epsilon$ का उपयोग किया जाता है।

3. ट्रेनिंग स्ट्रैटेजी: स्टॉक रैंडमाइजेशन (Stock Randomization)

विभिन्न कंस्ट्रेंट बजटों के लिए सामान्यीकरण (generalization) सक्षम करने के लिए, प्रशिक्षण के दौरान प्रारंभिक स्टॉक $Z_0$ को मानों की एक रेंज (जैसे, $[-30, 0]$ ) से यूनिफॉर्मली रैंडमली सैंपल किया जाता है। यह नीति को विभिन्न बजट स्तरों से इष्टतम कार्यों तक मैपिंग सीखने के लिए मजबूर करता है, जिससे एजेंट बिना पुन: प्रशिक्षण के नए बजटों के अनुकूल हो जाता है।

प्रमुख योगदान

व्यावहारिक UCMDP समाधान: यह पेपर UCMDPs में एक संशोधन पेश करता है जो स्टॉक ऑग्मेंटेशन के माध्यम से इष्टतम मार्कोव नीतियों का समर्थन करता है, जिससे समस्या व्यावहारिक रूप से हल करने योग्य हो जाती है।
UCP एल्गोरिदम: एक लैग्रेंजियन डीप आरएल एजेंट का प्रस्ताव जो डिस्ट्रिब्यूशनल क्रिटिक्स, स्टॉक-ऑगमेंटेड स्टेट्स और एक्सपेक्टेड यूटिलिटी ऑप्टिमाइज़ेशन को जोड़ता है।
लचीली कंस्ट्रेंट लिमिट्स: यह ढांचा प्रारंभिक स्टॉक इनपुट को बदलकर प्रशिक्षण के बाद कंस्ट्रेंट लिमिट्स को सेट करने की अनुमति देता है, जिससे सुरक्षा बजट बदलने पर पुन: प्रशिक्षण की आवश्यकता समाप्त हो जाती है।
अनुभवजन्य सत्यापन (Empirical Validation): सेफ्टी जिमनसियम (Safety Gymnasium) बेंचमार्क पर व्यापक मूल्यांकन जो दर्शाता है कि UCP मौजूदा बेसलाइन्स की बराबरी करता है या उनसे बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

लेखकों ने सेफ्टी जिमनसियम बेंचमार्क, विशेष रूप से सेफ्टी वेलोसिटी और सेफ्टी नेविगेशन टास्क सूट्स पर UCP का मूल्यांकन किया।

बेसलाइन्स के विरुद्ध प्रदर्शन: UCP लगातार अत्याधुनिक बेसलाइन्स (PPO-Lag, SAC-Lag, PID-Lag, Sauté RL, और Early Terminated MDPs सहित) की बराबरी या उनसे बेहतर प्रदर्शन करता है।
- सेफ्टी वेलोसिटी कार्यों में, UCP कॉस्ट कंस्ट्रेंट्स को पूरा करते हुए तुलनीय या उच्च रिटर्न प्राप्त करता है।
- सेफ्टी नेविगेशन कार्यों में, UCP सुरक्षा बनाए रखते हुए रिटर्न के मामले में सभी बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
जोखिम संवेदनशीलता (Risk Sensitivity): एक जोखिम-तटस्थ संस्करण की तुलना में, जोखिम-संवेदनशील UCP कॉस्ट डिस्ट्रीब्यूशन के "टेल" (tail) को काफी कम कर देता है। यह कॉस्ट बजट को पार करने की संभावना को कम करता है और अपेक्षित अतिरिक्त लागत ( $\mathbb{E}[\max(X, b)]$ ) को शून्य के करीब ले आता है, जबकि जोखिम-तटस्थ विधियां उल्लंघन वाले एपिसोड में बजट से काफी अधिक लागत दर्ज करती हैं।
सामान्यीकरण (Generalization): एब्लेशन स्टडी पुष्टि करती है कि स्टॉक रैंडमाइजेशन महत्वपूर्ण है। विभिन्न प्रारंभिक स्टॉक के साथ प्रशिक्षित नीतियां बिना पुन: प्रशिक्षण के अनदेखे बजट स्तरों (जैसे, 0, 5, 15, 25 के बजट) के अनुकूल हो सकती हैं, जबकि एकल बजट स्तर पर प्रशिक्षित नीतियां ऐसा नहीं कर पातीं।
अनडिस्कउंटेड स्टॉक: पाया गया कि अनडिस्कउंटेड स्टॉक का उपयोग डिस्काउंटेड स्टॉक की तुलना में बेहतर था, जिससे बेहतर प्रदर्शन और स्थिरता मिली।

महत्व और दावे

पेपर का दावा है कि UCP एक सरल लेकिन शक्तिशाली कार्यप्रणाली प्रदान करता है जो मानक CMDPs की जोखिम-तटस्थता को दूर करती है। यूटिलिटी फंक्शन और स्टॉक ऑगमेंटेशन के माध्यम से सीधे समस्या में जोखिम-संवेदनशील बाधाओं को शामिल करके, लेखक प्रदर्शित करते हैं कि:

सुरक्षा और प्रदर्शन को संतुलित किया जा सकता है: सख्त, जोखिम-संवेदनशील बाधाएं जोखिम-तटस्थ मूल्यांकन मेट्रिक्स के तहत भी बेहतर प्रदर्शन की ओर ले जा सकती हैं, संभवतः उन विनाशकारी विफलताओं को रोककर जो अत्यधिक रूढ़वादी व्यवहार को मजबूर करती हैं।
परिचालन लचीलापन (Operational Flexibility): प्रशिक्षण के बाद बिना पुन: प्रशिक्षण के कंस्ट्रेंट लिमिट्स को समायोजित करने की क्षमता वास्तविक दुनिया की तैनाती के लिए महत्वपूर्ण मूल्य प्रदान करती है जहाँ सुरक्षा बजट भिन्न हो सकते हैं।
डिस्ट्रिब्यूशनल आवश्यकता: परिणाम हाइलाइट करते हैं कि गैर-रैखिक यूटिलिटी कंस्ट्रेंट्स के साथ काम करते समय केवल अपेक्षाओं के बजाय रिटर्न डिस्ट्रीब्यूशन (डिस्ट्रिब्यूशनल क्रिटिक्स के माध्यम से) को मॉडल करना कितना महत्वपूर्ण है।

लेखक स्वीकार करते हैं कि हालांकि अनुभवजन्य परिणाम मजबूत हैं, लेकिन इस कार्य में लैग्रेंजियन डायनेमिक प्रोग्रामिंग में इष्टतमता गारंटी (optimality guarantees) के संबंध में पूर्ण सैद्धांतिक विश्लेषण और अनडिस्कउंटेड स्टॉक के उपयोग के लिए सिद्धांतों का अभाव है, जिसे उन्होंने भविष्य के सैद्धांतिक कार्य के लिए क्षेत्र के रूप में पहचाना है।