🤖 machine learning

Safe-Support Q-Learning: Learning without Unsafe Exploration

यह शोध पत्र "सेफ-सपोर्ट क्यू-लर्निंग" (Safe-Support Q-Learning) का प्रस्ताव देता है, जो एक दो-चरणीय ढांचा है जो एक सुरक्षित सेट पर समर्थित व्यवहार नीति (behavior policy) का लाभ उठाकर और एक सुरक्षित, उच्च-प्रदर्शन वाली नीति प्राप्त करने के लिए KL-नियमित बेलमैन लक्ष्य (KL-regularized Bellman target) का उपयोग करके, सुदृढीकरण शिक्षण (reinforcement learning) प्रशिक्षण के दौरान असुरक्षित अवस्थाओं के आगमन को समाप्त करता है, जिससे सुरक्षित क्षेत्र के भीतर अन्वेषण (exploration) से समझौता किए बिना यह संभव होता है।

मूल लेखक: Yeeun Lim, Narim Jeong, Donghwan Lee

प्रकाशित 2026-04-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yeeun Lim, Narim Jeong, Donghwan Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी समस्या: बिना दुर्घटना किए साइकिल चलाना सीखना

कल्पना कीजिए कि आप एक रोबोट को साइकिल चलाना सिखा रहे हैं। सामान्य सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में, रोबोट चीजों को आजमाकर सीखता है। वह यह समझने के लिए कि क्या नहीं करना है, डगमगा सकता है, गिर सकता है या दीवार से टकरा सकता है। एक वीडियो गेम में, टकराना ठीक है; आप बस "रीसेट" बटन दबा सकते हैं। लेकिन वास्तविक दुनिया में (जैसे कार चलाना या रोब रोबोटिक हाथ को नियंत्रित करना), एक भी दुर्घटना विनाशकारी हो सकती है।

अधिकांश वर्तमान "सेफ आरएल" (Safe RL) विधियां रोबोट को सावधान रहने के लिए सिखाने की कोशिश करती हैं, जैसे कि जब वह दीवार के बहुत करीब पहुँच जाए तो उसे "डांट" (दंड/penalty) देना। लेकिन रोबोट को यह सीखने के लिए कि वह बुरा है, अभी भी दीवार के करीब जाना पड़ता है। यह एक बच्चे को यह बताने जैसा है, "चूल्हे को मत छुओ," लेकिन उसे हाथ पीछे खींचने से पहले गर्मी महसूस करने के लिए इतना करीब आने देना।

पेपर का समाधान: "सेफ ज़ोन" की बाड़

यह पेपर एक सख्त नियम प्रस्तावित करता है: रोबोट को कभी भी "सेफ ज़ोन" (सुरक्षित क्षेत्र) से बाहर जाने की अनुमति नहीं है। उसे सब कुछ इस तरह सीखना होगा कि वह कभी भी असुरक्षित स्थिति में न जाए।

इसे करने के लिए, लेखकों ने एक नई विधि बनाई जिसे सेफ-सपोर्ट क्यू-लर्निंग (Safe-Support Q-Learning) कहा जाता है। यह कैसे काम करता है, इसे तीन सरल चरणों में समझा जा सकता है:

1. "गार्जियन" (व्यवहार नीति/Behavior Policy)

सबसे पहले, वे एक "गार्जियन" नीति बनाते हैं। इसे रोबोट के साथ साइकिल चलाते हुए एक बहुत ही सावधान, थोड़े अनाड़ी इंसान के रूप में समझें।

यह गार्जियन कोई विश्व-स्तरीय रेसर नहीं है (इसे परफेक्ट होने की आवश्यकता नहीं है)।
इसका एकमात्र काम "सेफ ज़ोन" के भीतर सख्ती से रहना है (जैसे फुटपाथ पर रहना, कभी भी कर्ब से न टकराना)।
क्योंकि यह थोड़ा रैंडम (stochastic) है, यह रोबट को अलग-अलग सुरक्षित रास्ते दिखाने के लिए पर्याप्त घूमता है, लेकिन यह कभी भी कोई खतरनाक मोड़ नहीं लेता।

2. "मैप मेकर" (क्यू-फंक्शन/Q-Function)

इसके बाद, रोबोट एक मानसिक मानचित्र (जिसे क्यू-फंक्शन कहा जाता है) बनाता है कि विभिन्न चालें कितनी अच्छी हैं।

समस्या: आमतौर पर, यदि रोबोट कभी किसी खतरनाक चाल को नहीं देखता है, तो वह गलती से यह सोच सकता है, "हे, वह ढलान एक शॉर्टकट जैसा लग रहा है!" और उसे उच्च स्कोर दे सकता है।
समाधान: लेखक मानचित्र बनाने की प्रक्रिया में एक विशेष नियम (KL रेगुलराइजेशन) जोड़ते हैं। यह रोबोट को बताता है: "केवल उन्हीं चालों को उच्च स्कोर दें जो गार्जियन द्वारा की गई चालों जैसी दिखती हैं।"
उपमा: कल्पना कीजिए कि रोबोट एक यात्रा गाइड लिख रहा है। नियम कहता है, "आप केवल उन्हीं रास्तों की सिफारिश कर सकते हैं जिन पर गार्जियन वास्तव में चला है। यदि गार्जियन कभी ढलान के पास नहीं गया, तो आपके गाइडबुक को उस ढलान को 'वर्जित' या 'शून्य अंक' के रूप में मानना चाहिए।" यह रोबोट को उन खतरनाक शॉर्टकट्स के प्रति उत्साहित होने से रोकता है जिन्हें उसने कभी देखा ही नहीं।

3. "स्टूडेंट" (अंतिम नीति/Final Policy)

एक बार मानचित्र बन जाने के बाद, रोबोट यह पता लगाने की कोशिश करता है कि सबसे अच्छा तरीका क्या है।

वह मानचित्र को देखता है और पूछता है, "लक्ष्य तक पहुँचने का सबसे तेज़ तरीका क्या है?"
हालाँकि, उसे गार्जियन की शैली के करीब रहने के लिए मजबूर किया जाता है। वह अचानक व्हीली (wheelie) करने का निर्णय नहीं ले सकता यदि गार्जियन ने कभी ऐसा नहीं किया था।
यह सुनिश्चित करता है कि रोबोट की "सर्वश्रेष्ठ" योजना भी अभी भी सुरक्षित है, क्योंकि इसे पूरी तरह से गार्जियन के सुरक्षित पथ के आधार पर बनाया गया है।

उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने इसका परीक्षण दो क्लासिक वीडियो गेम जैसे वातावरणों पर किया:

फ्रोजनलेक (FrozenLake): एक ग्रिड जहाँ रोबोट को गड्ढों में गिरे बिना बर्फ पर चलना होता है।
कार्टपोल (CartPole): एक खेल जहाँ आपको चलते हुए कार्ट पर एक पोल को संतुलित करना होता है ताकि वह गिर न जाए।

उन्होंने अपनी विधि की तुलना अन्य "सेफ" एआई विधियों से की।

परिणाम

स्थिरता: रोबोट बिना टकराए या भ्रमित हुए सुचारू रूप से सीखा।
बेहतर मानचित्र: रोबोट का "मानसिक मानचित्र" (क्यू-वैल्यूज़) बहुत अधिक सटीक था। इसने खतरनाक चालों को कितना अच्छा माना जाए, इसका अत्यधिक आकलन नहीं किया। अन्य विधियाँ अक्सर खतरनाक चालों को ठीक मान लेती थीं, जिससे दुर्घटनाएँ होती थीं।
सुरक्षा बनाम प्रदर्शन: रोबोट ने सुरक्षित और तेज़ दोनों होना सीखा। कई परीक्षणों में, इसने अन्य विधियों के समान (या बेहतर) प्रदर्शन किया, लेकिन बहुत कम "बाल-बाल बचने" वाली या असुरक्षित व्यवहारों के साथ।

कमी (सीमाएं)

यह विधि काफी हद तक उस शुरुआती "गार्जियन" पर निर्भर करती है।

यदि गार्जियन बहुत खराब है (उदाहरण के लिए, वह केवल स्थिर खड़ा रहना जानता है और कभी आगे नहीं बढ़ता), तो रोबोट भी बहुत अधिक रूढ़िवादी होगा और कुछ भी उपयोगी नहीं सीख पाएगा।
पेपर स्वीकार करता है कि यदि "सेफ ज़ोन" बहुत छोटा है या गार्जियन अपूर्ण है, तो रोबोट कार्य करने का सबसे अच्छा तरीका नहीं खोज पाएगा, लेकिन वह निश्चित रूप से एक सुरक्षित तरीका जरूर खोज लेगा।

सारांश

संक्षेप में, यह पेपर एआई को लाइनों के भीतर रहकर सीखना सिखाता है। एआई को पूरी दुनिया को खोजने देने और गलती करने पर उसे दंडित करने के बजाय, वे उसे एक सुरक्षित खेल का मैदान और एक सावधान मार्गदर्शक देते हैं। एआई केवल उन सुरक्षित चालों को देखकर विशेषज्ञ बनना सीखता है जो मार्गदर्शक करता है, जिससे यह सुनिश्चित होता है कि वह गलती से कभी भी कोई खतरनाक ट्रिक न सीख ले।

यहाँ शोध पत्र "Safe-Support Q-Learning: Learning without Unsafe Exploration" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) एजेंट आमतौर पर अन्वेषण (exploration) के माध्यम से इष्टतम नीतियों (optimal policies) की खोज करते हैं, जिसमें स्वाभाविक रूप से उन अवस्था-क्रिया युग्मों (state-action pairs) पर जाने की प्रक्रिया शामिल होती है जो असुरक्षित या विनाशकारी परिणामों की ओर ले जा सकते हैं। जबकि मौजूदा "सेफ आरएल" (Safe RL) विधियाँ बाधाओं, दंडों या जोखिम-संवेदनशील उद्देश्यों (जैसे, Conditional Value-at-Risk) के माध्यम से जोखिम को कम करने का प्रयास करती हैं, वे आम तौर पर प्रशिक्षण के दौरान असुरक्षित अवस्थाओं के आगमन को समाप्त नहीं करती हैं। वे अक्सर संभावabilistic सीमाओं या प्रत्याशा-आधारित बाधाओं (expectation-based constraints) पर निर्भर करती हैं, जिसका अर्थ है कि सुरक्षा उल्लंघन अभी भी हो सकते हैं।

लेखक एक सख्त सुरक्षा आवश्यकता को संबोधित करते हैं: सीखने की प्रक्रिया में कभी भी ऐसी प्रक्षेपवक्र (trajectories) उत्पन्न नहीं होनी चाहिए जो असुरक्षित अवस्थाओं पर जाएँ। मुख्य चुनौती यह है कि एक प्रतिबंधित "सुरक्षित सेट" ( $S_{safe}$ ) के भीतर पर्याप्त अन्वेषण और नीति सुधार को कैसे सक्षम किया जाए, बिना निकट-इष्टतम व्यवहार पर निर्भर हुए या असुरक्षित संक्रमणों का जोखिम उठाए।

2. कार्यप्रणाली: सेफ-सपोर्ट क्यू-लर्निंग (Methodology: Safe-Support Q-Learning)

प्रस्तावित ढांचा एक Q-लर्निंग आधारित दृष्टिकोण है जो सभी सीखने वाले घटकों को एक सुरक्षित सेट के सपोर्ट (support) तक सीमित करता है। यह इस धारणा के तहत कार्य करता है कि एक व्यवहार नीति ( $\pi_b$ ) मौजूद है जो पूरी तरह से $S_{safe}$ पर समर्थित है (अर्थात, यह कभी असुरक्षित अवस्थाओं पर नहीं जाती है)। इस नीति को इष्टतम होने की आवश्यकता नहीं है, लेकिन अन्वेषण के लिए इसे स्टोकेस्टिक (stochastic) होना चाहिए।

यह ढांचा तीन घटकों से बना है:

A. व्यवहार नीति निर्माण (Behavior Policy Construction)

यह विधि एक व्यवहार नीति $\pi_b$ का उपयोग करती है जो $S_{safe}$ पर समर्थित है। दो इंस्टेंशिएशन रणनीतियाँ प्रस्तावित की गई हैं:

HC Safe (Hand-Crafted): यह अच्छी तरह से प्रदर्शन करने वाले नियमों या नियंत्रकों (जैसे, PID, MPC) का उपयोग करता है जिन्हें स्टोकेस्टिक नीतियों में परिवर्तित किया गया है। निरंतर स्थानों (continuous spaces) में, इसे Mean-Noise (निश्चित नीति + गॉसियन शोर) या Distributional (अवस्था-निर्भर गॉसियन) पैरामीटराइजेशन के माध्यम से लागू किया जाता है।
DS Safe (Dataset-Based): यह केवल सुरक्षित संक्रमणों वाले पूर्व-संग्रहित डेटासेट पर मैक्सिमम लाइकलीहुड एस्टीमेशन (maximum likelihood estimation) के माध्यम से एक नीति को प्रशिक्षित करता है। यह एक ऑफलाइन आरएल सेटअप के रूप में कार्य करता है जहाँ नीति डेटासेट के सपोर्ट तक सीमित होती है।

B. KL-रेगुलराइज्ड बेलमैन टारगेट (KL-Regularized Bellman Target)

Q-फंक्शन को आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) या असुरक्षित क्रियाओं को उच्च मान (high values) आवंटित करने से रोकने के लिए, लेखक मानक बेलमैन टारगेट को संशोधित करते हैं। एक समान प्रायोर (जैसा कि सॉफ्ट क्यू-लर्निंग में होता है) या मैक्स ऑपरेटर का उपयोग करने के बजाय, वे एक KL-डाइवर्जेंस रेगुलराइजेशन पद पेश करते हैं जो Q-फंक्शन को व्यवहार नीति $\pi_b$ के साथ संरेखित करता है।

डिस्क्रीट क्रियाओं के लिए सुरक्षित टारगेट मान $y_k^{safe}$ को इस प्रकार परिभाषित किया गया है:
$y_k^{safe} = r_{k+1} + \mathbb{1}(s_{k+1})\gamma \lambda \ln \left( \sum_{a \in A} \tilde{\pi}_b(a|s_{k+1}) \exp\left(\frac{Q(s_{k+1}, a)}{\lambda}\right) \right)$
जहाँ:

$\tilde{\pi}_b$ व्यवहार नीति का एक स्मूथ वर्शन है ताकि सख्ती से सकारात्मक संभावना सुनिश्चित हो सके।
$\lambda$ एक तापमान पैरामीटर (temperature parameter) है।
यह फॉर्मूलेशन व्यवहार वितरण से विचलन को प्रभावी ढंग से दंडित करता है, यह सुनिश्चित करता है कि Q-फंक्शन सुरक्षित क्रियाओं के सपोर्ट के भीतर रहे।

सैद्धांतिक गारंटी (Theoretical Guarantee): लेखक सिद्ध करते हैं कि परिणामी बेलमन ऑपरेटर एक कॉन्ट्रैक्शन मैपिंग (contraction mapping) है, जो एक अद्वितीय फिक्स्ड पॉइंट ( $Q^*_\lambda$ ) की गारंटी देता है। इस Q-फंक्शन द्वारा प्रेरित इष्टतम नीति व्यवहार नीति पर एक KL-रेगुलराइज्ड सॉफ्टमैक्स है:
$\pi^*_\lambda(a|s) = \frac{\tilde{\pi}_b(a|s) \exp(Q^*_\lambda(s, a)/\lambda)}{\sum_{a'} \tilde{\pi}_b(a'|s) \exp(Q^*_\lambda(a', s)/\lambda)}$

C. नीति निष्कर्षण (Policy Extraction)

डिस्क्रीट एक्शन स्पेस: इष्टतम नीति को ऊपर दिए गए क्लोज्ड-फॉर्म सॉफ्टमैक्स व्यंजक का उपयोग करके सीधे प्राप्त किया जाता है।
कंटीन्यूअस एक्शन स्पेस: चूंकि हर (denominator) में इंटीग्रल गणना करना कठिन है, लेखक एक सरोगेट पॉलिसी ( $\pi_\phi$ ) प्रस्तावित करते हैं जिसे गॉसियन के रूप में पैरामीटराइज किया गया है। इस सरोगेट को स्वयं और सैद्धांतिक इष्टतम नीति के बीच KL डाइवर्जेंस को कम करके प्रशिक्षित किया जाता है, जिसमें अपेक्षा (expectation) को अनुमानित करने के लिए मोंटे कार्लो सैंपलिंग का उपयोग किया जाता है।

यह ढांचा ऑनलाइन और ऑफलाइन दोनों सेटिंग्स, साथ ही डिस्क्रीट और कंटीन्यूअस एक्शन स्पेस के लिए एकीकृत और अनुकूलनीय है।

3. मुख्य योगदान (Key Contributions)

सख्त सुरक्षा गारंटी: जोखिम को सीमित करने वाली पूर्ववर्ती सेफ आरएल विधियों के विपरीत, यह दृष्टिकोण प्रक्षेपवक्र सपोर्ट स्तर पर सुरक्षा को लागू करता है, यह सुनिश्चित करता है कि प्रशिक्षण के दौरान कोई भी असुरक्षित अवस्था विजिट न की जाए।
KL-रेगुलराइज्ड Q-लर्निंग: एक नवीन बेलमन टारगेट का परिचय जो मानक एंट्रॉपी रेगुलराइजेशन के स्थान पर, KL डाइवर्जेंस के माध्यम से Q-फंक्शन को एक सुरक्षित व्यवहार नीति के सपोर्ट तक सीमित करता है।
दो-चरणीय ढांचा: Q-फंक्शन प्रशिक्षण और नीति निष्कर्षण का पृथक्करण, जो तब भी स्थिर शिक्षण की अनुमति देता है जब व्यवहार नीति उप-इष्टतम (suboptimal) लेकिन सुरक्षित हो।
एकीकृत वेरिएंट्स: यह विधि विभिन्न परिदृश्यों (डिस्क्रीट/कंटीन्यूअस क्रियाएं, हैंड-क्राफ्टेड/डेटासेट-आधारित व्यवहार नीतियां) के लिए अनुकूलनीय एक एकल ढांचा प्रदान करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने FrozenLake और CartPole वातावरणों पर अपने तरीके का मूल्यांकन किया, और मानक Q-लर्निंग तथा अत्याधुनिक बेसलाइन्स (CQL, BCQ, IQL, TD3+BC, BEAR) के साथ तुलना की।

स्थिरता और अभिसरण (Stability and Convergence): प्रस्तावित विधि ने बेसलाइन्स की तुलना में तेज़ अभिसरण और कम विचरण (variance) प्रदर्शित किया, विशेष रूप से डिस्क्रीट सेटिंग्स में जहाँ अन्य विधियाँ अक्सर प्रभावी नीतियां सीखने में विफल रहती हैं।
वैल्यू कैलिब्रेशन (Value Calibration): प्रस्तावित विधि द्वारा सीखे गए Q-मान सु well-कैलिब्रेटेड थे, जो मोंटे कार्लो रिटर्न के करीब थे। इसके विपरीत, बेसलाइन्स में वैल्यू कोलैप्स (value collapse), ओवरएस्टिमेशन (डायगोनल के ऊपर विचलन), या अत्यधिक रूढ़िवादिता जैसी समस्याएं देखी गईं।
सुरक्षा बनाम प्रदर्शन (Safety vs. Performance):
- CartPole वातावरण में, प्रस्तावित विधि ने तुलनीय रिटर्न स्तरों के मुकाबले बेसलाइन्स की तुलना में सुरक्षित व्यवहार (कम अधिकतम पोल एंगल) प्राप्त किया।
- जबकि कुछ बेसलाइन्स ने उच्च रिटर्न प्राप्त किया, वे अक्सर उच्च विचरण या असुरक्षित प्रक्षेपवक्रों के साथ ऐसा करते थे।
- विधि ने एक ट्रेड-ऑफ दिखाया: जब व्यवहार नीति अपूर्ण थी (उदाहरण के लिए, अत्यधिक प्रतिबंधित सेटिंग्स में), तो प्रदर्शन सीमित था, लेकिन सुरक्षा सख्ती से बनाए रखी गई थी।

5. महत्व (Significance)

यह कार्य सेफ आरएल को जोखिम न्यूनीकरण (कुछ असुरक्षित अन्वेषण की अनुमति देना) से जोखिम उन्मूलन (सख्ती से असुरक्षित अन्वेषण को रोकना) की ओर एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। एक सुरक्षित सेट पर समर्थित व्यवहार नीति का लाभ उठाकर और Q-लर्निंग उद्देश्य को रेगुलराइज करके, यह विधि उच्च-दांव वाले वातावरणों (जैसे, रोबोटिक्स, स्वायत्त ड्राइविंग) में इष्टतम नीतियां सीखने का एक सिद्धांतपूर्ण तरीका प्रदान करती है जहाँ एक भी असुरक्षित संपर्क अस्वीकार्य है। एक अद्वितीय फिक्स्ड पॉइंट की सैद्धांतिक गारंटी और वेल-कैलिब्रेटेड वैल्यू अनुमान बनाए रखने में व्यावहारिक सफलता इसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए एक मजबूत ढांचा बनाती है।