🤖 machine learning

Scenario Generation for Risk-Aware Reinforcement Learning with Probably Approximately Safe Guarantees

यह शोध पत्र एक जोखिम-सचेत सुदृढीकरण शिक्षण (रिइन्फोर्समेंट लर्निंग) ढांचे का प्रस्ताव करता है जो स्टेट स्पेस के भीतर गैर-मजबूत क्षेत्रों पर ध्यान केंद्रित करके सुरक्षा गारंटी को पुनरावृत्ति रूप से कड़ा करने में सक्षम बनाने के लिए, दोहरे ऊपरी और निचले-सीमा बाधा प्रमाण पत्रों (बैरियर सर्टिफिकेट्स) के निर्माण हेतु वेरिएशनल ऑटोएनकोडर्स का उपयोग करता है।

मूल लेखक: Mohit Prashant, Arvind Easwaran

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohit Prashant, Arvind Easwaran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कमरे में बिना गिरे चलना सिखा रहे हैं। आप पूरी तरह आश्वस्त होना चाहते हैं कि वह ठोकर नहीं खाएगा, लेकिन कमरा अनचाहे और छिपे हुए अवरोधों से भरा है। यह रीइन्फोर्समेंट लर्निंग (RL) की चुनौती है: एक AI एजेंट को वास्तविक दुनिया में निर्णय लेना सिखाना। समस्या यह है कि यदि रोबोट ऐसी स्थिति का सामना करता है जो उसने पहले नहीं देखी है (जैसे हवा का अचानक झोंका या फिसलन भरा फर्श), तो वह एक खतरनाक गलती कर सकता है।

यह शोध पत्र रोबोट को सुरक्षित रहने का तरीका सिखाने के लिए एक नया प्रस्ताव देता है, जो एक "कसती हुई रस्सी के साथ सुरक्षा जाल" (Safety Net with a Tightening Rope) की तरह काम करता है।

यहाँ लेखक की विधि कैसे काम करती है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "अज्ञात" क्षेत्र (The "Unknown" Zone)

जब आप एक रोबोट को प्रशिक्षित करते हैं, तो वह चीजों को आजमाकर सीखता है। कभी-कभी वह सुरक्षित स्थानों के बारे में बहुत अधिक सीख जाता है और खतरनाक स्थानों के बारे में पर्याप्त नहीं।

समस्या: हम हर उस स्थिति की जांच नहीं कर सकते जिसका रोबोट सामना कर सकता है। इसलिए, अंत में हमें एक "सुरक्षा गारंटी" मिलती है जो थोड़ी धुंधली होती है। यह ऐसा है जैसे कहना, "90% संभावना है कि आप सुरक्षित हैं," लेकिन हमें पता नहीं है कि वह संख्या वास्तव में 90% है या 99%। "सर्वश्रेष्ठ अनुमान" और "सबसे खराब स्थिति के अनुमान" के बीच का अंतर बहुत बड़ा है।

2. समाधान: दो अदृश्य बाड़ (Two Invisible Fences)

लेखक गणित का उपयोग करके रोबोट के सुरक्षित क्षेत्र के चारों ओर दो अदृश्य बाड़ बनाते हैं:

आंतरिक बाड़ (निचली सीमा - Lower Bound): यह एक बहुत ही सख्त, रूढ़िवादी बाड़ है। यदि रोबिमोट इसके अंदर है, तो हमें पूरा विश्वास है कि वह सुरक्षित है। यह एक "सुरक्षित क्षेत्र" की तरह है जहाँ रोबोट बिना किसी चिंता के खेल सकता है।
बाहरी बाड़ (ऊपरी सीमा - Upper Bound): यह एक ढीली बाड़ है। इसमें आंतरिक बाड़ और थोड़ा अधिक क्षेत्र शामिल है। यह एक "शायद सुरक्षित" क्षेत्र का प्रतिनिधित्व करता है। हमें लगता है कि रोबोट यहाँ शायद सुरक्षित है, लेकिन हम अभी तक 100% सुनिश्चित नहीं हैं।

अंतराल (The Gap): आंतरिक बाड़ और बाहरी बाड़ के बीच का स्थान "ग्रे एरिया" (Gray Area) है। यह वह जगह है जहाँ रोबोट संभवतः सुरक्षित है, लेकिन हमने इसकी पर्याप्त जांच नहीं की है। यहीं पर अनिश्चितता निवास करती है।

3. जादुई उपकरण: "ड्रीम मशीन" (VAE)

इसे ठीक करने के लिए, लेखक एक विशेष AI टूल का उपयोग करते हैं जिसे वेरिएशनल ऑटोएनकोडर (VAE) कहा जाता है। इसे एक "ड्रीम मशीन" (Dream Machine) के रूप में समझें।

रोबोट पहले घूम चुका है और डेटा (जहाँ वह था उसकी यादें) एकत्र कर चुका है।
ड्रीम मशीन इन यादों को देखती है और दुनिया के "आकार" को समझती है।
इसके बाद यह नए परिदृश्य सपनों में बुन सकती है (dream up) जो रोबोट ने पहले नहीं देखे हैं, लेकिन जो उन स्थितियों के बहुत समान हैं जिन्हें उसने देखा है।

4. रणनीति: लक्षित प्रशिक्षण (Targeted Training)

रोबोट को बेतरतीब ढंग से भटकने देने के बजाय (जो धीमा और अक्षम है), लेखक ड्रीम मशीन का उपयोग विशेष रूप से ग्रे एरिया (दोनों बाड़ों के बीच के स्थान) को लक्षित करने के लिए करते हैं।

वे ड्रीम मशीन से ऐसी नई स्थितियाँ उत्पन्न करने के लिए कहते हैं जो ठीक "सुरक्षित" क्षेत्र के किनारे पर स्थित हों।
वे रोबोट को केवल इन विशिष्ट, कठिन परिदृश्यों में अभ्यास करने के लिए मजबूर करते हैं।
जैसे-जैसे रोबोट इन 'एज केसेस' (edge cases) को संभालना सीखता है, "ग्रे एरिया" छोटा होता जाता है। आंतरिक बाड़ बढ़ती है, और बाहरी बाड़ सिकुड़ती जाती है जब तक कि वे लगभग मिल न जाएं।

5. परिणाम: एक कसता हुआ सुरक्षा जाल

इन विशिष्ट, कठिन परिदृश्यों पर ध्यान केंद्रित करके, वे बहुत अधिक विश्वास के साथ कह सकते हैं: "हमें 99.9% यकीन है कि रोबोट सुरक्षित है," बजाय इसके कि केवल "80% यकीन है।"

शोध पत्र का दावा: उन्होंने मानक रोबोट सिमुलेशन (जैसे संतुलन बनाने वाला पोल और चलने वाली चींटी) पर इसका परीक्षण किया। उन्होंने पाया कि उनकी विधि ने सुरक्षा गारंटी को अन्य तरीकों की तुलना में बहुत अधिक "टाइट" (सटीक) बना दिया, जो केवल यादृच्छिक रूप से खोज करते हैं या रैंडम शोर जोड़ते हैं।
समझौता (Trade-off): रोबोट ने अन्य तरीकों की तरह ही तेजी से सीखा, लेकिन वास्तविक दुनिया में विफल न होने की बहुत मजबूत गारंटी के साथ।

सारांश उपमा (Summary Analogy)

कल्पना कीजिए कि आप ड्राइविंग टेस्ट की तैयारी कर रहे हैं।

पुराना तरीका: आप शहर में बेतरतीब ढंग से गाड़ी चलाते हैं, इस उम्मीद में कि आप उस गड्ढे से नहीं टकराएंगे जिसे आपने नहीं देखा है। आपको एक लाइसेंस मिलता है जिसमें एक अस्पष्ट "शायद सुरक्षित" रेटिंग होती है।
इस शोध पत्र का तरीका: आपके पास एक सिम्युलेटर है जो जानता है कि कठिन स्थान कहाँ हैं। यह एक विशिष्ट टेस्ट ड्राइव तैयार करता है जो आपको सीधे खाई के किनारे पर ले जाता है (लेकिन उसके ऊपर नहीं)। आप केवल उस विशिष्ट किनारे के मामले का अभ्यास करते हैं जब तक कि आप उसमें महारत हासिल नहीं कर लेते। अब, आपका लाइसेंस एक गारंटी के साथ आता है जिसमें लिखा है, "हमने आपका सबसे कठिन किनारों पर परीक्षण किया है, और आप सुरक्षित हैं।"

शोध पत्र निष्कर्ष निकालता है कि यह विधि एक गणितीय रूप से सिद्ध, "टाइट" गारंटी प्रदान करती है कि AI सुरक्षित व्यवहार करेगा, यहाँ तक कि उन स्थितियों में भी जिन्हें उसने पहले नहीं देखा है, क्योंकि यह बुद्धिमानी से उन विशिष्ट 'एज केसेस' को उत्पन्न करता है और उनका अभ्यास करता है।

तकनीकी सारांश: संभाव्यतात्मक रूप से लगभग सुरक्षित गारंटी के साथ जोखिम-जागरूक सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए परिदृश्य पीढ़ी (Scenario Generation)

समस्या विवरण
गहन सुदृढीकरण शिक्षण (Deep RL) एजेंटों की वास्तविक दुनिया के परिदृश्यों में तैनाती, सुरक्षा सुनिश्चित करने की कठिनाई के कारण बाधित होती है, विशेष रूप से जब RL के माध्यम से सीखी गई नीतियां नवीन परिदृश्यों में सामान्यीकरण करने में विफल रहती हैं या ट्रांज़िशन गड़बड़ी (transition perturbations) के प्रति संवेदनशील होती हैं। पारंपरिक सुरक्षा सत्यापन विधियां अक्सर मॉडल-चेकिंग पर निर्भर करती हैं, जिसके लिए सिस्टम ट्रांज़िशन डायनेमिक्स के सटीक ज्ञान की आवश्यकता होती है—एक ऐसी आवश्यकता जो जटिल, मॉडल-मुक्त (model-free) वातावरण में अक्सर अव्यवहारिक होती है। जबकि हालिया दृष्टिकोण उल्लंघन की संभावना ( $\epsilon$ ) को विश्वास स्तर ( $\delta$ ) के साथ बांधने के लिए 'प्रोबेबली एप्रोक्सीमेटली करेक्ट' (PAC) गारंटियों का उपयोग करते हैं, ये सीमाएं अक्सर ढीली (loose) होती हैं। यह ढीलापन प्रशिक्षण और तैनाती के दौरान देखे गए स्टेट-डिस्ट्रीब्यूशन के बीच विसंगतियों और स्टेट-स्पेस के अपर्याप्त अन्वेषण से उत्पन्न होता है। फलस्वरूप, उल्लंघन की संभावना के ऊपरी और निचले स्तरों के बीच का अंतर ( $|\epsilon_1 - \epsilon_2|$ ) काफी विस्तृत रहता है, जिससे नीति की वास्तविक सुरक्षा के बारे में सीमित जानकारी प्राप्त होती है।

कार्यप्रणाली
लेखक इन संभाव्यतात्मक सुरक्षा सीमाओं को "अनिश्चित रूप से असुरक्षित" (tentatively unsafe) अवस्थाओं—उन क्षेत्रों की पहचान करके और उन पर प्रशिक्षण देकर—को सुदृढ़ करने के लिए एक दो-चरणीय ढांचे का प्रस्ताव करते हैं, जो एक रूढ़िवादी निचले-स्तर के सुरक्षित क्षेत्र और एक कम रूढ़िवादी ऊपरी-स्तर के सुरक्षित क्षेत्र के बीच स्थित हैं।

बैरियर-सर्टिफिकेट का द्वैत अनुकूलन (Dual Optimization of Barrier-Certificates):
विधि के मूल में सुरक्षा सत्यापन को एक द्वैत चांस-कंस्ट्रेंड प्रोग्राम (CCP) के रूप में तैयार करना शामिल है। लेखक दो बैरियर-सर्टिफिकेट का निर्माण करते हैं:
- निचला-स्तर ( $B_1$ ): सुरक्षित क्षेत्र का एक रूढ़िवादी अनुमान जहाँ उल्लंघन की संभावना $\epsilon_1$ से कम है।
- ऊपरी-स्तर ( $B_2$ ): एक कम रूढ़िवादी अनुमान जहाँ उल्लंघन की संभावना $\epsilon_2$ से कम है (जहाँ $\epsilon_1 \leq \epsilon_2$ )।
  इन सर्टिफिकेट्स को बाद के स्टेट्स के लिए न्यूनतम बैरियर स्कोर को अधिकतम करने के लिए सैंपल्ड ट्राजेक्टरीज का उपयोग करके अनुकूलित किया जाता है, यह सुनिश्चित करते हुए कि यदि कोई स्टेट बैरियर क्षेत्र के भीतर है, तो उसके ट्रांज़िशन भी संभवतः सुरक्षित होंगे।
जेनरेटिव स्टेट रिप्रेजेंटेशन (VAE):
उच्च-आयामी (high-dimensional) स्टेट-स्पेस को संभालने और प्रासंगिक परिदृश्य उत्पन्न करने के लिए, लेखक देखे गए स्टेट-स्पेस पर एक वेरिएशनल ऑटोएनकोडर (VAE) को प्रशिक्षित करते हैं। बैरियर-सर्टिफिकेट्स को VAE के लेटेंट स्पेस (latent space) में मैप किया जाता है। यह प्रणाली को ऊपरी और निचले स्तर के क्षेत्रों के बीच के सेट अंतर ( $Z_{B2} \setminus Z_{B1}$ ) की पहचान करने में सक्षम बनाता है, जो उन अवस्थाओं का प्रतिनिधित्व करता है जो अनिश्चित रूप से असुरक्षित हैं लेकिन ज्ञात सुरक्षित या असुरक्षित अवस्थाओं के साथ दृश्य समानता साझा करती हैं।
चरण 2 लर्निंग (परिदृश्य पीढ़ी):
यह ढांचा नीति की मजबूती (robustness) में सुधार करने के लिए दूसरे लर्निंग चरण का उपयोग करता है। रैंडम एक्सप्लोरेशन या एप्सिलॉन-ग्रीडी रणनीतियों पर निर्भर रहने के बजाय, यह विधि दो बैरियर-सर्टिफिकेट्स के बीच के अंतराल में स्थित लेटेंट स्पेस से अवस्थाओं को सैंपल करके नए प्रशिक्षण परिदृश्य उत्पन्न करती है। इन अवस्थाओं को वापस स्टेट-स्पेस में डिकोड किया जाता है और नए प्रशिक्षण ट्राजेक्टरीज को आरंभ करने के लिए उपयोग किया जाता है। यह प्रक्रिया विशेष रूप से "गैर-मजबूत क्षेत्र" (non-robust region) को लक्षित करती है ताकि उल्लंघन की संभावना की सीमाओं को कड़ा किया जा सके।

प्रमुख योगदान

द्वैत CCP फॉर्मूलेशन: यह शोध पत्र एकल-सीमा विधियों की तुलना में अधिक सूक्ष्म दृष्टिकोण प्रदान करने के लिए ऊपरी और निचले-स्तर के बैरियर-सर्टिफिकेट्स दोनों को उत्पन्न करने के लिए एक द्वैत अनुकूलन दृष्टिकोण पेश करता है।
लेटेंट स्पेस बैरियर मैपिंग: लेटेंट स्पेस में बैरियर-सर्टिफिकेट्स को एनकोड करके, लेखक सुरक्षित और असुरक्षित अवस्थाओं के निकटवर्ती (adjacent) और अभी तक सत्यापित न किए गए स्टेट्स की पहचान और पीढ़ी को सक्षम बनाते हैं, जिससे लक्षित अन्वेषण (targeted exploration) सुगम होता है।
मॉडल-एग्नोस्टिक मजबूती: प्रस्तावित चरण 2 लर्निंग विधि बिना किसी स्पष्ट ट्रांज़िशन डायनेमिक्स के ज्ञान या विशेषज्ञ मार्गदर्शन के नीति की मजबूती में सुधार करने की अनुमति देती है, जो ज्ञात सुरक्षित और असुरक्षित क्षेत्रों के बीच के अंतर को पाटने के लिए VAE के जेनेरेटिव गुणों पर निर्भर करती है।
अनुभवजन्य सत्यापन: अध्ययन यह प्रदर्शित करता है कि ऊपरी और निचले-स्तर के सुरक्षा क्षेत्रों के भीतर अवस्थाओं को उत्पन्न करना, एप्सिलॉन-ग्रीडी या परटर्बड ट्रांज़िशन जैसी मानक अन्वेषण रणनीतियों की तुलना में सुरक्षा गारंटियों को कड़ा करने में काफी अधिक प्रभावी है।

प्रायोगिक परिणाम
लेखकों ने OpenAI Gym वातावरण, विशेष रूप से Ant (जटिल, उच्च-आयामी) और CartPole (क्लासिक कंट्रोल) पर अपने तरीके का मूल्यांकन किया।

सीमाओं की कसावट (Tightness of Bounds): चरण 2 में, प्रस्तावित विधि $\epsilon_1$ और $\epsilon_2$ के बीच के अंतर को महत्वपूर्ण रूप से कम करती है। उदाहरण के लिए, Ant वातावरण में, अन्य विधियों जैसे वैनिला PPO या एप्सिलॉन-ग्रीडी (जो क्रमशः $0.20, 0.45 $जैसे ढीले परिणाम देते हैं) की तुलना में, प्रस्तावित विधि ने सीमाओं को$ (0.11, 0.41) $से घटाकर$ (0.09, 0.18)$ कर दिया।
प्रदर्शन: प्रस्तावित विधि के साथ प्रशिक्षित नीति का औसत रिवॉर्ड आधारभूत विधियों (जैसे PPO, करिकुलम एडवरसेरियल ट्रेनिंग) के बराबर या उससे बेहतर रहा, जो यह दर्शाता है कि सुरक्षा गारंटी में सुधार करने से सीखने की दक्षता में कोई कमी नहीं आई।
तुलना: विधि ने सुरक्षा सीमाओं की कसावट के मामले में विभिन्न करिकुलम-आधारित और एडवरसेरियल ट्रेनिंग दृष्टिकोणों को पछाड़ दिया, विशेष रूप से अधिक जटिल Ant वातावरण में।

महत्व और दावे
यह शोध पत्र दावा करता है कि इसका प्राथमिक महत्व सामान्य अन्वेषणात्मक ह्यूरिस्टिक्स (exploratory heuristics) से हटकर सीधे RL नीतियों की एपिस्टेमिक अनिश्चितता (epistemic uncertainty) को लक्षित करने में निहित है। ऐसे नवीन परिदृश्य उत्पन्न करके जो विशेष रूप से सुरक्षित और असुरक्षित सीमाओं के बीच के "अनिश्चित" क्षेत्र में स्थित हैं, यह विधि तैनाती से पहले सुरक्षा की अधिक सटीक और मात्रात्मक गारंटी प्रदान करती है। लेखक तर्क देते हैं कि यह दृष्टिकोण मॉडल-मुक्त सेटिंग्स में संभाव्यतात्मक सुरक्षा गारंटी प्रदान करने में सक्षम व्याख्या योग्य (explainable) RL सिस्टम की दिशा में एक कदम है। वे स्पष्ट रूप से कहते हैं कि उनकी विधि दक्षता के साथ महत्वपूर्ण समझौता किए बिना मजबूत शिक्षण प्राप्त करती है और सुझाव देते हैं कि भविष्य के कार्य में विभिन्न एम्बेडिंग फंक्शन्स की तुलना करना और पदानुक्रमित (hierarchical) RL डिजाइनों के लिए सबटास्क-विशिष्ट परिदृश्य पीढ़ी तक विस्तार करना शामिल हो सकता है।