Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning
यह शोध पत्र सुरक्षित सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) के लिए एक अनुकूली संभाव्य शिल्डिंग ढांचे का प्रस्ताव करता है जो एक अज्ञात MDP से संक्रमण संभावनाओं (ट्रांजिशन प्रोबेबिलिटीज) के अनुमान के माध्यम से सुरक्षा बाधाओं को गतिशील रूप से गणना करने और अपडेट करने के लिए ऑनलाइन मॉडल लर्निंग को एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनें चीजों को आजमाकर निर्णय लेना सीखती हैं, ठीक वैसे ही जैसे एक बच्चा गिरने और फिर से उठकर चलने का अभ्यास करके चलना सीखता है। यह प्रक्रिया, जिसे 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) कहा जाता है, सॉफ्टवेयर एजेंटों को पर्यावरण के साथ अंतःक्रिया करके और अच्छे विकल्पों के लिए पुरस्कार प्राप्त करके समस्याओं को हल करने का सबसे अच्छा तरीका खोजने की अनुमति देती है। हालांकि, वास्तविक दुनिया में, एक गलत कदम की कीमत विनाशकारी हो सकती है। एक बिना ड्राइवर वाली कार यह परीक्षण करने के लिए किसी खतरनाक पैंतरेबाज़ी को आज़माने का जोखिम नहीं उठा सकती कि वह काम करता है या नहीं; एक मेडिकल रोबोट रोगी को नुकसान पहुँचाने का जोखिम नहीं उठा सकता जब वह सबसे सुरक्षित रास्ता खोज रहा हो। यह एक मौलिक तनाव पैदा करता है: प्रभावी ढंग से सीखने के लिए, एक एजेंट को अन्वेषण (explore) करना चाहिए, लेकिन सुरक्षित रहने के लिए, उसे अज्ञात से बचना चाहिए। वर्षों से, शोधकर्ताओं ने एक "शील्ड" (shield) बनाकर इसे हल करने की कोशिश की है—एक सुरक्षा गार्ड जो एजेंट द्वारा उठाए जाने वाले किसी भी ऐसे कार्य को रोकता है जिससे आपदा आ सकती है। समस्या यह है कि पारंपरिक शील्ड के लिए दुनिया के एक पूर्ण, पूर्व-मौजूद मानचित्र की आवश्यकता होती है, जिसमें हर संभावित परिणाम की सटीक संभावनाएँ शामिल हों। भौतिक दुनिया की जटिल वास्तविकता में, ऐसा पूर्ण मानचित्र एजेंट के सीखना शुरू करने से पहले शायद ही कभी मौजूद होता है।
शोधकर्ताओं की एक टीम ने इस दुविधा को संभालने का एक नया तरीका विकसित किया है, जिससे एक ऐसी प्रणाली बनाई गई है जहाँ सुरक्षा कवच (safety shield) एजेंट के साथ मिलकर सीखता और अनुकूलित होता है। एक पूर्ण मानचित्र की प्रतीक्षा करने के बजाय, उनका दृष्टिकोण यह मानता है कि एजेंट को पर्यावरण का सामान्य लेआउट पता है—वे स्थान जहाँ वह जा सकता है और वे कार्य जो वह कर सकता है—लेकिन उसे यह नहीं पता कि उन कार्यों से होने वाले परिणामों की सटीक संभावना क्या है। जैसे-जैसे एजेंट अन्वेषण करता है, वह इस बात का डेटा एकत्र करता है कि वास्तव में उसके हिलने-डुलने पर क्या होता है। एक कंप्यूटर प्रोग्राम फिर इस ताज़ा डेटा का उपयोग दुनिया के नियमों का अनुमान लगाने के लिए करता है, जिससे लुप्त संभावनाओं की भरपाई होती है। इस अनुमान से, सिस्टम एक सुरक्षा कवच का निर्माण करता है। शुरुआत में, क्योंकि डेटा कम होता है, कवच बहुत सतर्क होता है, और निश्चित होने के लिए कई कार्यों को रोकता है। लेकिन जैसे-जैसे एजेंट अधिक अनुभव प्राप्त करता है, अनुमान अधिक सटीक होता जाता है, अनिश्चितता कम होती जाती है, और कवच अपनी पकड़ ढीली कर देता है, जिससे एजेंट को अधिक कुशल जोखिम लेने की अनुमति मिलती है। यह एक ऐसी साझेदारी बनाता है जहाँ एजेंट और उसका सुरक्षा गार्ड दोनों मिलकर सुधार करते हैं, यह सुनिश्चित करते हुए कि एजेंट प्रभावी होने के साथ-साथ सुरक्षित भी रहे।
शोधकर्ताओं ने इस विचार का परीक्षण कई सिम्युलेटेड दुनिया में किया, जिसमें एक विमान का दूसरे विमान से टक्कर से बचना और एक चींटी का शिकारी के चारों ओर रास्ता बनाना शामिल था। इन वातावरणों में, एजेंट को एक लक्ष्य तक पहुँचना था और विशिष्ट खतरों से बचना था, जबकि फिसलने या विफल होने की सटीक संभावनाएँ उससे छिपी हुई थीं। उन्होंने अपने इस अनुकूलन योग्य (adaptive) तरीके की तुलना दो अन्य दृष्टिकोणों से की: एक जहाँ एजेंट के पास कोई सुरक्षा गार्ड नहीं था, और दूसरा जहाँ उसके पास दुनिया के ज्ञात, पूर्ण मानचित्र पर आधारित एक पूर्ण कवच था। परिणामों ने दिखाया कि अनुकूलन योग्य विधि उल्लेखनीय रूप से सफल रही। इसने ऐसे नीतियां सीखीं जो पूर्ण कवच जितनी ही सुरक्षित थीं, जबकि बिना गार्ड वाले एजेंट के मामले में बार-बार खतरनाक दुर्घटनाएं हुईं। कुछ मामलों में, अनुकूलन योग्य प्रणाली ने पूर्ण कवच से बेहतर मार्ग भी खोज निकाला, क्योंकि इसके शुरुआती सतर्क अन्वेषण ने इसे उन लाभदायक रास्तों को खोजने में मदद की जिन्हें स्थिर, पूर्व-निर्धारित कवच ने मिस कर दिया था।
एक प्रमुख निष्कर्ष यह था कि यह प्रणाली तब सबसे अच्छा काम करती है जब नए डेटा के आने पर सुरक्षा कवच को नियमित रूप से अपडेट किया जाता है। यदि कवच को बहुत कम बार अपडेट किया जाता है, तो एजेंट अत्यधिक सावधानी की स्थिति में फंसा रहता है, और उस ज्ञान का लाभ उठाने में असमर्थ होता है जो उसने प्राप्त किया है। यदि इसे बहुत बार अपडेट किया जाता है, तो सिस्टम सीखने के बजाय सुरक्षा की पुनर्गणना करने में बहुत अधिक समय बिता देता है। शोधकर्ताओं ने पाया कि एक संतुलन था जहाँ हर एक हजार लर्निंग एपिसोड के बाद कवच को अपडेट करने से एजेंट अपने ज्ञान का लाभ उठाते हुए भी प्रगति को बाधित किए बिना दुनिया की अपनी समझ को परिष्कृत कर सकता था। उन्होंने यह भी खोजा कि संभावनाओं का अनुमान लगाने का तरीका मायने रखता है। कुछ विधियाँ जो अज्ञात डेटा के लिए सबसे खराब स्थिति (worst-case scenario) मान लेती हैं, वे अत्यधिक प्रतिबंधात्मक होती हैं, जबकि थोड़ी अधिक आशावादी (optimistic) विधियाँ एजेंट को अधिक स्वतंत्र रूप से अन्वेषण करने की अनुमति देती हैं। सबसे प्रभावी दृष्टिकोण ने एक संतुलित रणनीति का उपयोग किया जो सुरक्षित भी रहा लेकिन केवल इसलिए उपयोगी कार्यों को नहीं रोका क्योंकि डेटा अभी पूर्ण नहीं था।
अध्ययन ने एजेंट के अन्वेषण के तरीके के बारे में एक सूक्ष्म लेकिन महत्वपूर्ण विवरण पर भी प्रकाश डाला। जब एजेंट कुछ नया सीखने के लिए एक यादृच्छिक (random) क्रिया करने का निर्णय लेता है, तो सिस्टम उसे सभी संभावित क्रियाओं में से चुनने की अनुमति देता है, यहाँ तक कि उन क्रियाओं में भी जिन्हें वर्तमान कवच असुरक्षित मानता है। यह विरोधाभासी लग सकता है, लेकिन यह एजेंट को दुनिया के एक छोटे, सुरक्षित कोने में फंसने से रोकता है। अज्ञात के किनारों पर कभी-कभी साहसिक कदम उठाकर, एजेंट वह डेटा एकत्र करता है जो यह सिद्ध करने के लिए आवश्यक है कि उन सीमाओं को सुरक्षित रूप से विस्तारित किया जा सकता है। बिना इस स्वतंत्रता के, कवच कभी भी अपनी रूढ़िवादी प्रकृति को कम करने के लिए नहीं सीख पाता। शोधकर्ताओं ने देखा कि जटिल वातावरण में, गणना किए गए जोखिम लेने की यह इच्छा सर्वोत्तम पथ खोजने के लिए आवश्यक थी।
अंततः, यह कार्य प्रदर्शित करता है कि सुरक्षा और सीखना एक-दूसरे के दुश्मन नहीं हैं। सुरक्षा कवच को एक निश्चित दीवार के बजाय एक जीवित मार्गदर्शक के रूप में देखते हुए, जो एजेंट के अनुभव के साथ विकसित होता है, बिना किसी पूर्व पूर्ण मानचित्र के खतरनाक वातावरण में नेविगेट करना संभव है। सिस्टम ने सिद्ध किया कि एक एजेंट सुरक्षित और कुशल दोनों होने का प्रशिक्षण ले सकता है, बशर्ते सुरक्षा तंत्र इतना लचीला हो कि वह एजेंट की दुनिया की समझ बढ़ने के साथ बढ़ सके। यह दृष्टिकोण वास्तविक दुनिया के परिदृश्यों में बुद्धिमान प्रणालियों को तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है, जहाँ नियम पूरी तरह से ज्ञात नहीं होते, यह सुनिश्चित करते हुए कि महारत हासिल करने की यात्रा सुरक्षा की कीमत पर न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।