Sampling-Based Safe Reinforcement Learning
यह शोध पत्र सैंपलिंग-आधारित सेफ रिइन्फोर्समेंट लर्निंग (SBSRL) प्रस्तुत करता है, जो एक मॉडल-आधारित एल्गोरिदम है जो डायनेमिक्स सैंपल्स में बाधाओं को लागू करके और एपिस्टेमिक अनसर्टेन्टी (epistemic uncertainty) को प्रबंधित करके निरंतर नियंत्रण शिक्षण के दौरान सुरक्षा सुनिश्चित करता है, जिससे सैद्धांतिक सुरक्षा गारंटी प्रदान होती है और सिमुलेशन एवं वास्तविक दुनिया के रोबोटिक हार्डवेयर दोनों में कुशल अन्वेषण प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक जटिल बाधा कोर्स (obstacle course) के माध्यम से एक रेस कार चलाने के लिए सिखा रहे हैं। रोबोट ने पहले कभी यह ट्रैक नहीं देखा है, और उसे यह भी नहीं पता कि कार मोड़ कैसे लेती है या वह कितनी जल्दी रुक सकती है।
यदि आप रोबोट को सीखने के लिए बस बेतरतीब ढंग से (randomly) चलाने देते हैं, तो वह दीवार से टकरा सकता है, कार तोड़ सकता है, या किसी को चोट पहुँचा सकता है। यह सेफ रीइन्फोर्समेंट लर्निंग (Safe Reinforcement Learning) की मूल समस्या है: आप AI को नई चीजें आज़माने के लिए कैसे सीखने दे सकते हैं बिना किसी आपदा का कारण बने?
यह पेपर इस समस्या को हल करने के लिए SBSRL (सैंपलिंग-बेस्ड सेफ रीइन्फोर्समेंट लर्निंग) नामक एक नई विधि पेश करता है। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) का उपयोग करके यहाँ समझाया गया है:
1. "क्या होगा अगर" का खेल (मुख्य विचार)
अधिकांश AI सुरक्षा विधियाँ अत्यधिक सावधान रहने की कोशिश करती हैं। वे वास्तविकता के सबसे बुरे संभव संस्करण की कल्पना करती हैं ताकि रोबोट सुरक्षित रहे। लेकिन यह उस ड्राइवर की तरह है जो दुर्घटना के डर से इतना डरा हुआ है कि वह कभी घर से बाहर ही नहीं निकलता। वे कुछ भी उपयोगी सीखने के लिए बहुत अधिक रूढ़िवादी (conservative) हो जाते हैं।
SBSRB एक अलग दृष्टिकोण अपनाता है। एक एकल सबसे खराब स्थिति (worst-case scenario) की गणना करने के बजाय (जो गणितीय रूप से पूरी तरह से करना असंभव है), यह विभिन्न संभावनाओं के सेट का उपयोग करके "क्या होगा अगर?" का खेल खेलता है।
- उपमा: कल्पना कीजिए कि आप एक रोड ट्रिप की योजना बना रहे हैं, लेकिन आपको सड़कों की सटीक स्थिति का पता नहीं है। इसके बजाय कि आप यह मान लें कि हर सड़क एक कीचड़ भरा दलदल है (बहुत डरावना) या हर सड़क एकदम सही है (बहुत जोखिम भरा), आप 10 अलग-अलग मानचित्र (maps) बनाते हैं।
- मैप 1: सड़क थोड़ी ऊबड़-खाबड़ है।
- मैप 2: सड़क में एक छोटा गड्ढा है।
- मैप 3: सड़क बर्फीली है।
- ...और इसी तरह।
SBSRL इन "काल्पनिक दुनियाओं" (samples) का एक सेट बनाता है जो वर्तमान में रोबोट जो जानता है उसके आधार पर निर्मित होते हैं। फिर यह रोबोट से पूछता है: "क्या तुम एक ऐसा रास्ता खोज सकते हो जो इन सभी 10 मानचित्रों पर सुरक्षित रूप से काम करे?"
यदि रोबोट इन सभी काल्पनिक मानचित्रों पर सुरक्षित रूप से चल सकता है, तो गणित यह सिद्ध करता है कि वह वास्तविक सड़क पर भी लगभग निश्चित रूप से सुरक्षित रहेगा। यह रोबोट को सीखने के लिए पर्याप्त साहसी बनाता है, लेकिन दुर्घटनाओं से बचने के लिए पर्याप्त सुरक्षित भी रखता है।
2. "क्यूरियोसिटी मीटर" (खोज/Exploration)
आमतौर पर, AI को नए क्षेत्रों की खोज करने के लिए प्रोग्रामर को उसे जिज्ञासु होने के लिए "बोनस अंक" देने पड़ते हैं। इसे ट्यून करना मुश्किल है; बहुत अधिक अंक, और रोबोट अनियंत्रित हो जाएगा; बहुत कम अंक, और वह वहीं अटक जाएगा।
SBSRL बोनस अंकों को पूरी तरह से हटा देता है। इसके बजाय, यह एक क्यूरियोसिटी मीटर (Curiosity Meter) का उपयोग एक नियम के रूप में करता है।
- उपमा: रोबोट को एक क्लासरूम में छात्र के रूप में सोचें। शिक्षक (एल्गोरिदम) कहता है: "आप अगले पाठ पर तभी जा सकते हैं जब आपने वर्तमान विषय के बारे में पर्याप्त जानकारी प्राप्त कर ली हो।"
- यदि रोबोट पहले से ही एक विशिष्ट क्षेत्र के बारे में बहुत आश्वस्त है (कम अनिश्चितता), तो उसे केवल सबसे अच्छा स्कोर प्राप्त करने पर ध्यान केंद्रित करने की अनुमति है।
- यदि रोबोट एक ऐसे "धुंधले" क्षेत्र में है जहाँ वह नियमों को नहीं जानता (उच्च अनिश्चितता), तो नियम उसे जीतने की कोशिश करने से पहले वहां जानकारी एकत्र करने के लिए मजबूर करता है।
यह सीखने की प्रक्रिया को स्वचालित बनाता है। रोबोट केवल तभी खोज (explore) करता है जब उसे ज़रूरत होती है, न कि इसलिए क्योंकि उसे ऐसा करने के लिए कहा गया था।
3. परिणाम: सिमुलेशन से वास्तविक कारों तक
लेखकों ने इस विचार का दो तरीकों से परीक्षण किया:
कंप्यूटर में (सिमुलेशन): उन्होंने मानक भौतिकी सिमुलेशन (जैसे पेंडुलम को झुलाना या पोल को संतुलित करना) का उपयोग किया। उन्होंने अन्य सुरक्षा एल्गोरिदम के विरुद्ध अपनी विधि की तुलना की।
- परिणाम: SBSRL ने अन्य विधियों की तुलना में तेज़ी से सीखा और अधिक कुशलता से लक्ष्य तक पहुँचा, जबकि उसने कभी भी सुरक्षा नियमों का उल्लंघन नहीं किया। अन्य विधियाँ कभी-कभी दुर्घटनाग्रस्त हो गईं क्योंकि उन्होंने पर्याप्त "क्या होगा अगर" परिदृश्यों पर विचार नहीं किया था।
वास्तविक दुनिया में (हार्डवेयर): उन्होंने इस एल्गोरिदम को एक वास्तविक, हाई-स्पीड रिमोट-कंट्रोल रेस कार पर लगाया। यह एक बहुत ही खतरनाक वातावरण है जहाँ एक गलती का मतलब है टूटी हुई कार।
- सेटअप: उन्होंने एक "प्रायर" (एक बुनियादी सुरक्षा गाइड) के साथ शुरुआत की और कार को ऑनलाइन सीखने दिया।
- परिणाम: कार समय के साथ सफलतापूर्वक तेज़ और बेहतर ड्राइविंग सीख गई। महत्वपूर्ण बात यह है कि सीखने की प्रक्रिया के दौरान वह कभी क्रैश नहीं हुई। इसके विपरीत, एक ऐसा संस्करण जिसमें "क्या होगा अगर" सैंपलिंग पद्धति का उपयोग नहीं किया गया था (केवल एक औसत अनुमान पर निर्भर था), उसने कार को क्रैश कर दिया और ऊर्जा का नुकसान किया।
सारांश
SBSRL एक स्मार्ट ड्राइविंग इंस्ट्रक्टर की तरह है।
सबसे बुरे परिणाम का अनुमान लगाने के (जो सीखने को पंगु बना देता है) या एक एकल औसत अनुमान पर भरोसा करने के (जो खतरनाक है) बजाय, इंस्ट्रक्टर कुछ "संभावित भविष्यों" का निर्माण करता है। छात्र (रोबोट) को केवल तभी गाड़ी चलाने की अनुमति दी जाती है यदि वह उन सभी संभावित भविष्यों को सुरक्षित रूप से संभाल सके।
यह सरल ट्रिक रोबोट को तेजी से सीखने के लिए पर्याप्त साहसी बनाती है, लेकिन कंप्यूटर सिमुलेशन या वास्तविक, हाई-स्पीड रेस कार हो, सुरक्षित रहने के लिए पर्याप्त सतर्क भी बनाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।