Fully Offline Reinforcement Learning
यह शोध पत्र SOReL और TOReL को प्रस्तुत करता है, जो एक पूर्णतः ऑफलाइन बेयसियन ढांचा (Bayesian framework) है जो बिना किसी ऑनलाइन इंटरैक्शन के, मॉडल-आधारित और मॉडल-मुक्त सुदृढीकरण शिक्षण (reinforcement learning) दोनों के लिए विश्वसनीय हाइपरपैरामीटर ट्यूनिंग और प्रदर्शन अनुमान सक्षम करता है, जबकि मिनिमैक्स-इष्टतम अभिसरण (minimax-optimal convergence) की सैद्धांतिक गारंटी भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। आमतौर पर, रोबोट हजारों बार खेलकर सीखता है, दीवारों से टकराकर, खाइयों में गिरकर और धीरे-धीरे यह समझकर कि क्या काम करता है। इसे "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) कहा जाता है। लेकिन क्या होगा अगर आप रोबोट को टकराने न दे सकें? क्या होगा अगर वह एक सेल्फ-ड्राइविंग कार हो, एक मेडिकल ड्रोन हो, या किसी परमाणु संयंत्र का नियंत्रक हो? आप वास्तविक दुनिया में "ट्रायल एंड एरर" (परीक्षण और त्रुटि) वाले चरण का खर्च नहीं उठा सकते। आपको चाहिए कि रोबोट पुराने गेम रिकॉर्डिंग्स के पुस्तकालय से पूरी तरह से सीखे—शायद किसी ऐसे मानव खिलाड़ी द्वारा रिकॉर्ड किए गए जो गेम में केवल "ठीक-ठाक" था, कोई प्रो नहीं। इसे ऑफलाइन रीइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning) कहा जाता है।
इस लाइब्रेरी दृष्टिकोण के साथ बड़ी समस्या यह है कि रोबोट के पास यह जांचने का कोई तरीका नहीं है कि वह वास्तव में कुछ अच्छा सीख रहा है या नहीं, जब तक कि आप अंततः उसे वास्तविक गेम खेलने के लिए न छोड़ दें। यदि आप रोबोट के मस्तिष्क के लिए गलत सेटिंग्स (जिन्हें "हाइपरपैरामीटर्स" कहा जाता है) चुनते हैं, तो यह लाइब्रेरी में तो एकदम सही लग सकता है लेकिन वास्तविकता में बुरी तरह विफल हो सकता है। वर्तमान में, वैज्ञानिकों को अक्सर इन सेटिंग्स का परीक्षण करने के लिए रोबोट को चुपके से वास्तविक दुनिया में भेजना पड़ता है, जो इसे सुरक्षित और ऑफलाइन रखने के पूरे उद्देश्य को ही खत्म कर देता है। उन्हें एक ऐसा तरीका चाहिए जिससे वे केवल पुराने रिकॉर्डिंग्स को देखकर यह जान सकें कि वास्तविक दुनिया में रोबोट कितना अच्छा प्रदर्शन करेगा।
यह शोध पत्र इस पहेली को सुलझाने का एक नया तरीका पेश करता है। लेखक, जो ऑक्सफोर्ड विश्वविद्यालय की एक टीम है, दो नई विधियाँ प्रस्तावित करते हैं जिन्हें SOReL और TOReL कहा जाता है। SOReL को रोबोट प्रशिक्षण के लिए एक "क्रिस्टल बॉल" (भविष्य बताने वाला गोला) के रूप में समझें। केवल पुरानी रिकॉर्डिंग्स को याद करने के बजाय, रोबोट अपने दिमाग में संभव दुनिया का एक "क्या होगा अगर" (what-if) पुस्तकालय बनाता है। यह उपलब्ध डेटा के आधार पर गेम के हजारों थोड़े अलग संस्करणों की कल्पना करता है। कुछ संस्करण आसान हो सकते हैं, कुछ कठिन, कुछ फिसलन भरे फर्श वाले, कुछ उछलने वाली दीवारों वाले। इन सभी काल्पनिक दुनियाओं में खेलकर, रोबोट न केवल यह अनुमान लगा सकता है कि वह क्या करेगा, बल्कि यह भी कि उसके अनुमान के बारे में वह कितना आश्वस्त है। यदि रोबोट भ्रमित है (क्योंकि पुराना डेटा कम या विरल था), तो क्रिस्टल बॉल लाल रंग में चमकती है, जो इंसान को चेतावनी देती है, "मुझे अभी तैनात न करें, मैं केवल अनुमान लगा रहा हूँ!" यदि रोबोट आश्वस्त है, तो बॉल हरी चमकती है।
दूसरी विधि, TOReL, एक यूनिवर्सल रिमोट कंट्रोल की तरह है जो किसी भी प्रकार के रोबोट मस्तिष्क के लिए काम करता है, न कि केवल फैंसी "क्रिस्टल बॉल" वाले। यह अन्य लोकप्रिय रोबोट-लर्निंग विधियों के सेटिंग्स को ट्यून करने के लिए उसी तर्क का उपयोग करता है, यह सुनिश्चित करते हुए कि वे वास्तविक दुनिया को छूने से पहले ही पूरी तरह से सटीक हों।
टीम ने गणितीय रूप से सिद्ध किया है कि उनका "क्रिस्टल बॉल" दृष्टिकोण सैद्धांतिक रूप से सुदृढ़ है, जिसका अर्थ है कि यह सीमित डेटा से सीखने के सर्वोत्तम नियमों का पालन करता है। अपने परीक्षणों में, उन्होंने रोबोट को मानक वीडियो गेम वातावरण (जैसे कि भौतिक सिमुलेशन में उपयोग किए जाने वाले) पर प्रशिक्षित किया। उन्होंने पाया कि SOReL वास्तविक दुनिया के स्कोर की भविष्यवाणी करने में पिछले तरीकों की तुलना में बहुत अधिक सटीकता के साथ कर सकता है। उदाहरण के लिए, दौड़ने वाले रोबोट के स्कोर की भविष्यवाणी करते समय, उनकी विधि औसतन केवल 70 अंकों से गलत थी, जबकि पुराना सबसे अच्छा तरीका 550 अंकों से गलत था। इसके अलावा, TOReL ने अन्य रोबोटों के लिए पूरी तरह से ऑफलाइन सेटिंग्स को ढूंढ लिया, जिससे वास्तविक दुनिया में सेटिंग्स का परीक्षण करने के लिए आवश्यक भारी समय और कंप्यूटर शक्ति की बचत हुई।
संक्षेप में, यह शोध पत्र केवल रोबोट को पुरानी वीडियो से सीखना ही नहीं सिखाता है; यह उन्हें एक विश्वसनीय तरीका भी देता है कि वे हमें बता सकें, "मैं तैयार हूँ," या "मुझे और अभ्यास की आवश्यकता है," बिना कभी भी वास्तविक दुनिया में कोई जोखिम भरा कदम उठाए। यह "क्या यह काम करेगा?" की डरावनी अनिश्चितता को एक मापने योग्य, भरोसेमंद संकेत में बदल देता है, जिससे वास्तविक दुनिया में बुद्धिमान एजेंटों को तैनात करना बहुत सुरक्षित और सस्ता हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।