Decoupling Policy Extraction for Offline Reinforcement Learning

कल्पना कीजिए कि एक छात्र कार चलाना सीखने की कोशिश कर रहा है, लेकिन स्टीयरिंग व्हील के पीछे बैठकर सड़क को महसूस करने के बजाय, उसे केवल एक आदर्श ड्राइवर के एकल, स्थिर वीडियो का अध्ययन करने के लिए मजबूर किया जाता है। वह गलतियाँ नहीं कर सकता, वह नए मोड़ नहीं आजमा सकता, और उसे वास्तविक दुनिया से कोई फीडबैक नहीं मिल सकता। यह ऑफलाइन रिइन्फोर्समेंट लर्निंग (offline reinforcement learning) की चुनौती है, जो एक ऐसा क्षेत्र है जहाँ आर्टिफिशियल इंटेलिजेंस केवल पिछले डेटा के एक निश्चित संग्रह का उपयोग करके निर्णय लेना सीखता है। इस सेटिंग में, कंप्यूटर को यह समझना होगा कि उसने जो उदाहरण देखे हैं, उनसे बेहतर कैसे काम किया जाए, बिना वास्तविकता में उन नए विचारों का परीक्षण किए। इन प्रणालियों को सिखाने का पारंपरिक तरीका दो भागों के एक घनिष्ठ लूप (tight loop) में काम करने पर आधारित है: एक भाग सीखता है कि कौन से कार्य अच्छे हैं, और दूसरा भाग सीखता है कि उन्हें कैसे किया जाए। पहला भाग दूसरे का निरंतर मार्गदर्शन करता है, उसे वे कार्य करने के लिए प्रेरित करता है जो मूल्यवान दिखते हैं। हालाँकि, क्योंकि डेटा समय में जम चुका है, यह मार्गदर्शन खतरनाक हो सकता है। यदि "क्या अच्छा है" वाला भाग कोई गलती करता है और किसी जोखिम भरे कदम का अत्यधिक आकलन (overestimate) कर लेता है, तो "कैसे प्रदर्शन करें" वाला भाग उसे करने की कोशिश करेगा, जिससे त्रुटि सुदृढ़ होगी और वह सुरक्षित, प्रमाणित व्यवहार से दूर भटक जाएगा।

सिम्प्लेक्सिटी रोबोटिक्स (Simplexity Robotics) और रेंसलेर पॉलिटेक्निक इंस्टीट्यूट (Rensselaer Polytechnic Institute) के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने का एक अलग तरीका प्रस्तावित किया है, जिसमें उन्होंने सुझाव दिया है कि इन दोनों भागों को सीखने के चरण के दौरान एक-दूसरे से बात करना बंद कर देना चाहिए। अपने नए दृष्टिकोण में, वे डेटा से सीखने के कार्य और सर्वश्रेष्ठ क्रिया चुनने के कार्य को पूरी तरह से अलग कर देते हैं। सबसे पहले, वे केवल डेटासेट में पाए जाने वाले व्यवहार की नकल करने के लिए एक मॉडल को प्रशिक्षित करते हैं, जो एक पूर्ण प्रतिलिपिकार (copyist) की तरह कार्य करता है जो न तो सुधार करने की कोशिश करता है और न ही नई रणनीतियों का अनुमान लगाता है। यह मॉडल कई संभावित क्रियाओं की एक सूची उत्पन्न करता है जो ज्ञात रूप से सुरक्षित और डेटा द्वारा समर्थित हैं। फिर, एक अलग प्रणाली, जिसे स्वतंत्र रूप से मूल्य (value) आंकने के लिए प्रशिक्षित किया गया है, इस सूची को देखती है और सर्वोत्तम विकल्प को निष्पादित करने के लिए चुनती है। इस फीडबैक लूप को तोड़कर, जो आमतौर पर इन दोनों को जोड़ता है, शोधकर्ताओं ने पाया कि वे त्रुटियों को बढ़ाने वाले जाल से बच सकते हैं। वर्चुअल मेज़ (virtual mazes) से लेकर रोबोटिक भुजाओं के हेरफेर तक, तीस विभिन्न जटिल कार्यों पर उनके प्रयोगों ने दिखाया कि यह अलग की गई विधि पारंपरिक, मजबूती से जुड़े दृष्टिकोणों की तुलना में लगातार बेहतर प्रदर्शन करती है। कुछ मामलों में, सफलता की दर आधे से भी कम से बढ़कर लगभग सत्तर प्रतिशत तक पहुँच गई, जो यह सिद्ध करता है कि कभी-कभी सुधार करने का सबसे अच्छा तरीका यह है कि जब तक शिक्षार्थी पढ़ रहा हो, तब तक उसे सुधारने की कोशिश छोड़ दी जाए।

शोधकर्ताओं ने जिस मुख्य समस्या की पहचान की है, वह यह है कि मानक आर्टिफिशियल इंटेलिजेंस सिस्टम स्थिर डेटा से कैसे सीखते हैं। एक विशिष्ट सेटअप में, सिस्टम के पास एक "क्रिटिक" (critic) होता है जो क्रियाओं के मूल्य का अनुमान लगाता है और एक "एक्टर" (actor) होता है जो उन्हें करने का कौशल सीखता है। क्रिटिक एक्टर को बताता है कि कौन से मूव्स अच्छे हैं, और एक्टर उन्हें करने का प्रयास करता है। एक वास्तविक दुनिया के परिदृश्य में जहाँ रोबोट वातावरण के साथ अंतःक्रिया जारी रख सकता है, यह अच्छी तरह से काम करता है क्योंकि यदि क्रिटिक कोई गलती करता है, तो एक्टर के नए प्रयास नया डेटा उत्पन्न करते हैं जो त्रुटि को सुधार देता है। लेकिन ऑफलाइन लर्निंग में, डेटासेट लॉक है। यदि क्रिटिक गलती से मानता है कि एक खतरनाक क्रिया मूल्यवान है, तो एक्टर उसे करने की कोशिश करेगा, और चूंकि त्रुटि को सुधारने के लिए कोई नया डेटा नहीं आता, इसलिए गलती और भी बदतर होती जाती है। एक्टर उन क्रियाओं के क्षेत्रों में भटक जाता है जिन्हें डेटा ने कभी कवर नहीं किया था, जिसे शोधकर्ता "आउट-ऑफ-डिस्ट्रीब्यूशन एम्प्लीफिकेशन लूप" (out-of-distribution amplification loop) कहते हैं। इसे रोकने के लिए, मौजूदा विधियाँ अक्सर एक्टर को मूल डेटा के करीब रहने के लिए मजबूर करने की कोशिश करती हैं, लेकिन यह एक कठिन समझौता पैदा करता है: यदि आप एक्टर को बहुत अधिक सीमित करते हैं, तो वह सुरक्षित डेटा के भीतर भी सर्वोत्तम चालें नहीं खोज पाता; यदि आप उसे बहुत दूर जाने देते हैं, तो वह त्रुटि के लूप में गिर जाता है।

इसे हल करने के लिए, शोधकर्ताओं ने प्रक्रिया को अलग (decouple) कर दिया। उन्होंने एक्टर को केवल एक काम करने के लिए प्रशिक्षित किया: डेटा में पाई जाने वाली क्रियाओं के वितरण (distribution) का मॉडल बनाना। उन्होंने क्रिटिक को एक्टर के प्रशिक्षण को प्रभावित करने की अनुमति नहीं दी। एक बार जब यह "प्रपोजर" (proposer) मॉडल प्रशिक्षित हो गया, तो इसे फ्रीज (frozen) कर दिया गया, जिसका अर्थ है कि यह फिर कभी बदलेगा नहीं। जब रोबोट को निर्णय लेने की आवश्यकता होती है, तो प्रपोजर संभावित क्रियाओं का एक छोटा सेट उत्पन्न करता है, जो सभी सुरक्षित और प्रेक्षित डेटा पर आधारित होते हैं। एक अलग क्रिटिक, जिसे स्वतंत्र रूप से मूल्य आंकने के लिए प्रशिक्षित किया गया था, फिर इस विशिष्ट सूची को देखता है और उच्चतम स्कोर वाले विकल्प को चुनता है। इसने सुधार के कार्य को प्रशिक्षण चरण से निर्णय लेने के क्षण में स्थानांतरित कर दिया। एक्टर के मस्तिष्क को बेहतर बनाने के लिए उसे बदलने के बजाय, सिस्टम ने बस कुछ सुरक्षित विकल्प उत्पन्न किए और एक निर्णायक को विजेता चुनने दिया। इस दृष्टिकोण का अर्थ था कि क्रिटिक को अब एक्टर के खतरनाक क्षेत्र में भटकने की चिंता करने की आवश्यकता नहीं थी, क्योंकि एक्टर को भटकने की अनुमति ही नहीं दी गई थी। क्रिटिक को केवल प्रदान किए गए सुरक्षित विकल्पों को रैंक करना था।

इस प्रयोग के परिणाम आश्चर्यजनक थे। शोधकर्ताओं ने तीस विभिन्न कार्यों पर अपने तरीके का परीक्षण किया, जिनमें लक्ष्य-उन्मुख व्यवहार शामिल थे, जैसे कि एक रोबोट चींटी को बड़े भूलभुलैया (maze) में नेविगेट करना या एक ह्यूमनॉइड रोबोट को एक जटिल वातावरण के माध्यम से ले जाना। उन्होंने अपने विकपल्ड (decoupled) तरीके की तुलना उन मानक तकनीकों से की जो एक्टर और क्रिटिक को जोड़े रखती हैं। 'AntMaze-Large' नामक नेविगेशन कार्य में, एक विशिष्ट प्रकार के वैल्यू लर्नर का उपयोग करने वाली पारंपरिक विधि ने लगभग इकतीस प्रतिशत की सफलता दर प्राप्त की। जब शोधकर्ताओं ने उसी वैल्यू लर्नर के साथ अपना विकपल्ड दृष्टिकोण लागू किया, तो सफलता दर बढ़कर उनचास प्रतिशत हो गई। क्यूब के हेरफेर से जुड़े एक कार्य में, सुधार और भी नाटकीय था, जहाँ विकपल्ड पद्धति ने इक्कीस प्रतिशत की पारंपरिक पद्धति की तुलना में उनासी प्रतिशत की सफलता दर हासिल की। शायद सबसे आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि एक बहुत ही सरल, बुनियादी वैल्यू-लर्निंग सिस्टम, जो आमतौर पर ऑफलाइन सेटिंग्स में संघर्ष करता है, इस विकपल्ड चयन प्रक्रिया के साथ जुड़कर अत्यधिक प्रभावी हो गया। एक पहेली सुलझाने वाले कार्य में, एक सरल वैल्यू लर्नर ने उनके तरीके के साथ सौ प्रतिशत सफलता दर प्राप्त की, जो जटिल, मानक प्रणालियों से कहीं बेहतर था।

अध्ययन ने यह भी स्पष्ट किया कि यह अलगाव इतनी अच्छी तरह से क्यों काम करता है। शोधकर्ताओं ने पाया कि जब प्रपोजर केवल एक के बजाय कुछ उम्मीदवारों (candidates) को उत्पन्न करता है, तो सिस्टम सुरक्षित डेटा क्षेत्र को अधिक गहनता से एक्सप्लोर कर पाता है। हालाँकि, इसकी एक सीमा भी थी। यदि सिस्टम बहुत अधिक उम्मीदवार उत्पन्न करता है, तो जोखिम भरे, आउट-ऑफ-डिस्ट्रीब्यूशन एक्शन को शामिल करने की संभावना बढ़ जाती है, और वैल्यू-जजिंग सिस्टम गलती से उसे चुन सकता है। उम्मीदवारों की संख्या को ट्यून करके इष्टतम संतुलन पाया गया, जो एक एकल सेटिंग है जिसे पूरे सिस्टम को पुन: प्रशिक्षित किए बिना समायोजित किया जा सकता है। यह लचीलापन एक महत्वपूर्ण लाभ है, क्योंकि पारंपरिक विधियों को अक्सर सुरक्षा और प्रदर्शन के बीच संतुलन को ठीक करने के लिए महंगी री-ट्रेनिंग की आवश्यकता होती है। शोधकर्ताओं ने उल्लेख किया कि यह दृष्टिकोण विशेष रूप से बड़े पैमाने के रोबोटिक सिस्टम के लिए आशाजनक है, जहाँ एक विशाल मॉडल को पुन: प्रशिक्षित करना गणनात्मक रूप से महंगा होता है। मुख्य मॉडल को फ्रीज रखकर और अंतिम चुनाव करने के लिए केवल एक हल्के वजन वाले वैल्यू सिस्टम का उपयोग करके, यह विधि बेहतर प्रदर्शन के लिए एक गणनात्मक रूप से कुशल मार्ग प्रदान करती है।

शोधकर्ता स्वीकार करते हैं कि इस पद्धति की एक सीमा है: सिस्टम केवल उन्हीं क्रियाओं में से चुन सकता है जिन्हें फ्रीज किया गया प्रपोजर उत्पन्न कर सकता है। यदि सर्वोत्तम संभव क्रिया मूल डेटा में कभी नहीं देखी गई थी, तो सिस्टम उसका आविष्कार नहीं कर सकता। हालाँकि, जो संभव है उसकी सीमाओं के भीतर, विकपल्ड दृष्टिकोण ने पारंपरिक, जुड़े हुए तरीकों की तुलना में लगातार बेहतर समाधान खोजे। यह कार्य इस लंबे समय से चली आ रही धारणा को चुनौती देता है कि सीखना और सुधार एक ही लूप में एक साथ होना चाहिए, जो कि स्थिर डेटा से सीखते समय आवश्यक या वांछनीय भी नहीं हो सकता है। सुरक्षित विकल्पों के सृजन को सर्वश्रेष्ठ चयन से अलग करके, शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस के लिए अतीत से सीखने का एक स्पष्ट और अधिक स्थिर मार्ग प्रदान किया है। निष्कर्ष बताते हैं कि ऑफलाइन लर्निंग के लिए, सबसे प्रभावी रणनीति यह है कि एक्टर को प्रशिक्षण के दौरान चतुर बनने के लिए सिखाने के बजाय, उसे केवल अतीत को याद रखने दें, और सुधार का काम क्रिया के क्षण में एक अलग, आलोचनात्मक दृष्टि पर छोड़ दें।