Active Offline-to-Online Reinforcement Learning
यह शोध पत्र ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) के लिए एक नवीन सक्रिय नीति चयन ढांचे को प्रस्तुत करता है जो स्थानीय रूप से रैखिक प्रदर्शन पूर्वानुमानों से प्राप्त ऊपरी-विश्वास सीमाओं (अपर-कॉन्फिडेंस बाउंड्स) का उपयोग करके उम्मीदवार नीतियों के मूल्यांकन और सबसे आशाजनक नीतियों के फाइन-ट्यूनिंग के बीच के संतुलन को गतिशील रूप से संतुलित करके सीमित इंटरेक्शन बजट को अनुकूलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट कोच हैं जो शुरुआती एथलीटों की एक टीम को मैराथन दौड़ने के लिए सिखाने की कोशिश कर रहे हैं। आपके पास पुराने रेस टेप्स (जिसे ऑफलाइन डेटासेट कहा जाता है) का एक विशाल पुस्तकालय है, जो दिखाता है कि अतीत में अन्य धावक कैसे चले थे। आपके पास एक बहुत ही सख्त नियम भी है: आप अपने शुरुआती खिलाड़ियों को वास्तविक ट्रैक पर केवल बहुत कम, सीमित समय के लिए ही दौड़ने दे सकते हैं (जिसे ऑनलाइन इंटरेक्शन बजट कहा जाता है) क्योंकि ट्रैक खतरनाक, महंगा या मौसम खराब हो सकता है।
बड़ी समस्या यह है कि सिर्फ इसलिए कि कोई धावक पुराने टेप्स में अच्छा दिख रहा था, इसका मतलब यह नहीं है कि वह वास्तविक ट्रैक पर भी अच्छा होगा। वास्तव में, कुछ लोग तुरंत लड़खड़ा कर गिर भी सकते हैं। यह ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (Offline-to-Online Reinforcement Learning - O2O-RL) की दुनिया है।
पुराना तरीका: बहुत जल्दी विजेता चुन लेना
परंपरागत रूप से, कोच टेप्स देखते थे, एक अनुमान के आधार पर सबसे "अच्छे दिखने वाले" एकल शुरुआती खिलाड़ी को चुनते थे, और फिर अपना सारा सीमित ट्रैक समय केवल उसी एक व्यक्ति को प्रशिक्षित करने में खर्च कर देते थे। यदि उनका अनुमान गलत निकला, या यदि उस खिलाड़ी को अपनी असली क्षमता दिखाने के लिए बस थोड़े और वार्म-अप की आवश्यकता थी, तो कोच ने अपना पूरा बजट बर्बाद कर दिया।
अन्य कोचों ने एक अलग गलती की: उन्होंने बहुत कम ट्रैक समय सभी में समान रूप से बांट दिया। इसका मतलब था कि किसी भी अकेले धावक को वास्तव में अच्छा होने के लिए पर्याप्त समय नहीं मिला, भले ही उनमें से कोई एक जन्मजात चैंपियन हो।
नया विचार: "स्मार्ट स्विच" कोच
इस शोध पत्र के लेखक, अल्पर कामिल बोज़कुर्ट, शांगतोंग झांग और युइची मोटा, एक स्मार्ट तरीका सुझाते हैं। वे इसे एक्टिव ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (Active Offline-to-Online Reinforcement Learning) कहते हैं।
एक ही खिलाड़ी को चुनने या समय को समान रूप से बांटने के बजाय, वे प्रशिक्षण को क्रिस्टल बॉल के साथ म्यूजिकल चेयर्स (Musical Chairs) के खेल की तरह देखते हैं।
- द स्क्वाड (दल): सबसे पहले, वे पुराने टेप्स का उपयोग करके उम्मीदवारों के एक बड़े और विविध समूह (प्रत्येक वातावरण के लिए 16 अलग-अलग "शुरुआती खिलाड़ी") को प्रशिक्षित करते हैं। उनमें से प्रत्येक अलग-अलग प्रशिक्षण नियमों (एल्गोरिदम और सेटिंग्स) का उपयोग करता है।
- क्रिस्टल बॉल: जैसे ही वे खिलाड़ियों को वास्तविक ट्रैक पर दौड़ने देते हैं, वे केवल देखते ही नहीं; वे एक लोकल लीनियर रिग्रेशन मॉडल का उपयोग करते हैं। इसे एक क्रिस्टल बॉल की तरह समझें जो एक धावक के पिछले कुछ कदमों को देखती है और यह अनुमान लगाने के लिए एक सीधी रेखा खींचती है कि वे भविष्य में कहाँ होंगे। यह उनके अनुमान के आसपास एक "अनिश्चितता क्षेत्र" (कॉन्फिडेंस इंटरवल) भी बनाता है ताकि यह दिखाया जा सके कि वह कितना अनिश्चित है।
- द स्विच (बदलाव): कोच एक ही धावक पर टिका नहीं रहता। इसके बजाय, वे लगातार पूछते हैं: "वर्तमान में किसकी संभावित स्कोर सबसे अधिक है, यदि वर्तमान गति और सुधार की संभावना दोनों को ध्यान में रखा जाए?"
- यदि कोई धावक तेजी से सुधार कर रहा है, तो कोच उसे प्रशिक्षित करना जारी रखता है।
- यदि कोई धावक रुक जाता है या धीमा होने लगता है, तो कोच तुरंत दूसरे खिलाड़ी पर स्विच कर जाता है जो बेहतर भविष्य वाला दिखता है।
- वे अपर कॉन्फिडेंस बाउंड्स (UCB) नामक गणितीय ट्रिक का उपयोग करते हैं। यह एक बोनस स्कोर देने जैसा है उन धावकों को जो जोखिम भरे हैं लेकिन सुपरस्टार हो सकते हैं, जिससे यह सुनिश्चित होता है कि कोच उन्हें केवल एक बुरे दिन के कारण बहुत जल्दी उम्मीद न छोड़ दे।
प्रयोग क्या दिखाते हैं
टीम ने वास्तविक दुनिया के कंप्यूटर सिमुलेशन (जैसे Swimmer, Hopper, Ant, और Maze वातावरण का उपयोग करके) में इस "स्मार्ट स्विच" विधि का परीक्षण किया। उन्होंने कोई भौतिक रोबोट नहीं बनाया; उन्होंने ये परीक्षण 16 प्रोसेसर कोर वाले कंप्यूटर पर चलाए।
यहाँ उन्हें क्या पता चला:
- यह बेहतर काम करता है: लगभग हर परीक्षण में, उनकी "स्मार्ट स्विच" विधि पुराने तरीकों से बेहतर रही। उदाहरण के लिए, Maze कार्यों में, उनकी विधि ने 97.3% का स्कोर प्राप्त किया (एक ऐसे पैमाने पर जहाँ 100% सर्वश्रेष्ठ संभव है), जबकि पुराने "एक को चुनने" वाले तरीके ने केवल 67.0% प्राप्त किया।
- यह "वार्म-अप" को संभालता है: कुछ रोबोटों (जैसे Hopper या Ant) को तेज दौड़ने से पहले शुरू होने के लिए लंबे समय की आवश्यकता होती है। पुराना "समय बांटने वाला" तरीका यहाँ विफल रहा क्योंकि उसने किसी भी अकेले रोबोट को वार्म-अप के लिए पर्याप्त समय नहीं दिया। "स्मार्ट स्विच" विधि ने इंतजार किया, देखा कि कौन वार्म-अप कर रहा है, और फिर सारा समय उसी एक पर लगा दिया।
- यह पूर्ण नहीं है: Swimmer और Ant वातावरण में जब बजट बहुत कम था, तो इस विधि को संघर्ष करना पड़ा। कभी-कभी, "क्रिस्टल बॉल" यह नहीं बता पाती थी कि कोई धावक केवल खराब शुरुआत कर रहा है या वह वास्तव में बुरा है, जिससे कोच उस धावक को सुधारने की कोशिश में समय बर्बाद करने लगा जिसे बचाया नहीं जा सकता था।
उन्होंने किन बातों को "ना" कहा
लेखक इस बारे में बहुत स्पष्ट थे कि उनका तरीका क्या नहीं है:
- उन्होंने रोबोटों को शुरू से प्रशिक्षित करने का कोई नया तरीका आविष्कृत नहीं किया। उन्होंने मौजूदा प्रशिक्षण एल्गोरिदम (जैसे CalQL, ReBRAC, IQL, और AWAC) का उपयोग किया और बस उनके ऊपर अपना "स्मार्ट स्विच" लेयर जोड़ दिया।
- उन्होंने यह दावा नहीं किया कि शुरुआत में ही सबसे अच्छे धावक को चुनना (बिना स्विच किए) एक अच्छा विचार है। उनके डेटा ने दिखाया कि टेप्स में "सबसे अच्छा" दिखने वाला धावक अक्सर वास्तविक ट्रैक पर पहुँचने के बाद एक रैंडम अनुमान से भी खराब प्रदर्शन करता है।
- उन्होंने यह नहीं कहा कि यह अपने आप "डिस्ट्रीब्यूशनल शिफ्ट" (जहाँ रोबोट उस डेटा से अलग व्यवहार करता है जिस पर उसे प्रशिक्षित किया गया था) की समस्या को हल करता है। उन्होंने केवल यह दिखाया कि सक्रिय रूप से रणनीतियों को बदलना जोखिम को प्रबंधित करने में मदद करता है।
वे कितने आश्वस्त हैं?
लेखक अपने परिणामों के प्रति आश्वस्त हैं उन सिमुलेशन के भीतर जो उन्होंने चलाए हैं। उन्होंने कई अलग-अलग रोबोट कार्यों (नेविगेशन, संतुलन, चलना) में अपने प्रयोगों का परीक्षण किया और परिणामों को केवल भाग्य नहीं बनाने के लिए चार अलग-अलग रैंडम सीड्स के साथ दोहराया।
हालाँकि, वे सावधानीपूर्वक नोट करते हैं कि यह एक सिमुलेशन है। उन्होंने अभी तक इसे वास्तविक दुनिया के कारखाने या खतरनाक वातावरण में एक वास्तविक, भौतिक रोबोट पर परीक्षण नहीं किया है। वे सुझाव देते हैं कि हालांकि उनकी विधि ऑफलाइन लर्निंग को व्यावहारिक बनाने की दिशा में एक बड़ा कदम है, लेकिन वास्तविक दुनिया की अव्यवस्थित और अप्रत्याशित स्थितियों के लिए इसे मजबूत बनाने हेतु अभी भी काम किया जाना बाकी है।
संक्षेप में, यदि आपके पास रोबोट को प्रशिक्षित करने के लिए सीमित बजट है, तो एक अनुमान पर सब कुछ दांव पर न लगाएं, और न ही अपना पैसा बहुत कम फैलाएं। इसके बजाय, अपने विकल्प खुले रखें, देखें कि कौन सुधार कर रहा है, और भविष्य की सबसे अच्छी क्षमता वाले खिलाड़ी पर अपना दांव बदलने के लिए तैयार रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।