Rethinking the Suitability of Reinforcement Learning Algorithms Under Practical Transfer Constraints
यह शोध पत्र तर्क देता है कि ट्रांसफर कार्यों के लिए सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) एल्गोरिदम का मूल्यांकन करने के लिए सैंपल दक्षता से परे व्यावहारिक वॉल-क्लॉक प्रशिक्षण समय और डोमेन रैंडमाइजेशन के तहत मजबूती को शामिल करना आवश्यक है, जो यह प्रदर्शित करता है कि सैंपल-अकुशल PPO, SAC और TD-MPC2 जैसे अधिक सैंपल-कुशल एल्गोरिदम की तुलना में गति में बेहतर प्रदर्शन कर सकता है, जबकि तीनों प्रतिमान (पैराडाइम) डोमेन रैंडमाइजेशन से समान रूप से लाभान्वित होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ रोबोट कठोर नियमों के साथ प्रोग्राम किए जाने के बजाय, एक बच्चे के चलने सीखने की तरह, परीक्षण और त्रुटि (trial and error) के खेल के माध्यम से चलना, नाचना या गेंद पकड़ना सीखते हैं। इस क्षेत्र को 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning - RL) कहा जाता है। इस डिजिटल खेल के मैदान में, एक AI एजेंट अलग-अलग चालें चलता है, अच्छा करने पर अंक प्राप्त करता है, और गिरने पर अंक खो देता है। समय के साथ, वह हिलने-डुलने का सबसे अच्छा तरीका समझ जाता है। लेकिन यहाँ एक पेंच है: यह सारा सीखना ज्यादातर एक आदर्श, नकली कंप्यूटर दुनिया (एक सिम्युलेटर) में होता है। वास्तविक लक्ष्य उस सीखी हुई कुशलता को वास्तविक, अनिश्चित दुनिया में ले जाना और उपयोग करना है। इसे "ट्रांसफर" (transfer) कहा जाता है।
इस ट्रांसफर को सफल बनाने के लिए, वैज्ञानिक आमतौर पर यह मापते हैं कि कोई एल्गोरिदम कितना "सैंपल एफिशिएंट" (sample efficient) है। इसे ऐसे समझें जैसे कि यह गिनना कि किसी अवधारणा को सीखने के लिए एक छात्र को कितनी बार किताब का पन्ना पलटना पड़ता है। यदि एल्गोरिदम A को 1,000 पन्ने पलटने पड़ते हैं और एल्गोरिदम B को 10,000, तो हम आमतौर पर एल्गोरिदम A को विजेता मानते हैं। लेकिन यह शोध पत्र एक अलग, बहुत व्यावहारिक प्रश्न पूछता है: क्या होगा अगर छात्र के पास एक टिक-टिक करती घड़ी हो? क्या होगा अगर वास्तविक बाधा पन्ने पलटने की संख्या नहीं, बल्कि उन्हें पढ़ने की गति हो? आधुनिक कंप्यूटिंग में, हम एक साथ हजारों सिमुलेशन चला सकते हैं, जैसे कि एक हजार छात्र एक ही समय में एक ही किताब पढ़ रहे हों। इसका मतलब है कि एक ऐसा एल्गोरिदम जिसे अधिक "पलटों" (flips) की आवश्यकता है, उसके पास एक बड़ी टीम होने पर वह किताब को वास्तव में तेजी से पढ़ सकता है। यह शोध पत्र पता लगाता है कि क्या हमारे सीखने के एल्गोरिदम को रैंक करने का सामान्य तरीका वास्तव में उस बड़ी तस्वीर को मिस कर रहा है जो वास्तविक दुनिया में काम करती है।
शोधकर्ताओं के एक दल ने, जो विश्वविद्यालयों और अनुसंधान संस्थानों से हैं, तीन लोकप्रिय लर्निंग एल्गोरिदम को परखने का निर्णय लिया: PPO (एक विधि जो स्थिर होने और एक साथ कई कंप्यूटरों का उपयोग करने में अच्छी होने के लिए जानी जाती है), SAC (एक विधि जो कम अभ्यास प्रयासों की आवश्यकता के लिए प्रसिद्ध है), और TD-MPC2 (एक स्मार्ट विधि जो तेजी से सीखने के लिए भविष्य की भविष्यवाणी करने की कोशिश करती है)। वे देखना चाहते थे कि क्या "विजेता" इस बात पर निर्भर करता है कि आप उन्हें कैसे मापते हैं।
सबसे पहले, उन्होंने "वॉल-क्लॉक टाइम" (वास्तविक समय) बनाम "प्रयासों की संख्या" को देखा। अपने सिमुलेशन में, उन्होंने एक दौड़ आयोजित की। जब उन्होंने केवल अभ्यास प्रयासों (इंटरेक्शन) की संख्या गिनी, तो SAC और TD-MPC2 स्पष्ट विजेता थे, जिन्होंने PPO की तुलना में कम प्रयासों के साथ कार्यों को सीखा। यह एक ऐसे छात्र को देखने जैसा था जिसने आधे समय में किताब याद कर ली हो। हालाँकि, जब उन्होंने वास्तविक समय में मापने के लिए स्टॉपवॉच बदली, तो कहानी बदल गई। क्योंकि PPO को 2,048 समानांतर वातावरणों (कल्पना कीजिए कि 2,048 छात्र ठीक उसी सेकंड में किताब पढ़ रहे हैं) पर चलाने के लिए सेट किया गया था, इसलिए इसने अपने विशाल अभ्यास डेटा को इतनी तेजी से एकत्र किया कि इसने अन्य दोनों की तुलना में वास्तविक समय में एक कामकाजी रोबोट पॉलिसी बहुत तेजी से तैयार कर दी। शोध पत्र सुझाव देता है कि यदि आप एक डेडलाइन वाले रोबोट इंजीनियर हैं, तो "धीमा" सीखने वाला (PPO) वास्तव में आपको फिनिश लाइन तक जल्दी पहुँचा सकता है क्योंकि यह शक्तिशाली कंप्यूटरों के साथ बेहतर तरीके से स्केल करता है।
इसके बाद, टीम ने "डोमेन रैंडमाइजेशन" (domain randomization) की समस्या को सुलझाया। यह एक ऐसी तकनीक है जहाँ आप रोबोट को एक सिम्युलेटर में सिखाते हैं जो हर बार थोड़ा बदल जाता है—शायद एक पल फर्श फिसलन भरा है, या अगले पल रोबट के पैर भारी हैं। लक्ष्य रोबोट को इतना मजबूत बनाना है कि वह वास्तविक दुनिया को संभाल सके, जहाँ चीजें कभी भी पूर्ण नहीं होतीं। एक आम धारणा थी कि कुछ सीखने की शैलियाँ (जैसे जटिल, भविष्य बताने वाली TD-MPC2) इस अराजक वातावरण में भ्रमित हो सकती हैं या विफल हो सकती हैं, जबकि अन्य (जैसे PPO) को ही एकमात्र रूप से इसे संभालने वाला माना जाता था।
शोधकर्ताओं ने सभी तीन एल्गोरिदम को पांच अलग-अलग स्तरों की अराजकता (chaos) के साथ प्रशिक्षित करके इसका परीक्षण किया, जो "नैरो" (मामूली बदलाव) से लेकर "एक्सटेंसिव" (अत्यधिक भिन्न भौतिकी) तक थी। उन्होंने पाया कि यह विचार कि कोई एल्गोरिदम स्वाभाविक रूप से अराजकता को संभालने में बेहतर है, एक मिथक है। अपने सिमुलेशन में, PPO, SAC और TD-MPC2 तीनों को डोमेन रैंडमाइजेशन से लाभ हुआ, लेकिन परिणाम मिले-जुले थे। कभी-कभी, थोड़ी सी अराजकता ने SAC को सबसे अधिक मदद की; अन्य बार, बहुत अधिक अराजकता ने TD-MPC2 की मदद की। किसी भी स्थिति के लिए कोई एक "सर्वश्रेष्ठ" एल्गोरिदम नहीं था। शोध पत्र निष्कर्ष निकालता है कि रैंडम ट्रेनिंग का उपयोग करने की सफलता काफी हद तक विशिष्ट कार्य, विशिष्ट एल्गोरिदम और आपके द्वारा पेश की गई अराजकता की मात्रा पर निर्भर करती है। यह सबसे "मजबूत" रोबोट चुनने के बारे में नहीं है; यह काम के अनुकूल प्रशिक्षण वातावरण को ट्यून करने के बारे में है।
अंत में, यह शोध पत्र तर्क देता है कि हमें केवल "सैंपल एफiciency" को एकमात्र स्कोरकार्ड के रूप में देखना बंद कर देना चाहिए। सिर्फ इसलिए कि एक एल्गोरिदम कम इंटरैक्शन के साथ सीखता है, इसका मतलब यह नहीं है कि वह वास्तविक दुनिया के प्रोजेक्ट के लिए सबसे अच्छा विकल्प है। यदि आपके पास समय की सीमा है और शक्तिशाली कंप्यूटरों तक पहुंच है, तो एक "कम कुशल" एल्गोरिदम व्यावहारिक विजेता हो सकता है। और जब बात वास्तविक दुनिया के आश्चर्यों के खिलाफ रोबोट को मजबूत बनाने की आती है, तो कोई एक-आकार-सभी-के-लिए-उपयुक्त (one-size-fits-all) समाधान नहीं है; सबसे अच्छा दृष्टिकोण उस विशिष्ट पहेली पर निर्भर करता है जिसे आप हल करने की कोशिश कर रहे हैं। लेखक सुझाव देते हैं कि भविष्य के इंजीनियरों को रोबोट को प्रशिक्षित करने में लगने वाले समय को उतना ही महत्व देना चाहिए जितना कि उसे कितनी बार अभ्यास करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।