Do You Really Need to Pretrain Q-Functions for Online RL Fine-Tuning?
यह शोध पत्र ऑनलाइन आरएल (RL) फाइन-ट्यूनिंग के लिए क्यू-फंक्शंस (Q-functions) को प्रीट्रेन करने के पारंपरिक ज्ञान को चुनौती देता है, यह प्रकट करते हुए कि नैव (naive) प्रीट्रेनिंग अक्सर लक्ष्य बेमेल (target mismatch) के कारण विफल हो जाती है, और इसके बजाय 'इनिशियलाइजेशन वाया पॉलिसी एनसेम्बल' (IPE) पद्धति का प्रस्ताव करता है, जो विविध पॉलिसी रोलआउट्स का लाभ उठाकर रैंडम इनिशियलाइजेशन और पारंपरिक प्रीट्रेनिंग दोनों की तुलना में काफी बेहतर प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कोई जटिल कार्य सिखाने की कोशिश कर रहे हैं, जैसे कि ब्लॉक्स को एक के ऊपर एक रखना या किसी खिलौने को जोड़ना। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक लोकप्रिय रणनीति है जिसे "प्री-ट्रेनिंग के बाद फाइन-ट्यूनिंग" (pre-training followed by fine-tuning) कहा जाता है। प्री-ट्रेनिंग को ऐसे समझें जैसे किसी छात्र को चीजें बनाने के बारे में कैसे चीजें बनाई जाती हैं, इस पर हजारों किताबें पढ़ने के लिए लाइब्रेरी में भेजना। वे सिद्धांत और नियम सीखते हैं। फिर, फाइन-ट्यूनिंग उसी छात्र को एक वास्तविक वर्कशॉप में भेजने जैसा है जहाँ वह अभ्यास करता है, गलतियाँ करता है और करके सीखता है।
विज्ञान के इस विशिष्ट कोने में, जिसे रीइन्फोर्समेंट लर्निंग (RL) कहा जाता है, "छात्र" एक कंप्यूटर प्रोग्राम है जिसे पॉलिसी (policy) कहा जाता है। यह वह मस्तिष्क है जो तय करता है कि कौन सा कदम उठाना है। लेकिन छात्र को एक Q-फंक्शन (Q-function) की भी आवश्यकता होती है। आप Q-फंक्शन को एक बहुत ही सख्त कोच या स्कोरकीपर के रूप में देख सकते हैं। यह एक स्थिति और एक संभावित चाल को देखता है, और एक स्कोर देता है: "यदि तुम यह करते हो, तो तुम्हें उच्च पुरस्कार मिलेगा। यदि तुम वह करते हो, तो तुम असफल हो जाओगे।" पॉलिसी इस कोच की बात सुनकर तय करती है कि कौन सी चालें अच्छी हैं। आमतौर पर, जब हमारे पास लाइब्रेरी से बहुत सारा डेटा (ऑफलाइन डेटा) होता है, तो हम छात्र और कोच दोनों को एक साथ प्रशिक्षित करते हैं। यह तर्कसंगत लगता है कि यदि छात्र किताबों को पढ़कर पहले से ही स्मार्ट है, तो कोच को भी उन्हीं किताबों को पढ़कर स्मार्ट होना चाहिए। लेकिन क्या वास्तव में ऐसा है? यही वह बड़ा सवाल है जो यह शोध पत्र पूछता है।
स्टैनफोर्ड यूनिवर्सिटी के शोधकर्ताओं ने एक आम धारणा का परीक्षण करने का निर्णय लिया: "यदि हमारे पास एक स्मार्ट रोबोट पॉलिसी है जिसे ऑफलाइन डेटा पर प्री-ट्रेन किया गया था, तो क्या हमें वास्तविक दुनिया में अभ्यास करने देने से पहले उसके Q-फंक्शन कोच को भी उसी ऑफलाइन डेटा पर प्री-ट्रेन करना चाहिए?"
आश्चर्यजनक रूप से, उत्तर नहीं है। शोध पत्र पाता है कि कोच को उसी ऑफलाइन डेटा पर प्री-ट्रेनिंग देकर शुरुआत में बढ़त दिलाने से रोबोट को वास्तव में तेजी से सीखने या बेहतर प्रदर्शन करने में मदद नहीं मिलती है। वास्तव में, यह कभी-कभी चीजों को बदतर बना देता है। लेखकों ने एक मौलिक बेमेल (mismatch) की खोज की: पुराने किताबों पर प्रशिक्षित कोच उन कार्यों का न्याय करने के लिए सीखता है जो पुराने रोबोट ने किए थे। लेकिन जब रोबोट वास्तविक दुनिया में अभ्यास करना शुरू करता है (ऑनलाइन फाइन-ट्यूनिंग), तो उसे एक ऐसे कोच की आवश्यकता होती है जो उन कार्यों का न्याय करे जो नए, बेहतर रोबोट द्वारा भविष्य में किए जाएंगे। ये दोनों लक्ष्य अलग हैं। प्री-ट्रेन्ड कोच अतीत में अटका हुआ है, वह रोबोट को उसके पुराने, कम कुशल स्वरूप के मानकों के आधार पर आंक रहा है, न कि उसके भविष्य के, सुपर-कुशल स्वरूप की क्षमता के आधार पर।
इसे ठीक करने के लिए, लेखक एक चतुर नई विधि प्रस्तावित करते हैं जिसे इनिशियलाइजेशन वाया पॉलिसी एनसेम्बल (IPE) कहा जाता है। केवल एक रोबलेट और एक कोच को प्रशिक्षित करने के बजाय, वे एक ही लाइब्रेरी डेटा पर थोड़े अलग रोबोटों की एक पूरी टीम (एनसेम्बल) को प्रशिक्षित करते हैं। भले ही उन सभी ने एक ही किताबों से सीखा हो, लेकिन वे में से प्रत्येक अलग तरह की गलतियाँ करते हैं और अलग तरह के प्रयास करते हैं। शोधकर्ता इन सभी विभिन्न रोबोटों के डेटा का उपयोग कोच को प्रशिक्षित करने के लिए करते हैं। यह कोच को क्या संभव है, इसकी एक बहुत व्यापक दृष्टि देता है, जिससे उसे भविष्य के लिए कार्यों का सही ढंग से न्याय करने में मदद मिलती है, न कि केवल अतीत की नकल करने में। जब उन्होंने चुनौतीपूर्ण रोबोट नियंत्रण कार्यों पर इसका परीक्षण किया, तो IPE पद्धति ने पुराने तरीके (जिसमें कोच को केवल सहज रूप से प्री-ट्रेन किया जाता था) की तुलना में रोबोट के अंतिम प्रदर्शन में औसतन 26% का सुधार किया।
तो, मुख्य निष्कर्ष यह है कि हालांकि यह सही लगता है कि सब कुछ एक साथ प्रशिक्षित किया जाए, लेकिन कभी-कभी कोच को खेल को वास्तव में समझने के लिए विविध प्रकार के प्रयासों को देखने की आवश्यकता होती है। विविध "छात्रों" की एक टीम का उपयोग करके कोच को प्रशिक्षित करके, रोबोट बहुत तेज़ी से चैंपियन बनना सीख जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।