Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation
यह शोधपत्र 'कंजर्वेटिव क्वेरी एंड एडेप्टिव रेगुलराइजेशन अंडर अनसर्टेन्टी एस्टीमेशन' नामक एक लाइटवेट फ्रेमवर्क प्रस्तावित करता है, जो सूचनात्मक प्राथमिकता प्रश्नों (इंफॉर्मेटिव प्रेफरेंस क्वेरीज) के मार्गदर्शन और डेटा-स्तरीय बाधाओं को गतिशील रूप से समायोजित करने के लिए मोर्स नेटवर्क का लाभ उठाता है, जिससे D4RL बेंचमार्क पर ऑफलाइन सुदृढीकरण लर्निंग (ऑफलाइन रीइन्फोर्समेंट लर्निंग) के प्रदर्शन को बढ़ाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चलना सिखाने की कोशिश कर रहे हैं, लेकिन आप उसे वास्तविक दुनिया में अभ्यास करने की अनुमति नहीं दे सकते। शायद यह बहुत महंगा है, बहुत खतरनाक है, या रोबोट कुछ तोड़ सकता है। इसके बजाय, आप रोबोट को किसी और के चलने का एक विशाल वीडियो पुस्तकालय देते हैं। यह ऑफलाइन रीइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning) की दुनिया है। रोबोट को केवल इन पुराने वीडियो को देखकर एक रणनीति सीखनी है, बिना खुद कभी एक कदम भी उठाए। पेचीदा हिस्सा यह है कि रोबroट वीडियो में देखे गए किसी मूव की नकल करने की कोशिश कर सकता है, लेकिन यदि वह वीडियो में मौजूद चीज़ से थोड़ा अलग कुछ करने की कोशिश करता है, तो वह भ्रमित हो सकता है या गिर सकता है। इसे "डिस्ट्रीब्यूशन शिफ्ट" (distribution shift) की समस्या कहा जाता है: रोबोट उन चीजों के बारे में अनुमान लगा रहा है जो उसने पहले नहीं देखी हैं।
रोबोट को स्मार्ट बनाने के लिए, वैज्ञानिक कभी-कभी उसे एक मानव विशेषज्ञ से मदद मांगने की अनुमति देते हैं। कल्पना कीजिए कि रोबोट कहता है, "मुझे बाएं कदम रखना चाहिए या दाएं?" और विशेषज्ञ कहता है, "बाएं बेहतर है।" इसे एक्शन प्रेफरेंस क्वेरी (action preference query) कहा जाता है। यह एक संकेत प्राप्त करने जैसा है बिना वास्तव में उस मूव को खुद आज़माने के। हालांकि, एक पेंच है, यदि रोबोट किसी ऐसे मूव के बारे में पूछता है जो बहुत ही अजीब या वीडियो में देखी गई चीज़ों से बहुत दूर है, तो विशेषज्ञ की सलाह वास्तव में रोबोट की आंतरिक गणित को भ्रमित कर सकती है, जिससे वह गलत चीज़ सीख सकता है। बड़ा सवाल यह है कि हम रोबोट को मुसीबत में डाले बिना सही तरह की मदद कैसे मांगें?
यह पेपर इस समस्या को हल करने के लिए CQ2L (कंजर्वेटिव क्वेरी Q-लर्निंग) नामक एक चतुर नई प्रणाली पेश करता है। लेखक, नानजिंग यूनिवर्सिटी ऑफ एयरोनॉटिक्स एंड एस्ट्रोनॉटिक्स के ली-रोंग झोउ, किन-वेन लुओ और शेंग-जुन हुआंग ने महसूस किया कि पिछले तरीके थोड़े लापरवाह थे। वे किसी भी मूव पर सलाह मांगते थे जो रोबोट ने सोचा था, भले ही वह मूव प्रशिक्षण वीडियो में पूरी तरह से पराया था। इससे अक्सर रोबोट गलत सलाह पर "नशे में" होकर लड़खड़ा जाता था।
लेखकों ने इस समस्या को ठीक करने के लिए दो-भागों वाला सुरक्षा जाल प्रस्तावित किया है। सबसे पहले, वे एक विशेष उपकरण का उपयोग करते हैं जिसे मोंस न्यूरल नेटवर्क (Morse neural network) कहा जाता है। इसे एक "अजीबोगरीब डिटेक्टर" (weirdness detector) के रूप में समझें। रोबोट द्वारा मदद मांगने से पहले, यह डिटेक्टर जाँच करता है: "क्या यह नया मूव कुछ ऐसा है जो हमने पहले देखा है, या यह पूरी तरह से पराया है?" यदि मूव बहुत अधिक पराया (out-of-distribution) है, तो सिस्टम कहता है: "नहीं, इसके बारे में मत पूछो; यह बहुत जोखिम भरा है।" यह केवल रोबोट को उन मूव्स के बारे में पूछने की अनुमति देता है जो वीडियो लाइब्रेरी के करीब हैं। यह कंजर्वेटिव क्वेरी (Conservative Query) है।
दूसिला, भले ही रोबोट को अच्छी सलाह मिले, सिस्टम को यह जानने की आवश्यकता है कि उसे कितनी सुननी चाहिए। लेखकों ने एक एडैप्टिव रेगुलराइजेशन (Adaptive Regularization) प्रणाली बनाई है। कल्पना कीजिए कि रोबोट के पास विशेषज्ञ की सलाह के लिए एक वॉल्यूम नॉब (volume knob) है। यदि रोबोट कुछ बहुत परिचित (सुरक्षित) कर रहा है, तो वॉल्यूम कम कर दिया जाता है क्योंकि रोबोट वीडियो डेटा से ही अच्छी तरह सीख सकता है। लेकिन यदि रोबोट कुछ थोड़ा नया लेकिन फिर भी सुरक्षित करने की कोशिश कर रहा है, तो वॉल्यूम बढ़ाया जाता है ताकि विशेषज्ञ की सलाह मार्गदर्शन कर सके। यदि रोबोट कुछ खतरनाक करने की कोशिश करता है, तो सिस्टम वॉल्यूम को पूरी तरह से ऊपर कर देता है ताकि उसे वापस सुरक्षा की ओर धकेला जा सके। यह गतिशील समायोजन रोबोट को बहुत जिद्दी या बहुत आसानी से बहकावे में आने से रोकता है।
शोधकर्ताओं ने इस विचार का परीक्षण D4RL नामक एक प्रसिद्ध बेंचमार्क पर किया, जिसमें एक आभासी चीता दौड़ने या एक चींटी द्वारा भूलभुलैया में रास्ता खोजने जैसे कार्य शामिल हैं। उन्होंने अपने तरीके की तुलना अन्य शीर्ष एल्गोरिदम से की। परिणामों ने दिखाया कि उनका "स्मार्ट क्वेश्चनिंग" दृष्टिकोण मानक ऑफलाइन लर्निंग से बेहतर काम करता है। वास्तव में, इसने उन तरीकों के समान या कभी-कभी उनसे भी बेहतर प्रदर्शन किया जिन्हें वास्तविक दुनिया में लंबे समय तक अभ्यास करने की अनुमति दी गई थी, लेकिन उन्होंने बहुत कम "प्रश्नों" (अन्य तरीकों के 250,000 स्टेप्स के मुकाबले केवल 90,000 प्रेफरेंस क्वेरीज़) के साथ यह किया।
पेपर स्पष्ट रूप से किसी भी रैंडम मूव पर सलाह मांगने के पुराने तरीके के खिलाफ तर्क देता है, यह दिखाते हुए कि इससे अस्थिर लर्निंग और खराब परिणाम मिलते हैं। वे सुझाव देते हैं कि इस बात पर ध्यान देकर कि आप क्या पूछते हैं और आप कैसे सुनते हैं, आप दोनों दुनिया का सर्वश्रेष्ठ प्राप्त कर सकते हैं: एक स्थिर पुस्तकालय से सीखने की सुरक्षा और विशेषज्ञ मार्गदर्शन का बढ़ावा, बिना रोबोट के क्रैश होने के जोखिम के। D4RL बेंचमार्क पर उनके प्रयोग सुझाव देते हैं कि यह दृष्टिकोण ऑफलाइन लर्निंग को स्मार्ट और सुरक्षित बनाने का एक ठोस, विश्वसनीय तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।