Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data
यह शोध पत्र अनुभव पुनरावृत्ति (experience rehearsal) और निष्पादन मार्गदर्शन (execution guidance) के माध्यम से प्रचुर, गैर-क्यूरेटेड ऑफलाइन डेटा के साथ वर्ल्ड मॉडल्स को निर्देशित करके, वितरण संबंधी बदलाव (distributional shift) की समस्याओं को दूर करते हुए और विविध विज़ुओमोटर कार्यों में बेसलाइन्स से काफी बेहतर प्रदर्शन करते हुए, ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) की नमूना दक्षता (sample efficiency) को बढ़ाने की एक विधि प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चलना, दौड़ना या कॉफी का कप उठाना सिखाना चाहते हैं। पारंपरिक रूप से, आपको वहां बैठकर रोबोट को देखते रहना होगा और हर बार उसे बताना होगा कि उसने क्या सही किया और क्या गलत। यह प्रक्रिया धीमी, महंगी और बहुत अधिक मानवीय प्रयास वाली है क्योंकि इसमें डेटा को लेबल करने की आवश्यकता होती है।
यह शोध पत्र NCRL (Non-curated offline data for efficient Reinforcement Learning) नामक एक नई विधि पेश करता है जो "कचरे से खजाना" (trash-to-treasure) दृष्टिकोण का उपयोग करके रोबोट को बहुत तेज़ी से सिखाती है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. समस्या: "कचरा" डेटा की दुविधा
आमतौर पर, एक रोबोट को प्रशिक्षित करने के लिए, आपको एक स्वच्छ, व्यवस्थित डेटासेट की आवश्यकता होती है जहाँ प्रत्येक क्रिया को एक स्कोर के साथ लेबल किया गया हो (जैसे, "अच्छा काम!" या "बुरा काम!")। लेकिन वास्तविक दुनिया में, हमारे पास अव्यवस्थित, बिना व्यवस्थित डेटा का ढेर है।
- इसमें कोई स्कोर नहीं है (रिवॉर्ड-रहित/reward-free)।
- इसमें बेहतरीन चालों और भयानक गलतियों का मिश्रण है (मिश्रित गुणवत्ता)।
- यह अलग-अलग प्रकार के रोबोट्स से आता है (मल्टी-एम्बॉडमेंट/multi-embodiment)।
इसे एक ऐसी लाइब्रेरी की तरह समझें जो लाखों किताबों से भरी है, लेकिन उनमें से किसी का भी शीर्षक, सारांश या रेटिंग नहीं है। अधिकांश लोग इस लाइब्रेरी को अनदेखा कर देंगे क्योंकि इसका उपयोग करना बहुत कठिन है। पिछले तरीकों ने इस डेटा का उपयोग करने की कोशिश की, लेकिन वे अक्सर विफल रहे क्योंकि उन्होंने माना था कि डेटा व्यवस्थित और लेबल किया हुआ है।
2. समाधान: पहले एक "मानसिक मानचित्र" बनाना
किसी विशिष्ट कार्य को तुरंत सीखने के बजाय, NCRL विधि पहले एक वर्ल्ड मॉडल (World Model) बनाती है।
- उपमा: कल्पना कीजिए कि एक छात्र जो कार चलाना सीखना चाहता है। सीधे किराने की दुकान तक जाने के लिए कार में बैठने के बजाय, वह पहले महीनों तक हर तरह के ड्राइविंग वीडियो देखता है—कुछ रेस कारों के, कुछ ट्रकों के, कुछ खराब ड्राइविंग करने वाले लोगों के, और कुछ विशेषज्ञों के। उसे अभी मंजिल का पता नहीं है; वह बस यह सीखता है कि कार कैसे चलती है, सड़क कैसी दिखती है, और स्टीयरिंग कैसे काम करता है।
- पेपर का दावा: लेखकों ने इस अव्यवस्थित, बिना लेबल वाले डेटा पर एक एकल "मस्तिष्क" (वर्ल्ड मॉडल) को प्रशिक्षित किया। इस मस्तिष्क ने अंतिम लक्ष्य को जाने बिना, गति के सामान्य भौतिक विज्ञान (physics of movement) को सीखा।
3. जाल: "केवल फाइन-ट्यूनिंग" क्यों विफल होती है
शोधकर्ताओं ने पाया कि यदि आप इस पूर्व-प्रशिक्षित मस्तिष्क को लेते हैं और तुरंत इसे एक विशिष्ट नए कार्य (जैसे "दरवाजे तक चलो") को सिखाने की कोशिश करते हैं, तो यह अक्सर विफल हो जाता है।
- उपमा: यह उस छात्र की तरह है जिसने सामान्य ड्राइविंग वीडियो देखे हैं और उसे तुरंत एक ट्रैक पर रेस कार चलाने के लिए रख दिया जाता है जिसे उसने पहले कभी नहीं देखा। छात्र घबरा जाता है क्योंकि विशिष्ट ट्रैक उन वीडियो से बहुत अलग दिखता है जो उसने देखे थे। उसके द्वारा बनाया गया "मानसिक मानचित्र" नए कार्य की वास्तविकता से मेल नहीं खाता।
- पेपर का निष्कर्ष: उन्होंने पाया कि यह एक डिस्ट्रिब्यूशनल शिफ्ट (distributional shift) के कारण होता है। प्रशिक्षण के लिए उपयोग किया गया अव्यवस्थित डेटा, उस विशिष्ट डेटा से बहुत अलग दिखता है जिसका सामना रोबोट तब करता है जब वह नया कार्य हल करने की कोशिश शुरू करता है।
4. समाधान: दो विशेष तकनीकें
इस बेमेल को ठीक करने के लिए, लेखकों ने रोबोट को अव्यवस्थित अतीत और विशिष्ट वर्तमान के बीच के अंतर को पाटने में मदद करने के लिए दो "ट्रेनिंग व्हील्स" जोड़े।
तकनीक A: एक्सपीरियंस रिहर्सल (द "फ्लैशकार्ड" विधि)
- यह कैसे काम करती है: जब रोबोट नया कार्य सीखना शुरू करता है, तो वह केवल अपने नए, छोटे अनुभवों को नहीं देखता। वह अपने विशाल अव्यवस्थित डेटा के पुस्तकालय में वापस जाता है और उन विशिष्ट क्लिप्स को खोजता है जो वर्तमान स्थिति के समान दिखते हैं।
- उपमा: कल्पना कीजिए कि रोबोट एक विशिष्ट मोड़ पर फंसा हुआ है। केवल अनुमान लगाने के बजाय, वह अपने पुराने वीडियो के पुस्तकालय से एक "फ्लैशकार्ड" निकालता है जो एक समान मोड़ दिखाता है, भले ही वह पुराना वीडियो किसी दूसरे रोबोट का हो या किसी दूसरे दिन का। वह इन प्रासंगिक यादों का "अभ्यास" (rehearse) करता है ताकि यह याद दिला सके कि चीजें कैसे काम करती हैं, जिससे वह जो कुछ भी पहले सीखा है उसे भूलने से बच जाता है।
तकनीक B: एक्जीक्यूशन गाइडेंस (द "को-पायलट" विधि)
- यह कैसे काम करती है: रोबोट के पास एक "को-पायलट" (अव्यवस्थित डेटा पर प्रशिक्षित एक पॉलिसी) होता है जो जानता है कि सुरक्षित रूप से कैसे हिलना है, भले ही वह पूर्ण न हो। सीखने के शुरुआती चरणों के दौरान, रोबवर अपने स्वयं के नए विचारों को आज़माने और कुछ सेकंड के लिए को-पायलट को नियंत्रण सौंपने के बीच बारी-बारी से काम करता है।
- उपमा: एक नए ड्राइवर के बारे में सोचें जिसके बगल में एक ड्राइविंग इंस्ट्रक्टर बैठा है। नया ड्राइवर स्टीयरिंग करने की कोशिश करता है, लेकिन यदि वह भटकने लगता है, तो इंस्ट्रक्टर कार को सड़क पर रखने के लिए एक पल के लिए नियंत्रण ले लेता है, और फिर नियंत्रण वापस सौंप देता है। यह रोबोट को उन "डेड एंड्स" (बंद रास्तों) में जाने से रोकता है जहाँ वह कुछ भी नहीं सीख सकता, और उसे उन क्षेत्रों की ओर निर्देशित करता है जहाँ उसके सफल होने की अधिक संभावना है।
5. परिणाम: दोगुना तेज़
इस पेपर का परीक्षण 72 विभिन्न कार्यों पर किया गया, जिसमें चीता दौड़ने से लेकर ब्लॉक स्टैक करने वाले रोबोटिक आर्म तक शामिल थे।
- दावा: इस पद्धति का उपयोग करके, रोबोटों ने शून्य से शुरू करने वाले रोबोटों (बिना किसी पूर्व डेटा के सीखने वाले) की तुलना में दोगुनी तेज़ी से सीखा।
- तुलना: अन्य तरीकों की तुलना में भी, जिन्होंने ऑफलाइन डेटा का उपयोग करने की कोशिश की थी, NCRL ने महत्वपूर्ण अंतर से जीत हासिल की, विशेष रूप से कठिन कार्यों पर जहाँ रोबोट को खोजने और खुद से समझने की आवश्यकता होती है।
सारांश
यह पेपर तर्क देता है कि हमें रोबोट को सिखाने के लिए पूर्ण, लेबल किए गए डेटा की आवश्यकता नहीं है। हम उस "अव्यवस्थित" डेटा का उपयोग कर सकते हैं जो हमारे पास पहले से मौजूद है (बिना स्कोर वाले रोबोट के हिलने-डुलने के वीडियो) यदि हम:
- पहले दुनिया की एक सामान्य समझ विकसित करें।
- नए कार्यों को सीखते समय प्रासंगिक पुरानी यादों को खोजने के लिए एक "खोज" प्रणाली का उपयोग करें (Experience Rehearsal)।
- रोबोट को मार्गदर्शन देने के लिए एक "को-पायलट" का उपयोग करें ताकि वह शुरुआत में खो न जाए (Execution Guidance)।
यह रोबोटों को बहुत कम प्रयासों के साथ जटिल कौशल सीखने की अनुमति देता है, जिससे AI प्रशिक्षण बहुत अधिक कुशल हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।