TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning
यह शोध पत्र TMRL प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो व्यापक एक्शन कवरेज के लिए डिफ्यूजन नॉइज़ को इंजेक्ट करने हेतु कॉन्टेक्स्ट-स्मूथड प्री-ट्रेनिंग का उपयोग करके और अन्वेषण (एक्सप्लोरेशन) को गतिशील रूप से नियंत्रित करने के लिए टाइमस्टेप-मॉड्यूलेटेड रीइन्फोर्समेंट लर्निंग का उपयोग करके बिहेवियरल क्लोनिंग और रीइन्फोर्समेंट लर्निंग के बीच के अंतर को पाटता है, जिससे सैंपल दक्षता में उल्लेखनीय सुधार होता है और एक घंटे से भी कम समय में वास्तविक दुनिया के रोबोट पॉलिसी फाइन-ट्यूनिंग को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक नया काम करना सिखा रहे हैं, जैसे सैंडविच बनाना या कोई खोया हुआ खिलौना ढूँढना। इसे सिखाने का सामान्य तरीका एक दो-चरणीय नृत्य की तरह है। पहले, आप रोबोट को इंसानों द्वारा काम को पूरी तरह से करने के हजारों वीडियो दिखाते हैं; रोबोट उन्हें बिल्कुल वैसा ही कॉपी करने की कोशिश करता है, जैसे कोई छात्र किसी पाठ्यपुस्तक को रटता है। इसे "इमिटेशन लर्निंग" (अनुकरण सीखना) कहा जाता है। लेकिन समस्या यह है कि यदि रोबोट को ऐसी स्थिति का सामना करना पड़ता है जो उसने पहले नहीं देखी है—जैसे कि सैंडविच एक अजीब आकार वाली प्लेट पर हो—तो वह घबरा जाता है। क्योंकि उसने "पाठ्यपुस्तक" वाली प्लेट के लिए सटीक चालों को याद कर लिया था, इसलिए वह जम जाता है या कुछ ऐसा करने की कोशिश करता है जो असंभव है, क्योंकि उसने कभी यह नहीं सीखा कि चीजें गड़बड़ होने पर क्या करना है।
इसे ठीक करने के लिए, वैज्ञानिक अक्सर रोबकों को "एक्सप्लोर" (खोज) करने के लिए प्रेरित करने की कोशिश करते हैं, जैसे कि उसमें थोड़ा रैंडम शोर (noise) जोड़ देना, जैसे कि उसे कहना कि वह यह देखने के लिए अपना हाथ थोड़ा बेतरतीब ढंग से हिलाए कि क्या होता है। लेकिन यह वैसा ही है जैसे स्टीयरिंग व्हील को बेतरतीब ढंग से घुमाकर गाड़ी चलाना सीखना; यह अंततः काम कर सकता है, लेकिन यह खतरनाक और अक्षम है। बड़ा सवाल रोबोट विज्ञान में यह है: हम रोबोट को निर्देशों का पालन करने के लिए इतना सटीक कैसे बनाएं, और साथ ही इतना लचीला भी कि जब वह फंस जाए तो नई चीजें आजमा सके, बिना बिना सोचे-समझे हाथ-पैर चलाए?
यहीं पर एक नया विचार आता है जिसे TMRL (टाइमस्टेप-मॉड्यूलेटेड रीइन्फोर्समेंट लर्निंग) कहा जाता है। वाशिंगटन विश्वविद्यालय और अमेज़न के शोधकर्ता हमें रोबोट सिखाने के तरीके में एक चतुर बदलाव का प्रस्ताव देते हैं। केवल नकल करने या रैंडम अराजकता जोड़ने के बजाय, वे रोबोट को दुनिया के अपने दृश्य को जानबूझकर थोड़ा "धुंधला" (blur) करना सिखाते हैं।
इसे ऐसे सोचिए: कल्पना कीजिए कि आप केक बनाना सीख रहे हैं। यदि आप हमेशा ठीक 2 कप मैदा लेकर ही केक बनाते हैं, तो यदि गलती से आपने 2.1 कप इस्तेमाल कर लिया, तो आप असफल हो सकते हैं। लेकिन क्या होगा यदि अभ्यास के दौरान, आपको यह मान लेने के लिए कहा जाए कि आपके पास 2.1 कप, 2.2 कप या 3 कप हैं? इन "धुंधले" संस्करणों के साथ अभ्यास करके, आप सीखते हैं कि भले ही सामग्री एकदम सटीक न हो, फिर भी केक बन सकता है। आप बेकिंग के 'सार' को सीखते हैं, न कि केवल सटीक नंबरों को।
रोबोट की दुनिया में, "रेसिपी" निर्देश है (जैसे "लाल ब्लॉक उठाओ"), और "सामग्री" रोबोट के सेंसर हैं (जो वह देखता है या महसूस करता है)। पेपर की विधि, जिसे कंटेक्स्ट-स्मूथन्ड प्री-ट्रेनिंग (CSP) कहा जाता है, रोबोट के निर्देशों में थोड़ा सा "डिजिटल कोहरा" जोड़ देती है। यह रोबोट को तब भी कार्य करने के लिए प्रशिक्षित करती है जब निर्देश थोड़े धुंधले हों। यह रोबोट को अधिक व्यापक रेंज की चालें सीखने के लिए मजबूर करता है। यदि रोबोट "लाल ब्लॉक उठाओ" का एक "धुंधला" संस्करण देखता है, तो वह शायद थोड़ा दूर स्थित या थोड़ा झुके हुए लाल ब्लॉक को उठाने की कोशिश करेगा। वह सीखता है कि लक्ष्य "लाल चीज़ को प्राप्त करना" है, न कि केवल "निर्देशांक X पर लाल चीज़ को पकड़ना।"
एक बार जब रोबोट के पास यह "धुंधला" प्रशिक्षण आ जाता है, तो जादू का दूसरा हिस्सा शुरू होता है: TMRL। यह रोबोट को एक विशेष डायल देने जैसा है जिसे वह वास्तव में काम करते समय घुमा सकता है। जब रोबोट सुनिश्चित होता है कि उसे क्या करना है (जैसे कि जब उसने ब्लॉक पकड़ लिया है), तो वह डायल को "शार्प फोकस" (सटीक फोकस) पर घुमाता है और सटीक रूप से कार्य करता है। लेकिन यदि वह फंस जाता है या स्थिति अजीब होती है (जैसे कि ब्लॉक किसी नई जगह पर है), तो वह डायल को "फजी मोड" (धुंधले मोड) पर घुमा देता है। यह रोबोट को बताता है, "ठीक है, एक पल के लिए सटीक पाठ्यपुस्तक वाली चालों को भूल जाओ; उन व्यापक, धुंधली चालों को आज़माओ जो तुमने अभ्यास के दौरान सीखी थीं।"
शोधकर्ताओं ने कंप्यूटर सिमुलेशन और वास्तविक रोबोटों पर इसका परीक्षण किया। उन्होंने पाया कि इस "धुंधले" तरीके से प्रशिक्षित रोबोट पुराने तरीके से प्रशिक्षित रोबोटों की तुलना में नए पहेलियों को सुलझाने में बहुत बेहतर थे। सिमुलेशन में, इस नई विधि ने रोबोट को कार्यों को बहुत तेज़ी से सीखने में मदद की, और अक्सर उन मामलों में भी सफलता की दर के करीब पहुँच गई जहाँ अन्य विधियाँ पूरी तरह विफल रही थीं। इससे भी अधिक प्रभावशाली बात यह है कि उन्होंने वास्तविक दुनिया में वास्तविक रोबोटों पर इसे काम करते हुए दिखाया। एक परीक्षण में, एक रोबोटिक हाथ ने एक घंटे से भी कम के वास्तविक प्रयोग के समय में एक सॉसेज को बर्तन में और एक झींगे (shrimp) को दराज में रखना सीख लिया। इस विधि के बिना, रोबोट बस वस्तुओं को घूरता रहता, क्योंकि वह उन्हें हिलाने का तरीका नहीं समझ पाता।
पेपर का तर्क है कि केवल रोबोट के कार्यों में रैंडम शोर जोड़ने का पुराना तरीका अनाड़ी और अक्षम है। इसके बजाय, रोबोट को "धुंधले" निर्देशों को संभालने के लिए सिखाकर, वह अपनी खोज (exploration) के बारे में स्मार्ट होना सीखता है। वह जानता है कि उसे कब सटीक होना है और कब रचनात्मक होना है। लेखक सुझाव देते हैं कि यह दृष्टिकोण रोबोट को वास्तविक दुनिया की अव्यवस्थित और अप्रत्याशित स्थितियों के अनुकूल बनाने के लिए एक गेम-चेंजर हो सकता है, जिससे वे कठोर नियम-पालक से लचीले समस्या-समाधानकर्ता बन सकते हैं। हालांकि यह सुनिश्चित करने के लिए अभी भी काम किया जाना बाकी है कि ये रोबोट हर काम के लिए कितने सुरक्षित और कुशल हैं, अब तक के परिणाम संकेत देते हैं कि निर्देशों को "धुंधला" करना वास्तविक रोबोट इंटेलिजेंस को अनलॉक करने का गुप्त मंत्र हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।