Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force
यह शोध पत्र MuSe का प्रस्ताव करता है, जो एक मल्टीसेंसरी कॉन्टिनुअल लर्निंग फ्रेमवर्क है जो मल्टी-स्टेज फ्यूजन और एक्सपीरियंस रिप्ले का उपयोग करके प्रीट्रेन विजन-ओनली रोबोट नीतियों को नई फोर्स-टॉर्क मोडैलिटीज के अनुकूल प्रभावी ढंग से ढालता है, जिससे मूल क्षमताओं को भूले बिना कॉन्टैक्ट-रिच कार्यों पर प्रदर्शन में वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक रोबोट को मास्टर शेफ बनने के लिए प्रशिक्षित किया है, लेकिन आपने इसे केवल आंखों से सिखाया है। इसने खाना काटने, चलाने और परोसने का काम हजारों वीडियो देखकर सीखा। यह देखने में तो बहुत माहिर है, लेकिन इसे यह नहीं पता कि कितना दबाव डालना है या कोई चीज़ कब फिसल रही है।
अब, कल्पना कीजिए कि आप रोबोट को एक नया कौशल सिखाना चाहते हैं: महसूस करना। आप चाहते हैं कि वह एक फोर्स सेंसर (जैसे कि एक संवेदनशील स्पर्श) का उपयोग करके नाजुक कार्यों को संभाल सके, जैसे कि किसी फूलदान को बिना तोड़े पोंछना या बल्ब को बिना चटकाए कसना।
यहाँ समस्या यह है: आपके पास ऐसे वीडियो का विशाल पुस्तकालय नहीं है जिसमें रोबोट की "आंखें" और उसके नए "स्पर्श" सेंसर दोनों शामिल हों। आपके पास इन नए सेंसरों के साथ केवल एक छोटा, नया डेटासेट है। यदि आप केवल इस छोटे नए डेटा के साथ रोबोट को सिखाने की कोशिश करते हैं, तो वह भ्रमित हो सकता है और जो कुछ उसने आंखों से सीखा था, उसे भूल सकता है। इसे "कैटैस्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) कहा जाता है।
यह पेपर MuSe (मल्टीसेंसरी कॉन्टिनुअल लर्निंग) नामक एक समाधान पेश करता है। MuSe को एक बुद्धिमान स्टडी गाइड (अध्ययन मार्गदर्शिका) की तरह समझें जो रोबमान को अपनी पुरानी इंद्रियों को भूले बिना एक नई इंद्रिय सीखने में मदद करती है।
MuSe कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. "दो-तरफा रास्ता" कनेक्शन (मल्टी-स्टेज फ्यूजन)
आमतौर पर, जब आप किसी रोबोट में एक नई इंद्रिय जोड़ते हैं, तो आप उसे बस अंत में जोड़ देते हैं, जैसे भोजन में साइड डिश जोड़ना। MuSe अलग है। यह रोबोट की आंखों और उसके नए स्पर्श सेंसरों के बीच एक दो-तरफा रास्ता बनाता है।
- अर्ली फ्यूजन (Early Fusion): यह "स्पर्श" के डेटा को "दृष्टि" के डेटा के साथ शुरुआत में ही मिला देता है, जैसे बेकिंग से पहले आटा और अंडे मिलाना। इससे रोबोट तुरंत समझ पाता है कि स्पर्श और दृष्टि एक-दूसरे से कैसे संबंधित हैं।
- लेट फ्यूजन (Late Fusion): यह प्रक्रिया में बाद में भी जांच करता है, जैसे कि एक स्वाद-परीक्षक खाना पकाने के बीच में मसाला ठीक करता है।
- परिणाम: रोबोट केवल "देखता" या "महसूस" नहीं करता; वह एक एकीकृत समझ विकसित करता है जहाँ दृष्टि और स्पर्श एक-दूसरे की मदद करते हैं।
2. "भविष्य का क्रिस्टल बॉल" (मल्टीसेंसरी फ्यूचर प्रेडिक्शन)
यह सुनिश्चित करने के लिए कि रोबोट वास्तव में नई इंद्रिय को समझता है, MuSe केवल इसे "कार्य करने" के लिए नहीं कहता। यह रोबोट से भविष्य की भविष्यवाणी करने के लिए कहता है।
- रोबोट को अनुमान लगाने के लिए प्रशिक्षित किया जाता है: "अगले सेकंड में मैं क्या देखूंगा? अगले सेकंड में मुझे क्या महसूस होगा? मुझे क्या कदम उठाना चाहिए?"
- उपमा: कल्पना कीजिए कि एक ड्राइवर बारिश में गाड़ी चलाना सीख रहा है। केवल गाड़ी चलाने के बजाय, उससे पूछा जाता है, "यदि मैं अभी स्टीयरिंग घुमाता हूँ, तो क्या कार फिसल जाएगी?" और "क्या वाइपर पानी साफ कर पाएंगे?"
- दृश्य दृश्य (visual scene) और बल संकेतों (force signals) दोनों की भविष्यवाणी करने के लिए मजबूर करके, यह भौतिक दुनिया के काम करने के तरीके का एक गहरा, आंतरिक मानचित्र बनाता है। यह इसे सामान्यीकरण (generalize) करने में मदद करता है, जिसका अर्थ है कि यह अपने नए "स्पर्श" कौशल का उपयोग उन कार्यों के लिए भी कर सकता है जो इसने पहले नहीं देखे हैं।
3. "फ्लैशकार्ड रिव्यु" (एक्सपीरियंस रिप्ले)
यह रोबोट को भूलने से रोकने के लिए सबसे महत्वपूर्ण हिस्सा है। जब रोबोट नए "स्पर्श" कौशल सीख रहा होता है, तो MuSe उसे एक ही समय में अपने पुराने "दृष्टि" कौशल का अभ्यास जारी रखने के लिए मजबूर करता है।
- उपमा: कल्पना कीजिए कि एक छात्र फ्रेंच भाषा सीख रहा है और साथ ही अपनी स्पेनिश कौशल को भी तेज बनाए रखने की कोशिश कर रहा है। यदि वह एक महीने तक केवल फ्रेंच पढ़ता है, तो वह स्पेनिश भूल सकता है। MuSe एक शिक्षक की तरह है जो कहता है, "प्रत्येक एक घंटे के अध्ययन के लिए, आपको 30 मिनट स्पेनिश का रिव्यु करने में बिताना चाहिए।"
- रोबोट के मामले में, यह नए "स्पर्श" डेटा को पुराने विशाल "दृष्टि" डेटा के साथ मिलाता है। जब रोबोट किसी ऐसे कार्य को देखता है जहाँ उसके पास स्पर्श डेटा नहीं है (क्योंकि पुराने डेटा में यह नहीं था), तो MuSe बस प्रश्न के "स्पर्श" वाले हिस्से को ढक देता है और रोबोट को केवल दृष्टि के आधार पर उत्तर देने देता है। यह पुराने कौशल को जीवित रखता है।
उन्होंने क्या पाया?
शोधकर्ताओं ने इसका परीक्षण एक वास्तविक रोबोटिक आर्म पर किया।
- फॉरवर्ड ट्रांसफर (नई चीजें सीखना): रोबोट नए स्पर्श सेंसरों का उपयोग करके संपर्क-प्रधान कार्यों (जैसे फूलदान पोंछना या पेग डालना) में बहुत बेहतर हो गया। उसने केवल कार्य नहीं सीखा; उसने सीखा कि चीजों को "महसूस" करते हुए कैसे किया जाए।
- बैकवर्ड ट्रांसफर (भूलना नहीं): आश्चर्यजनक रूप से, स्पर्श सेंसरों का उपयोग करना सीखने के बाद, रोबोट वास्तव में अपने मूल दृष्टि-मात्र कार्यों में बेहतर हो गया। ऐसा लगता है कि "महसूस" करने से उसे भौतिक दुनिया को बेहतर ढंग से समझने में मदद मिली, जिससे उसके "दृष्टि" कौशल भी तेज हो गए।
- क्रॉस-मोडल जनरलाइजेशन: उन कार्यों पर भी, जहाँ उन्हें प्रशिक्षण के दौरान स्पर्श डेटा नहीं दिखाया गया था, रोबोट यह अनुमान लगाने में सक्षम था कि बल (forces) क्या रहे होंगे। उसने "बल" की एक सामान्य अवधारणा सीखी जिसे वह कहीं भी लागू कर सकता था।
मुख्य निष्कर्ष
MuSe दिखाता है कि रोबोट को प्रशिक्षित करने के लिए आपको हर संभव सेंसर के विशाल, पूर्ण डेटासेट की आवश्यकता नहीं है। आप एक ऐसे रोबोट को ले सकते हैं जो देखने में पहले से ही विशेषज्ञ है, उसे थोड़ा सा नया "स्पर्श" डेटा दें, और उसे अपग्रेड करने के लिए इस विशेष प्रशिक्षण पद्धति का उपयोग करें। रोबोट नई इंद्रिय सीखता है, अपने पुराने कौशल बनाए रखता है, और वास्तव में कुल मिलाकर अधिक स्मार्ट बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।