Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning
यह शोध पत्र Miles का प्रस्ताव करता है, जो एक क्लास-इन्क्रीमेंटल लर्निंग विधि है जो सीखने योग्य मॉड्यूल को अलग करके और प्रदर्शन एवं कम्प्यूटेशनल लागत के बीच प्रभावी ढंग से संतुलन बनाने तथा कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करने के लिए मेट्रिक लर्निंग के साथ एक विस्तार योग्य सबस्पेस का उपयोग करके प्री-ट्रेंड मॉडल्स का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को नई चीजें पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि पक्षी का एक नया प्रकार या एक दुर्लभ फूल, बिना यह भूले कि वह पहले से ही कुत्तों और बिल्लियों को कैसे पहचानता है। यह क्लास इंक्रीमेंटल लर्निंग (CIL) की दुनिया है। अतीत में, यदि आप किसी रोबोट को एक नया कॉन्सेप्ट सिखाना चाहते थे, तो आपको अक्सर उसके पूरे मस्तिष्क को शुरू से फिर से प्रशिक्षित करना पड़ता था, जो धीमा था और "कैटास्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) के प्रति संवेदनशील था—जहाँ रोबोट अचानक एक कुत्ता पहचानना भूल जाता था क्योंकि उसने अभी-अभी एक नया फूल सीखा था।
इन समस्याओं को हल करने के लिए, वैज्ञानिकों ने प्री-ट्रेंड मॉडल्स (PTMs) का उपयोग करना शुरू किया। इन्हें ऐसे रोबोट के रूप में सोचें जिन्होंने पहले ही पुस्तकालय की हर किताब पढ़ ली है और हर प्रकृति संबंधी वृत्तचित्र (डॉक्यूमेंट्री) देख लिया है। वे दुनिया की बुनियादी बातों को पहले से जानते हैं। चुनौती अब यह है कि इन "विशेषज्ञ" रोबोटों को उनके मौजूदा ज्ञान को खराब किए बिना और उन्हें बहुत भारी या धीमा बनाए बिना, कैसे नए और विशिष्ट कौशल सिखाया जाए। बड़ा सवाल यह है: हम एक विशेषज्ञ के मस्तिष्क में नए कौशल कुशलतापूर्वक कैसे जोड़ सकते हैं, पुराने कौशल को भी तेज रखते हुए और बिना पुरानी तस्वीरों के विशाल संग्रह की समीक्षा किए नए कौशल सीख सकते हैं?
यहाँ MILES (मेट्रिक लर्निंग विद एक्सपेंडेबल सबस्पेस) आता है, जिसे शोधकर्ता काई जियांग और उनकी टीम द्वारा प्रस्तावित किया गया है। उन्होंने देखा कि भले ही ये प्री-ट्रेंड रोबोट स्मार्ट हैं, लेकिन कभी-कभी वे नए कार्यों को सीखने की कोशिश करते समय भ्रमित हो जाते हैं क्योंकि जिस "मानसिक स्थान" (feature space) में वे विचारों को संग्रहीत करते हैं, वह अव्यवस्थित हो जाता है। पुराने विचार और नए विचार आपस में मिलने लगते हैं, जैसे कि एक नई कार को एक ऐसे गैरेज में पार्क करने की कोशिश करना जो पहले से ही पुरानी कारों से भरा हुआ है।
इसे ठीक करने के लिए, MILES एक चतुर दो-भाग वाली रणनीति का उपयोग करता है। सबसे पहले, यह एक सबस्पेस प्रोटोटाइप प्रोजेक्शन (SPP) बनाता है। कल्पना करें कि रोबोट के पास एक विशाल, अस्त-व्यस्त गैरेज (फीचर स्पेस) है। MILES प्रत्येक नए कार्य के लिए छोटी, विशिष्ट "मिनी-गैरेज" या सबस्पेस की एक श्रृंखला बनाता है। जब एक नई श्रेणी आती है, तो रोबोट अपने फीचर्स को इस नए मिनी-गैरेज में प्रोजेक्ट करता है, जहाँ वह नए आइटम को उस आइटम के एक "प्रोटोटाइप" (एक आदर्श उदाहरण) के ठीक बगल में व्यवस्थित रूप से रख सकता है, जिससे वे पुराने, असंबंधित आइटमों से दूर रह सकें। यह आपकी डाक टिकटों के नए संग्रह के लिए एक समर्पित शेल्फ रखने जैसा है ताकि वे आपके पुराने सिक्कों के संग्रह के साथ मिक्स न हो जाएं।
हालांतु, केवल एक शेल्फ बनाना ही काफी नहीं है यदि रोबोट की आँखें (प्री-ट्रेंड मॉडल) नए कार्य के लिए विवरणों को स्पष्ट रूप से नहीं देख पा रही हैं। इसलिए, MILES एक सबस्पेस रिप्रेजेंटेशन एक्सटेंशन (SRE) जोड़ता है। यह रोबोट को प्रत्येक नए कार्य के लिए विशेष, हल्के चश्मे देने जैसा है। ये चश्मे रोबोट की मुख्य दृष्टि को बदलते नहीं हैं; वे बस देखने के मध्यवर्ती चरणों में थोड़ा अतिरिक्त ज़ूम और स्पष्टता जोड़ते हैं, जिससे रोबोट अपने पूरे मस्तिष्क को फिर से बनाए बिना नए कार्य को बेहतर ढंग से सीख सकता है।
अंत में, शोधकर्ताओं ने एक समस्या देखी: कभी-कभी रोबोट नए कार्य में बहुत अच्छा हो जाता है और पुराने कार्यों को अनदेखा करने लगता है, या वस्तुओं के बीच की "दूरी" अजीब तरह से असंगत हो जाती है। इसे रोकने के लिए, उन्होंने डिस्टेंस रेगुलराइजेशन (DR) पेश किया। इसे एक सख्त लाइब्रेरियन के रूप में सोचें जो यह सुनिश्चित करता है कि शेल्फ पर किन्हीं भी दो किताबों के बीच की दूरी हमेशा निष्पक्ष और सुसंगत रहे, चाहे आप पुस्तकालय के किसी भी अनुभाग में हों। यह रोबोट को नए विषयों के प्रति बहुत अधिक जुनूनी होने और पूरे पुस्तकालय के संतुलन को भूल जाने से रोकता है।
टीम ने छह अलग-अलग डेटासेट्स पर MILES का परीक्षण किया, जिसमें CIFAR-100 जैसे सरल चित्र से लेकर ImageNet-R जैसे जटिल वास्तविक दुनिया के फोटो शामिल थे। परिणाम प्रभावशाली थे: MILES ने अधिकांश सेटिंग्स में उच्चतम सटीकता प्राप्त की, और अन्य शीर्ष तरीकों को पीछे छोड़ दिया। उदाहरण के लिए, 10 कार्यों वाले CIFAR-100 डेटासेट पर, इसने 93.93% की सटीकता प्राप्त की, जो दूसरे सबसे अच्छे तरीके से लगभग 1% बेहतर थी, जबकि इसने जो कुछ भी पहले सीखा था उसे बहुत कम भुलाया। यह विधि कुशल भी साबित हुई, जिसने अन्य दृष्टिकोणों की तुलना में बहुत कम अतिरिक्त कंप्यूटर संसाधनों और मेमोरी का उपयोग किया।
संक्षेप में, MILES सुझाव देता है कि प्री-ट्रेंड ज्ञान की शक्ति के साथ स्मार्ट, हल्के परिवर्धन को जोड़कर—जो नई जानकारी को समर्पित स्थानों में व्यवस्थित करते हैं और सब कुछ संतुलित रखते हैं—हम AI को भूलने के बिना निरंतर सीखना सिखा सकते हैं। यह एक ऐसे AI की ओर एक कदम है जो मानव की तरह विकसित और अनुकूलित हो सकता है, जो अपने अतीत को खोए बिना हर दिन नई चीजें सीखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।