Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning
यह शोध पत्र Mamba-CL को प्रस्तुत करता है, जो एक निरंतर सीखने (continual learning) वाला ढांचा है जो पिछले कार्यों के उप-स्थानों (subspaces) के लंबवत (orthogonally) मापदंडों को अपडेट करने के लिए नल-स्पेस प्रोजेक्शन (null-space projection) लागू करके Mamba मॉडलों में कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करता है, जिससे कार्यों के बीच आउटपुट निरंतरता सुनिश्चित होती है और क्लास-इन्क्रीमेंटल बेंचमार्क पर बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बुद्धिमान रोबोट को विभिन्न प्रकार के जानवरों को पहचानना सिखा रहे हैं। पहले, आप उसे बिल्लियों की तस्वीरें दिखाते हैं। वह पूरी तरह से सीख जाता है। फिर, आप उसे कुत्तों की तस्वीरें दिखाते हैं। रोबोट कुत्तों को सीखता है, लेकिन इस प्रक्रिया में, वह गलती से भूल जाता है कि बिल्ली कैसी दिखती थी। यह आर्टिफिशियल इंटेलिजेंस की एक प्रसिद्ध समस्या है जिसे "कैटस्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) कहा जाता है। यह एक ऐसे छात्र की तरह है जो इतिहास की परीक्षा के लिए रट रहा है और तुरंत पिछले दिन सीखी गई गणित की हर चीज़ भूल जाता है। वैज्ञानिक ऐसा AI बनाने की कोशिश कर रहे हैं जो पुरानी यादों को खोए बिना नई चीजें सीख सके, जिसे "स्टेबिलिटी-प्लास्टिसिटी डिलेमा" (स्थिरता-लचीलापन दुविधा) के रूप में जाना जाता है। इसे हल करने के लिए, शोधकर्ता अक्सर "ऑर्थोगोनल प्रोजेक्शन" नामक तकनीक का उपयोग करते हैं। इसे एक सख्त लाइब्रेरियन की तरह समझें जो आपको केवल एक पूरी तरह से खाली गलियारे में नई किताबें जोड़ने की अनुमति देता है, यह सुनिश्चित करते हुए कि आप अपनी पिछली यात्राओं की किताबों को कभी न गिरा दें। हाल ही में, "मैम्बा" (Mamba) नामक एक नए प्रकार का AI आर्किटेक्चर बहुत लोकप्रिय हुआ है क्योंकि यह तेज़ है और अनुक्रमों (sequences), जैसे वाक्यों या वीडियो फ्रेमों को समझने में बहुत अच्छा है। लेकिन, क्योंकि मैम्बा पुराने AI मॉडलों की तुलना में अलग तरह से काम करता है, इसलिए पुराने "लाइब्रेरियन" के नियम इसकी अनूठी संरचना पर फिट नहीं बैठे।
यह शोध पत्र Mamba-CL नामक एक नई विधि पेश करता है, जो विशेष रूप से मैम्बा लाइब्रेरी के लिए प्रशिक्षित एक विशिष्ट लाइब्रेरियन की तरह कार्य करता है। शोधकर्ताओं ने पता लगाया कि मैम्बा को भूलने से रोकने के लिए, वे केवल मानक नियमों का उपयोग नहीं कर सकते थे; उन्हें ठीक से यह समझना था कि जब मैम्बा नया डेटा देखता है, तो उसका आंतरिक "स्टेट" (अतीत की उसकी स्मृति) कैसे अपडेट होता है। उन्होंने पाया कि विस्मृति तब होती है जब रोबोट नए इनपुट सीखते समय पुराने इनपुट्स को प्रोसेस करने के तरीके को बदल देता है। इसे ठीक करने के लिए, उन्होंने चार विशिष्ट गणितीय नियम निकाले जो सुरक्षा घेरे (guardrails) के रूप में कार्य करते हैं। ये नियम यह सुनिश्चित करते हैं कि जब मैम्बा एक नया कार्य सीखता है, तो वह अपने "नॉब्स और डायल" (नियंत्रणों) को केवल उन दिशाओं में अपडेट करता है जो पुराने कार्यों के लिए पूरी तरह से अदृश्य हों।
टीम ने इसे मैम्बा मॉडल को विभिन्न इमेज रिकग्निशन कार्यों के एक अनुक्रम को सिखाकर परखा, जैसे कि ImageNet-R और CIF-100 से चित्रों में वस्तुओं की पहचान करना। उन्होंने पाया कि Mamba-CL रोबोट को भूलने से रोकने में अविश्वसनीय रूप से प्रभावी था। 10 अलग-अलग कार्यों के परीक्षणों में, इस नई विधि ने मौजूदा सर्वोत्तम विधियों की तुलना में सटीकता में लगभग 2% से 3% का सुधार किया, जबकि ज्ञान की हानि को भी भारी रूप से कम किया। उदाहरण के लिए, एक बेंचमार्क पर, विस्मृति की दर एक मानक संस्करण में 28% से अधिक से घटकर केवल 4% रह गई। शोध पत्र सुझाव देता है कि मॉडल के आंतरिक स्टेट को अपडेट करने के तरीके को सावधानीपूर्वक नियंत्रित करके, यह लंबे शिक्षण अनुक्रमों में भी पुराने कौशल को मिटाए बिना नए कौशल सीख सकता है। लेखक नोट करते हैं कि यह दृष्टिकोण तब भी अच्छी तरह से काम करता है जब मॉडल को विशाल डेटासेट पर प्री-ट्रेन किया गया हो या शून्य से प्रशिक्षित किया गया हो, जो यह सिद्ध करता है कि यह "गार्डरेल" रणनीति AI मॉडलों को समय के साथ स्मार्ट और स्थिर रखने का एक मजबूत तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।