SPARCL: Spectral Partitioned Analytic Continual Learning
SPARCL एनालिटिक कॉन्टिनुअल लर्निंग में विस्मृति (forgetting) का कारण बनने वाले स्पेक्ट्रल इंटरफेरेंस को संबोधित करने के लिए ऑटोकोरिलेशन ऑपरेटर को एक फ्रोजन हाई-एनर्जी कोर और एक अपडेट करने योग्य रेसिडुअल ब्लॉक में विभाजित करता है, जिससे पुराने-क्लास लॉजिट्स के लिए सिद्ध इनवेरियंस (invariance) के साथ एक क्लोज्ड-फॉर्म समाधान प्रदान होता है और कई बेंचमार्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे छात्र की कल्पना कीजिए जिसने प्राचीन इतिहास से लेकर आधुनिक भौतिकी तक, ज्ञान के एक विशाल पुस्तकालय में महारत हासिल करने में वर्षों बिताए हैं। अब, उस छात्र से हर दिन एक नया विषय सीखने के लिए कहें, बिना कभी अपनी पुरानी पाठ्यपुस्तकों को खोलने या अपने पिछले नोट्स की समीक्षा करने की अनुमति के। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह 'कंटीन्यूअल लर्निंग' (सतत शिक्षण) की चुनौती है। मशीनें अक्सर एक विशिष्ट कार्य को सीखने में उत्कृष्ट होती हैं, लेकिन जब उन्हें एक नया कार्य सीखने के लिए कहा जाता है, तो वे अक्सर "कैटास्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) का शिकार हो जाती हैं। वे नए के लिए जगह बनाने के लिए अपने पिछले ज्ञान को मिटा देती हैं, जिससे वे वह पहचानने में असमर्थ हो जाती हैं जो वे कभी जानती थीं। दशकों तक, शोधकर्ताओं ने इसे या तो पुराने कार्यों के उदाहरणों को बाद में समीक्षा के लिए सहेज कर, या मशीन को बहुत जल्दी अपना निर्णय बदलने से रोकने के लिए जटिल नियम जोड़कर हल करने की कोशिश की है। हालाँकि, एक नया, सरल दृष्टिकोण उभरा है जो बिना किसी पुराने उदाहरण को सहेजे ही काम करता है। अपने मस्तिष्क को अपडेट करने के लिए एक धीमी, त्रुटि-सुधार (ट्रायल-एंड-एरर) प्रक्रिया का उपयोग करने के बजाय, यह विधि अपने ज्ञान को तुरंत अपडेट करने के लिए एक सीधे गणितीय सूत्र का उपयोग करती है। यह तेज़, निजी और कुशल है, लेकिन अब तक, इसमें एक छिपा हुआ दोष था: भले ही इसमें वह अव्यवस्थित त्रुटि-सुधार प्रक्रिया न हो, फिर भी मशीन धीरे-धीरे अपने पुराने सबक भूल जाती थी।
शेफील्ड विश्वविद्यालय के शोधकर्ताओं के एक दल ने पहचान लिया है कि ऐसा क्यों होता है और उन्होंने एक ऐसा समाधान बनाया है जो विस्मृति को उसके जड़ से रोक देता है। उन्होंने पाया कि समस्या इस कारण नहीं थी कि मशीन अपनी स्मृति को आक्रामक रूप से फिर से लिख रही थी, जैसा कि पहले माना जाता था। इसके बजाय, समस्या इसलिए उत्पन्न हुई क्योंकि विभिन्न सूचनाओं के बीच संबंध बनाने वाला मशीन का आंतरिक मानचित्र नए डेटा द्वारा सूक्ष्म रूप से विकृत किया जा रहा था। जब एक नया कार्य आता, तो उसकी जानकारी उन सबसे महत्वपूर्ण, प्रमुख मार्गों के साथ ओवरलैप (अतिव्याप्त) हो जाती जो मशीन ने पुराने कार्यों के लिए पहले से ही बनाए होते थे। इस ओवरलैप ने पुराने मार्गों को सीधे तौर पर मिटाया नहीं; बल्कि, इसने उनकी शक्ति को कमज़ोर कर दिया, जिससे समय के साथ पुराने उत्तरों पर मशीन का विश्वास भटकने लगा। यह बिल्कुल वैसा ही था जैसे लोगों की एक नई भीड़ एक शांत कमरे में प्रवेश करती है, पुराने संवादों को चिल्लाकर दबाने के बजाय, ध्वनिकी (एकॉस्टिक्स) को इस तरह बदल देती है कि पुरानी आवाज़ें धीमी और कम स्पष्ट सुनाई देने लगती हैं।
इसे ठीक करने के लिए, शोधकर्ताओं ने SPARCL नामक एक नई प्रणाली विकसित की। उनकी अंतर्दृष्टि यह थी कि मशीन के आंतरिक मानचित्र को एक एकल, समान ब्लॉक के रूप में नहीं, बल्कि दो अलग-अलग भागों के रूप में देखा जाए। उन्होंने एक "कोर" (मुख्य) खंड की पहचान की जो सबसे मजबूत, ऊर्जावान मार्गों से बना है जो पुराने कार्यों के बारे में सबसे महत्वपूर्ण जानकारी ले जाते हैं। फिर उन्होंने इस कोर को पूरी तरह से फ्रीज (स्थिर) करने का निर्णय लिया, इसे अपनी जगह पर लॉक कर दिया ताकि कोई भी नई जानकारी इसके आकार या शक्ति को कभी न बदल सके। मानचित्र के बाकी हिस्से को, जिसे उन्होंने "रेसिडुअल" (अवशिष्ट) खंड कहा, परिवर्तन के लिए खुला छोड़ दिया गया। यह रेसिडुअल भाग सूचना की नई, कम प्रभावी दिशाओं को पकड़ता है। जब एक नया कार्य आता है, तो सिस्टम केवल इस लचीले रेसिडुअल खंड को अपडेट करता है, जिससे स्थिर कोर अछूता रहता है। ऐसा करके, मशीन नए चीजें सीख सकती है बिना उस स्थिर आधार को बाधित किए जिसे वह पहले से जानती है।
शोधकर्ताओं ने कई कठिन इमेज रिकग्निशन चुनौतियों पर इस दृष्टिकोण का परीक्षण किया, जिसमें सैकड़ों विभिन्न श्रेणियों के वस्तुओं और जानवरों के डेटासेट शामिल थे। उन्होंने एक शक्तिशाली, प्री-ट्रेन्ड कंप्यूटर विजन मॉडल का उपयोग किया जिसने पहले ही दुनिया को देखना सीख लिया था, और उनसे एक-एक करके नई श्रेणियों को सीखने के लिए कहा, बिना कभी पुराने उदाहरण देखे। परिणाम आश्चर्यजनक थे। नए तरीके ने इन सरल, तेज़ सीखने वाले सिस्टमों और उन अधिक जटिल, धीमे सिस्टमों के बीच के अंतर को लगभग पूरी तरह से पाट दिया, जिन्हें पहले सर्वश्रेष्ठ माना जाता था। कुछ मामलों में, इसने मौजूदा सबसे मजबूत तरीकों को भी पीछे छोड़ दिया। महत्वपूर्ण रूप से, सिस्टम तेज़ और कुशल बना रहा, जिसे अन्य उन्नत तकनीकों की तुलना में बहुत कम समय और कंप्यूटिंग शक्ति की आवश्यकता थी। इसने सिद्ध किया कि सूचना कैसे प्रवाहित होती है, इसके ज्यामिति (जियोमेट्री) को समझकर, आप पुराने उदाहरणों को सहेजे बिना या जटिल सिमुलेशन चलाए बिना पुराने ज्ञान की रक्षा कर सकते हैं।
यह कार्य सरल शिक्षण एल्गोरिदम की सीमाओं के बारे में हमारी सोच को बदल देता है। लंबे समय तक, यह धारणा थी कि यदि आप त्रुटि-सुधार की अव्यवस्थित, पुनरावृत्ति वाली प्रक्रिया को हटा देते हैं, तो आप विस्मृति की समस्या को हल कर देंगे। शोधकर्ताओं ने दिखाया कि विस्मृति एक पूर्णतः स्वच्छ, गणितीय अपडेट में भी हो सकती है, केवल इसलिए क्योंकि नई जानकारी पूरे सिस्टम के संतुलन को बदल देती है। उनका समाधान इस संतुलन से बलपूर्वक लड़ने की कोशिश नहीं करता है; इसके बजाय, यह सबसे महत्वपूर्ण ज्ञान के लिए एक संरक्षित क्षेत्र बनाता है। स्थिर को लचीले से अलग करके, उन्होंने मशीन को एक आजीवन शिक्षार्थी बने रहने की अनुमति दी जो कभी अपना रास्ता नहीं भटकती। यह दृष्टिकोण स्मार्टफोन या रोबोट जैसे उपकरणों पर बुद्धिमान प्रणालियों के निर्माण के लिए एक आशाजनक मार्ग प्रदान करता है, जहाँ पुराना डेटा सहेजना असंभव है और गति आवश्यक है। मशीन सीखती है, वह अनुकूलित होती है, और सबसे महत्वपूर्ण बात यह है कि वह याद रखती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।