Plasticity of Growing and Elastic Neural Networks in Online Continual Learning
यह शोध पत्र ऑनलाइन निरंतर शिक्षण (ऑनलाइन कंटिनुअल लर्निंग) में बढ़ते और लचीले तंत्रिका नेटवर्क (न्यूरल नेटवर्क्स) की प्लास्टिसिटी की जांच करता है, जो यह प्रदर्शित करता है कि मौजूदा कनेक्शनों को बनाए रखते हुए या मृत कनेक्शनों को हटाते हुए नए इकाइयों को क्रमिक रूप से जोड़ने वाले अनुकूलन दृष्टिकोण उच्च भविष्यवाणी सटीकता बनाए रख सकते हैं और कैटास्ट्रोफिक फॉरगेटिंग के बिना प्लास्टिसिटी के नुकसान को रोक सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपका मस्तिष्क ठीक उसी क्षण साइकिल चलाना भूल जाता है जैसे ही आपने जगलिंग (juggling) सीखा हो, या जहाँ एक छात्र का दिमाग इतिहास के तथ्यों से इतना भर जाता है कि वह गणित का एक नया समीकरण भी नहीं सीख पाता। यह आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक भयावह परिदृश्य है जिसे "कैटास्ट्रोफिक फॉरगेटिंग" (विस्मृति की आपदा) कहा जाता है। लेकिन यहाँ एक और भी चालाक खलनायक काम कर रहा है: "लॉस ऑफ प्लास्टिसिटी" (लचीलेपन की कमी)। प्लास्टिसिटी को मस्तिष्क की लचीलेपन और ढलने की क्षमता के रूप में समझें। यदि किसी नेटवर्क में प्लास्टिसिटी खत्म हो जाती है, तो वह एक कठोर मूर्ति की तरह बन जाता है—कठोर, अपरिवर्तनीय, और कुछ भी नया सीखने में असमर्थ, भले ही वह पुरानी चीजों को पूरी तरह से याद रखता हो।
लंबे समय तक, वैज्ञानिकों ने इन समस्याओं को ठीक करने के लिए एक निश्चित संख्या में "न्यूरॉन्स" (मस्तिष्क के भीतर स्थित सूक्ष्म प्रसंस्करण इकाइयाँ) वाले AI बनाने की कोशिश की, इस उम्मीद में कि यदि संरचना कभी नहीं बदलेगी, तो AI स्थिर रहेगा। लेकिन प्रकृति एक अलग कहानी बताती है। जानवर एक निश्चित मस्तिष्क आकार के साथ नहीं होते; वे सीखते समय नए कनेक्शन बनाते हैं और पुराने को हटाते (prune) हैं। यह शोध एक साहसी विचार की खोज करता है: क्या होगा यदि हम ऐसा AI बनाएं जो वास्तव में एक जीवित जीव की तरह बढ़ सके और सिकुड़ सके? शोधकर्ता यह देखना चाहते थे कि क्या ये "बढ़ने वाले" और "लचीले" नेटवर्क अपनी लचीलापन (प्लास्टिसिटी) को जीवित रख सकते हैं, जबकि वे कार्यों के एक अंतहीन प्रवाह को सीख रहे हों, बिना रुके या सब कुछ भूले बिना।
बढ़ते और सिकुड़ते AI की कहानी
इस अध्ययन में, शोधकर्ताओं ने एक डिजिटल खेल का मैदान तैयार किया जहाँ एक AI को इमेज क्लासिफिकेशन (छवि वर्गीकरण) के कार्यों की एक श्रृंखला को एक के बाद एक सीखना था, जैसे कि एक छात्र हर दिन एक नई परीक्षा दे रहा हो। उन्होंने दो लोकप्रिय इमेज सेटों का उपयोग किया: MNIST (हस्तलिखित अंक) और FashionMNIST (कपड़ों की छवियां), लेकिन एक ट्विस्ट के साथ। प्रत्येक नए परीक्षण के लिए, छवियों के पिक्सेल को एक अनूठे, यादृच्छिक (random) तरीके से बिखेरा गया था, जिससे AI को हर बार शून्य से सीखने के लिए मजबूर होना पड़ा बिना समान दृश्य पैटर्न पर निर्भर हुए।
टीम ने इन AI मस्तिष्क के लिए कई अलग-अलग "आर्किटेक्चर" या ब्लूप्रिंट का परीक्षण किया। सबसे पहले, उन्होंने मानक दृष्टिकोण को आजमाया: एक फिक्स्ड नेटवर्क (निश्चित नेटवर्क)। एक ऐसे कक्षा की कल्पना करें जिसमें मेजों की एक निश्चित संख्या है। चाहे कितने भी नए छात्र (कार्य) आ जाएं, मेजें वैसी ही रहती हैं। शोधकर्ताओं ने पाया कि जैसे-जैसे AI ने अधिक कार्य सीखे, इसका प्रदर्शन धीरे-धीरे ढहने लगा। इसने अपनी "प्लास्टिसिटी" खो दी, कठोर हो गई और अनुकूलन करने में असमर्थ हो गई, जबकि इसके आंतरिक घटकों की बढ़ती संख्या "मृत" (dead) हो गई—यानी सारी गतिविधि रुक गई और बेकार हो गई।
इसके बाद, उन्होंने स्टेज्ड ग्रोइंग नेटवर्क्स (चरणबद्ध बढ़ते नेटवर्क) का परीक्षण किया। यह एक ऐसी कक्षा की तरह था जो हर दिन एक नई मेज जोड़ती है, लेकिन एक शर्त के साथ: एक बार मेज जोड़ने के बाद, उसे फर्श पर बोल्ट से कस दिया जाता है और उसे फिर कभी हिलाया या समायोजित नहीं किया जा सकता। AI नए यूनिट्स जोड़ सकता था, लेकिन पुराने यूनिट्स अपनी जगह पर जम (frozen) गए थे। परिणाम निराशाजनक थे। क्योंकि AI को इन जमे हुए, पुराने ढंग के डेस्क का उपयोग करने के लिए मजबूर किया गया था, इसलिए यह "नॉइज़ी" (शोर युक्त) विशेषताओं से भर गया जो नए कार्यों में मदद नहीं करती थीं। AI ने अपना लचीलापन खो दिया, और इसकी सटीकता गिर गई।
फिर, शोधकर्ताओं ने एक सरल लेकिन शक्तिशाली बदलाव पेश किया: एडाप्टिव ग्रोइंग नेटवर्क्स (AGNs - अनुकूल बढ़ते नेटवर्क)। यह पिछले संस्करण जैसा ही था—हर दिन एक नई मेज जोड़ना—लेकिन एक महत्वपूर्ण अंतर के साथ: कुछ भी कभी भी बोल्ट से नहीं कसा गया। नेटवर्क में प्रत्येक कनेक्शन लचीला बना रहा और इसे किसी भी समय समायोजित किया जा सकता था। परिणाम एक खुलासे की तरह थे। भले ही नेटवर्क लगातार बड़ा होता जा रहा था, और भले ही कई पुराने यूनिट अंततः "मृत" (बंद) हो गए, AI ने उच्च सटीकता बनाए रखी और अपनी प्लास्टिसिटी कभी नहीं खोई। ऐसा लगा कि जब तक नेटवर्क अपने मौजूदा कनेक्शनों को ट्यून करते हुए नए, ताज़ा यूनिट्स जोड़ सकता है, वह हमेशा सीखता रह सकता है।
हालाँकि, इसमें एक पेच था। AGN अनंत रूप से बढ़ता गया, जो अंततः कंप्यूटर की मेमोरी को खा जाएगा और सब कुछ धीमा कर देगा। यह उस छात्र की तरह था जो अपने बैग में नए नोटबुक जोड़ता रहता है लेकिन पुराने कभी फेंकता नहीं है; अंततः, वह बैग नहीं उठा पाता।
इसे हल करने के लिए, टीम ने एडाप्टिव इलास्टिक नेटवर्क्स (AENs - अनुकूल लचीले नेटवर्क) बनाए। ये नेटवर्क AGNs की तरह ही थे लेकिन इनमें एक अंतर्निहित "स्प्रिंग" तंत्र था। प्रत्येक नए कार्य की शुरुआत में, AI अपने मस्तिष्क की जांच करेगा और उन यूनिट्स को हटा (prune) देगा जिन्हें वह "मृत" या बेकार मानता है। इससे नेटवर्क नया यूनिट जोड़ने के साथ-साथ वापस सिकुड़ भी सका। परिणाम एक "गोल्डिलॉक्स" (बीच का रास्ता) समाधान था: AI ने उत्कृष्ट सटीकता प्राप्त की, अपनी प्लास्टिसिटी को उच्च बनाए रखा, और एक कॉम्पैक्ट, लगभग स्थिर आकार बनाए रखा। यह जब जरूरत हुई तब बढ़ा और जब नहीं थी तब सिकुड़ गया, अपनी सीखने की क्षमता खोए बिना कुशल बना रहा।
शोधकर्ताओं ने इन नेटवर्क्स का एक "टू-लेयर" (दो-परत) संस्करण भी परीक्षण किया, जहाँ नए यूनिट केवल इनपुट और आउटपुट से जुड़ते थे, बीच की परतों को छोड़ देते थे। इसने सीखने की प्रक्रिया को तेज़ बना दिया, हालांकि कभी-कभी इसके परिणामस्वरूप अंतिम आकार थोड़ा बड़ा होता था।
यह भविष्य के लिए क्या मायने रखता है
यह शोध बताता है कि AI को लचीला बनाए रखने की कुंजी केवल पुरानी चीजों को याद रखने या भूलने को रोकने के बारे में नहीं है; यह नेटवर्क की संरचना को जीवित और अनुकूल रखने के बारे में है। नेटवर्क को गतिशील रूप से बढ़ने और सिकुड़ने की अनुमति देकर, और यह सुनिश्चित करके कि कनेक्शन लचीले बने रहें न कि जमे हुए, हम ऐसे सिस्टम बना सकते हैं जो अपनी चमक खोए बिना निरंतर सीखते रहते हैं।
लेखक सावधानी से नोट करते हैं कि ये निष्कर्ष इमेज टास्क के विशिष्ट प्रयोगों से आए हैं और परिणाम यह "सुझाव" देते हैं कि ये विधियाँ आशाजनक हैं। वे यह दावा नहीं करते हैं कि उन्होंने आजीवन सीखने (lifelong learning) की पूरी समस्या को हल कर लिया है, लेकिन उन्होंने एक स्पष्ट मार्ग दिखाया है। भविष्य के कार्यों को यह पता लगाने की आवश्यकता होगी कि यूनिट्स को कब जोड़ना या हटाना है और ये नेटवर्क विभिन्न प्रकार के डेटा के साथ कैसे व्यवहार करते हैं। लेकिन फिलहाल के लिए, एक ऐसा AI जो एक पौधे की तरह बढ़ सकता है और एक माली की तरह छंटाई कर सकता है, बुद्धिमान मशीनों के भविष्य के लिए एक बहुत मजबूत दावेदार लगता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।