Inhibitory budget matching constrains homeostatic plasticity in competitive spiking networks
यह शोध पत्र प्रदर्शित करता है कि प्रतिस्पर्धी स्पाइकिंग नेटवर्क में, स्थिर पार्श्व निषेध (lateral inhibition) को प्लास्टिक होमियोस्टैटिक नियमों से बदलने के लिए कुल निरोधात्मक ड्राइव को संरक्षित करने हेतु एक "इनहिबिटरी बजट मैचिंग" (inhibitory budget matching) बाधा की आवश्यकता होती है, जो एक ऐसा सिद्धांत है जो स्थानीय निरोधात्मक भार को अनुकूलित करने की अनुमति देते हुए नेटवर्क स्थिरता और सीखने के प्रदर्शन को सुरक्षित रखता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
मस्तिष्क में, न्यूरॉन्स अकेले काम नहीं करते हैं; वे विशाल, गतिशील नेटवर्क बनाते हैं जहाँ उत्तेजना (excitation) और अवरोध (inhibition) के बीच एक सूक्ष्म संतुलन बना रहना चाहिए। उत्तेजक न्यूरॉन्स सूचना ले जाने के लिए फायर करते हैं, जबकि अवरोधक न्यूरॉन्स ब्रेक की तरह कार्य करते हैं, जो प्रणाली को अराजकता में बदलने से रोकते हैं। दशकों तक, इस जैविक बुद्धिमत्ता की नकल करने के लिए कृत्रिम तंत्रिका नेटवर्क (artificial neural networks) बनाने वाले कंप्यूटर वैज्ञानिकों ने एक सरलीकृत मॉडल पर भरोसा किया है: उन्होंने उत्तेजक न्यूरॉन्स को सीखने और अनुकूलित होने दिया, लेकिन उन्होंने अवरोधक कनेक्शनों को स्थिर और अपरिवर्तित रखा। यह दृष्टिकोण मशीनों को हस्तलिखित अंकों जैसे पैटर्न पहचानने के लिए सिखाने में अच्छा काम करता है, लेकिन यह जीव विज्ञान के एक मौलिक सत्य की अनदेखी करता है। वास्तविक मस्तिष्क में, अवरोधक कनेक्शन उत्तेजक कनेक्शनों की तरह ही लचीले (plastic) होते हैं; स्थिरता बनाए रखने के लिए वे समय के साथ मजबूत और कमजोर होते हैं। शोधकर्ताओं के सामने लंबे समय से यह प्रश्न रहा है कि क्या एक कृत्रिम नेटवर्क जीवित रह सकता है यदि हम उन स्थिर, अपरिवर्तित ब्रेकों को जीवित, सीखने वाले ब्रेकों से बदल दें। यदि ब्रेक खुद को समायोजित करते हैं, तो क्या कार सड़क पर टिकी रहेगी, या वह दुर्घटनाग्रस्त हो जाएगी?
जर्मन सेंटर फॉर न्यूरोडीजेनेरेटिव डिजीज की एक टीम ने एक प्रतिस्पर्धी स्पाइकिंग नेटवर्क (competitive spiking network) बनाकर इसका उत्तर देने का प्रयास किया, जो बिना पर्यवेक्षण (unsupervised) के सीखने के लिए डिज़ाइन किया गया एक प्रकार का कृत्रिम मस्तिष्क है। उन्होंने इस नेटवर्क को हस्तलिखित अंकों के एक मानक 28-बाय-28 पिक्सेल छवियों के सेट पर प्रशिक्षित किया, जिसे MNIST कार्य के रूप में जाना जाता है। उनके सेटअप में, नेटवर्क को इन छवियों को विद्युत स्पाइक्स की धाराओं के रूप में प्राप्त हुआ, ठीक वैसे ही जैसे मस्तिष्क दृश्य डेटा को संसाधित करता है। उत्तेजक न्यूरॉन्स विशिष्ट पैटर्न के प्रति प्रतिक्रिया करने के लिए प्रतिस्पर्धा करते थे, और जब वे पहले फायर करते थे, तो इनपुट के साथ अपने कनेक्शनों को मजबूत करते थे। इस प्रतिस्पर्धा को निष्पक्ष रखने और कुछ न्यूरॉन्स को पूरे नेटवर्क पर हावी होने से रोकने के लिए, शोधकर्ताओं ने एक अवरोधक आबादी (inhibitory population) पेश की। इस मॉडल के पारंपरिक संस्करण में, अवरोधक न्यूरॉन्स से उत्तेजक न्यूरॉन्स तक के कनेक्शन हार्ड-कोडेड थे और कभी बदलते नहीं थे। शोधकर्ता यह देखना चाहते थे कि यदि वे उन अवरोधक कनेक्शनों को नेटवर्क की गतिविधि के आधार पर बदलने की अनुमति देते, तो क्या होता, जो मानव कॉर्टेक्स में पाए जाने वाले लचीलेपन (plasticity) की नकल करता है।
टीम ने इस बात के परीक्षण के लिए कई अलग-अलग नियम बनाए कि इन अवरोधक कनेक्शनों को कैसे बदलना चाहिए। एक नियम स्पाइक्स के सटीक समय (precise timing) पर आधारित था, एक ऐसी विधि जिसे अन्य प्रकार के नेटवर्क में गतिविधि को संतुलित करने के लिए पहले भी दिखाया गया है। दूसरा नियम धीमा था, जो एक लंबी अवधि में औसत फायरिंग दर के आधार पर अवरोध को समायोजित करता था। उन्होंने एक नया दृष्टिकोण भी परखा जिसमें एक सख्त प्रतिबंध जोड़ा गया था: एक "बजट" जिसने किसी भी एकल उत्तेजक न्यूरॉन को प्राप्त होने वाली कुल अवरोध शक्ति को सीमित किया। परिणामों से पता चला कि केवल अवरोध को प्लास्टिक बनाना स्थिरता की गारंटी देने के लिए पर्याप्त नहीं था। जब शोधकर्ताओं ने समय-आधारित नियम का उपयोग किया, तो नेटवर्क अक्सर स्थिर रहा, लेकिन यह नाजुक था; शुरुआती स्थितियों या सीखने की गति में छोटे बदलावों के कारण सिस्टम विफल हो गया, जिससे न्यूरॉन्स अनियंत्रित रूप से फायर करने लगे और नेटवर्क ढह गया। धीमे, दर-आधारित (rate-based) नियम ने बेहतर प्रदर्शन किया, और उनके अधिकांश परीक्षणों में प्रशिक्षण पूरा किया, लेकिन यह तब भी संघर्ष करता रहा जब कुल अवरोध आदर्श स्तर से बहुत दूर चला गया।
महत्वपूर्ण सफलता तब मिली जब शोधकर्ताओं ने बजट प्रतिबंध को लागू किया। उन्होंने पाया कि नेटवर्क को सीखने के दौरान स्थिर रहने के लिए, प्रत्येक न्यूरॉन को दी जाने वाली कुल अवरोध शक्ति को एक विशिष्ट सीमा के भीतर रहना होगा, जो सफल बेसलाइन मॉडल में उपयोग किए गए स्थिर कनेक्शनों की ताकत से मेल खाता है। जब उन्होंने इस बजट को सही मान पर सेट किया, तो नेटवर्क ने सफल बेसलाइन संस्करण के समान ही अच्छी तरह से सीखा, और अंक पहचान कार्य पर लगभग 83.5 प्रतिशत की सटीकता प्राप्त की। न्यूरॉन्स ने विभिन्न अंकों के लिए स्पष्ट प्राथमिकताएँ विकसित कीं, और नेटवर्क प्रशिक्षण के दौरान शांत और व्यवस्थित रहा। हालाँकि, जब उन्होंने बजट को दोगुना कर दिया, जिससे दोगुनी अवरोध शक्ति की अनुमति मिली, तो नेटवर्क हर एक प्रयास में विफल रहा। न्यूरॉन्स इतनी तेजी से फायर हुए कि सिस्टम तुरंत क्रैश हो गया। इससे पता चला कि नेटवर्क की स्थिरता केवल स्थानीय लर्निंग नियम पर निर्भर नहीं थी, बल्कि एक वैश्विक प्रतिबंध (global constraint) पर थी जो कुल प्रतिस्पर्धी दबाव को स्थिर रखता था।
अध्ययन सुझाव देता है कि प्रतिस्पर्धी शिक्षण प्रणालियों में, आप समग्र प्रतिस्पर्धा की शक्ति का प्रबंधन किए बिना स्थिर कनेक्शनों को प्लास्टिक से नहीं बदल सकते। शोधकर्ताओं ने प्रदर्शित किया कि अवरोधक लचीलापन (inhibitory plasticity) स्थिर अवरोध का स्थान ले सकता है, लेकिन केवल तभी जब प्रणाली को एक ऐसे नियम द्वारा निर्देशित किया जाए जो कुल अवरोध शक्ति को संरक्षित करता हो। यह खोज अधिक जैविक रूप से यथार्थवादी कृत्रिम मस्तिष्क बनाने के लिए एक व्यावहारिक डिजाइन सिद्धांत प्रदान करती है। इसका तात्पर्य यह है कि एक नेटवर्क को प्रभावी ढंग से सीखने के लिए, उसे एक ऐसी तंत्र की आवश्यकता है जो व्यक्तिगत कनेक्शनों को अनुकूलित करने की अनुमति दे, जबकि यह सुनिश्चित करे कि अवरोध का कुल बल स्थिर रहे। इस संरक्षण के बिना, नेटवर्क अपना संतुलन खो देता है, जो यह सिद्ध करता है कि न्यूरल प्रतिस्पर्धा के जटिल नृत्य में, ब्रेकों की कुल शक्ति उतनी ही महत्वपूर्ण होती है जितना कि उन्हें कैसे लगाया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।