Learning in Deep Networks under Dale's Constraint
यह शोध पत्र एक जैविक रूप से सुसंगत तंत्रिका संरचना (न्यूरल आर्किटेक्चर) प्रस्तुत करता है जो मिश्रित-चिह्न योगदानों को दर्शाने के लिए दो गैर-ऋणात्मक चैनलों का उपयोग करके डेल के प्रतिबंध (Dale's constraint) का पालन करती है, जिससे स्थानीय हेब्बियन लर्निंग (Hebbian learning) को मिश्रित-चिह्न संकेतों की आवश्यकता के बिना Tiny ImageNet जैसे बेंचमार्क पर बैकप्रोपैगेशन-स्तर का प्रदर्शन करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि मस्तिष्क एक हलचल भरे, उच्च-गति वाले शहर की तरह है जहाँ अरबों संदेशवाहक (न्यूरॉन्स) समस्याओं को हल करने, चेहरों को पहचानने और आपके पसंदीदा गाने को याद रखने के लिए एक-दूसरे को लगातार संदेश चिल्लाकर भेज रहे हैं। दशकों से, कंप्यूटर वैज्ञानिकों ने ऐसे कृत्रिम मस्तिष्क बनाने की कोशिश की है जो इस तरह काम करें, जिसके लिए वे "बैकप्रोपैगेशन" (backpropagation) नामक एक शक्तिशाली उपकरण का उपयोग करते हैं। बैकप्रोपैगेशन को एक मास्टर शिक्षक की तरह समझें जो एक कक्षा में घूम रहा है, और धीरे से बता रहा है कि प्रत्येक छात्र ने कितनी गलती की है और उसे कैसे ठीक किया जाए। लेकिन यहाँ एक पेंच है: वास्तविक जैविक न्यूरॉन्स हमारे डिजिटल सिमुलेशन की तुलना में बहुत अधिक सख्त होते हैं। वास्तविक मस्तिष्क में, एक न्यूरॉन या तो एक "चीयरलीडर" (उत्तेजक/excitatory) होता है जो चिल्लाता है "जाओ!" या एक "स्टॉपर" (अवरोधक/inhibitory) होता है जो चिल्लाता है "रुको!" वह एक ही समय में दोनों नहीं हो सकता, और वह कभी भी ऋणात्मक संख्या (negative number) नहीं चिल्ला सकता। यह एक नियम है जिसे डेल का नियम (Dale's Law) कहा जाता है। इसके अलावा, न्यूरॉन्स केवल सकारात्मक दरों पर ही फायर कर सकते हैं; वे "ऋणात्मक फायर" नहीं कर सकते।
यह वैज्ञानिकों के लिए एक बड़ा पहेली जैसा संकट पैदा करता है: यदि उसके संदेशवाहक केवल "जाओ" या "रुको" चिल्ला सकते हैं और कभी भी ऋणात्मक संख्या नहीं ले जा सकते, तो मस्तिष्क प्रभावी ढंग से कैसे सीख सकता है? मानक कंप्यूटर लर्निंग ऋणात्मक संख्याओं पर निर्भर करती है ताकि न्यूरॉन को बताया जा सके, "तुम गलत दिशा में गए, वापस मुड़ो!" यदि आप एक ऐसे मस्तिष्क को सिखाने की कोशिश करते हैं जो केवल सकारात्मक चिल्लाने को समझता है, जबकि उसे ऋणात्मक फुसफुसाहट की आवश्यकता है, तो पूरा सिस्टम टूट जाएगा। यह शोध पत्र ठीक उसी सिरदर्द को संबोधित करता है, और पूछता है कि क्या हम एक ऐसा लर्निंग सिस्टम बना सकते हैं जो मस्तिष्क के सख्त नियमों का सम्मान करे लेकिन फिर भी हमारे सबसे अच्छे कंप्यूटरों की तरह तेजी से सीख सके।
लेखक, रॉय एबेल और शिमोन उलमैन, हमारी आँखों के वास्तविक कार्य से प्रेरित एक चतुर समाधान प्रस्तावित करते हैं। वे एक नए प्रकार के न्यूरल आर्किटेक्चर को पेश करते हैं जिसे "ऑन-ऑफ" (On-Off) मॉडल कहा जाता है। एक न्यूरॉन को ऋणात्मक संख्या चिल्लाने के लिए मजबूर करने के बजाय (जो जैविक रूप से असंभव है), वे एक विचार को दर्शाने के लिए दो न्यूरॉन्स की एक टीम का उपयोग करते हैं। जुड़वा बच्चों के एक जोड़े की कल्पना करें: एक "ऑन" जुड़वा है, जो तब उत्साहित होता है जब कुछ उम्मीद से अधिक होता है, और दूसरा "ऑफ" जुड़वा है, जो तब उत्साहित होता है जब कुछ उम्मीद से कम होता है। यदि "ऑन" जुड़वा जोर से चिल्ला रहा है, तो विचार सकारात्मक है। यदि "ऑफ" जुड़वा चिल्ला रहा है, तो विचार ऋणात्मक है। यदि दोनों शांत हैं, तो विचार शून्य है। इन जोड़ों का उपयोग करके, नेटवर्क बिना कभी भी इस नियम को तोड़े कि न्यूरॉन्स केवल सकारात्मक रूप से ही फायर कर सकते हैं, सकारात्मक और ऋणात्मक मूल्यों का प्रतिनिधित्व कर सकता है।
शोध पत्र दिखाता है कि यह "ऑन-ऑफ" प्रणाली मानक कंप्यूटर मॉडलों की तरह ही अच्छी तरह सीख सकती है। शोधकर्ताओं ने गणितीय रूप से सिद्ध किया कि यदि नेटवर्क को सही ढंग से सेट किया जाता है, तो ये चिल्लाने वाले जुड़वा जोड़े पारंपरिक "ऋणात्मक संख्या" पद्धति की तरह ही सटीक रूप से नेटवर्क के माध्यम से त्रुटि संदेशों (error messages) को पीछे की ओर भेज सकते हैं। यह एक रिले रेस की तरह है जहाँ बैटन एक अकेले धावक द्वारा नहीं, बल्कि विपरीत लेन में दौड़ने वाले दो धावकों द्वारा पास किया जाता है; उनकी गति का अंतर अगले धावक को ठीक-ठीक बताता है कि उसे क्या करना है।
जब उन्होंने वास्तविक दुनिया के इमेज रिकग्निशन कार्यों पर इस विचार का परीक्षण किया, तो परिणाम आश्चर्यजनक रूप से अच्छे रहे। एक मानक परीक्षण जिसे टिनी इनेट (Tiny ImageNet) कहा जाता है, जिसमें छवियों की 200 अलग-अलग श्रेणियों को छाँटना शामिल है, पर उनके "ऑन-ऑफ" मॉडल ने 42.31% सटीकता प्राप्त की। यह अन्य जैविक रूप से प्रेरित तरीकों की तुलना में एक महत्वपूर्ण उछाल था जो इस स्तर तक स्केल करने में संघर्ष कर रहे थे। और भी दिलचस्प बात यह है कि उनके मॉडल ने समान संख्या में न्यूरॉन्स वाले मानक कंप्यूटर नेटवर्क को भी पीछे छोड़ दिया, जिससे पता चलता है कि यह "ऑन-ऑफ" तरीका न केवल जैविक रूप से अनुकूल है—बल्कि यह सूचना को संसाधित करने का एक स्मार्ट और अधिक कुशल तरीका भी हो सकता है।
अध्ययन सुझाव देता है कि मस्तिष्क को जटिल कार्यों को सीखने के लिए अपने स्वयं के नियमों को तोड़ने की आवश्यकता नहीं है। इसके बजाय, यह उत्तेजक और अवरोधक संकेतों के पूरक जोड़ों का उपयोग करके भारी काम कर सकता है। हालांकि इस मॉडल को (उसी जानकारी को दर्शाने के लिए) मानक नेटवर्क की तुलना में लगभग दोगुने न्यूरॉन्स की आवश्यकता होती है, लेखक बताते हैं कि मस्तिष्क में वास्तव में फॉरवर्ड कनेक्शन की तुलना में लगभग दोगुने फीडबैक कनेक्शन होते हैं, इसलिए यह "अतिरिक्त लागत" वही हो सकती है जो प्रकृति पहले से ही चुका रही है। अंततः, यह कार्य सुझाव देता है कि प्रभावी शिक्षण उन तंत्रों से उभर सकता है जो वास्तविक मस्तिष्क के बहुत करीब दिखते हैं, यह सिद्ध करते हुए कि मशीन को देखना सिखाने के लिए आपको जादुई ऋणात्मक संख्याओं की आवश्यकता नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।