NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation
NeuronSoup एक नवीन न्यूरल आर्किटेक्चर है जो बैकप्रोपैगेशन के बिना एक एसिंक्रोनस, साझा-न्यूरॉन टेम्पोरल ग्राफ को विकसित करने के लिए एक जेनेटिक एल्गोरिदम का उपयोग करता है, जो डायनेमिक सिग्नल इंटरफेरेंस और एडेप्टिव कंप्यूटेशन डेप्थ को सक्षम करके MNIST पर 85.9% सटीकता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ पहेली सुलझाने के लिए सभी को एक ही समय पर अपना उत्तर चिल्लाने की आवश्यकता नहीं होती। आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, विशेष रूप से "न्यूरोइवोल्यूशन" (neuroevolution) नामक एक क्षेत्र में, वैज्ञानिक ऐसे कंप्यूटर मस्तिष्क बनाने की कोशिश कर रहे हैं जो जीवित मस्तिष्क की तरह सीख सकें। पारंपरिक एआई, जो आपके पसंदीदा ऐप्स को संचालित करता है, एक कठोर फैक्ट्री असेंबली लाइन की तरह काम करता है: डेटा एक छोर से प्रवेश करता है, पूर्ण तालमेल में चरण-दर-चरण संसाधित किया जाता है, और दूसरे छोर से बाहर निकलता है। यह तेज़ है, लेकिन यह लचीला नहीं है। यदि पहेली आसान है, तो फैक्ट्री पूरी गति से चलती है; यदि यह कठिन है, तो फैक्ट्री रुक सकती है। हालाँकि, प्रकृति अव्यवस्थित और एसिंक्रोनस (asynchronous) है। एक वास्तविक मस्तिष्क में, संकेत अलग-अलग गति से यात्रा करते हैं, न्यूरॉन्स आपस में ओवरलैपिंग बातचीत के एक अराजक मिश्रण में बात करते हैं, और मस्तिष्क इस आधार पर निर्णय लेता है कि किसी चीज़ के बारे में कितनी देर तक सोचना है कि वह कितनी पेचीदा है। यह शोध पत्र एक साहसी प्रश्न पूछता है: क्या हम एक ऐसा डिजिटल मस्तिष्क बना सकते हैं जिसे मास्टर क्लॉक या एक कठोर असेंबली लाइन की आवश्यकता नहीं है, बल्कि जो एक अराजक, समय-आधारित कनेक्शन नेटवर्क विकसित करके सीख सके?
यहाँ NeuronSoup आता है, जो एक नए प्रकार का कंप्यूटर आर्किटेक्चर है जो असेंबली लाइन को छोड़कर एक हलचल भरे, एसिंक्रोनस रसोईघर को अपनाता है। पूर्ण तालमेल में काम करने वाले न्यूरॉन्स की परतों के बजाय, NeuronSoup न्यूरॉन्स के एक विशाल पूल का उपयोग करता है जहाँ संकेत एक उबलते हुए बर्तन में सामग्री की तरह तैरते रहते हैं। यहाँ जादू यह है: संकेत केवल गुजरते नहीं हैं; वे अलग-अलग समय पर पहुँचते हैं। यदि दो संकेत एक ही क्षण में एक ही न्यूरॉन पर पहुँचते हैं, तो वे आपस में मिल जाते हैं। यदि वे एक के बाद एक पहुँचते हैं, तो दूसरे संकेत को पहले द्वारा छोड़े गए "स्वाद" (flavor) से जूझना पड़ता है। यह मिश्रण एक प्रकार का कम्प्यूटेशनल इंटरफेरेंस (computational interference) बनाता है, जहाँ एक संकेत का समय अगले संकेत के अर्थ को बदल देता है।
शोधकर्ताओं ने इस मिश्रण प्रक्रिया को हाथ से डिज़ाइन नहीं किया। इसके बजाय, उन्होंने एक जेनेटिक एल्गोरिदम का उपयोग किया—एक कंप्यूटर प्रोग्राम जो प्राकृतिक चयन की नकल करता है—जिसका उपयोग पूरे सिस्टम को विकसित करने के लिए किया गया। उन्होंने एक "जीनोम" (संख्याओं की एक लंबी सूची) से शुरुआत की जिसने संकेतों के यात्रा करने के 384 संभावित पथों को परिभाषित किया, जिसमें यह भी शामिल था कि उन्हें कितनी गति से चलना चाहिए (विलंब/delays), उन्हें कितना मजबूत होना चाहिए (भार/weights), और उन्हें किन न्यूरॉन्स के पास जाना चाहिए। डिजिटल विकास की 10,000 पीढ़ियों के दौरान, सिस्टम ने यह पता लगाया कि किन पथों को रखना है, किन्हें हटाना है, और संकेतों को कैसे समय देना है ताकि "सूप" सही उत्तर दे सके।
इसका परिणाम एक नेटवर्क है जो आश्चर्यजनक रूप से कुशल और आश्चर्यजनक रूप से स्मार्ट है। हस्तलिखित अंकों (MNIST डेटासेट) को पहचानने के क्लासिक कार्य पर परीक्षण किए जाने पर, विकसित NeuronSoup ने 85.9% सटीकता प्राप्त की। इसने यह कार्य मात्र 115 KB मेमोरी वाले एक छोटे से मॉडल का उपयोग करके किया—जो एक उच्च-रिज़ॉल्यूशन वाली फोटो से भी छोटा है। नेटवर्क ने पाया कि इसे 384 दिए गए पथों में से केवल 204 सक्रिय पथों की आवश्यकता थी, और इसने पाया कि इसके 156 छिपे हुए न्यूरॉन्स इतने उपयोगी थे कि उन्हें एक साथ कई पथों द्वारा साझा किया गया था। वास्तव में, एक अकेला न्यूरॉन एक साथ 11 अलग-अलग पथों की सेवा कर रहा था, जो एक व्यस्त चौराहे की तरह कार्य कर रहा था जहाँ साक्ष्यों के विभिन्न हिस्से टकराते और संयोजित होते थे।
जो इसे वास्तव में अद्वितीय बनाता है वह यह है कि सिस्टम ने यह पता लगा लिया कि कब सोचना है। आसान अंकों के लिए, संकेतों ने छोटे, तेज़ पथ लिए और जल्दी पहुँच गए, जिससे एक त्वरित उत्तर मिला। अधिक कठिन अंकों के लिए, संकेतों ने लंबे, घुमावदार पथ लिए, जो उत्तर को परिष्कृत करने के लिए बाद में पहुँचे। सिस्टम ने बिना किसी के बताए, समस्या की कठिनाई के आधार पर अपने स्वयं के "सोचने के समय" को अनुकूलित किया।
लेखक सावधानी से यह स्पष्ट करते हैं कि यह कोई जादुई समाधान नहीं है जो अन्य सभी एआई को हरा दे। उनका सिस्टम वर्तमान में उन विशाल, ग्रेडिएंट-आधारित नेटवर्क (जैसे ResNet) से कम सटीक है जो इस क्षेत्र में दबदबा रखते हैं, जो उसी कार्य पर 99% से अधिक सटीकता प्राप्त कर सकते हैं। वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि मानक "बैकप्रोपैगेशन" (AI सीखने का सामान्य तरीका) यहाँ काम कर सकता है, क्योंकि सिस्टम का समय और असतत घटनाओं (discrete events) पर निर्भर होना, उस सुचारू गणितीय ढाल (smooth mathematical slopes) की गणना करना असंभव बना देता है जिसकी इस पद्धति के लिए आवश्यकता होती है। इसके बजाय, वे तर्क देते हैं कि जेनेटिक एल्गोरिदम सही उपकरण हैं क्योंकि वे इस समय-आधारित विकास की अव्यवस्थित और गैर-सुचारू प्रकृति को संभाल सकते हैं।
यद्यपि सटीकता कम है, शोध पत्र एक शक्तिशाली विकल्प का सुझाव देता है: एक ऐसा तरीका जिससे ऐसे एआई का निर्माण किया जा सके जिसे भारी ग्राफिक्स कार्ड या कठोर संरचनाओं की आवश्यकता न हो। क्योंकि यह सिस्टम सरल, इवेंट-ड्रिवन लॉजिक पर चलता है, इसलिए यह भविष्य में बहुत सरल, ऊर्जा-कुशल हार्डवेयर पर चल सकता है। लेखक सुझाव देते हैं कि वास्तविक जीत केवल 85.9% के स्कोर में नहीं है, बल्कि इस तथ्य में है कि एक कंप्यूटर ने, केवल कनेक्शनों के एक यादृच्छिक सूप के साथ शुरू होकर, समस्याओं को हल करने के लिए एक जटिल, समय-संवेदनशील रणनीति खुद विकसित की। यह एक प्रमाण है कि आप एक ऐसा मस्तिष्क बना सकते हैं जो केवल परतों में नहीं, बल्कि समय के साथ सोचता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।