Emergence Requires No Miracle: The Eligibility Trace as the Necessary Engine of Reward-Driven Differentiation in Spiking Networks

आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, शोधकर्ता अक्सर उस क्षण की तलाश करते हैं जब एक प्रणाली अचानक "जाग" उठती है, और ऐसे जटिल व्यवहार प्रदर्शित करती है जिनके लिए उसे स्पष्ट रूप से प्रोग्राम नहीं किया गया था। यह घटना, जिसे 'इमर्जेंस' (उद्भव) कहा जाता है, वह चिंगारी है जो सरल हिस्सों के संग्रह को एक सुसंगत पूर्णता में बदल देती है। दशकों से, वैज्ञानिक यह समझने की कोशिश कर रहे हैं कि कैसे कृत्रिम न्यूरॉन्स का एक नेटवर्क, जिसमें प्रत्येक न्यूरॉन केवल अपने निकटतम पड़ोसियों पर प्रतिक्रिया करता है, अचानक खुद को एक परिष्कृत संरचना में व्यवस्थित कर सकता है जो विलंबित पुरस्कारों (delayed rewards) से सीख करने में सक्षम हो। चुनौती समय की है: एक न्यूरॉन एक क्षण में सक्रिय हो सकता है, लेकिन यह संकेत देने वाला सिग्नल कि वह क्रिया अच्छी थी या बुरी, बहुत बाद में आ सकता है। बीच के अंतराल में क्या हुआ, इसे याद रखने के तरीके के बिना, सिस्टम क्रिया को उसके परिणाम से नहीं जोड़ सकता, और सीखना रुक जाता है। यह शोध पत्र उस विशिष्ट तंत्र की खोज करता है जो उस अंतर को पाटता है, और यह परीक्षण करता है कि क्या स्मृति का एक सरल रूप वह आवश्यक इंजन है जो इन नेटवर्कों को खुद को अलग करने और व्यवस्था खोजने की अनुमति देता है।

शोधकर्ताओं ने एक सिम्युलेटेड मस्तिष्क के भीतर इस प्रश्न की जांच करने का निर्णय लिया जो स्पाइकिंग न्यूरॉन्स से बना है, जो एक प्रकार का कृत्रिम नेटवर्क है जो इस तरह नकल करता है जैसे जैविक न्यूरॉन्स संक्षिप्त विद्युत विस्फोटों के माध्यम से संवाद करते हैं। उन्होंने 80,000 न्यूरॉन्स और 128 मिलियन कनेक्शनों वाला एक सिस्टम बनाया, जो इतना बड़ा पैमाना है कि यह दिखा सके कि जब ये नेटवर्क छोटे से विशाल आकार में बढ़ते हैं तो वे कैसे व्यवहार करते हैं। उनके प्रयोग का मुख्य हिस्सा 'उन्मूलन की प्रक्रिया' (process of elimination) थी। उन्होंने एक पूरी तरह से कार्यात्मक सीखने वाली प्रणाली ली और उसके प्रमुख घटकों को एक-एक करके व्यवस्थित रूप से हटाया ताकि यह देखा जा सके कि नेटवर्क को एक विशेष संरचना विकसित करने के लिए कौन से घटक अनिवार्य रूप से आवश्यक थे। वे एक ऐसी प्रणाली के बीच के अंतर की तलाश कर रहे थे जो सीखती है और एक ऐसी प्रणाली के बीच जो बिना किसी दिशा के भटकती रहती है।

अध्ययन उन चार मुख्य सामग्रियों पर केंद्रित था जिन्हें टीम इस सीखने की प्रक्रिया का चालक मानती थी। पहला, 'एलिजिबिलिटी ट्रेस' (eligibility trace) था, जो एक अल्पकालिक स्मृति है जो हालिया तंत्रिका गतिविधि के इतिहास को संजो कर रखती है। दूसरा, 'रिवॉर्ड प्रेडिक्शन एरर' (reward prediction error) था, एक तंत्र जो एक ब्रेक की तरह कार्य करता है, जो सिस्टम के अच्छा प्रदर्शन करने पर सीखने की गति को धीमा कर देता है। तीसरा, 'लॉजिस्टिक्स सैचुरेशन फैक्टर' (logistic saturation factor) था, जो एक अन्य ब्रेक है जो किसी भी एकल कनेक्शन को बहुत अधिक मजबूत होने से रोकता है। अंत में, एक 'मल्टीप्लिकेटिव रूल' (multiplicative rule) था जिसने सफल कनेक्शनों की ताकत को बढ़ाया, जो प्रक्रिया को तेज करने के लिए एक टर्बोचार्जर की तरह कार्य करता है। हजारों सिमुलेशन चलाकर, जहाँ उन्होंने प्रत्येक घटक को व्यक्तिगत रूप से हटाया, टीम यह देख सकी कि वास्तव में क्या टूटा और क्या शेष रहा।

परिणाम चौंकाने वाले और स्पष्ट थे। जब शोधकर्ताओं ने एलिजिबिलिटी ट्रेस—हाल की घटनाओं की अल्पकालिक स्मृति—को हटाया, तो नेटवर्क की सीखने की क्षमता पूरी तरह से लुप्त हो गई। 800 न्यूरॉन्स वाले सिमुलेशन में, बिना इस स्मृति वाला सिस्टम वास्तव में शुरू होने की तुलना में कम संगठित हो गया, जिसके कनेक्शन अधिक एकसमान और कम विशिष्ट हो गए। यह तब भी सच रहा जब नेटवर्क को 80,000 न्यूरॉन्स तक बढ़ाया गया। इस मेमोरी ब्रिज के बिना, वैश्विक पुरस्कार सिग्नल (global reward signal) स्थानीय तंत्रिका घटनाओं को प्रभावित करने के लिए बहुत देर से पहुँचा; सिस्टम के पास यह जानने का कोई तरीका नहीं था कि किन पिछली क्रियाओं को श्रेय दिया जाना चाहिए। शोधकर्ताओं ने निष्कर्ष निकाला कि यह स्मृति घटक पूरी प्रक्रिया का गैर-परक्राम्य (non-negotiable) इंजन है। इसके बिना, क्रिया और परिणाम के बीच का संबंध टूट जाता है, और अन्य कितनी भी मशीनरी क्यों न हो, वह सिस्टम को बचा नहीं सकती।

इसके विपरीत, अन्य घटकों को हटाने से बहुत अलग परिणाम मिले। जब टीम ने ब्रेकिंग मैकेनिज्म—रिवॉर्ड प्रेडिक्शन एरर और लॉजिस्टिक सैचुरेशन—को हटाया, तो नेटवर्क ने सीखना बंद नहीं किया; बल्कि, वह नियंत्रण से बाहर हो गया। कनेक्शन बेतहाशा असंतुलित हो गए, जिनमें से कुछ अत्यधिक मजबूत हो गए जबकि सिस्टम स्थिर होने में विफल रहा। नेटवर्क तब भी सीखने की कोशिश करता रहा जब उसने पहले ही एक अच्छा समाधान पा लिया था, और कभी भी विश्राम बिंदु नहीं खोज सका। इससे सिद्ध हुआ कि हालांकि ये ब्रेक विभेदीकरण (differentiation) को चलाने वाला इंजन नहीं हैं, लेकिन वे सिस्टम को खुद को नष्ट करने से बचाने के लिए आवश्यक हैं। वे एक इंजन के गवर्नर की तरह कार्य करते हैं, यह सुनिश्चित करते हुए कि विशिष्ट कनेक्शनों का विकास एक नियंत्रित और स्थिर तरीके से हो।

टर्बोचार्जर की भूमिका, यानी मल्टीप्लिकेटिव रूल जो मजबूत कनेक्शनों को बढ़ाता है, का प्रभाव नेटवर्क के आकार पर बहुत अधिक निर्भर पाया गया। 800 न्यूरॉन्स वाले छोटे नेटवर्कों में, सिस्टम इस एम्पलीफायर के बिना प्रभावी ढंग से सीख सकता था; बुनियादी इंजन अपने आप में पर्याप्त मजबूत था। हालांकि, जैसे-जैसे नेटवर्क बढ़कर 8,000 और फिर 80,000 न्यूरॉन्स हुआ, सिस्टम में शोर (noise) बढ़ गया, और बुनियादी इंजन संघर्ष करने लगा। इन बड़े पैमानों पर, मल्टीप्लिकेटिव एम्पलीफायर आवश्यक हो गया ताकि सफल कनेक्शनों को शोर से बाहर निकाला जा सके और उन्हें हावी होने दिया जा सके। इसने एक स्केलिंग लॉ (scaling law) को प्रकट किया: जैसे-जैसे नेटवर्क बड़ा होता है, उसे शुरू करने के लिए अधिक मदद की आवश्यकता होती है, लेकिन मौलिक इंजन वही रहता है।

शायद सबसे गहन खोज यह थी कि शोधकर्ताओं ने सबसे बड़े नेटवर्कों में समय (timing) की समस्या को कैसे हल किया। उन्होंने पाया कि जैसे-जैसे नेटवर्क बड़ा होता गया, इसके द्वारा उत्पन्न सिग्नल अधिक सुचारू और शांत होते गए, जिससे सीखने का सिग्नल कमजोर हो गया। इसकी भरपाई करने के लिए, उन्हें उस गति को समायोजित करना पड़ा जिस पर सिस्टम के "ब्रेक" संचालित होते थे। सिस्टम द्वारा अपने प्रदर्शन का मूल्यांकन करने की समय सीमा को 20,000 स्टेप्स से बढ़ाकर 200,000 स्टेप्स करके, उन्होंने नेटवर्क को 80,000 न्यूरॉन्स के विशाल पैमाने पर भी प्रभावी ढंग से सीखने की अनुमति दी। इस समायोजन ने सिस्टम को संगठन के उस स्तर तक पहुँचने में सक्षम बनाया जो छोटे नेटवर्कों की तुलना में भी अधिक ऊँचा था, जिससे यह सिद्ध हुआ कि यदि समय को सही ढंग से ट्यून किया जाए, तो यह तंत्र विभिन्न पैमानों पर काम करता है।

अध्ययन ने इन परिणामों की स्थिरता की भी जांच की। अलग-अलग रैंडम शुरुआती बिंदुओं के साथ सिमुलेशन को कई बार चलाकर, शोधकर्ताओं ने पुष्टि की कि सिस्टम लगातार उसी संगठित अवस्था में अभिसरित (converge) होता है। नेटवर्क ने विश्वसनीय रूप से एक ऐसा संतुलन पाया जहाँ कनेक्शन विशिष्ट लेकिन स्थिर थे, और जैसे ही सिस्टम ने कार्य में महारत हासिल की, सीखने का सिग्नल स्वाभाविक रूप से शून्य तक कम हो गया। यह निरंतरता बताती है कि यह व्यवहार किसी विशिष्ट सेटअप का इत्तेफाक नहीं है, बल्कि यह कि कैसे ये नेटवर्क सीखते हैं, इसका एक मौलिक गुण है। शोधकर्ताओं ने उल्लेख किया कि हालांकि उनका कार्य एक सिम्युलेटेड वातावरण में किया गया था, लेकिन जो तर्क उन्होंने खोजा—कि स्थानीय घटनाओं को वैश्विक सिग्नल द्वारा मूल्यांकन किए जाने के लिए पर्याप्त समय तक बने रहना चाहिए—वह एक सार्वभौमिक सिद्धांत प्रतीत होता है। उन्होंने इसकी तुलना इस बात से की कि विकास (evolution) कैसे काम करता है, जहाँ आनुवंशिक लक्षणों को चयन के लिए पीढ़ियों तक बने रहना पड़ता है, और यह भी कि कैसे मानक मशीन लर्निंग एल्गोरिदम मोमेंटम (momentum) का उपयोग करके लर्निंग को सुचारू बनाते हैं, जो यह सुझाव देता है कि अस्थायी स्मृति (temporal memory) का यह सिद्धांत कई अलग-अलग प्रकार के अनुकूलन प्रणालियों में एक सामान्य सूत्र हो सकता है।

अंततः, यह शोध पत्र तर्क देता है कि इन नेटवर्कों में व्यवस्था के रहस्यमय "इमर्जेंस" (उद्भव) के लिए किसी जादू की आवश्यकता नहीं है। यह एक यांत्रिक प्रक्रिया है जो एक सरल आवश्यकता से प्रेरित है: सिस्टम को यह याद रखना चाहिए कि उसने अभी क्या किया है। एलिजिबिलिटी ट्रेस इस स्मृति के रूप में कार्य करता है, जिससे सिस्टम को एक पिछली क्रिया को वर्तमान पुरस्कार से जोड़ने की अनुमति मिलती है। इस लिंक के बिना, सिस्टम अपने इतिहास के प्रति अंधा है और सीख नहीं सकता। इसके साथ, सिस्टम खुद को अलग करने, विशिष्ट बनाने और एक जटिल संरचना में व्यवस्थित करने में सक्षम होता है। ब्रेक और एम्पलीफायर महत्वपूर्ण सहायक हैं, लेकिन वे इंजन की तुलना में माध्यमिक हैं। यह शोध एक स्पष्ट, मात्रात्मक मानचित्र प्रदान करता है कि ये भाग एक साथ कैसे फिट होते हैं, यह दिखाते हुए कि आर्टिफिशियल इंटेलिजेंस का मार्ग याद रखने के सरल, आवश्यक कार्य से बना है।