Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं। निर्णय लेने के लिए, रोबोट को एक मस्तिष्क की आवश्यकता होती है, और आर्टिफिशियल इंटेलिजेंस की दुनिया में, हम अक्सर इन मस्तिष्कों का निर्माण "न्यूरल नेटवर्क" का उपयोग करके करते हैं। ये नेटवर्क मानव मस्तिष्क से प्रेरित होते हैं, जहाँ न्यूरॉन्स नामक सूक्ष्म इकाइयाँ एक-दूसरे को संकेत भेजती हैं। पारंपरिक कंप्यूटर मस्तिष्क में, ये संकेत बिजली की चिकनी, निरंतर तरंगों की तरह होते हैं। लेकिन एक विशेष प्रकार के मस्तिष्क में जिसे "स्पाइकिंग न्यूरल नेटवर्क" (SNN) कहा जाता है, न्यूरॉन्स बिजली के छोटे, तीखे विस्फोटों या "स्पाइक्स" का उपयोग करके संचार करते हैं, ठीक वैसे ही जैसे वास्तविक जैविक न्यूरॉन्स काम करते हैं। यह तरीका अविश्वसनीय रूप से ऊर्जा-कुशल है, जो इसे मोबाइल रोबोट या ऐसे उपकरणों के लिए उपयुक्त बनाता है जो भारी बैटरी नहीं ले जा सकते।

हालाँकि, इसमें एक पेंच है। अधिकांश कुशल स्पाइकिंग मस्तिष्क में केवल दो अवस्थाएँ होती हैं: या तो वे एक स्पाइक फायर करते हैं (1) या वे शांत रहते हैं (0)। यह एक लाइट स्विच की तरह है जो केवल चालू या बंद हो सकता है। यह सीमा तय करती है कि रोबोट एक बार में अपने दिमाग में कितनी जानकारी रख सकता है। हाल ही में, वैज्ञानिकों ने इन स्विचों को "टर्नरी" (ternary) न्यूरॉन्स में अपग्रेड करने की कोशिश की, जिनमें तीन अवस्थाएँ होती हैं: सकारात्मक रूप से फायर करना (+1), शांत रहना (0), या नकारात्मक रूप से फायर करना (-1)। आप सोच सकते हैं कि एक "नकारात्मक" स्विच जोड़ने से रोबोट अधिक स्मार्ट हो जाएगा, लेकिन आश्चर्यजनक रूप से, जब उन्होंने इसे एक वीडियो गेम सेटिंग में आजमाया, तो रोबोट वास्तव में और भी खराब प्रदर्शन करने लगे। यह शोध पत्र इस रहस्य की गहराई में जाता है, यह पूछते हुए कि कैसे अधिक विकल्प होने से रोबोट कम बुद्धिमान हो गया, और उन्होंने रोबोट को फिर से गेमिंग चैंपियन बनाने के लिए इसे कैसे ठीक किया।

कम बुद्धिमान रोबोट का रहस्य

शोधकर्ताओं की एक टीम, जो ड्रेक्सल यूनिवर्सिटी (Drexel University) से थी, ने एक डीप लर्निंग सिस्टम में इन नए "टर्नary" न्यूरॉन्स का परीक्षण करने का निर्णय लिया, जिसे एटाari (Atari) वीडियो गेम (जैसे ब्रेकआउट और स्पेस इनवेडर्स जैसे क्लासिक आर्केड गेम) खेलने के लिए डिज़ाइन किया गया है। उन्हें यह संदेह था कि समस्या अतिरिक्त अवस्था की नहीं थी, बल्कि इस बात की थी कि वे न्यूरॉन्स कैसे सीख रहे थे।

एक रोबोट को प्रशिक्षित करना कुत्ते को करतब सिखाने जैसा है। आप कुत्ते को एक कमांड देते हैं, वह कोशिश करता है, और फिर आप उसे एक इनाम (पुरस्कार) या एक "ना" (दंड) देते हैं। AI की दुनिया में, यह "इनाम" इस बात की गणना करके निकाला जाता है कि रोबोट ने क्या उम्मीद की थी और वास्तव में क्या हुआ। इस अंतर को "ग्रेडिएंट" (gradient) कहा जाता है, और यह रोबोट को बताता है कि अगली बार बेहतर करने के लिए उसे अपने मस्तिष्क को कैसे समायोजित करना चाहिए।

टीम ने पाया कि मानक टर्नरी न्यूरॉन्स ऐसे शिक्षक की तरह थे जो केवल गलती की दिशा पर ध्यान देते थे, न कि उसके आकार पर। यदि रोबोट ने गलती की, तो टर्नरी न्यूरॉन केवल इतना कह सकता था, "तुम गलत दिशा में गए!" (+1 या -1), लेकिन उसने इस सवाल को पूरी तरह से अनदेखा कर दिया कि "तुमने कितनी बड़ी गलती की?" (गतिविधि/activity)। वीडियो गेम सीखने के शुरुआती चरणों में, रोबोट अक्सर बेतरतीब ढंग से अनुमान लगा रहा होता है, इसलिए त्रुटि की "दिशा" भ्रमित करने वाली और यादृच्छिक होती है। क्योंकि मानक टर्नरी न्यूरॉन दिशा पर इतने केंद्रित थे, वे शोर में खो गए और सीखना पूरी तरह से बंद कर दिया। यह ऐसा था जैसे रोबोट एक धुंधली भूलभुलैया में नेविगेट करने की कोशिश कर रहा हो और केवल एक ऐसे कंपास पर भरोसा कर रहा हो जो बेतरतीब ढंग से घूम रहा है; वह बस स्थिर खड़ा रहा।

असममित सुधार (The Asymmetric Fix)

इस समस्या को हल करने के लिए, लेखकों ने डीप एसिमेट्रिक टर्नरी स्पाइकिंग क्यू-नेटवर्क (DATSQN) नामक एक नया डिज़ाइन प्रस्तावित किया। उन्होंने महसूस किया कि प्रकृति के पास इसका उत्तर पहले से ही मौजूद था। मानव मस्तिष्क में, सभी न्यूरॉन्स समान नहीं होते हैं। लगभग 80% हमारे न्यूरॉन्स "उत्तेजक" (excitatory) होते हैं (जो मस्तिष्क को कार्य करने के लिए प्रेरित करते हैं), और केवल लगभग 20% "निरोधात्मक" (inhibitory) होते हैं (जो मस्तिष्क को रुकने के लिए कहते हैं)। पुराने टर्नरी मॉडल इन दोनों प्रकारों को एक-दूसरे का सटीक दर्पण मानते थे, जो जैविक रूप से अवास्तविक था।

टीम के नए मॉडल ने इस समरूपता (symmetry) को तोड़ दिया। उन्होंने एक ऐसा न्यूरॉन बनाया जहाँ "सकारात्मक" (उत्तेजक) और "नकारात्मक" (निरोधात्मक) थ्रेशोल्ड (सीमा) अलग-अलग थे। इसे देखने का एक तरीका यह है कि एक ऐसे दरवाजे की कल्पना करें जिसमें दो अलग-अलग ताले हों। पुराने मॉडल में दो समान ताले थे; यदि आप दोनों तरफ से बहुत जोर लगाते, तो दरवाजा एक ही तरह से खुलता। नए मॉडल में एक भारी, कठिन-से-खुलने वाला ताला "रुकने" वाले पक्ष पर है और एक आसानी से-खुलने वाला ताला "जाने" वाले पक्ष पर है। इस विषमता (asymmetry) का अर्थ था कि भले ही रोबोट अपनी गलती की दिशा के बारे में भ्रमित हो, फिर भी न्यूरॉन एक स्पष्ट संकेत भेज सकता था कि उसे कितना सक्रिय होना चाहिए। इसने "वॉल्यूम नॉब" को काम करने लायक बनाए रखा, भले ही "दिशा का तीर" घूम रहा हो।

परिणाम: ठप होने से सुपरस्टार बनने तक

टीम ने सात अलग-अलग एटाari गेम्स में इस नए मस्तिष्क का परीक्षण किया, जिसमें उन्होंने पुराने बाइनरी (ऑन/ऑफ) रोबोट्स और मानक टर्नरी रोबोट्स के साथ मुकाबला किया। उन्होंने कार्य को कठिन बना दिया और रोबोट को निर्णय लेने के लिए तेज़ होने के लिए मजबूर किया (20 स्टेप्स के छोटे सिमुलेशन टाइम विंडो का उपयोग करके, जो सामान्यतः 40 स्टेप्स होता है, जिससे सीखना बहुत कठिन हो जाता है)।

परिणाम चौंकाने वाले थे। मानक टर्नरी रोबोट (DTSQN) बहुत खराब प्रदर्शन करते थे, जिनका स्कोर बुनियादी बाइनरी रोबट से बहुत कम था। वे वास्तव में सीखने की धुंध में फंस गए थे। हालाँकि, नए असममित रोबोट (DATSQN) ने न केवल बराबरी की, बल्कि वे बहुत आगे निकल गए। छह में से सात खेलों में, नए मॉडल ने बाइनरी बेसलाइन को पछाड़ दिया और औसत गेम स्कोर में 30% का सुधार हासिल किया। उदाहरण के लिए, बीम राइडर (Beam Rider) में, नए रोबोट ने 4,000 अंक प्राप्त किए जबकि बाइनरी रोबोट ने 2,069 अंक प्राप्त किए। ब्रेकआउट (Breakout) में, इसने 252 अंक बनाम 207 अंक प्राप्त किए।

शोधकर्ताओं ने प्रशिक्षण प्रक्रिया की "धड़कन" की भी जाँच की। उन्होंने पाया कि नए मॉडल के सीखने के संकेत मजबूत और स्थिर रहे, जिससे "वेनिशिंग ग्रेडिएंट" (vanishing gradient) की समस्या से बचा जा सके जहाँ रोबोट सीखना भूल जाता है। उन्होंने यह भी देखा कि उनके नए मॉडल के न्यूरॉन्स स्वाभाविक रूप से ज्यादातर उत्तेजक विकसित हुए, बिल्कुल एक वास्तविक मानव मस्तिष्क की तरह, जिसमें सकारात्मक स्पाइक्स की संख्या नकारात्मक स्पाइक्स की तुलना में कम से कम 60% अधिक थी।

इसका क्या अर्थ है

यह शोध पत्र सुझाव देता है कि न्यूरॉन में केवल अधिक अवस्थाएँ जोड़ना पर्याप्त नहीं है; आपको यह डिजाइन करना होगा कि वे अवस्थाएँ कैसे सीखती हैं। मानव मस्तिष्क में उत्तेजक और निरोधात्मक न्यूरॉन्स के प्राकृतिक असंतुलन की नकल करके, टीम ने एक स्पाइकिंग नेटवर्क बनाया जो न केवल अधिक ऊर्जा-कुशल है, बल्कि जटिल कार्यों को सीखने में भी अधिक स्मार्ट है। हालांकि यह अध्ययन वीडियो गेम के सिमुलेशन में किया गया था, इसके निष्कर्ष बताते हैं कि यह "असममित" दृष्टिकोण भविष्य में रोबोट और अन्य उपकरणों के लिए बेहतर, अधिक कुशल AI मस्तिष्क बनाने की कुंजी हो सकता है। लेखक नोट करते हैं कि हालांकि उनका मॉडल इन खेलों में बहुत अच्छा काम करता है, लेकिन यह बेहतर सिस्टम बनाने के लिए केवल एक सुझाव है, और यह देखना दिलचस्प होगा कि क्या यह दृष्टिकोण दृष्टि (vision) या भाषा प्रसंस्करण (language processing) जैसे अन्य क्षेत्रों में भी मदद करता है।