कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट ब्रेन बनाने की कोशिश कर रहे हैं, लेकिन आमतौर पर इस्तेमाल होने वाले तैरते हुए फ्लोटिंग-पॉइंट नंबरों के बजाय, आप इसे पूरी तरह से छोटे, ऑन/ऑफ लाइट स्विचों से बनाना चाहते हैं। यह लॉजिक गेट नेटवर्क (LGNs) की दुनिया है। इन नेटवर्कों को लाइट स्विचों के एक विशाल, जटिल भूलभुलैया के रूप में सोचें जहाँ प्रत्येक स्विच केवल "ऑन" (1) या "ऑफ" (0) हो सकता है। वास्तविक दुनिया में, ये डिजिटल सर्किट के मौलिक निर्माण खंड हैं, जो आपके कैलकुलेटर या वीडियो गेम कंसोल को चलाते हैं। दशकों से, वैज्ञानिक इन सर्किटों के बारे में एक गुप्त नियम जानते हैं: आप इस भूलभुलैया को जितना गहरा बनाएंगे (स्विच की अधिक परतें जोड़ेंगे), मस्तिष्क उतना ही स्मार्ट और शक्तिशाली होता जाएगा। यह एक गगनचुंबी इमारत में और अधिक मंजिलें जोड़ने जैसा है; सैद्धांतिक रूप से, आप अधिक कार्यालय फिट कर पाएंगे और अधिक जटिल कार्य कर पाएंगे।

हालाँकि, इसमें एक पेंच है। जब शोधकर्ताओं ने आधुनिक कंप्यूटर लर्निंग तकनीकों का उपयोग करके इन गहरे, डिजिटल मस्तिष्कों को प्रशिक्षित करने की कोशिश की, तो वे एक दीवार से टकरा गए। चाहे उन्होंने कितनी भी परतें जोड़ी हों, मस्तिष्क स्मार्ट नहीं हुआ। वास्तव में, यह अक्सर और भी मूर्ख बन गया। यह ऐसा था जैसे वे एक 100-मंजिला इमारत बना रहे हों, लेकिन हर बार जब वे एक नई मंजिल जोड़ते, तो लिफ्ट काम करना बंद कर देती, और ऊपरी मंजिलों के लोग ग्राउंड फ्लोर से बात नहीं कर पाते। बड़ा सवाल यह था: क्या समस्या निर्माण दल (ट्रेनिंग एल्गोरिदम) की है जो इतनी गहरी मीनारें बनाने में बहुत अनाड़ी है, या समस्या स्वयं ब्लूप्रिंट (खाके) में है?

"On the Depth Scalability of Logic Gate Networks" शीर्षक वाला यह शोध पत्र सीधे इसी रहस्य में उतरता है। लेखकों ने, जो कोरिया यूनिवर्सिटी की एक टीम है, खोजा कि समस्या केवल निर्माण दल की नहीं थी। यहाँ तक कि जब उन्होंने प्रशिक्षण विधियों को ठीक किया ताकि यह सुनिश्चित हो सके कि "लिफ्ट" पूरी तरह से काम करे, तब भी गहरे टावर स्मार्ट होने में विफल रहे। उन्होंने महसूस किया कि ब्लूप्रिंट में एक महत्वपूर्ण विशेषता की कमी थी: ऊपरी मंजिलें मूल कच्चे माल से पूरी तरह से कटी हुई थीं। इसे ठीक करने के लिए, उन्होंने एक नया डिज़ाइन बनाया जिसे इनपुट-एंकरड लॉजिक गेट नेटवर्क (IALGNs) कहा जाता है। हर मंजिल को केवल अपने नीचे वाली मंजिल से बात करने देने के बजाय, उन्होंने एक विशेष "एंकर" केबल जोड़ा जो सीधे ग्राउंड फ्लोर (मूल इनपुट) से हर मंजिल तक जाता है। इस सरल बदलाव ने गहरे स्तरों को मूल जानकारी का उपयोग करके अपने काम को परिष्कृत करने की अनुमति दी, बजाय इसके कि वे केवल इस आधार पर अनुमान लगाएं कि उनके नीचे वाला फ्लोर क्या कह रहा है। परिणाम? ये नए, एंकर वाले नेटवर्क वास्तव में गहरे होने पर स्मार्ट होते हैं, और वे MNIST, CIFAR-10, और CIFAR-100 जैसे डेटासेट से छवियों को पहचानने जैसे कार्यों पर अपनी सटीकता में लगातार सुधार करते हैं।

समस्या: गहरे मस्तिष्क का "टेलीफोन गेम"

पुराने डिज़ाइनों के विफल होने के कारण को समझने के लिए, "टेलीफोन" (या "चाइनीज व्हिसपर्स") के खेल की कल्पना करें। आप अपने बगल वाले व्यक्ति के कान में कुछ फुसफुसाते हैं, जो अगले व्यक्ति को फुसफुसाता है, और इसी तरह। एक मानक गहरे लॉजिक गेट नेटवर्क में, मस्तिष्क की प्रत्येक परत केवल अपने ठीक ऊपर वाली परत से जानकारी प्राप्त करती है। यदि आपके पास 100 परतें हैं, तो 100वीं परत केवल इस आधार पर मूल छवि को समझने की कोशिश कर रही है कि 99वीं परत ने उसे क्या फुसफुसाया है।

लेखकों ने पाया कि जैसे-जैसे श्रृंखला लंबी होती जाती है, संदेश विकृत होता जाता है। 99वीं परत पहले से ही छवि को एक बहुत ही अमूर्त अवधारणा में सारांशित कर चुकी होगी, और जब तक वह 100वीं परत तक पहुँचती है, मूल विवरण खो जाते हैं। नेटवर्क अंततः केवल उसी पुराने, धुंधले सारांश को बार-बार री-मिक्स करता रहता है, बजाय इसके कि कुछ नया सीखे।

लंबे समय तक वैज्ञानिकों ने सोचा कि समस्या केवल यह थी कि "फुसफुसाहट" बहुत धीमी थी। उन्होंने सोचा कि सिग्नल ऊपर पहुँचने से पहले ही मर रहा है। उन्होंने इसे बेहतर "मेगाफोन" (स्किप-बायस्ड इनिशियलाइजेशन और स्ट्रेट-थ्रू एस्टिमेटर्स जैसी तकनीकें) के साथ ठीक करने की कोशिश की ताकि यह सुनिश्चित हो सके कि सिग्नल तेज़ बना रहे। और क्या अंदाज़ा लगाइए? यह काम कर गया! सिग्नल ऊपर तक तेज़ बना रहा। लेकिन यहाँ एक मोड़ है: एक तेज़ सिग्नल के साथ भी, गहरे नेटवर्क स्मार्ट नहीं हुए। 100वीं परत एक तेज़, विकृत संदेश चिल्ला रही थी, लेकिन वह अभी भी एक विकृत संदेश ही था। समस्या आवाज़ (वॉल्यूम) की नहीं थी; समस्या सामग्री (कंटेंट) की थी। ऊपरी परतें अभी भी मूल स्रोत से कटी हुई थीं।

समाधान: "डायरेक्ट लाइन" ब्लूप्रिंट

लेखकों ने महसूस किया कि एक गहरे नेटवर्क को काम करने के लिए, प्रत्येक स्तर को मूल इनपुट के साथ एक सीधी रेखा की आवश्यकता होती है। वे इसे इनपुट-एंकरड डिज़ाइन कहते हैं।

कल्पना कीजिए कि आप ब्लॉकों का एक टावर बना रहे हैं। पुराने डिज़ाइन में, प्रत्येक नया ब्लॉक केवल अपने ठीक नीचे वाले ब्लॉक को देख सकता था। यदि नीचे वाला ब्लॉक थोड़ा डगमगाया हुआ था या उसने अपना आकार खो दिया था, तो नया ब्लॉक बस उस डगमगाहट की नकल करेगा। नए IALGN डिज़ाइन में, प्रत्येक ब्लॉक के पास दो इनपुट हैं:

1. स्पाइन (रीढ़): यह अपने ठीक नीचे वाले ब्लॉक (पिछले स्तर से छिपा हुआ फीचर) को देखता है।
2. एंकर (लंगर): इसके पास बहुत पहले वाले ब्लॉक (मूल इनपुट) तक जाने वाली एक सीधी केबल है।

इसका मतलब है कि 100वाँ स्तर भी मूल छवि को स्पष्ट रूप से देख सकता है, जबकि वह यह भी देख रहा है कि 99वें स्तर ने अब तक क्या समझा है। यह संपादकों की एक टीम की तरह है जो एक कहानी पर काम कर रहे हैं। पुराने सिस्टम में, संपादक 100 केवल वही पढ़ पाता है जो संपादक 99 ने लिखा है। यदि संपादक 99 ने कोई गलती की या कोई विवरण भूल गया, तो संपादक 100 का काम बर्बाद है। नए सिस्टम में, संपादक 100 संपादक 99 के ड्राफ्ट को भी पढ़ सकता है और लेखक के मूल नोट्स को भी वापस जाकर पढ़ सकता है। यह उन्हें गलतियों को सुधारने और उन नए, उपयोगी विवरणों को जोड़ने की अनुमति देता है जिन्हें पिछले संपादक ने छोड़ दिया था।

उन्होंने क्या पाया: आंकड़ों में प्रमाण

टीम ने तीन प्रसिद्ध इमेज डेटासेट्स पर इस विचार का परीक्षण किया: MNIST (साधारण हस्तलिखित अंक), CIFAR-10 (बिल्लियों, कुत्तों और हवाई जहाजों जैसी 10 अलग-अलग वस्तुओं की छोटी तस्वीरें), और CIFAR-100 (वही लेकिन 100 अलग-अलग, कठिन अंतर वाली वस्तुओं के साथ)।

उन्होंने समान चौड़ाई (प्रत्येक परत में स्विचों की संख्या) वाले नेटवर्क बनाए लेकिन गहराई (परतों की संख्या) को बदला।

• पुराना तरीका (रैंडमली वायर्ड): जब उन्होंने इन नेटवर्कों को गहरा बनाया, तो सटीकता बढ़ी नहीं। वास्तव में, कठिन CIFAR-100 डेटासेट के लिए, नेटवर्क को 150 परतें गहरा बनाने से यह उथले (शैलो) नेटवर्क की तुलना में प्रदर्शन में बदतर हो गया। अतिरिक्त परतें केवल शोर (नॉइज़) जोड़ रही थीं।
• नया तरीका (इनपुट-एंकरड): जब उन्होंने IALGN डिज़ाइन का उपयोग किया, तो नेटवर्क जितना गहरा होता गया, वह उतना ही स्मार्ट होता गया। CIFAR-10 पर, एक उथला नेटवर्क लगभग 53% सटीकता प्राप्त करता है, लेकिन एक 100-परत गहरा नेटवर्क 56.41% तक पहुँच गया। CIFAR-100 पर, गहरा नेटवर्क 30.60% सटीकता तक पहुँचा, जो एक निरंतर बढ़त है जिसे पुराने नेटवर्क नहीं छू सके।

लेखकों ने केवल अंतिम स्कोर पर ही नहीं रोका। उन्होंने यह देखने के लिए "मस्तिष्क" के अंदर झाँका कि क्या हो रहा है। उन्होंने नेटवर्क को विभिन्न परतों पर फ्रीज किया और पूछा, "इस परत में कितनी जानकारी है?" उन्होंने पाया कि नए IALGNs में, जैसे-जैसे आप गहराई में जाते हैं, जानकारी और अधिक समृद्ध और उपयोगी होती जाती है। पुराने नेटवर्कों में, जानकारी अटक जाती थी या खराब हो जाती थी।

उन्होंने यह भी साबित किया कि यह केवल इसलिए नहीं था क्योंकि नए डिज़ाइन में तारों को जोड़ने की "अधिक स्वतंत्रता" थी। उन्होंने एक संस्करण का परीक्षण किया जहाँ उन्होंने पुराने नेटवर्कों को अन्य छिपे हुए स्तरों से जुड़ने की अधिक स्वतंत्रता दी, लेकिन बिना मूल इनपुट के सीधे एंकर के। इससे कोई मदद नहीं मिली। असली सफलता विशेष रूप से मूल इनपुट के एंकर में थी।

यह क्यों मायने रखता है

यह शोध पत्र सुझाव देता है कि डिजिटल, लॉजिक-आधारित मस्तिष्क के लिए, उन्हें केवल गहरा बनाना ही पर्याप्त नहीं है। आपको उन्हें इस तरह से डिज़ाइन करना होगा कि मस्तिष्क का हर हिस्सा अभी भी मूल समस्या को "देख" सके। यह हमें याद दिलाता है कि जटिल प्रणालियों में, कनेक्टिविटी उतनी ही महत्वपूर्ण है जितनी कि आकार। आप बस परतों को एक के ऊपर एक नहीं रख सकते और बेहतर होने की उम्मीद नहीं कर सकते; आपको यह सुनिश्चित करना होगा कि शीर्ष परतों के पास नीचे तक एक सीधी रेखा हो।

लेखक दिखाते हैं कि इस सरल "एंकर" ट्रिक के साथ, हम अंततः ऐसे लॉजिक गेट नेटवर्क बना सकते हैं जो वास्तव में गहरे, स्केलेबल और चित्रों में वस्तुओं को पहचानने जैसे जटिल कार्यों को संभालने में सक्षम हैं। यह ब्लूप्रिंट में एक छोटा सा बदलाव है, लेकिन यह एक ऐसी मीनार को जो अपने ही वजन से ढह जाती है, एक ऐसे गगनचुंबी इमारत में बदल देता है जो ऊँची और स्मार्ट होती जाती है।