Architecture Generalization with MetaNCA
यह शोध पत्र MetaNCA को प्रस्तुत करता है, जो एक नवीन वेट ट्रांसफॉर्मर (Weight Transformer) आर्किटेक्चर का उपयोग करने वाला एक ढांचा है जो स्थानीय स्व-संगठन नियमों को सीखने के लिए नियोजित करता है, जिससे बैकप्रोपैगेशन के बिना विभिन्न आर्किटेक्चर में विविध और सामान्यीकरण योग्य न्यूरल नेटवर्क वेट्स उत्पन्न करना सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को घर बनाना सिखाने की कोशिश कर रहे हैं। पुराना तरीका (जो आज अधिकांश AI उपयोग करते हैं) एक विशिष्ट घर के लिए एक विशाल, विस्तृत ब्लूप्रिंट देने जैसा है। यदि आप एक अलग घर चाहते हैं, तो आपको पुराने ब्लूप्रिंट को फेंकना पड़ता है और शुरू से एक नया ब्लूप्रिंट बनाना पड़ता है। इसमें बहुत अधिक कागज (मेमोरी) और ऊर्जा खर्च होती है, और अगर जमीन थोड़ी भी हिल जाए तो रोबोट वास्तव में अनुकूलित नहीं हो पाता है।
अब, MetaNCA से मिलिए। ब्लूप्रिंट देने के बजाय, शोधकर्ताओं ने रोबोट को एक छोटा, जादुई "नियमों का संग्रह" (rulebook) दिया है। यह नियम पुस्तिका रोबोट को यह नहीं बताती कि अंतिम घर कैसा दिखेगा। इसके बजाय, यह रोबोट को बताता है कि केवल अपने आस-पास के ईंटों के आधार पर, एक-एक करके अपनी ईंटों को कैसे ठीक करना है।
स्थानीय नियमों का जादू
वास्तविक दुनिया में, प्रकृति जटिल चीजें बनाती है (जैसे आपका मस्तिष्क या बढ़ता हुआ पौधा) बिना किसी केंद्रीय बॉस के। एक एकल कोशिका को पूरी योजना का पता नहीं होता; वह बस अपने पड़ोसियों को देखती है और निर्णय लेती है, "ठीक है, मैं यहाँ एक पत्ती उगाऊँगी क्योंकि मेरा पड़ोसी एक तना है।"
यह पेपर MetaNCA (Meta Neural Cellular Automata) पेश करता है, जो कंप्यूटर दिमागों (न्यूरल नेटवर्क) के लिए भी ऐसा ही करने की कोशिश करता है।
- पुराना तरीका: एक केंद्रीय कंप्यूटर पूरे मस्तिष्क के लिए आदर्श आकार की गणना करता है और हर हिस्से को उसमें फिट होने के लिए मजबूर करता है।
- MetaNCA का तरीका: प्रत्येक "वेट" (दो न्यूरॉन्स के बीच का संबंध) एक छोटी ईंट की तरह है। प्रत्येक ईंट का अपना एक छोटा सा दिमाग होता है। वह नेटवर्क के मानचित्र पर अपने ठीक पहले और ठीक बाद वाले पड़ोसियों को देखती है। केवल उन पड़ोसियों के आधार पर, वह खुद को बदलने का निर्णय लेती है।
शोधकर्ता इसे वेट ट्रांसफार्मर (Weight Transformer) कहते हैं। इसे एक बहुत ही स्मार्ट 'नेबरहुड वॉच' की तरह समझें। प्रत्येक ईंट अपने पड़ोसियों से गपशप इकट्ठा करती है, समझती है कि उसे क्या करने की आवश्यकता है, और खुद को अपडेट करती है। वे इसे बार-बार (उनके परीक्षणों में 10 बार) तब तक करते हैं जब तक कि पूरा नेटवर्क एक काम करने वाले मस्तिष्क के रूप में "स्व-व्यवस्थित" (self-organize) न हो जाए।
बड़ी हैरानी: एक नियम पुस्तिका, कई घर
यहाँ सबसे रोमांचक हिस्सा है। आमतौर पर, यदि आप एक रोबोट को छोटा घर बनाना सिखाते हैं, तो वह छोटे घरों के लिए बहुत अच्छा हो जाता है लेकिन बड़े किलों के मामले में बुरी तरह विफल हो जाता है।
लेखकों ने पाया कि MetaNCA अलग है। उन्होंने नियम पुस्तिका को केवल कुछ अलग-अलग घर डिजाइनों (आर्किटेक्चर) पर प्रशिक्षित किया। फिर, उन्होंने नियम पुस्तिका से ऐसे घर बनाने के लिए कहा जो उन्होंने पहले कभी नहीं देखे थे।
- परिणाम: नियम पुस्तिका ने सफलतापूर्वक 2 मिलियन पैरामीटर्स (यानी बहुत सारी ईंटों!) वाले नेटवर्क बनाए जिन्हें बनाने के लिए उसे स्पष्ट रूप से नहीं सिखाया गया था।
- प्रमाण: जब उन्होंने इन स्व-निर्मित दिमागों का परीक्षण MNIST नामक खेल (लिखे हुए अंकों को पहचानना) पर किया, तो उन्हें 97% सटीकता मिली। यह लगभग "पुराने तरीके" (जिसे एडम (Adam) नामक विधि कहा जाता है) के समान है जिसने 96.9% प्राप्त किया।
- कमी: जब उन्होंने CIFAR-100 नामक कठिन खेल (100 अलग-अलग प्रकार की छवियों को पहचानना) पर परीक्षण किया, तो MetaNCA के दिमागों ने लगभग 29.9% सटीकता प्राप्त की। पुराने तरीके ने लगभग 41-42% प्राप्त किया। इसलिए, जबकि MetaNCA सामान्यीकरण (generalizing) में अद्भुत है, यह कठिन कार्यों पर पारंपरिक पद्धति जितना मजबूत अभी नहीं है।
यह क्यों मायने रखता है (और यह क्या नहीं है)
पेपर का तर्क है कि हमें केवल बड़े और बड़े ब्लूप्रिंट बनाते रहना चाहिए। प्रकृति ऐसा नहीं करती है। आपका DNA (आपका जेनेटिक ब्लूप्रिंट) आपके मस्तिष्क की जटिलता की तुलना में बहुत छोटा है। यह हर न्यूरॉन की सूची नहीं देता है; यह केवल उन्हें उगाने के नियम देता है। MetaNCA उसी की नकल करने की कोशिश करता है।
जो पेपर स्पष्ट रूप से खारिज करता है:
- यह एक ऐसा तरीका नहीं है जहाँ एक केंद्रीय कंप्यूटर एक साथ पूरे मस्तिष्क की गणना करता है। अपडेट पूरी तरह से स्थानीय (local) हैं।
- यह कोई जादुई समाधान नहीं है जो सब कुछ तुरंत हल कर दे। लेखक स्वीकार करते हैं कि कठिन इमेज टास्क के लिए, पारंपरिक तरीका अभी भी बेहतर है।
- यह ऐसा सिस्टम नहीं है जो निर्माण चरण के दौरान सीधे डेटा से सीखता है। नियम पुस्तिका निर्माण के नियमों को सीखती है, लेकिन वह नेटवर्क को असेंबल करते समय विशिष्ट चित्रों (जैसे बिल्ली या कुत्ता) को नहीं देखती है। यह बस एक ऐसा मस्तिष्क बनाती है जो बाद में उन चित्रों को सीख सके।
"कंप्रेशन" का तरीका
MetaNCA नियम पुस्तिका को एक छोटे, कंप्रेस्ड फ़ाइल की तरह समझें। शोधकर्ताओं ने पाया कि यह नियम पुस्तिका केवल 82,000 से 126,000 पैरामीटर्स की है (नेटवर्क के प्रकार के आधार पर)।
- जब उन्होंने इसका उपयोग 2 मिलियन पैरामीटर्स वाले विशाल नेटवर्क को बनाने के लिए किया, तो उन्होंने 16x कंप्रेशन हासिल किया।
- यह एक ही, छोटी निर्देश पुस्तिका रखने जैसा है जो विभिन्न आकारों के घरों की एक पूरी श्रृंखला बना सकती है, बजाय इसके कि हर एक घर के आकार के लिए एक अलग, विशाल मैनुअल की आवश्यकता हो।
निष्कर्ष
पेपर सुझाव देता है कि हम एक ही, छोटे स्थानीय नियमों के सेट को प्रशिक्षित कर सकते हैं जो बिना पुन: प्रशिक्षित (retrain) हुए कई अलग-अलग, बड़े न्यूरल नेटवर्क के रूप में विकसित हो सकते हैं। यह सरल कार्यों पर आश्चर्यजनक रूप से अच्छा काम करता है और कठिन कार्यों के लिए आशाजनक है, लेकिन यह अभी भी एक प्रगतिशील कार्य है। लेखक सुझाव देते हैं कि यदि वे नियम पुस्तिका को और भी अधिक विभिन्न प्रकार के घरों पर प्रशिक्षित करते हैं, तो यह उन घरों को बनाने में और भी बेहतर हो सकता है जिन्हें उसने पहले नहीं देखा है।
संक्षेप में: पूरी तस्वीर बनाने के बजाय, उन्होंने पिक्सेल को अपने पड़ोसियों से बात करना और तस्वीर खुद बनाना सिखाया। और यह पता चलता है कि पिक्सेल इसमें काफी अच्छे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।