The Imposed and Emergent Pieces of Convolution Under an Energy Budget
यह शोध पत्र ऊर्जा बजट के तहत एक विकासवादी खोज (evolutionary search) का उपयोग करके कनवल्शनल न्यूरल नेटवर्क को आरोपित पूर्वधारणाओं (imposed priors) और उभरती हुई संरचनाओं (emergent structures) में विभाजित करता है, जिससे यह प्रकट होता है कि विरल कनेक्टिविटी (sparse connectivity) और वेट शेयरिंग स्वाभाविक रूप से उत्पन्न होते हैं, जबकि कॉम्पैक्ट फिल्टर्स के लिए विशिष्ट उत्परिवर्तन तंत्रों (mutation mechanisms) की आवश्यकता होती है और चैनल अक्ष पर संयोजन (composition) बिना पर्यवेक्षण के एक क्षमता दीवार (capacity wall) से टकरा जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के गहरे भीतर, जो चेहरों को पहचानता है, भाषाओं का अनुवाद करता है और कारों को चलाता है, एक विशिष्ट प्रकार का गणितीय इंजन है जिसे 'कन्वोल्यूशनल नेटवर्क' कहा जाता है। दशकों से, वैज्ञानिकों ने इन इंजनों को हाथ से बनाया है, उन्हें इस तरह से सावधानीपूर्वक जोड़ने के लिए कि वे मानव मस्तिष्क के देखने के तरीके की नकल कर सकें। उन्होंने कोड में नियम हार्डवायर्ड किए हैं: कि पास के पिक्सेल आपस में जुड़े होने चाहिए, कि छवि के बाईं ओर पाया गया पैटर्न दाईं ओर भी पहचाना जाना चाहिए, और कि वही फ़िल्टर पूरी तस्वीर को स्कैन करना चाहिए। इन नियमों को 'प्रायर्स' (priors), या पूर्व-मौजूद धारणाएं कहा जाता है, और ये मशीनों को कुशल बनाते हैं। लेकिन एक अनसुलझा प्रश्न बना हुआ है: क्या ये नियम वे आवश्यक तत्व हैं जिन्हें सिस्टम में जबरदस्ती डाला जाना चाहिए, या क्या ये वे प्राकृतिक विशेषताएं हैं जो खुद-ब-खुद विकसित होंगी यदि सिस्टम को विकसित होने के लिए छोड़ दिया जाए? यदि हम मानवीय निर्देशों को हटा दें और एक नेटवर्क को एक अराजक, पूरी तरह से जुड़े हुए उलझे हुए जाल (fully connected mess) से विकसित होने दें, तो क्या यह स्वाभाविक रूप से एक कन्वोल्यूशनल नेटवर्क की सुंदर, व्यवस्थित संरचना की खोज करेगा, या यह एक उलझी हुई गांठ बनकर रह जाएगा?
वासिली गैवरिलोव नामक एक शोधकर्ता ने इसे इस तरह हल करने का प्रयास किया कि नेटवर्क को केवल ट्यून करने वाली मशीन नहीं, बल्कि विकसित होने वाले एक जीवित जीव के रूप में देखा जाए। उन्होंने एक "सीड" (seed) नेटवर्क के साथ शुरुआत की जो पूरी तरह से सघन (dense) था, जिसका अर्थ था कि इसके हिस्सों के बीच मौजूद हर संभव संबंध मौजूद था, जिससे बिना किसी संरचना वाला एक उलझा हुआ जाल बन गया। फिर उन्होंने इस नेटवर्क को एक सख्त ऊर्जा बजट के तहत रखा, एक ऐसा नियम जिसने हर उस कनेक्शन के लिए लागत निर्धारित की जो इसने बनाए रखा था। लक्ष्य कम से कम ऊर्जा खर्च करते हुए जीवित रहना और कार्य को पूरा करना था। शोधकर्ताओं ने प्राकृतिक चयन के समान एक प्रक्रिया का उपयोग किया, जहाँ नेटवर्क उन कनेक्शनों को बेतरतीब ढंग से हटा देता था जो उपयोगी नहीं थे, और कभी-कभी नए कनेक्शन उगाने की कोशिश करता था, और यह सब कुछ करते हुए अपनी कार्य करने की क्षमता को बनाए रखने का प्रयास करता था। इस दबाव के तहत यह देखते हुए कि नेटवर्क के कौन से हिस्से जीवित रहे, वे सटीक रूप से मानचित्रित कर सके कि एक कन्वोल्यूशनल नेटवर्क के कौन से हिस्से मानव डिजाइन द्वारा थोपे गए हैं और कौन से हिस्से दक्षता के संघर्ष से स्वाभाविक रूप से उभरे हैं।
प्रयोग से पता चला कि नेटवर्क के कुछ हिस्से वास्तव में अपने आप विकसित होते हैं। जब नेटवर्क को ऊर्जा बचाने के लिए मजबूर किया गया, तो इसने तेजी से बेकार कनेक्शनों को काटने और केवल उन्हीं इनपुट पर ध्यान केंद्रित करने के बारे में सीख लिया जो कार्य के लिए महत्वपूर्ण थे। इसे 'फीचर सिलेक्शन' (feature selection) के रूप में जाना जाता है, और यह स्पष्ट रूप से और विश्वसनीय रूप से हुआ। नेटवर्क ने स्वाभाविक रूप से 'वेट शेयरिंग' (weight sharing) के नियम को भी अपनाया, जहाँ इनपुट के विभिन्न हिस्सों को स्कैन करने के लिए संख्याओं के एक ही सेट का उपयोग किया जाता है। यह 'ट्रांसलेशन इनवेरिएंस' (translation invariance) का मूल है, यानी पैटर्न को पहचानने की क्षमता चाहे वह कहीं भी दिखाई दे। हालाँकि, शोधकर्ताओं ने पाया कि इस दक्षता के साथ एक शर्त भी जुड़ी थी। जबकि नेटवर्क वेट साझा करना चाहता था, वह खुद से यह नहीं समझ सका कि साझा फ़िल्टर को संक्षिप्त और संरेखित (aligned) कैसे बनाया जाए। फ़िल्टर चौड़ा और अस्त-व्यस्त रहा।
महत्वपूर्ण मोड़ तब आया जब शोधकर्ताओं ने यह बदल दिया कि नेटवर्क को उत्परिवर्तित (mutate) होने की अनुमति कैसे दी जाती है। पहले के प्रयासों में, नेटवर्क केवल एक बार में एक एकल कनेक्शन को काट या जोड़ सकता था। लेकिन चूंकि वेट साझा किए गए थे, इसलिए एक कनेक्शन को काटने से वास्तव में कोई ऊर्जा नहीं बची, क्योंकि वही वेट कहीं और भी उपयोग किया जा रहा था। नेटवर्क फंस गया था। समाधान यह था कि नेटवर्क को एक एकल एज (edge) के बजाय पूरे साझा फीचर को एक साथ उत्परिवर्तित करने की अनुमति दी जाए। यह जीव विज्ञान में एक जीन के समान है जो एक कोशिका के बजाय उसके द्वारा निर्मित प्रत्येक लक्षण को प्रभावित करता है। एक बार जब शोधकर्ताओं ने नेटवर्क को पूरे साझा कनेक्शन समूह को एक इकाई के रूप में संपादित करने की अनुमति दी, तो संक्षिप्त, सुव्यवस्थित फ़िल्टर अंततः उभर आया। नेटवर्क ने स्वाभाविक रूप से अपना ध्यान केंद्रित किया, जिससे एक छोटा, कुशल विंडो बना जो इनपुट को स्कैन करता था, ठीक वैसे ही जैसे वे फ़िल्टर जिन्हें मनुष्यों ने हाथ से डिज़ाइन किया है।
अध्ययन ने यह भी पता लगाया कि ये नेटवर्क गहराई और जटिलता कैसे बनाते हैं। जब कार्य के लिए नेटवर्क को एक बड़े क्षेत्र को देखने की आवश्यकता थी, तो नेटवर्क स्वाभाविक रूप रूप से ऊंचा हो गया, अपने दृश्य को बढ़ाने के लिए अधिक परतें (layers) जमा कीं। हालाँकि, यह ज़रूरत से ज़्यादा, यानी अधिक परतें बनाने की ओर भी झुका। जब नेटवर्क को दो अलग-अलग प्रकार के पैटर्न को मिलाने की आवश्यकता थी, तो नेटवर्क अपने काम को विभाजित करने में संघर्ष करता था। यदि शोधकर्ता केवल नेटवर्क को संयुक्त कार्य के लिए एक एकल लेबल देते, तो नेटवर्क खुद को दो विशिष्ट चैनलों में व्यवस्थित करने में विफल रहता; या तो वह एक में सिमट जाता या तीसरे अनावश्यक चैनल पर ऊर्जा बर्बाद करता। यह केवल तभी सफल हुआ जब शोधकर्ताओं ने अतिरिक्त मार्गदर्शन प्रदान किया, उसे पहले पैटर्न को खोजने और फिर दूसरे को अलग से खोजने के बाद उन्हें मिलाने की शिक्षा दी। इसने एक कठिन सीमा को प्रकट किया: जबकि कुछ संरचना स्वाभाविक रूप से उभरती है, जटिल कार्य को अलग-अलग भागों में तोड़ने की क्षमता बिना पर्यवेक्षण (supervision) के नहीं दिखती।
अंत में, शोधकर्ताओं ने अपने निर्देशित विकासवादी खोज (directed evolutionary search) की तुलना शुद्ध यादृच्छिक (random) दृष्टिकोण से की। उन्होंने पाया कि निर्देशित खोज, जिसने बेहतर समाधानों की ओर बढ़ने के लिए ऊर्जा बजट का उपयोग किया, ने यादृच्छिक संयोग की तुलना में लगातार अधिक स्वच्छ और अधिक कुशल संरचनाएं खोजीं। इसने अधिक व्यवस्थित और थोड़ी अधिक सटीक फ़िल्टर तैयार किए। इसने पुष्टि की कि ऊर्जा बजट ने नेटवर्क के लिए एक वास्तविक मार्ग प्रदान किया, न कि केवल एक सपाट परिदृश्य जहाँ यादृच्छिक भाग्य भी उतना ही अच्छा होता। यह कार्य यह दावा नहीं करता है कि इसने आर्टिफिशियल इंटेलिजेंस बनाने की समस्या को हल कर लिया है, न ही यह सुझाव देता है कि ये छोटे, कृत्रिम कार्य तुरंत वास्तविक दुनिया के विज़न में अनुवादित होंगे। इसके बजाय, यह एक सटीक मानचित्र प्रदान करता है कि प्रकृति जैसी विकास प्रक्रिया क्या हासिल कर सकती है और क्या नहीं। यह दिखाता है कि जबकि दक्षता का दबाव स्पर्सिटी (sparsity) और वेट शेयरिंग को विकसित कर सकता है, एक संक्षिप्त, सुव्यवस्थित कन्वोल्यूशनल फ़िल्टर की संरचना को अनलॉक करने के लिए एक विशिष्ट प्रकार के उत्परिवर्तन की आवश्यकता होती है, और एक जटिल समस्या को स्वतंत्र भागों में तोड़ने की क्षमता के लिए अक्सर मार्ग दिखाने के लिए एक शिक्षक की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।