Neural Architecture Search on Large Kernel Convolution Search Space for Computer Vision Tasks
यह शोध पत्र LarKNAS को प्रस्तुत करता है, जो एक नवीन न्यूरल आर्किटेक्चर सर्च विधि है जिसमें एक लार्ज कर्नेल कन्वोल्यूशन सर्च स्पेस और एक कुशल ग्रेडिएंट एस्टीमेशन रणनीति है जो हाथ से डिज़ाइन किए गए आर्किटेक्चर के समान प्रदर्शन वाले बड़े पैमाने के कन्वोल्यूशनल मॉडल्स की खोज करती है और साथ ही खोज लागत को महत्वपूर्ण रूप से कम करती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर विज़न की दुनिया में, मशीनें छवियों को गणितीय फिल्टरों के माध्यम से प्रोसेस करके देखना सीखती हैं, ठीक वैसे ही जैसे एक मानवीय आँख दृश्य पर ध्यान केंद्रित करने के लिए लेंस के माध्यम से प्रकाश को गुजरने देती है। वर्षों से, इन डिजिटल आँखों के लिए सबसे सफल डिज़ाइन छोटे, दोहराव वाले फिल्टरों पर निर्भर थे जो एक समय में छवि के एक छोटे से हिस्से का परीक्षण करते थे। जबकि ये छोटे फिल्टर बुनियादी कार्यों के लिए अच्छी तरह से काम करते थे, शोधकर्ताओं को संदेह होने लगा कि जब वे जटिल दृश्यों, जैसे कि भीड़भाड़ वाली सड़क या विशाल परिदृश्य को समझने के लिए पर्याप्त बड़े मॉडल बनाने की कोशिश कर रहे थे, तो वे एक सीमा तक पहुँच रहे थे। प्रचलित धारणा यह थी कि इन प्रणालियों को स्मार्ट बनाने के लिए, केवल उन्हें बड़ा या गहरा बनाना आवश्यक था, यानी इन छोटे फिल्टरों की अधिक परतें जोड़ना। हालाँकि, इस दृष्टिकोण के अक्सर घटते प्रतिफल (diminishing returns) देखने को मिले, जहाँ अधिक कंप्यूटिंग शक्ति जोड़ने से सटीकता में केवल मामूली सुधार ही हुआ। प्रश्न यह उठा: शायद समस्या मशीन के आकार की नहीं, बल्कि उन उपकरणों के आकार की थी जिनका उपयोग वह दुनिया को देखने के लिए करती है।
PLA इंफॉर्मेशन इंजीनियरिंग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने एक नया तरीका खोजने के उद्देश्य से इस धारणा को चुनौती देने का निर्णय लिया जिससे कंप्यूटर बेहतर तरीके से देख सकें। उन्होंने एक विशिष्ट प्रकार के फिल्टर पर ध्यान केंद्रित किया जिसे 'कन्वोल्यूशनल कर्नेल' (convolutional kernel) कहा जाता है, जो वह गणितीय उपकरण है जो किनारों या बनावट (textures) जैसी विशेषताओं का पता लगाने के लिए छवि को स्कैन करता है। जबकि आधुनिक डिज़ाइनों ने काफी हद तक बहुत छोटे कर्नेल का उपयोग करने पर सहमति बना ली थी, शोधकर्ताओं ने परिकल्पना की कि बहुत बड़े कर्नेल का उपयोग करने से मशीन एक ही नज़र में व्यापक संदर्भ (context) देख सकेगी, ठीक वैसे ही जैसे कोई मनुष्य पूरी तस्वीर देखने के लिए एक अकेली ईंट पर ध्यान केंद्रित करने के बजाय पीछे हट सकता है। इसका परीक्षण करने के लिए, उन्होंने LarKNAS नामक एक प्रणाली विकसित की, जिसका अर्थ है 'लार्ज कर्नेल कन्वोल्यूशन सर्च स्पेस पर न्यूरल आर्किटेक्चर सर्च'। यह प्रणाली सर्वोत्तम डिज़ाइन चुनने के लिए मानवीय अंतर्ज्ञान पर निर्भर नहीं करती है; इसके बजाय, यह एक स्वचालित वास्तुकार (architect) के रूप में कार्य करती है, जो सबसे कुशल और शक्तिशाली संरचना खोजने के लिए इन बड़े फिल्टरों के हजारों अलग-अलग संयोजनों का परीक्षण करती है।
शोधकर्ताओं को एक बड़ी बाधा का सामना करना पड़ा: संभावनाओं की इतनी विशाल श्रृंखला में सर्वश्रेष्ठ डिज़ाइन की खोज करना समय और कंप्यूटिंग शक्ति के मामले में अत्यधिक महंगा है। पारंपरिक तरीकों में अक्सर प्रत्येक डिज़ाइन का एक-एक करके परीक्षण करना पड़ता है, एक ऐसी प्रक्रिया जिसमें कंप्यूटिंग समय के हजारों दिन लग सकते हैं। इसे हल करने के लिए, टीम ने एक नई खोज रणनीति बनाई जो किसी डिज़ाइन को पूरी तरह से प्रशिक्षित करने से पहले ही उसकी क्षमता का अनुमान लगा लेती है। उन्होंने देखा कि नेटवर्क सीखते समय इसके भीतर गणितीय संकेत कैसे बदलते हैं, और उन्होंने यह अनुमान लगाने के लिए संकेतों की औसत शक्ति और निरंतरता का उपयोग किया कि कौन से डिज़ाइन सबसे अच्छा प्रदर्शन करेंगे। इसने उन्हें पिछले तरीकों की तुलना में बहुत तेज़ी से सर्च स्पेस में नेविगेट करने की अनुमति दी, जिससे खराब डिज़ाइनों को जल्दी से बाहर निकाला जा सका और संसाधनों को सबसे आशाजनक उम्मीदवारों पर केंद्रित किया जा सका।
उन्होंने जो सर्च स्पेस बनाया वह केवल फिल्टरों को बड़ा बनाने के बारे में नहीं था; बल्कि उन्हें बुद्धिमानी से व्यवस्थित करने के बारे में था। उन्होंने एक ऐसी संरचना डिज़ाइन की जहाँ नेटवर्क के विभिन्न भाग अलग-अलग आकार के फिल्टरों का उपयोग करते हैं। शुरुआती परतें, जो किनारों जैसे सरल विवरणों को संभालती हैं, छोटे फिल्टरों का उपयोग करती हैं, जबकि मध्य परतें, जो जटिल आकृतियों और संबंधों को समझने के लिए जिम्मेदार हैं, बहुत बड़े फिल्टरों का उपयोग करती हैं, जिनमें से कुछ इक्यावन (51) पिक्सेल तक चौड़े होते हैं। उन्होंने इन बड़े फिल्टरों को अधिक कुशल बनाने के लिए एक तरीका भी पेश किया जिससे वे "स्पार्स" (sparse) हो गए, जिसका अर्थ है कि वे डेटा बिंदुओं के हर एक के बजाय केवल कुछ चुनिंदा बिंदुओं को प्रोसेस करते हैं, जिससे ऊर्जा की बचत होती है और छवि में लंबी दूरी तक देखने की क्षमता भी बनी रहती है। इस दृष्टिकोण के परिणामस्वरूप मॉडलों का एक ऐसा परिवार सामने आया जिसे कार्य के आधार पर छोटा या बड़ा किया जा सकता है, मोबाइल उपकरणों के लिए हल्के संस्करणों से लेकर हाई-एंड सर्वरों के लिए विशाल संस्करणों तक।
जब शोधकर्ताओं ने अपने सबसे अच्छे मॉडल का परीक्षण किया, जिसे LarKNASNet-L के रूप में जाना जाता है, तो परिणाम आश्चर्यजनक थे। ImageNet डेटासेट पर, जो छवि पहचान के लिए एक मानक बेंचमार्क है, मॉडल ने 86.6 प्रतिशत की सटीकता प्राप्त की। यह प्रदर्शन मानव विशेषज्ञों द्वारा बनाए गए सर्वश्रेष्ठ हैंड-डिज़ाइन किए गए मॉडलों के तुलनीय था, और कुछ मामलों में उनसे बेहतर भी था, जिसमें हाल ही में इस क्षेत्र में हावी रहने वाले नवीनतम ट्रांसफार्मर आर्किटेक्चर भी शामिल हैं। मॉडल अन्य विज़न कार्यों में भी उत्कृष्ट रहा, जैसे कि छवियों में वस्तुओं का पता लगाना और उन्हें अलग-अलग भागों में विभाजित करना, जिसने COCO और ADE20K बेंचमार्क पर शीर्ष स्कोर प्राप्त किया। शायद सबसे महत्वपूर्ण बात यह है कि टीम ने विशेष ग्राफिक्स प्रोसेसर पर केवल 96 दिनों के कंप्यूटिंग समय की खोज लागत के साथ ये परिणाम प्राप्त किए। यह उन अन्य बड़े पैमाने की खोज विधियों की तुलना में बहुत कम है, जिन्हें समान आकार का मॉडल खोजने में अक्सर सैकड़ों दिन लग जाते हैं।
अध्ययन ने स्पष्ट रूप से इस विचार को खारिज कर दिया कि केवल छोटे फिल्टरों की अधिक परतें जोड़ना बड़े पैमाने के मॉडलों के लिए सबसे अच्छा रास्ता है। अपने परिणामों की अन्य विधियों के साथ तुलना करके, जो री-पैरामीट्राइजेशन (re-parameterization) तकनीकों या डेंस लार्ज कर्नेल पर निर्भर करती हैं, शोधकर्ताओं ने पाया कि उनका स्पार्स, लार्ज कर्नेल का उपयोग करने वाला फेज़्ड आर्किटेक्चर वाला दृष्टिकोण श्रेष्ठ था। उन्होंने प्रदर्शित किया कि री-पैरामीट्राइजेशन विधियों का उपयोग करना, जो फिल्टरों की कई शाखाओं को जोड़ती हैं, अक्सर मेमोरी संबंधी समस्याओं का कारण बनता है जो मानक हार्डवेयर पर खोज प्रक्रिया को असंभव बना देता है। उनके निष्कर्ष बताते हैं कि अगली पीढ़ी के कंप्यूटर विज़न मॉडलों को अनलॉक करने की कुंजी केवल मापदंडों (parameters) की संख्या को बढ़ाने में नहीं है, बल्कि इस बात के मौलिक ज्यामिति को फिर से सोचने में है कि ये मॉडल दृश्य जानकारी को कैसे प्रोसेस करते हैं।
इस कार्य के निहितार्थ केवल उच्च सटीकता के आंकड़ों से परे हैं। शोधकर्ताओं ने दिखाया कि उनके मॉडलों ने केवल बनावट (texture) पर निर्भर रहने के बजाय वस्तुओं के आकार की बेहतर समझ विकसित की, जो मानव दृष्टि के अधिक निकट है। यह सुझाव देता है कि मशीनों को एक बार में छवि के बड़े हिस्सों को देखने की अनुमति देकर, वे दृश्य दुनिया की अधिक मजबूत और मानव जैसी समझ बना सकती हैं। LarKNAS की सफलता इंगित करती है कि कंप्यूटर विज़न का क्षेत्र एक नए युग में प्रवेश कर रहा है जहाँ सर्च स्पेस का डिज़ाइन ही—वह नियम और उपकरण जिनका उपयोग सर्वोत्तम मॉडल खोजने के लिए किया जाता है—उस मॉडल जितना ही महत्वपूर्ण है जिसे वह उत्पादित करता है। यह सिद्ध करके कि बड़े कर्नेल को कुशलतापूर्वक और प्रभावी ढंग से खोजा जा सकता है, टीम ने शक्तिशाली, कुशल और बुद्धिमान विज़ुअल सिस्टम बनाने के लिए एक नया द्वार खोल दिया है, जो उन निषेधात्मक लागतों से मुक्त है जिन्होंने पहले ऐसी खोजों को सीमित कर रखा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।