CNN Regularization and Model Capacity: An Empirical Investigation of L1, L2, and Dropout in Hand Sign Image Classification
यह अनुभवजन्य अध्ययन प्रदर्शित करता है कि हैंड साइन इमेज क्लासिफिकेशन में, सीएनएन (CNN) क्षमता बढ़ाने से बेहतर प्रदर्शन की गारंटी नहीं मिलती है और ड्रॉपआउट रेगुलराइजेशन, विशेष रूप से आर्किटेक्चर-निर्भर दरों पर, एल1 (L1) और एल2 (L2) पेनल्टी की तुलना में काफी बेहतर प्रदर्शन करता है, जिसमें एक मध्यम आकार के मॉडल ने 96.66% की उच्चतम सटीकता प्राप्त की है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर विज़न की दुनिया में, मशीनें देखना सीख रही हैं। वे यह करने के लिए 'कन्वोल्यूशनल न्यूरल नेटवर्क' नामक डिजिटल मस्तिष्क का उपयोग करती हैं, जिन्हें छवियों में पैटर्न पहचानने के लिए डिज़ाइन किया गया है, ठीक वैसे ही जैसे मानव आँखें और मस्तिष्क करते हैं। ये प्रणालियाँ अविश्वसनीय रूप से शक्तिशाली हैं, जो स्ट्रीट साइन से लेकर मेडिकल स्कैन तक सब कुछ पहचानने में सक्षम हैं। हालाँकि, इसमें एक पेंच है। जब ये डिजिटल मस्तिष्क बहुत बड़े और जटिल हो जाते हैं, तो वे किसी वस्तु को पहचानने के सामान्य नियमों को सीखने के बजाय उन्हें दिखाए गए विशिष्ट उदाहरणों को रटने लगते हैं। इसे 'ओवरफिटिंग' (overfitting) कहा जाता है। कल्पना कीजिए कि एक छात्र ने एक विशिष्ट अभ्यास परीक्षा के उत्तर रट लिए हैं लेकिन वास्तविक परीक्षा में विफल हो जाता है क्योंकि वह जो सीखा है उसे नई स्थितियों पर लागू नहीं कर पाता। इसे रोकने के लिए, वैज्ञानिक 'रेगुलराइजेशन' (regularization) नामक तकनीकों का उपयोग करते हैं। ये वे विधियाँ हैं जो सीखने की प्रक्रिया को धीरे से नियंत्रित करती हैं, जिससे सिस्टम को सरल और अधिक मजबूत पैटर्न खोजने के लिए मजबूर किया जाता है जो उस डेटा पर काम कर सकें जिसे उसने पहले कभी नहीं देखा है। शोधकर्ता यह सवाल पूछ रहे थे कि क्या डिजिटल मस्तिष्क को बड़ा बनाना हमेशा मदद करता है, या क्या कोई ऐसा 'स्वीट स्पॉट' (sweet spot) है जहाँ मस्तिष्क का आकार और बाधाओं की शक्ति मिलकर सबसे अच्छा काम करती है।
भारतीय प्रौद्योगिकी संस्थान खड़गपुर के एक शोधकर्ता ने इस प्रश्न का उत्तर देने के लिए हाथ के संकेतों (hand signs) को पहचानने के लिए डिजिटल मस्तिष्क की एक श्रृंखला बनाने के साथ शुरुआत की। कार्य कंप्यूटर को छह अलग-अलग हाथ के इशारों के बीच अंतर करना सिखाना था, जिनमें से प्रत्येक एक संख्या (एक से छह तक) का प्रतिनिधित्व करता है। शोधकर्ता ने एक ही कंप्यूटर विज़न सिस्टम के तीन संस्करण बनाए, जिनमें से प्रत्येक में क्षमता का अलग स्तर था। पहला एक छोटा सिस्टम था, दूसरा मध्यम आकार का, और तीसरा बड़ा। उनके बीच एकमात्र अंतर उनके आंतरिक कनेक्शनों की संख्या थी; बड़े सिस्टम में सूचना के यात्रा करने के लिए छोटे वाले की तुलना में बहुत अधिक मार्ग थे। लक्ष्य यह देखना था कि क्या केवल अधिक कनेक्शन जोड़ने से सिस्टम स्मार्ट बनेगा, या क्या यह केवल प्रशिक्षण डेटा को रटने के प्रति अधिक प्रवण हो जाएगा।
प्रयोगों की शुरुआत एक आश्चर्यजनक खोज के साथ हुई। जब सिस्टम को बिना किसी बाधा के सीखने के लिए छोड़ दिया गया, तो मध्यम आकार का सिस्टम सबसे अच्छा प्रदर्शन कर रहा था। इसने टेस्ट इमेज में हाथ के संकेतों को लगभग 91.67 प्रतिशत बार सही ढंग से पहचाना। बड़े सिस्टम ने, जिसमें सीखने की सबसे अधिक क्षमता थी, खराब प्रदर्शन किया और केवल लगभग 83.33 प्रतिशत सटीकता प्राप्त की। ऐसा इसलिए हुआ क्योंकि बड़ा सिस्टम इतना शक्तिशाली था कि उसने हाथ के संकेतों के वास्तविक आकार को सीखने के बजाय प्रशिक्षण छवियों के विशिष्ट विवरणों, जिसमें रैंडम शोर (noise) भी शामिल था, को रट लिया। यह उस छात्र की तरह था जिसने अभ्यास परीक्षा का इतनी गहराई से अध्ययन किया कि उसे प्रश्नों का सटीक क्रम याद हो गया लेकिन वह अंतर्निहित अवधारणाओं को समझने में विफल रहा। मध्यम सिस्टम, जिसमें कम कनेक्शन थे, एक संतुलन खोजने के लिए मजबूर था, जिससे वह शोर से विचलित हुए बिना आवश्यक विशेषताओं को सीख सका।
इन परिणामों में सुधार करने के लिए, शोधकर्ता ने सिस्टम को ओवरफिटिंग से रोकने के लिए विभिन्न तकनीकों को लागू किया। एक विधि में बड़े आंतरिक भार (weights) के लिए दंड जोड़ना शामिल था, जो सिस्टम को अपने आंतरिक सेटिंग्स को सरल रखने के लिए प्रोत्साहित करने के समान है। दूसरी विधि में प्रशिक्षण के दौरान सिस्टम के कुछ हिस्सों को बेतरतीब ढंग से बंद करना शामिल था, जिससे वह समस्या को हल करने के लिए अलग-अलग मार्गों पर निर्भर रहने के लिए मजबूर हो जाए। 'ड्रॉपआउट' (dropout) के रूप में जानी जाने वाली यह तकनीक सबसे प्रभावी उपकरण साबित हुई। मध्यम आकार के सिस्टम पर इसे लागू करने पर, इसने सटीकता को बढ़ाकर 96.66 प्रतिशत कर दिया, जो पूरे अध्ययन में प्राप्त उच्चतम स्कोर था।
अध्ययन ने यह भी खुलासा किया कि इन उपकरणों का उपयोग करने का सबसे अच्छा तरीका सिस्टम के आकार पर निर्भर करता है। छोटे सिस्टम के लिए, बेतरतीब ढंग से थोड़ा सा बंद करना (random turning off) कारगर रहा। मध्यम सिस्टम के लिए, मध्यम मात्रा सबसे अच्छी थी। लेकिन बड़े सिस्टम के लिए, जिसमें रटने की सबसे अधिक क्षमता थी, शोधकर्ताओं ने पाया कि अच्छे परिणाम प्राप्त करने के लिए बेतरतीब ढंग से बंद करने की एक मजबूत खुराक आवश्यक थी। इससे पता चलता है कि बड़े सिस्टम को प्रशिक्षण डेटा को रटने से रोकने के लिए मजबूत बाधाओं की आवश्यकता होती है। शोधकर्ता ने विभिन्न विधियों को मिलाने का भी परीक्षण किया, लेकिन पाया कि उन्हें एक साथ जोड़ने से सिस्टम अपने आप बेहतर नहीं होता है। वास्तव में, सबसे अच्छे परिणाम एक जटिल मिश्रण के बजाय एक एकल, अच्छी तरह से ट्यून की गई विधि का उपयोग करने से मिले।
प्रायोगिक परिणामों की विश्वसनीयता की जांच विभिन्न शुरुआती स्थितियों के साथ प्रयोगों को कई बार चलाकर की गई, और मुख्य परिणाम स्थिर रहे। अध्ययन निष्कर्ष निकालता है कि एक बड़ा कंप्यूटर विज़न सिस्टम बनाना बेहतर प्रदर्शन की गारंटी नहीं देता है। इसके बजाय, सिस्टम के आकार को बाधाओं की सही मात्रा के साथ मिलाया जाना चाहिए। सही बाधाओं के साथ एक मध्यम आकार का सिस्टम बहुत बड़े सिस्टम से बेहतर प्रदर्शन कर सकता है। यह कार्य इन डिजिटल मस्तिष्क को ट्यून करने के लिए एक स्पष्ट, व्यावहारिक मार्गदर्शिका प्रदान करता है, जो यह दर्शाता है कि आर्टिफिशियल इंटेलिजेंस की खोज में, कभी-कभी 'कम ही अधिक होता है' (less is more), और नियमों की ताकत मस्तिष्क के आकार जितनी ही महत्वपूर्ण होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।