Dropout and Random Gradient Masking Are Asymptotically Equivalent in Large ResNets
यह शोध पत्र यह प्रदर्शित करता है कि यादृच्छिकता (randomness) इंजेक्ट करने के अपने विशिष्ट तंत्रों के बावजूद, ड्रॉपआउट (Dropout) और रैंडम ग्रेडिएंट मास्किंग (RaM), बड़े ResNets में स्पर्शोन्मुखी रूप से (asymptotically) समान हो जाते हैं, जो पूर्ण फीचर लर्निंग रिजीम (complete feature learning regime) में एक ही सीमित गतिकी (limiting dynamics) की ओर अभिसरित होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अत्यंत जटिल रोबोट को तस्वीरें पहचानना सिखाने की कोशिश कर रहे हैं। यह रोबोट केवल एक मस्तिष्क नहीं है; यह छोटे प्रसंस्करण इकाइयों (processing units) का एक ऊंचा गगनचुंबी इमारत जैसा है जो एक के ऊपर एक रखी गई हैं, जिसमें हर मंजिल पर हजारों इकाइयां एक साथ काम कर रही हैं। वैज्ञानिक इसे "डीप न्यूरल नेटवर्क" कहते हैं, और यहाँ हम जिस विशिष्ट प्रकार की बात कर रहे हैं, उसे "ResNet" कहा जाता है। इस रोबोट को प्रशिक्षण चित्रों को केवल रटने (जिसे ओवरफिटिंग कहा जाता है) के बजाय अच्छी तरह से सीखने के लिए, इंजीनियर एक तरकीब का उपयोग करते हैं जिसे "ड्रॉपआउट" (Dropout) कहा जाता है। ड्रॉपआउट को रोबोट के मस्तिष्क कोशिकाओं के लिए "म्यूजिकल चेयर्स" के खेल की तरह समझें: हर बार जब रोबक एक नया सबक सीखने की कोशिश करता है, तो उसके न्यूरॉन्स के एक यादृच्छिक (random) चयन को "झपकी लेने" (nap) और वर्तमान कार्य को अनदेखा करने के लिए कहा जाता है। यह शेष न्यूरॉन्स को अधिक मजबूत बनने के लिए मजबूर करता है ताकि वे अपने पड़ोसियों पर बहुत अधिक निर्भर न रहें।
वर्षों तक, विशेषज्ञों का मानना था कि यह "झपकी का समय" इसलिए काम करता था क्योंकि यह न्यूरॉन्स को एक-दूसरे के बहुत करीब (co-adaptation) होने से रोकता था या इसलिए क्योंकि यादृच्छिक शोर (random noise) एक सौम्य दंड के रूप में कार्य करता था जो रोबोट को विनम्र रखता था। लेकिन, इसे देखने का एक सरल और अधिक अजीब तरीका भी है। कल्पना कीजिए कि न्यूरॉन्स को सबक के दौरान झपकी लेने के बजाय, आप उन्हें पूरा सबक सुनने देते हैं, लेकिन फिर, जब उनके द्वारा सीखे गए नोट्स लिखने का समय आता है, तो आप उनके नोट्स के कुछ हिस्सों को यादृच्छिक रूप से मिटा देते हैं। इसे "रैंडम ग्रेडिएंट मास्किंग" (Random Gradient Masking - RaM) कहा जाता है। यह एक अजीब हैक जैसा लगता है, लेकिन यह आश्चर्यजनक रूप से प्रभावी साबित होता है। बड़ा सवाल यह है कि इन विशाल, गगनचुंबी इमारतों जैसे रोबोटों में, क्या वास्तव में यह मायने रखता है कि हम इस यादृच्छिकता (randomness) को कैसे पेश करते हैं? क्या "झपकी का समय" (Dropout) "मिटे हुए नोट्स" (RaM) से अलग तरह से काम करता है, या वे विशाल होने पर गुप्त रूप से बिल्कुल एक ही चीज़ कर रहे होते हैं?
यह शोध पत्र इस प्रश्न की जांच करने के लिए इस बात पर ध्यान केंद्रित करता है कि क्या होता है जब ये न्यूरल नेटवर्क अनंत रूप से बड़े हो जाते हैं—गहराई (मंजिलों की संख्या) और चौड़ाई (प्रति मंजिल न्यूरॉन्स की संख्या) दोनों में। लेखकों, जेवियर मास और लेनाइक चिज़ैट ने कुछ आश्चर्यजनक खोजा है: इन विशाल ResNets में, ड्रॉपआउट और रैंडम ग्रेडिएंट मास्किंग स्पर्शोन्मुख रूप से समान (asymptotically equivalent) हैं। यह एक फैंसी तरीका है यह कहने का कि जैसे-जैसे नेटवर्क विशाल आकार में बढ़ता है, न्यूरॉन्स को झपकी लेने के निर्णय और उनके नोट्स को पूरी तरह से मिटाने के बीच का अंतर समाप्त हो जाता है। वे दोनों एक ही गणितीय व्यवहार की ओर अभिसरित (converge) होते हैं।
लेखक पुराने विचार के विरुद्ध तर्क देते हैं कि ड्रॉपआउट जिस तरह से शोर (noise) जोड़ता है (फॉरवर्ड पास को बदलकर), वही डीप लर्निंग में इसकी सफलता का असली रहस्य है। इसके बजाय, लेखक दिखाते हैं कि बड़े नेटवर्क की सीमा में, "प्रोपैगेशन नॉइज़" (सोते हुए न्यूरॉन्स के कारण होने वाली अराजकता) और "पेनलाइजेशन प्रभाव" (एक ही मास्क का दो बार उपयोग करने से होने वाला पूर्वाग्रह) लुप्त हो जाते हैं। जो बचता है वह केवल रैंडम ग्रेडिएंट मास्किंग का प्रभाव है। दूसरे शब्दोंियों में, जादू झपकी लेने में नहीं है; यह अपडेट निर्देशों को यादृच्छिक रूप से मिटाने में है।
शोधकर्ताओं ने कठोर गणितीय विश्लेषण का उपयोग करके इसे सिद्ध किया, यह दिखाते हुए कि चाहे आप स्वतंत्र यादृच्छिक मास्क का उपयोग करें, परतों में साझा किए गए मास्क (जैसे स्टोकेस्टिक डेप्थ) का उपयोग करें, या न्यूरॉन्स में साझा किए गए मास्क का उपयोग करें, वे सभी एक ही सीमित डायनेमिक में समाहित हो जाते हैं। उन्होंने विभिन्न आकारों के नेटवर्कों के साथ एक मानक छवि पहचान कार्य (MNIST) पर कंप्यूटर सिमुलेशन भी चलाए। इन प्रयोगों ने उनके सिद्धांत की पुष्टि की: जैसे-जैसे नेटवर्क बड़े होते गए, ड्रॉपआउट और RaM के बीच का अंतर सिकुड़कर लगभग नगण्य हो गया। हालांकि यह पेपर डीप लर्निंग के सभी रहस्यों को सुलझाने का दावा नहीं करता है, लेकिन यह दृढ़ता से सुझाव देता है कि पर्याप्त बड़े आर्किटेक्चर के लिए, हम जटिल ड्रॉपआउट तंत्र को सरल RaM दृष्टिकोण के साथ बदल सकते हैं, जिससे हमारे सीखने के तरीकों के प्रति हमारी समझ मौलिक रूप से बदल सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।