Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power
यह शोध पत्र यह प्रदर्शित करता है कि जबकि 2-लेयर ReLU नेटवर्क में इक्विवैरिएंस (equivariance) को लागू करना उनकी अभिव्यंजक शक्ति (expressive power) को कम कर सकता है, इस सीमा की भरपाई मॉडल के आकार को बढ़ाकर की जा सकती है, जो विरोधाभासी रूप से परिकल्पना स्थान की विमा (hypothesis space dimensionality) को कम करती है और सामान्यीकरण क्षमता (generalizability) में सुधार करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को आकार (shapes) पहचानना सिखाने की कोशिश कर रहे हैं। आप देखते हैं कि एक वर्ग (square) वैसा ही दिखता है चाहे आप उसे 90 डिग्री घुमा दें या उल्टा कर दें। इसे सममिति (symmetry) कहा जाता है।
मशीन लर्निंग की दुनिया में, वैज्ञानिकों ने विशेष "सममिति-जागरूक" रोबोट (जिन्हें इक्विवेरिएंट न्यूरल नेटवर्क - Equivariant Neural Networks कहा जाता है) बनाए हैं, जिन्हें शुरुआत से ही इन नियमों को समझने के लिए मजबूर किया जाता है। विचार यह है कि: "यदि इनपुट किसी विशिष्ट तरीके से बदलता है, तो रोबोट की आंतरिक सोच भी उसी के अनुरूप बदलनी चाहिए।" यह आमतौर पर रोबोट को अधिक स्मार्ट और सीखने में तेज़ बनाता है।
हालाँकि, यह शोध पत्र एक पेचीदा सवाल पूछता है: क्या रोबोट को इन सममिति नियमों का पालन करने के लिए मजबूर करना उसे अन्य चीजें सीखने में कम सक्षम बनाता है?
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें सरल उपमाओं (analogies) का उपयोग किया गया है:
1. "कठोर ब्लूप्रिंट" की समस्या (एक कमी)
कल्पना कीजिए कि आप एक घर डिजाइन करने वाले एक वास्तुकार (architect) हैं।
- एक सामान्य नेटवर्क (GN) एक लचीले वास्तुकार की तरह है। वे जमीन के विशिष्ट आकार के अनुसार दीवारें, खिड़कियां और दरवाजे कहीं भी बना सकते हैं।
- एक सममिति नेटवर्क (LEN) एक ऐसे वास्तुकार की तरह है जिसे एक "सममिति ब्लूप्रिंट" का उपयोग करने के लिए मजबूर किया जाता है। यदि वे बाईं ओर एक खिड़की रखते हैं, तो उन्हें दाईं ओर भी एक समान खिड़की रखनी होगी। यदि वे एक दीवार को एक तरफ झुकाते हैं, तो उन्हें दूसरी दीवार को विपरीत दिशा में झुकाना होगा।
शोध पत्र दिखाता है कि यह "कठोर ब्लूप्रिंट" एक समस्या हो सकता है। कभी-कभी, एक विशिष्ट आकार (जैसे कि अजीब कोण वाली छत) बनाने के लिए, सामान्य वास्तुकार को केवल एक अद्वितीय दीवार की आवश्यकता होती है। लेकिन सममिति वास्तुकार, सब कुछ मिरर (दर्पण प्रतिबिंब) करने के लिए मजबूर होने के कारण, उसी परिणाम को प्राप्त करने के लिए तीन या चार दीवारों की आवश्यकता महसूस कर सकता है।
निष्कर्ष: यदि आप दोनों वास्तुकारों को निर्माण सामग्री (समान मॉडल आकार) की बिल्कुल समान मात्रा देते हैं, तो सममिति वास्तुकार अक्सर सामान्य वास्तुकार की तुलना में आकार को उतनी अच्छी तरह से नहीं बना पाएगा। वे कम "अभिव्यंजक" (expressive) होते हैं क्योंकि उनके हाथ नियमों से बंधे होते हैं।
2. "अधिक ईंटें खरीदें" समाधान (एक क्षतिपूर्ति)
तो, क्या सममिति दृष्टिकोण बेकार है? नहीं। शोध पत्र कहता है कि इसका एक समाधान है: बस उन्हें अधिक ईंटें दें।
यदि सममिति वास्तुकार को वह काम करने के लिए तीन दीवारें बनानी पड़ती हैं जो सामान्य वास्तुकार एक दीवार से करता है, तो आप बस उन्हें ईंटों का एक बड़ा ढेर दे देते हैं (मॉडल का आकार बढ़ा देते हैं)।
- शोध पत्र सिद्ध करता है कि यदि आप सममिति नेटवर्क के आकार को एक विशिष्ट मात्रा में बढ़ाते हैं (यह देखते हुए कि डेटा को घुमाने या पलटने के कितने तरीके हैं), तो यह किसी भी आकार को बना सकता है जिसे सामान्य नेटवर्क बना सकता है।
- वास्तव में, कुछ कार्यों के लिए, सममिति नेटवर्क के आकार को दोगुना करना ही उसे सामान्य नेटवर्क के समान अच्छा बनाने के लिए पर्याप्त होता है।
3. आश्चर्य: "बड़ा लेकिन सरल" (एक लाभ)
यहाँ सबसे आश्चर्यजनक बात है। आमतौर पर, जब आप किसी मॉडल को बड़ा बनाते हैं, तो आपको डर होता है कि वह "भ्रमित" हो जाएगा या ओवरफिट (प्रशिक्षण डेटा को रटने के बजाय नियमों को सीखने के बजाय) हो जाएगा।
लेकिन शोध पत्र पाता है कि भले ही सममिति नेटवर्क शारीरिक रूप से बड़ा (अधिक न्यूरॉन्स वाला) है, इसकी आंतरिक तर्क प्रक्रिया वास्तव में सरल है।
- उपमा: कल्पना कीजिए कि सामान्य वास्तुकार के पास घर को समायोजित करने के लिए 9 अलग-अलग नॉब (knobs) हैं जिन्हें वे घुमा सकते हैं। सममिति वास्तुकार के पास 12 नॉब हैं (क्योंकि नेटवर्क बड़ा है), लेकिन सममिति नियमों के कारण वे 12 नॉब सभी आपस में जुड़े हुए हैं। एक नॉब को घुमाने से दूसरे भी अपने आप घूम जाते हैं। इसलिए, सममिति वास्तुकार वास्तव में केवल 5 स्वतंत्र नॉब को नियंत्रित कर रहा है।
परिणाम: क्योंकि सममिति नेटवर्क के पास कम "स्वतंत्र नॉब" (एक छोटा परिकल्पना स्थान/hypothesis space) हैं, यह वास्तव में बेहतर सामान्यीकरण (generalizing) करने में सक्षम है। यह नए, अनदेखे डेटा से भ्रमित होने की संभावना कम रखता है। यह कच्चे आकार के बदले संरचनात्मक सरलता का व्यापार करता है, जो कि एक जीतने वाला संयोजन साबित होता है।
सारांश
- समस्या: न्यूरल नेटवर्क को सममिति (जैसे रोटेशन या फ्लिपिंग) का सम्मान करने के लिए मजबूर करना उसकी स्वतंत्रता को सीमित करता है, जिससे यदि आप उसे पर्याप्त संसाधन नहीं देते हैं, तो जटिल आकारों को सीखना कठिन हो जाता है।
- समाधान: आप मॉडल का आकार बढ़ाकर (अधिक न्यूरॉन्स जोड़कर) इसे ठीक कर सकते हैं।
- बोनस: भले ही सममिति नेटवर्क बड़ा है, इसके नियम इतने सख्त हैं कि इसका "मन" सामान्य नेटवर्क के समान आकार के नेटवर्क की तुलना में वास्तव में "सरल" होता है। यह इसे बिना भ्रमित हुए नई चीजें सीखने में आश्चर्यजनक रूप से अच्छा बनाता है।
संक्षेप में: सममिति प्रतिबंध एक छोटे मॉडल को सीमित कर सकते हैं, लेकिन यदि आप मॉडल को स्केल करते हैं, तो आपको दोनों दुनियाओं का सर्वश्रेष्ठ मिलता है: जटिल पैटर्न सीखने की शक्ति और अच्छी तरह से सामान्यीकरण करने की सरलता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।