Activation-Adjacent Layer Normalization: Effects on Approximation Power

आधुनिक आर्टिफिशियल इंटेलिजेंस विशाल सरल गणितीय इकाइयों के नेटवर्क पर निर्भर करता है, जो न्यूरॉन्स की ढीली नकल करते हैं, ताकि वे पैटर्न पहचान सकें, भाषाओं का अनुवाद कर सकें और चित्र बना सकें। ये नेटवर्क डेटा को परतों (layers) के माध्यम से पारित करके कार्य करते हैं, जहाँ प्रत्येक परत सूचना को थोड़ा रूपांतरित करती है और फिर उसे अगली परत को सौंप देती है। इस प्रक्रिया में एक महत्वपूर्ण घटक 'नॉर्मलाइजेशन' (normalization) नामक तंत्र है, जो एक वॉल्यूम कंट्रोल की तरह कार्य करता है, जो नेटवर्क के माध्यम से गुजरने वाले संकेतों की शक्ति को नियंत्रित करता है ताकि उन्हें स्थिर रखा जा सके और उन्हें बहुत अधिक अराजक या बहुत कमजोर होने से रोका जा सके। इस समायोजन के बिना, इन जटिल प्रणालियों को प्रशिक्षित करना अविश्वसनीय रूप से कठिन होता। हालाँकि, एक सूक्ष्म प्रश्न क्षेत्र में बना हुआ है: क्या यह वॉल्यूम कंट्रोल उस मौलिक कहानी को बदल देता है जिसे नेटवर्क बताने की कोशिश कर रहा है? विशेष रूप से, यदि आप इस नेटवर्क में नॉर्मलाइजेशन स्टेप डालते हैं, तो क्या यह नेटवर्क की उन सटीक फलनों (functions) को सीखने की क्षमता को सीमित करता है जिन्हें वह बिना इसके सीख सकता था?

चीन के बेइहांग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने गणितीय सटीकता के साथ इस प्रश्न का उत्तर देने का प्रयास किया है। उन्होंने आधुनिक एआई में व्यापक रूप से उपयोग किए जाने वाले दो विशिष्ट प्रकार के नॉर्मलाइजेशन पर ध्यान केंद्रित किया: एक जो संकेतों को उनके रूट मीन स्क्वायर (root mean square) के आधार पर स्केल करता है, और दूसरा जो उन्हें एक औसत मान घटाकर केंद्रित भी करता है। शोधकर्ता जानना चाहते थे कि क्या इन उपकरणों से लैस एक नेटवर्क अभी भी किसी ऐसे फलन का अनुमान लगा सकता है, या उसके जैसा सटीक रूप से अनुकरण कर सकता है, जिसे एक मानक नेटवर्क बिना इन उपकरणों के संभाल सकता है। उनका शोध बताता है कि उत्तर 'हाँ' है, लेकिन एक विशिष्ट लागत के साथ। एक मानक नेटवर्क की पूर्ण अभिव्यक्ति शक्ति (expressive power) को बनाए रखने के लिए, नॉर्मलाइज्ड संस्करण को थोड़ा अधिक चौड़ा होना चाहिए। केवल घटकों को बदलना पर्याप्त नहीं है; नेटवर्क को सांस लेने के लिए थोड़ी अतिरिक्त जगह देनी होगी।

शोधकर्ताओं ने इसे एक मशीन के रूप में मानकर दृष्टिकोण अपनाया जो इनपुट को आउटपुट में बदलती है। उन्होंने एक मानक नेटवर्क की कल्पना की जिसकी एक विशिष्ट चौड़ाई थी, जिसे सूचना को संसाधित करने के लिए उपयोग किए जाने वाले समानांतर पथों (parallel pathways) की संख्या द्वारा परिभाषित किया गया था। फिर उन्होंने पूछा: यदि वे नेटवर्क के मुख्य एक्टिवेशन फंक्शन से पहले या बाद में एक नॉर्मलाइजेशन स्टेप डालते हैं, तो मूल फलन को पूरी तरह से पुनः प्राप्त करने के लिए नेटवर्क को कितना अधिक चौड़ा होना पड़ेगा? उनके निष्कर्ष बताते हैं कि उत्तर इस बात पर निर्भर करता है कि नॉर्मलाइजेशन किस प्रकार का है और इसे कहाँ रखा गया है। केवल स्केलिंग वाले तरीके के लिए, यदि नेटवर्क का एक्टिवेशन फंक्शन बहुत बड़ी संख्याएँ उत्पन्न कर सकता है, तो केवल एक अतिरिक्त पथ जोड़ना ही मूल फलन को उच्च सटीकता के साथ पुनः प्राप्त करने के लिए पर्याप्त है। यदि एक्टिवेशन फंक्शन अधिक प्रतिबंधित है, तो नेटवर्क को कुछ अतिरिक्त पथ जोड़ने की आवश्यकता होती है, और जैसे-जैसे पथ जोड़े जाते हैं, त्रुटि कम होती जाती है।

स्थिति तब थोड़ी जटिल हो जाती है जब नॉर्मलाइजेशन डेटा को एक औसत घटाकर केंद्रित भी करता है। यह अतिरिक्त चरण दूसरे प्रकार का विरूपण (distortion) पेश करता है जिसे नेटवर्क को ठीक करना होगा। इस मामले में, शोधकर्ताओं ने पाया कि समान स्तर की सटीकता प्राप्त करने के लिए नेटवर्क को मूल से दो पथ अधिक चौड़ा होने की आवश्यकता है। यह अतिरिक्त चौड़ाई नेटवर्क को लक्षित फलन को दर्शाने की क्षमता खोए बिना सेंट्रिंग प्रभाव को अवशोषित करने की अनुमति देती है। अध्ययन यह सिद्ध करता है कि ये अतिरिक्त पथ केवल एक सहायक युक्ति नहीं हैं बल्कि सबसे खराब स्थितियों (worst-case scenarios) में गणितीय रूप से आवश्यक हैं। यदि नेटवर्क इन विशिष्ट सीमाओं से कम चौड़ा है, तो कुछ ऐसे फलन हैं जिन्हें वह सीख ही नहीं सकता, चाहे उसे कितना भी प्रशिक्षित क्यों न किया जाए।

इन सैद्धांतिक सीमाओं को सत्यापित करने के लिए, शोधकर्ताओं ने कंप्यूटर प्रयोगों की एक श्रृंखला चलाई। उन्होंने मानक नेटवर्क लिए और अपने प्रमाणों से प्राप्त सटीक गणितीय विधियों का उपयोग करके नॉर्मलाइज्ड संस्करणों का निर्माण किया, बिना उन्हें डेटा पर प्रशिक्षित किए। फिर उन्होंने यह मापा कि ये नॉर्मलाइज्ड नेटवर्क मूल वाले के व्यवहार से कितनी निकटता से मेल खा सकते हैं। परिणाम उनके पूर्वानुमानों से पूरी तरह मेल खाए। जब उन्होंने चौड़ाई या जोड़े गए घटकों के परिमाण को बढ़ाया, तो त्रुटि ठीक उसी दर से गिरी जैसा कि उनके सूत्रों ने भविष्यवाणी की थी। उन्होंने एक विशिष्ट परिदृश्य का भी परीक्षण किया जहाँ नेटवर्क का एक्टिवेशन फंक्शन शिफ्ट (shift) किया गया था, जिससे ऐसी स्थिति पैदा हुई जहाँ एक संकीर्ण नॉर्मलाइज्ड नेटवर्क पूरी तरह विफल हो जाता। प्रयोगों ने पुष्टि की कि अतिरिक्त चौड़ाई के बिना, नेटवर्क का आउटपुट सपाट और बेकार हो गया, लेकिन एक बार चौड़ाई बढ़ने के बाद, नेटवर्क ने सीखने की अपनी क्षमता को पुनः प्राप्त कर लिया।

यह कार्य आधुनिक न्यूरल नेटवर्क डिजाइन के लिए समझ का एक स्पष्ट मानचित्र प्रदान करता है। यह प्रदर्शित करता है कि नॉर्मलाइजेशन नेटवर्क की जटिल फलनों को सीखने की क्षमता को नष्ट नहीं करता है, लेकिन यह इसके लिए नेटवर्क के आकार में एक छोटे, अनुमानित विस्तार की मांग करता है ताकि परिवर्तनों की भरपाई की जा सके। यह अंतर्दृष्टि बताती है कि सफल मॉडल अक्सर अपने कार्यों के लिए आवश्यक न्यूनतम आवश्यकता से थोड़े अधिक क्षमता वाले क्यों होते हैं। शोधकर्ताओं ने दिखाया कि केवल कुछ अतिरिक्त आयाम जोड़कर, एक नेटवर्क अपनी पूर्ण शक्ति बनाए रख सकता है, भले ही वह उन स्थिरीकरण उपकरणों का उपयोग कर रहा हो जो डीप लर्निंग को संभव बनाते हैं। उनके निष्कर्ष पुष्टि करते हैं कि इन नेटवर्कों की वास्तुकला (architecture) मजबूत है, बशर्ते डिजाइनर उन विशिष्ट ज्यामितीय लागतों का ध्यान रखें जो उनके द्वारा चुने गए नॉर्मलाइजेशन चरणों द्वारा पेश की जाती हैं।