A Commutator Framework for Selective Spectral Alignment in Deep Neural Networks

आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, डीप न्यूरल नेटवर्क शक्तिशाली इंजनों के रूप में कार्य करते हैं जो डेटा की विशाल मात्रा से पैटर्न को पहचानना, भाषाओं का अनुवाद करना और परिणामों की भविष्यवाणी करना सीखते हैं। इन प्रणालियों के केंद्र में गणितीय ऑपरेशन्स (क्रियाओं) की परतें होती हैं जो कच्चे इनपुट को उपयोगी जानकारी में बदल देती हैं। जैसे-जैसे एक नेटवर्क सीखता है, वह केवल उत्तरों को याद नहीं करता; बल्कि वह अपनी आंतरिक संरचना को नया आकार देता है, और जिस तरह से वह दुनिया को देखता है, उसे व्यवस्थित करता है। वैज्ञानिकों ने लंबे समय से संदेह जताया था कि यह सीखने की प्रक्रिया नेटवर्क के भीतर एक विशिष्ट प्रकार की ज्यामितीय सद्भाव (geometric harmony) पैदा करती है। उनका मानना ​​था कि जिन दिशाओं का उपयोग नेटवर्क त्रुटियों को महसूस करने के लिए करता है और जिन दिशाओं का उपयोग वह विशेषताओं (features) को संग्रहीत करने के लिए करता है, वे अंततः संरेखित (align) हो जाएंगे, और जैसे-जैसे प्रशिक्षण आगे बढ़ेगा, वे पूरी तरह से सिंक्रनाइज़ हो जाएंगे। यह विचार, जिसे 'न्यूरल फीचर एंसेट' (Neural Feature Ansatz) कहा जाता है, यह सुझाव देता था कि एक प्रशिक्षित नेटवर्क की आंतरिक ज्यामिति स्वाभाविक रूप से एक सरल, अनुमानित अवस्था में स्थिर हो जाएगी जहाँ सभी भाग एक साथ मिलकर काम करेंगे।

हालाँकि, काज निस्ट्रॉम (Kaj Nyström) का एक नया अध्ययन इस सुखद धारणा को चुनौती देता है। शोध यह सुझाव देता है कि प्रशिक्षित नेटवर्कों में दिखने वाला संरेखण सीखने का कोई सार्वभौमिक नियम नहीं है, और न ही यह त्रुटियों को कम करने का एक सरल परिणाम है। इसके बजाय, अध्ययन यह प्रकट करता है कि दिखने वाला सामंजस्य अक्सर एक नाजुक भ्रम होता है, जिसे प्रतिस्पर्धी बलों के एक सूक्ष्म संतुलन द्वारा बनाए रखा जाता है जो एक-दूसरे को रद्द कर सकते हैं। इन विभिन्न हिस्सों के बीच बातचीत को ट्रैक करने के लिए एक सटीक ढांचा विकसित करके, लेखक यह दिखाता है कि इन नेटवर्कों की आंतरिक मशीनरी पहले के विचार की तुलना में कहीं अधिक जटिल और गतिशील है। निष्कर्ष संकेत देते हैं कि अभ्यास में देखा गया "संरेखण" एक चयनात्मक घटना है, जो विशिष्ट स्थितियों पर निर्भर करती है और अक्सर परस्पर विरोधी तंत्रों के एक-दूसरे को निष्प्रभावी करने का परिणाम होती है, न कि पूर्णता की ओर एक सहज, अपरिहार्य यात्रा का।

इन नेटवर्कों के निर्माण के तरीके को समझने के लिए, सबसे पहले यह देखना होगा कि ये कैसे बनाए जाते हैं। एक न्यूरल नेटवर्क सूचनाओं को परतों की एक श्रृंखला के माध्यम से संसाधित करता है, जहाँ प्रत्येक परत प्राप्त डेटा को रूपांतरित करती है। जैसे-जैसे नेटवर्क प्रशिक्षित होता है, यह गलतियों को कम करने के लिए अपने आंतरिक भार (weights) को समायोजित करता है। इन भारों के साथ, नेटवर्क दो प्रमुख ज्यामितीय संरचनाएं विकसित करता है। एक संरचना नेटवर्क की संवेदनशीलता (sensitivity) का प्रतिनिधित्व करती है: वे दिशाएँ जिनमें इनपुट में छोटे बदलाव आउटपुट में सबसे बड़े बदलाव ला सकते हैं। दूसरी संरचना उन विशेषताओं (features) का प्रतिनिधित्व करती है जिन्हें नेटवर्क ने सीखा है: वे दिशाएँ जिनमें डेटा वास्तव में भिन्न होता है। वर्षों तक, शोधकर्ताओं ने देखा कि प्रशिक्षित नेटवर्कों में ये दो संरचनाएं पूरी तरह से एक सीध में दिखाई देती थीं, जिससे यह विश्वास हुआ कि नेटवर्क स्वाभाविक रूप से खुद को इस तरह व्यवस्थित करता है कि उसकी संवेदनशीलता उसके सीखे हुए फीचर्स से मेल खाती है।

निस्ट्रॉम का कार्य इन संरचनाओं के बनने और नेटवर्क के माध्यम से इनके परिवहन (transport) की वास्तविक यांत्रिकी की जांच करने के लिए इस सतही अवलोकन से नीचे तक जाता है। अध्ययन एक ऐसे ढांचे को पेश करता है जो इन संरचनाओं के बीच के संबंध को 'कम्यूटेटर्स' (commutators) की एक श्रृंखला के रूप में मानता है, जो यह मापते हैं कि वे आपस में कितनी अच्छी तरह फिट बैठते हैं। शोध इस प्रक्रिया को तीन अलग-अलग स्तरों में विभाजित करता है। पहला स्तर न्यूरॉन्स के सक्रियण (activation) और डेटा की ज्यामिति के बीच तत्काल बातचीत को देखता है। दूसरा स्तर नेटवर्क की आंतरिक संवेदनशीलता की जांच करता है जब यह आउटपुट से इनपुट की ओर पीछे की ओर बढ़ता है। तीसरा स्तर आउटपुट पर उभरने वाले अंतिम फीचर प्रतिनिधित्व (feature representation) को देखता है। अध्ययन सिद्ध करता है कि ये तीन स्तर जुड़े हुए हैं, लेकिन एक सरल, एकतरफा श्रृंखला में नहीं जहाँ एक स्वतः ही दूसरे को संरेखित करने के लिए मजबूर करता है।

पेपर का केंद्रीय निष्कर्ष यह है कि आंतरिक संवेदनशीलता और सीखे गए फीचर्स स्वतः संरेखित नहीं होते हैं, भले ही नेटवर्क अपनी त्रुटि को कम करने के लिए सीख रहा हो। इसके बजाय, अध्ययन उन चार विशिष्ट स्रोतों की पहचान करता है जो नेटवर्क के प्रत्येक स्तर में मिसअलाइनमेंट (असंबद्धता) पैदा करते हैं। इन स्रोतों में गहरे स्तरों से सूचना का परिवहन, आसन्न परतों के बीच असंतुलन, व्यक्तिगत डेटा बिंदुओं के प्रसंस्करण में उतार-चढ़ाव, और सक्रियण कार्यों (activation functions) की गैर-रेखीय (nonlinear) अंतःक्रियाएं शामिल हैं। शोध दर्शाता है कि ये चार स्रोत लगातार एक-दूसरे के विरुद्ध लड़ रहे हैं। कई मामलों में, वे बड़े और महत्वपूर्ण होते हैं, लेकिन वे विपरीत दिशाओं में होते हैं, जो प्रभावी रूप से एक-दूसरे को रद्द कर देते हैं। यह रद्दीकरण एक छोटे, सुव्यवस्थित सिस्टम का आभास पैदा करता है, भले ही अंतर्निहित घटक उच्च तनाव और संघर्ष की स्थिति में हों।

अध्ययन गणितीय प्रमाणों और कंप्यूटर सिमुलेशन दोनों का उपयोग यह दिखाने के लिए करता है कि यह रद्दीकरण कोई दुर्लभ दुर्घटना नहीं बल्कि प्रशिक्षण की एक निरंतर विशेषता है। सिंथेटिक डेटा और वास्तविक दुनिया के रिग्रेशन कार्यों के साथ प्रयोगों में, शोधकर्ताओं ने देखा कि जैसे-जैसे नेटवर्क ने अपनी त्रुटि को एक हजार गुना कम किया, आंतरिक मिसअलाइनमेंट आवश्यक रूप से गायब नहीं हुआ। कुछ मामलों में, मिसअलाइनमेंट स्थिर होने से पहले वास्तव में बढ़ गया। प्रयोगों ने दिखाया कि संरेखण की डिग्री नेटवर्क की चौड़ाई और नेटवर्क को शुरू (initialize) करने के विशिष्ट तरीके पर बहुत अधिक निर्भर करती है। चौड़े नेटवर्क में आंतरिक मिसअलाइनमेंट कम दिखाई देने की प्रवृत्ति थी, लेकिन यह इसलिए नहीं था कि सीखने की प्रक्रिया उन्हें संरेखित करने के लिए मजबूर करती थी; बल्कि, यह इस बात का परिणाम था कि नेटवर्क की ज्यामिति ने कुछ प्रकार के शोर (noise) को कैसे फ़िल्टर किया।

इस शोध का एक महत्वपूर्ण हिस्सा "बफर्ड लोकलाइजेशन" (buffered localization) की अवधारणा है। नेटवर्क को एक समग्र इकाई के रूप में देखने के बजाय, अध्ययन डेटा की ज्यामिति के विशिष्ट हिस्सों पर ध्यान केंद्रित करता है, जिसमें सबसे महत्वपूर्ण दिशाओं को कम महत्वपूर्ण दिशाओं से अलग किया जाता है। इस दृष्टिकोण ने खुलासा किया कि नेटवर्क का व्यवहार अत्यधिक चयनात्मक है। यह संभव है कि नेटवर्क अपने अंतिम आउटपुट में पूरी तरह से संरेखित दिखाई दे, जबकि अभी भी इसमें महत्वपूर्ण आंतरिक संघर्ष छिपे हों। अध्ययन दिखाता है कि अंतिम आउटपुट, आंतरिक अवस्था का एक फ़िल्टर्ड संस्करण है, जहाँ कुछ दिशाओं को दबा दिया जाता है या बढ़ाया जाता है। इसका अर्थ है कि एक सुव्यवस्थित आउटपुट को देखना यह गारंटी नहीं देता कि आंतरिक मशीनरी भी संरेखित है; संरेखण प्रक्रिया के फ़िल्टरिंग का एक आर्टिफैक्ट (artifact) हो सकता है न कि नेटवर्क के आंतरिक तर्क का वास्तविक अभिसरण (convergence)।

पेपर यह भी पता लगाता है कि जब नेटवर्क द्वारा किए जाने वाले वास्तविक कार्य को बदले बिना समस्या के गणितीय प्रतिनिधित्व को बदल दिया जाता है, तो नेटवर्क कैसा व्यवहार करता है। भारों (weights) को एक विशिष्ट तरीके से पुनर्गठित (rescale) करके, शोधकर्ता नेटवर्क के आंतरिक असंतुलन को बदल सके जबकि प्रारंभिक कार्य बिल्कुल समान रहा। परिणामों ने दिखाया कि इस प्रतिनिधित्व परिवर्तन ने मिसअलाइनमेंट के आंतरिक स्रोतों और उनकी अंतःक्रियाओं को नाटकीय रूप से बदल दिया। कुछ कॉन्फ़िगरेशन में, स्रोत लगभग पूरी तरह से एक-दूसरे को रद्द कर देते थे, जबकि अन्य में, वे ऐसा नहीं कर पाते थे। यह निष्कर्ष इस बात पर जोर देता है कि नेटवर्क की ज्यामिति केवल डेटा या कार्य का गुण नहीं है, बल्कि यह समाधान को दर्शाने के लिए चुने गए विशिष्ट गणितीय मापदंडों से गहराई से जुड़ी हुई है।

अंततः, अध्ययन निष्कर्ष निकालता है कि डीप न्यूरल नेटवर्कों में देखी जाने वाली स्पेक्ट्रल अलाइनमेंट (spectral alignment) प्रशिक्षण का एक सार्वभौमिक परिणाम नहीं है। यह एक सशर्त घटना है जो परिवहन (transport), असंतुलन, उतार-चढ़ाव और अंतःक्रिया के एक जटिल खेल से उत्पन्न होती है। दिखने वाली व्यवस्था अक्सर एक गतिशील संतुलन का परिणाम होती है जहाँ विरोधी बल एक-दूसरे को संतुलित करते हैं, न कि एक एकल, एकीकृत अवस्था की ओर एक सहज क्षय (decay) का। शोध इन अंतःक्रियाओं को मापने के लिए उपकरणों का एक नया सेट प्रदान करता है, जिससे वैज्ञानिकों को वास्तविक संरेखण और रद्दीकरण द्वारा निर्मित संरेखण के भ्रम के बीच अंतर करने में मदद मिलती है। यह अंतर यह समझने के लिए महत्वपूर्ण है कि ये शक्तिशाली सिस्टम वास्तव में कैसे सीखते हैं और अधिक मजबूत और विश्वसनीय आर्टिफिशियल इंटेलिजेंस विकसित करने के लिए। यह कार्य सुझाव देता है कि डीप लर्निंग की ज्यामिति को वास्तव में समझने के लिए, हमें अंतिम आउटपुट से परे देखना चाहिए और परतों के भीतर होने वाले जटिल, अक्सर संघर्षपूर्ण बलों के नृत्य का परीक्षण करना चाहिए।