A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks
यह शोध पत्र डीप लीनियर नेटवर्क में न्यूरल कोलैप्स के लिए एक क्लोज्ड-फॉर्म डेप्थ-विड्थ स्केलिंग लॉ (depth-width scaling law) व्युत्पन्न करता है, जो यह प्रदर्शित करता है कि लेयरवाइज रिप्रजेंटेशन ज्योमेट्री (layerwise representation geometry) को पोस्ट-ट्रेनिंग विश्लेषण की आवश्यकता के बिना, डेप्थ-टू-विड्थ अनुपात और डेटा गुणों से विश्लेषणात्मक रूप से अनुमानित किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डीप लर्निंग ने मशीनों के देखने, सुनने और दुनिया को समझने के तरीके को बदल दिया है, फिर भी इन प्रणालियों की आंतरिक कार्यप्रणाली अक्सर एक रहस्य बनी रहती है। हम जानते हैं कि न्यूरल नेटवर्क सरल प्रसंस्करण इकाइयों (processing units) से बने होते हैं, जिन्हें अत्यधिक गहराई बनाने के लिए एक के ऊपर एक रखा जाता है, और प्रत्येक परत में इन इकाइयों के हजारों अंश होते हैं, जो बड़ी चौड़ाई का निर्माण करते हैं। वर्षों से, वैज्ञानिक इस बात पर विचार कर रहे हैं कि परतों की संख्या और प्रत्येक परत में इकाइयों की संख्या के बीच का विशिष्ट संतुलन उस चीज़ को कैसे बदलता है जिसे नेटवर्क वास्तव में सीखता है। आमतौर पर, यह जानने का एकमात्र तरीका यह है कि एक नेटवर्क बनाया जाए, उसे डेटा पर प्रशिक्षित किया जाए, और फिर परिणामों को देखा जाए, एक ऐसी प्रक्रिया जो हमें यह बताती है कि क्या हुआ, लेकिन यह नहीं कि क्यों हुआ या प्रशिक्षण शुरू होने से पहले इसकी भविष्यवाणी कैसे की जाए। इन प्रशिक्षित नेटवर्कों में देखी जाने वाली एक प्रमुख घटना को 'न्यूरल कोलैप्स' (neural collapse) कहा जाता है। जैसे-जैसे एक नेटवर्क सीखता है, विभिन्न श्रेणियों के डेटा के लिए इसके द्वारा बनाए गए प्रतिनिधित्व (representations) एक-दूसरे से अविश्वसनीय रूप से भिन्न होते जाते हैं, जबकि एक ही श्रेणी के भीतर की वस्तुओं के लिए प्रतिनिधित्व लगभग समान हो जाते हैं। यह ऐसा है मानो नेटवर्क अपने आंतरिक मानचित्र को इस तरह व्यवस्थित करता है कि बिल्ली का हर उदाहरण एक साथ मजबूती से क्लस्टर (cluster) हो जाता है, और कुत्ते का हर उदाहरण भी एक साथ मजबूती से क्लस्टर हो जाता है, और ये दोनों समूह एक-दूसरे से बहुत दूर खड़े होते हैं।
शोधकर्ताओं की एक टीम ने अब दिखाया है कि एक विशिष्ट प्रकार के नेटवर्क के लिए, यह संगठन प्रशिक्षण का कोई यादृच्छिक दुर्घटना नहीं है, बल्कि एक पूर्व-निर्धारित परिणाम है जिसे पहले से ही गणना करके निकाला जा सकता है। एक सरल संस्करण वाले न्यूरल नेटवर्क पर ध्यान केंद्रित करते हुए जो रैखिक गणित (linear mathematics) का उपयोग करता है, वैज्ञानिकों ने एक सटीक नियम की खोज की जो नेटवर्क की वास्तुकला (architecture) को उस डेटा की ज्यामिति (geometry) से जोड़ता है जिसे वह सीखता है। उन्होंने पाया कि नेटवर्क जिस डिग्री तक समान डेटा बिंदुओं को एक साथ संकुचित (compress) करता है, वह सीधे तौर पर नेटवर्क की गहराई और उसकी चौड़ाई के अनुपात पर निर्भर करता है। यदि आप जानते हैं कि नेटवर्क की कितनी परतें हैं और प्रत्येक परत में कितनी इकाइयाँ हैं, और साथ ही वह डेटा जिसके बारे में वह सीख रहा है उसके बुनियादी गुण क्या हैं, तो आप बिल्कुल निर्धारित कर सकते हैं कि नेटवर्क डेटा को कितना संकुचित करेगा, बिना कभी भी एक भी प्रशिक्षण सत्र चलाए। यह सामान्य 'ट्रायल-एंड-एरर' (trial-and-error) दृष्टिकोण से एक महत्वपूर्ण बदलाव है, जो एक स्पष्ट, गणितीय नियम प्रदान करता है कि कैसे एक नेटवर्क की संरचना दुनिया की उसकी समझ को आकार देती है।
शोधकर्ताओं ने इस समस्या के प्रति इस दृष्टिकोण से काम किया कि नेटवर्क के आंतरिक प्रतिनिधित्व को व्यक्तिगत डेटा बिंदुओं के संग्रह के रूप में नहीं, बल्कि संबंधों के एक एकल, एकीकृत मानचित्र के रूप में देखा जाए। उन्होंने 'फीचर कर्नेल' (feature kernel) नामक एक अवधारणा का उपयोग करके इन क्लस्टरों की "कसावट" (tightness) को मापने का एक तरीका विकसित किया, जो एक ब्लूप्रिंट की तरह कार्य करता है कि नेटवर्क डेटा के किन्हीं दो टुकड़ों के बीच समानता को कैसे देखता है। इस ब्लूप्रिंट का उपयोग करके, वे तीन अलग-अलग मापों को पूरी तरह से इस ब्लूप्रिंट और डेटा के लेबल के रूप में व्यक्त करने में सक्षम थे कि नेटवर्क ने अपने डेटा को कितनी अच्छी तरह से व्यवस्थित किया है। इसका अर्थ यह है कि नेटवर्क के भीतर वास्तविक डेटा बिंदुओं को देखने के बजाय, कोई केवल उनके बीच के गणितीय संबंधों को देखकर उसके व्यवहार को समझ सकता है। टीम ने सिद्ध किया कि विशिष्ट, सममित (symmetric) संरचना वाले नेटवर्क्स के लिए, ये संबंध पहले परत से अंतिम परत तक एक सख्त पैटर्न का पालन करते हैं।
इन सममित नेटवर्कों में, शोधकर्ताओं ने एक सटीक सूत्र निकाला है जो दिखाता है कि डेटा का संपीड़न (compression) प्रत्येक श्रेणी के भीतर एक ज्यामितीय प्रगति (geometric progression) में होता है। प्रत्येक नई परत के माध्यम से जिससे डेटा गुजरता है, समान वस्तुओं का प्रसार एक स्थिर कारक (constant factor) से सिकुड़ जाता है। यह कारक नेटवर्क की गहराई और उसकी चौड़ाई के अनुपात द्वारा निर्धारित होता है। यदि नेटवर्क अपनी गहराई की तुलना में बहुत चौड़ा है, तो संपीड़न धीरे होता है। यदि नेटवर्क अपनी चौड़ाई के सापेक्ष गहरा है, तो संपीड़न तेज हो जाता है। महत्वपूर्ण रूप से, इस संपीड़न की दर जिस गति से होती है वह इंजीनियर द्वारा चुना गया कोई निश्चित नंबर नहीं है; यह स्वयं डेटा, नेटवर्क की प्रारंभिक सेटिंग्स और वास्तुकला द्वारा निर्धारित होता है, जो एक सुसंगत लूप में मिलकर काम करते हैं। शोधकर्ताओं ने कंप्यूटर सिमुलेशन के साथ अपने सिद्धांत को सत्यापित किया, जिससे पता चला कि पूर्वानुमानित संपीड़न दर वास्तविक नेटवर्क व्यवहार से पूरी तरह मेल खाती है। उन्होंने इसे थोड़े अधिक जटिल, गैर-रैखिक (non-linear) नेटवर्कों पर भी परखा और पाया कि हालांकि सटीक सूत्र लागू नहीं होता था, फिर भी डेटा के स्वयं को उसी दिशा में व्यवस्थित करने का सामान्य रुझान बना रहा, जो यह सुझाव देता है कि अंतर्निहित सिद्धांत मजबूत है।
यह कार्य कृत्रिम बुद्धिमत्ता (AI) के लिए "प्रकृति के नियमों" की एक दुर्लभ झलक प्रदान करता है। जिस तरह एक भौतिक विज्ञानी तापमान और दबाव के आधार पर गैस के विस्तार की भविष्यवाणी कर सकता है बिना हर अणु को देखे, इन शोधकर्ताओं ने दिखाया है कि एक व्यक्ति यह भविष्यवाणी कर सकता है कि एक न्यूरल नेटवर्क अपने आकार और देखे गए डेटा के आधार पर अपने ज्ञान को कैसे व्यवस्थित करेगा। निष्कर्ष बताते हैं कि गहराई-से-चौड़ाई का अनुपात (depth-to-width ratio) 'रिप्रेजेंटेशन लर्निंग' के लिए एक मौलिक नियंत्रण नॉब (control knob) है। इस संबंध को समझकर, डिजाइनर अंततः किसी विशिष्ट कार्य के लिए सही वास्तुकला चुनने में सक्षम हो सकते हैं, बिना यह देखने के लिए दर्जनों अलग-अलग मॉडलों को प्रशिक्षित किए कि कौन सा सबसे अच्छा काम करता है। अध्ययन इस बात की पुष्टि करता है कि सीखे गए प्रतिनिधित्व की ज्यामिति अराजक नहीं है बल्कि एक सटीक, गणनीय पथ का अनुसरण करती है, जिससे डीप लर्निंग की रहस्यमय प्रक्रिया को शुरुआत से ही समझा और अनुमानित किया जा सकने योग्य बनाया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।