तकनीकी सारांश: डीप लर्निंग में निम्न-आयामी स्पेक्ट्रा का एकीकरण

समस्या विवरण

ओवरपैरामीटराइज्ड रिजीम (overparameterized regime) में प्रशिक्षित डीप लर्निंग क्लासिफिकेशन नेटवर्क लगातार उनके मैट्रिसेस (जैसे कि हेसियन, ग्रेडिएंट और वेट्स) के आइगेनस्पेक्ट्रा (eigenspectra) में निम्न-आयामी संरचनाएं प्रदर्शित करते हैं। अनुभवजन्य अवलोकन, विशेष रूप से पापन (2020) द्वारा, एक "बल्क-आउटलियर" (bulk–outlier) संरचना प्रकट करते हैं जहाँ अधिकांश आइगेनवैल्यू शून्य के पास क्लस्टर होती हैं (बल्क), जबकि कुछ आउटलियर्स उभरते हैं। विशेष रूप से, हेसियन अक्सर $K$ बड़े आउटलियर्स और $K(K-1)$ छोटे आउटलियर्स के साथ एक "मिनी-बल्क" प्रदर्शित करता है, जहाँ $K$ वर्गों (classes) की संख्या है। इसके अतिरिक्त, यह भी देखा गया है कि ग्रेडिएंट्स हेसियन के टॉप-$K$ आउटलियर आइगेनस्पेस के साथ संरेखित (align) होते हैं।

यद्यपि हेसियन, सामान्यीकरण (generalization), अनुकूलन (optimization) और सुदृढ़ता (robustness) के लिए केंद्रीय है, इन विशिष्ट स्पेक्ट्रल संरचनाओं के लिए सैद्धांतिक स्पष्टीकरण खंडित रहे हैं। रैंडम मैट्रिक्स थ्योरी, स्पिन-ग्लास एनालॉजी, या न्यूरल टेंगेंट कर्नेल का उपयोग करने वाले मौजूदा दृष्टिकोण या तो केवल व्यवहार के कुछ अंशों को पकड़ पाते हैं या ऐसी धारणाओं पर निर्भर करते हैं जो व्यवहार में लागू नहीं होती हैं। इसके अलावा, इन स्पेक्ट्रल घटनाओं और डीप न्यूरल कोलैप्स (DNC)—एक घटना जहाँ पेनल्टीमेट-लेयर फीचर्स क्लास मीन्स (class means) के चारों ओर केंद्रित होते हैं और सिम्प्लेक्स इक्विएंगुलर टाइट फ्रेम्स (ETFs) बनाते हैं—के बीच संबंध गणितीय रूप से काफी हद तक अनछुआ रहा है।

कार्यप्रणाली (Methodology)

लेखक डीप अनकन्स्ट्रेंड फीचर मॉडल (UFM) का उपयोग करते हैं, जो एक सैद्धांतिक ढांचा है जहाँ फीचर वेक्टर्स को एक निश्चित फीचर मैप के आउटपुट के बजाय स्वतंत्र रूप से अनुकूलित वेरिएबल्स के रूप में माना जाता है। इस मॉडल का व्यापक रूप से ओवरपैरामीटराइज्ड नेटवर्क्स में DNC के उद्भव का अध्ययन करने के लिए उपयोग किया जाता है।

लेखक दो मुख्य विश्लेषणात्मक चरणों में आगे बढ़ते हैं:

1. लेयर-वाइज विश्लेषण: लेखक डीप लीनियर UFM के भीतर लेयर-वाइज हेसियन, ग्रेडिएंट और वेट मैट्रिसेस के आइगेनवैल्यू और आइगेनवेक्टर्स के लिए विश्लेषणात्मक व्यंजक (analytic expressions) प्राप्त करते हैं। वे यह मान लेते हैं कि नेटवर्क ने एक ग्लोबल ऑप्टिममम प्राप्त कर लिया है जो DNC की शर्तों (फीचर कोलैप्स टू क्लास मीन्स, ऑर्थोगोनल क्लास मीन्स, और वेट्स एज लीनियर कॉम्बिनेशन ऑफ मीन्स) को पूरा करता है।
2. ग्लोबल एक्सटेंशन: वे इन परिणामों को पूर्ण-नेटवर्क हेसियन तक विस्तारित करते हैं, यह प्रदर्शित करते हुए कि न्यूनतम धारणाओं के तहत (विशेष रूप से, यदि फीचर मैप पर्याप्त अभिव्यंजक है और नेटवर्क पर्याप्त गहरा है), ग्लोबल हेसियन लेयर-वाइज हेसियन्स की स्पेक्ट्रल संरचना को विरासत में प्राप्त करता है।
3. ReLU एक्सटेंशन: विश्लेषण को ReLU एक्टिवेशन वाले नेटवर्क्स तक विस्तारित किया गया है। लेखक दिखाते हैं कि हालांकि ReLU के मामले में DNC आम तौर पर एक ग्लोबल ऑप्टिमम नहीं है, लेकिन सबसे अच्छा प्रदर्शन करने वाले DNC समाधान (जो लंबे प्रशिक्षण समय के दौरान उभरते हैं) प्रभावी रूप से गैर-ऋणात्मक फीचर बाधाओं के साथ लीनियर मॉडल की तरह व्यवहार करते हैं, जिससे लीनियर थ्योरी को लागू करना संभव हो जाता है।

मुख्य योगदान

1. बल्क-आउटलियर संरचना के लिए एकीकृत विश्लेषणात्मक स्पष्टीकरण

यह शोध पत्र पहली बार एक गणितीय व्युत्पत्ति प्रदान करता है जो हेसियन्स, ग्रेडिएंट्स और वेट्स में देखे गए सभी अनुभवजन्य बल्क-आउटलियर संरचना के विवरणों को एक साथ रिकवर करता है।

• हेसियन स्पेक्ट्रा: लेखक सिद्ध करते हैं कि लेयर-वाइस हेसियन का रैंक $K^2$ है। गैर-शून्य आइगेनवैल्यू पूरी तरह से फीचर मीन्स से निर्मित होती हैं। विशेष रूप से, स्पेक्ट्रम का विभाजन होता है:
  • क्लास मीन्स ($G_{class}$) से जुड़े $K$ डोमिनेंट आउटलियर्स।
  • क्रॉस-क्लास अंतरों ($G_{cross}$) से जुड़े $K(K-1)$ छोटे आउटलियर्स, जो एक "मिनी-बल्क" बनाते हैं।
  • जीरो आइगेनवैल्यू का एक बल्क जो विद-इन-क्लास वेरिएंस ($G_{within}$) से जुड़ा है, जो DNC के तहत लुप्त हो जाता है।
• ग्रेडिएंट एलाइनमेंट: सिद्धांत सिद्ध करता है कि ग्रेडिएंट पूरी तरह से हेसियन के टॉप-$K$ आइगेनवेक्टर्स द्वारा स्पैन किए गए $K$-आयामी सबस्पेस के भीतर स्थित है। यह इस अनुभवजन्य अवलोकन की व्याख्या करता है कि ग्रेडिएंट्स हेसियन के टॉप-$K$ आउटलियर स्पेस के साथ संरेखित होते हैं, भले ही हेसियन में $K^2$ गैर-शून्य आइगेनवेक्टर्स हों।
• वेट स्पेक्ट्रा: दिखाया गया है कि वेट मैट्रिसेस का रैंक $K$ है, जिसके सिंगुलर वेक्टर्स फीचर मीन्स द्वारा निर्धारित होते हैं।

2. डीप न्यूरल कोलैप्स (DNC) की कारण भूमिका

केंद्रीय दावा यह है कि DNC ही इन निम्न-आयामी स्पेक्ट्रा का स्रोत है। इन मैट्रिसेस के आइगेनवैल्यू और आइगेनवेक्टर्स स्पष्ट रूप से फीचर मीन्स ($\mu_c$) से निर्मित होते हैं, जो DNC की परिभाषित वस्तुएं हैं।

• हेसियन के आइगेनवेक्टर्स नॉर्मलाइज्ड फीचर मीन्स का क्रोनेकर प्रोडक्ट हैं: $\hat{\mu}_{c}^{(l+1)} \otimes \hat{\mu}_{c'}^{(l)}$।
• यह एक सीधा कारण संबंध स्थापित करता है: फीचर्स की ज्यामितीय व्यवस्था (DNC), नेटवर्क की वक्रता (Hessian) और अनुकूलन गतिशीलता (gradients) को निर्धारित करती है।

3. ReLU और ग्लोबल नेटवर्क्स तक विस्तार

• ReLU नेटवर्क: लेखक ReLU नेटवर्क्स के लिए DNC समाधानों का एक विशिष्ट वर्ग परिभाषित करते हैं जहाँ मध्यवर्ती प्रतिनिधित्व गैर-ऋणात्मक होते हैं। वे सिद्ध करते हैं कि ये संबंधित लीनियर मॉडल के ग्लोबल मिनिमा हैं और समान स्पेक्ट्रल गुण प्रदर्शित करते हैं।
• ग्लोबल हेसियन: शोध पत्र सिद्ध करता है कि बड़ा गहराई होने पर (यदि फीचर मैप पर्याप्त अभिव्यंजक है), पूर्ण नेटवर्क का हेसियन लेयर-वाइज हेसियन्स के $K^2$ आउटलियर स्ट्रक्चर को विरासत में प्राप्त करता है।

परिणाम

सैद्धांतिक परिणाम

• थ्योरम 3.1 और 3.2: डीप लीनियर UFM में, एक ग्लोबल ऑप्टिमम पर, लेयर-वाइज हेसियन का रैंक $K^2$ है। गैर-शून्य आइगेनवैल्यू (MSE केस में) समान होती हैं, और आइगेनवेक्टर्स फीचर मीन्स के टेंसर प्रोडक्ट्स द्वारा निर्मित होते हैं। $G_{class}$ और $G_{cross}$ घटकों में विभाजन क्रमशः $K$ और $K(K-1)$ गैर-शून्य आइगेनवैल्यू प्रदान करता है।
• थ्योरम 3.3: ग्रेडिएंट वेक्टर $\tilde{g}^{(l)}$ (रेगुलराइजेशन को छोड़कर) का विस्तार हेसियन आइगेनवेक्टर्स के आधार (basis) में करने पर ठीक $K$ समान गैर-शून्य गुणांक रखता है, जो पुष्टि करता है कि यह टॉप-$K$ सबस्पेस में स्थित है।
• थ्योरम 3.4: वेट मैट्रिसेस $W_l$ का रैंक $K$ है, जिसके सिंगुलर वेक्टर्स क्लास मीन्स द्वारा दिए गए हैं।
• थ्योरम 4.3: ये परिणाम ReLU नेटवर्क्स के लिए तब मान्य होते हैं जब DNC को उन समाधानों के रूप में परिभाषित किया जाता है जहाँ मध्यवर्ती फीचर्स गैर-ऋणात्मक होते हैं।

अनुभवजन्य सत्यापन (Empirical Validation)

लेखक MNIST और CIFAR-10 पर प्रशिक्षित फुली कनेक्टेड हेड्स के साथ मानक आर्किटेक्चर (ResNet-20) पर अपने सिद्धांत को सत्यापित करते हैं।

• स्पेक्ट्रल कन्वर्जेंस: हेसियन आइगेनवैल्यू के हिस्टोग्राम ट्रेनिंग के दौरान बल्क से $K^2$ आउटलियर्स के उभरने को दिखाते हैं, जो अनुमानित मूल्यों की ओर अभिसरित (converge) होते हैं।
• एलाइनमेंट: अनुमानित आइगेनवेक्टर्स (फीचर मीन्स पर आधारित) और वास्तविक हेसियन आइगेनवेक्टर्स के बीच स्क्वेर्ड कोसाइन सिमिलरिटी 1 के करीब पहुँच जाती है।
• ग्रेडिएंट डिकंपोजिशन: ग्रेडिएंट डिकंपोजिशन गुणांक पुष्टि करते हैं कि ग्रेडिएंट्स $c=c'$ सबस्पेस (आकार $K$) में केंद्रित होते हैं और $c \neq c'$ सबस्पेस में लुप्त हो जाते हैं।
• ReLU व्यवहार: ReLU नेटवर्क्स के साथ प्रयोग दिखाते हैं कि फीचर मैट्रिसेस इस तरह विकसित होते हैं कि उनमें गैर-ऋणात्मक प्रविष्टियाँ (entries) होती हैं, और स्पेक्ट्रल संरचना लीनियर थ्योरी के अनुमानों से मेल खाती है।

महत्व और दावे

यह शोध पत्र डीप लर्निंग में स्पेक्ट्रल घटनाओं की एक विस्तृत श्रृंखला के लिए एक एकीकृत विश्लेषणात्मक स्पष्टीकरण प्रदान करने का दावा करता है, जिन्हें पहले अलग-अलग अनुभवजन्य अवलोकनों के रूप में माना जाता था। DNC को एकीकरण तंत्र के रूप में पहचानकर, यह कार्य:

• फ्लैटनेस और DNC के बीच संबंध को स्पष्ट करता है: यह सुझाव देता है कि लॉस लैंडस्केप की स्थानीय फ्लैटनेस (जो हेसियन द्वारा नियंत्रित होती है) फीचर्स के ज्यामितीय पतन (geometric collapse) का प्रत्यक्ष परिणाम है।
• केवल आइगेनवैल्यू से आगे बढ़ता है: पूर्व अनुभवजन्य चरित्रणों के विपरीत, जो मुख्य रूप से आइगेनवैल्यू पर ध्यान केंद्रित करते थे, यह कार्य विस्तृत विश्लेषणात्मक व्यंजक आइगेनवेक्टर्स के लिए भी प्रदान करता है, जो यह प्रकट करते हैं कि विशिष्ट ज्यामितीय संरचना (फीचर मीन्स) स्पेक्ट्रा को कैसे संचालित करती है।
• डायग्नोस्टिक्स के लिए एक नया लेंस प्रदान करता है: लेखक सुझाव देते हैं कि चूंकि DNC हेसियन को आकार देता है, इसलिए DNC के उद्भव को नियंत्रित करना सामान्यीकरण, अनुकूलन और नेटवर्क डिजाइन में सुधार के लिए एक व्यावहारिक उपकरण हो सकता है, जो हेसियन की तुलना में अधिक व्याख्या योग्य लक्ष्य प्रदान करता है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनके परिणाम UFM धारणाओं (ओवरपैरामीटराइजेशन, ग्लोबल ऑप्टिमा) पर निर्भर करते हैं, और वास्तविक दुनिया के नेटवर्क परिमित डेटा और गैर-आदर्श अनुकूलन के कारण शोर (noise) प्रदर्शित करते हैं। हालाँकि, मजबूत अनुभवजन्य सहमति बताती है कि UFM डीप नेटवर्क्स में स्पेक्ट्रल व्यवहार को चलाने वाले आवश्यक ज्यामितीय तंत्रों को कैप्चर करता है।