🔬 materials science

Non-normal spectral signatures of instability in neural network training dynamics

यह शोधपत्र यह स्थापित करता है कि न्यूरल नेटवर्क प्रशिक्षण में रैखिकीकृत अपडेट ऑपरेटरों की गैर-सामान्यता (non-normality), जिसे $\kappa(V)$ द्वारा मापा जाता है, क्षणिक अस्थिरता और लॉस स्पाइक्स (loss spikes) के लिए एक सुदृढ़ प्रारंभिक चेतावनी संकेतक के रूप में कार्य करती है जिसे पारंपरिक स्पेक्ट्रल रेडियस विश्लेषण पहचानने में विफल रहता है।

मूल लेखक: Souvik Ghosh

प्रकाशित 2026-05-25

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Souvik Ghosh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: AI मॉडल कभी-कभी "स्पैज़ आउट" (अचानक अनियंत्रित) क्यों हो जाते हैं?

कल्पना कीजिए कि आप एक रोबोट को चलना सिखा रहे हैं। आमतौर पर, वह सुचारू रूप से सीखता है। लेकिन कभी-कभी, वह अचानक लड़खड़ा जाता है, अपने हाथ-पैर बेतहाशा चलाने लगता है, अपना संतुलन खो देता है, और फिर अंततः वापस अपने पैरों पर खड़ा हो जाता है। AI (न्यूरल नेटवर्क) की दुनिया में, इन्हें ट्रेनिंग इंस्टेबिलिटी (training instabilities) कहा जाता है। आप इन्हें एरर (loss) में अचानक उछाल या मॉडल के सेटल होने से पहले झटकों के रूप में देखते हैं।

लंबे समय तक, वैज्ञानिकों को लगा कि वे समझते थे कि यह क्यों होता है। उनका मानना था कि यह एक ऊबड़-खाबड़ सड़क पर बहुत तेज़ चलती कार की तरह है: यदि बंप (गणितीय "शार्पनेस") कार की गति (लर्निंग रेट) की तुलना में बहुत अधिक ऊंचे थे, तो कार दुर्घटनाग्रस्त हो जाएगी।

यह पेपर तर्क देता है कि यह पुराना स्पष्टीकरण अधूरा है। यह कहता है कि भले ही कार एक "सुरक्षित" गति पर चल रही हो और सड़क चिकनी दिख रही हो, फिर भी कार पलट सकती है। क्यों? क्योंकि कार का स्टीयरिंग तंत्र नॉन-नॉर्मल (non-normal) है।

मुख्य अवधारणा: "नॉन-नॉर्मल" स्टीयरिंग

"नॉन-नॉर्मल" को समझने के लिए, आइए एक झूले के उदाहरण का उपयोग करें।

पुराना दृष्टिकोण (नॉर्मल सिस्टम): एक साधारण झूले की कल्पना करें। यदि आप इसे धक्का देते हैं, तो यह आगे-पीछे झूलता है। यदि झूला स्थिर है, तो यह अंततः रुक जाता है। यदि आप इसे बहुत ज़ोर से धक्का देते हैं, तो यह बहुत ऊपर जाता है और गिर जाता है। इस दुनिया में, आपको केवल यह जांचने की आवश्यकता है कि झूला कितनी तेज़ी से चल रहा है (स्पेक्ट्रल रेडियस - spectral radius) ताकि आप जान सकें कि क्या यह दुर्घटनाग्रस्त होगा। यदि गति पर्याप्त कम है, तो आप सुरक्षित हैं।
नया दृष्टिकोण (नॉन-नॉर्मल सिस्टम): अब, एक ऐसे झूले की कल्पना करें जो एक अजीब, स्प्रिंग वाले, मुड़ने वाले पोल से जुड़ा है। यदि आप इसे एक हल्का सा धक्का देते हैं, तो यह केवल आगे-पीछे नहीं झूलता। इसके बजाय, वह धक्का कुछ सेकंड के लिए जंगली तरीके से एम्प्लीफाई (बढ़ा) हो जाता है, इससे पहले कि वह अंततः सेटल हो जाए।
- भले ही झूला तकनीकी रूप से "स्थिर" हो (वह हमेशा के लिए उड़कर दूर नहीं जाएगा), वह शुरुआती ट्रांजिएंट एम्प्लीफिकेशन (transient amplification) बहुत बड़ा हो सकता है।
- पेपर इसे नॉन-नॉर्मलिटी (non-normality) कहता है। इसका मतलब है कि सिस्टम में एक छिपा हुआ "स्प्रिंग" है जो एक छोटी सी गलती को एक विशाल एरर में अस्थायी रूप से बदल सकता है, भले ही लंबी अवधि का गणित कहे कि सब कुछ ठीक है।

दो मुख्य अपराधी: एडम (Adam) और मोमेंटम (Momentum)

यह पेपर AI के सीखने के दो लोकप्रिय तरीकों को देखता है: एडम (Adam) और SGD विद मोमेंटम (SGD with Momentum)। यह गणितीय रूप से सिद्ध करता है कि दोनों तरीके इस "मुड़ने वाले पोल" का प्रभाव पैदा करते हैं।

एडम (Adam): यह ऑप्टिमाइज़र मॉडल के हर हिस्से के लिए व्यक्तिगत रूप से उसकी सीखने की गति को एडजस्ट करने की कोशिश करता है। पेपर दिखाता है कि क्योंकि यह प्रत्येक भाग के लिए अलग-अलग "नियम" बनाता है, इसलिए यह इलाके के मानचित्र (Hessian) और सड़क के नियमों (preconditioner) के बीच एक बेमेल (mismatch) पैदा करता है। यह बेमेल वह "मुड़ने वाला पोल" बनाता है जो एरर में अस्थायी विस्फोट का कारण बनता है।
एसजीडी विद मोमेंटम (SGD with Momentum): यह तरीका मॉडल को "जड़त्व" (inertia) देता है, जैसे एक भारी पहिया। पेपर दिखाता है कि मोमेंटम को कैसे स्टोर और उपयोग किया जाता है, यह एक ऐसी संरचना बनाता है जहाँ एक छोटा सा धक्का मरने से पहले बढ़ (magnify) सकता है।

नया चेतावनी तंत्र: "कंडीशन नंबर" (Condition Number)

चूंकि स्थिरता की जाँच करने का पुराना तरीका (स्पीड/स्पेक्ट्रल रेडियस देखना) इन अस्थायी विस्फोटों को पकड़ने में विफल रहता है, इसलिए लेखक एक नया टूल प्रस्तावित करते हैं।

पुराना टूल (स्पेक्ट्रल रेडियस): यह स्पीडोमीटर चेक करने जैसा है। यह आपको बताता है कि कार अंततः कितनी तेज़ चल रही है। लेकिन यह इस तथ्य को मिस कर देता है कि एक अजीब बंप के कारण कार अभी पलट सकती है।
नया टूल (आइजनवेक्टर कंडीशन नंबर, $\kappa(V)$ ): लेखक एक नया नंबर पेश करते हैं जिसे वे $\kappa(V)$ $κ (V)$ कहते हैं।
- एनालॉजी: इसे एक "सेंसिटिविटी मीटर" (Sensitivity Meter) के रूप में सोचें।
- यदि मीटर कम है, तो सिस्टम एक मजबूत नाव की तरह है: एक छोटी लहर इसे बस थोड़ा सा हिलाती है।
- यदि मीटर अधिक है, तो सिस्टम ताश के पत्तों के घर की तरह है: एक हल्की सी हवा (एक छोटी सी एरर) पूरे ढांचे को अस्थायी रूप से ढहा सकती है।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने यह देखने के लिए कि क्या उनका सिद्धांत कायम रहता है, एक सरल AI मॉडल (टू-लेयर नेटवर्क) पर परीक्षण किया।

"सेफ" स्पीड ट्रैप: उन्होंने AI को उन सेटिंग्स के साथ चलाया जिन्हें पुराना गणित "स्थिर" (स्पीडोमीटर ठीक था) कहता था।
परिणाम: AI में एरर के बड़े स्पाइक्स (उछाल) आए (वह लड़खड़ाया और गिरा)।
नया टूल काम आया: जबकि पुराना स्पीडोमीटर शांत रहा, नया सेंसिटिविटी मीटर ( $\kappa(V)$ ) पागल हो गया। AI के गिरने से ठीक पहले यह 10 गुना (एक ऑर्डर ऑफ मैग्नीट्यूड) बढ़ गया।
निष्कर्ष: पुराना टूल एक स्थिर रन और एक अस्थिर रन के बीच अंतर नहीं कर सका। नया टूल उन्हें स्पष्ट रूप से अलग कर सका।

विशेष मामले: "टिपिंग पॉइंट्स" (Tipping Points)

पेपर एक्सेप्शनल पॉइंट्स (Exceptional Points) के बारे में भी बात करता है। कल्पना कीजिए कि एक रस्सी पर चलने वाला (tightrope walker) है। आमतौर पर, वे केवल अस्थिर होते हैं। लेकिन एक विशिष्ट बिंदु पर, रस्सी और हवा पूरी तरह से संरेखित (align) हो जाते हैं, और चलने वाला अविश्वसनीय रूप से अस्थिर हो जाता है।

पेपर कहता है कि ये "परफेक्ट अलाइनमेंट" बिंदु वे गणितीय सीमा हैं जहाँ सेंसिटिविटी मीटर अनंत (infinity) हो जाता है।
AI आमतौर पर इन सटीक बिंदुओं तक नहीं पहुँचता है, लेकिन यह अक्सर इनके करीब पहुँच जाता है, यही कारण है कि क्रैश होने से पहले सेंसिटिविटी मीटर इतना ऊंचा उछलता है।

सारांश और मुख्य निष्कर्ष

समस्या: AI मॉडल अक्सर तब भी क्रैश या एरर स्पाइक दिखाते हैं जब वे पारंपरिक गणित के अनुसार स्थिर होने चाहिए।
कारण: लोकप्रिय AI ऑप्टिमाइज़र्स (Adam, Momentum) के पीछे का गणित "नॉन-नॉर्मल" है। इसका मतलब है कि छोटी गलतियाँ अस्थायी रूप से बड़ी गलतियों में बदल सकती हैं, भले ही सिस्टम खुद को ठीक कर ले।
समाधान: हमें स्थिरता मापने का एक नया तरीका चाहिए। केवल "गति" (स्पेक्ट्रल रेडियस) की जाँच करने के बजाय, हमें "संवेदनशीलता" (कंडीशन नंबर $\kappa(V)$ ) की जाँच करनी चाहिए।
लाभ: यह नया माप एक प्रारंभिक चेतावनी प्रणाली (early warning system) के रूप में कार्य करता है। यह आपको बता सकता है, "हे, सिस्टम में एरर का अस्थायी विस्फोट होने वाला है," भले ही लंबी अवधि का गणित कहे कि आप ठीक हैं।

नोट: लेखक स्पष्ट करते हैं कि यह एक डायग्नोस्टिक टूल (नैदानिक उपकरण) है। यह समझाता है कि स्पाइक्स क्यों होते हैं और चेतावनी देता है, लेकिन यह स्वचालित रूप से उन्हें ठीक नहीं करता है। यह एक स्मोक डिटेक्टर की तरह है: यह बताता है कि आग लगी है, लेकिन आपको अभी भी यह जानना होगा कि उसे बुझाना कैसे है (जैसे, लर्निंग रेट या ग्रेडिएंट क्लिपिंग को एडजस्ट करना)।

तकनीकी सारांश: न्यूरल नेटवर्क प्रशिक्षण गतिकी में गैर-सामान्य स्पेक्ट्रल हस्ताक्षर (Non-normal spectral signatures)

समस्या विवरण
डीप न्यूरल नेटवर्क में प्रशिक्षण अस्थिरता—जो लॉस स्पाइक्स (loss spikes), दोलनपूर्ण अभिसरण (oscillatory convergence), और ग्रेडिएंट विकृतियों (gradient pathologies) के रूप में प्रकट होती है—अनुभवजन्य रूप से सामान्य है, लेकिन इसके लिए एक कठोर ऑपरेटर-सैद्धांतिक स्पष्टीकरण की कमी है। मानक सैद्धांतिक ढांचा हेसियन मैट्रिक्स ( $H$ ) के आइगेनस्पेक्ट्रम (eigenspectrum) पर निर्भर करता है, यह मानते हुए कि स्थिरता केवल अपडेट ऑपरेटर के स्पेक्ट्रल रेडियस $\rho(J) < 1$ द्वारा निर्धारित होती है। यह ढांचा अंतर्निहित रूप से यह मान लेता है कि अपडेट ऑपरेटर सामान्य (normal) है (अर्थात, इसके आइगेनवेक्टर ऑर्थोगोनल हैं), जो वैनिला ग्रेडिएंट डिसेंट के लिए तो सत्य है, लेकिन एडम (Adam) और मोमेंटम के साथ एसजीडी (SGD with momentum) जैसे व्यावहारिक रूप से उपयोग किए जाने वाले ऑप्टिमाइज़र के लिए विफल रहता है। फलस्वरूप, स्पेक्ट्रल रेडियस मानदंड अस्थिरता के दौरान होने वाले क्षणिक प्रवर्धन (transient amplification) का पता लगाने में विफल हो सकता है, जहाँ त्रुटियाँ (errors) महत्वपूर्ण रूप से बढ़ जाती हैं, भले ही सभी आइगेनवैल्यू स्थिरता सीमा के भीतर हों।

कार्यप्रणाली
यह शोध पत्र नॉन-नॉर्मल स्टेबिलिटी थ्योरी (non-normal stability theory) को लागू करता है, जो फ्लूइड मैकेनिक्स और संख्यात्मक विश्लेषण से प्रेरित है, इसे न्यूरल नेटवर्क ऑप्टिमाइज़र के रैखिकीकृत (linearized) अपडेट ऑपरेटरों पर लागू किया गया है।

ऑपरेटर सूत्रीकरण (Operator Formulation): लेखक एडम और मोमेंटम के साथ एसजीडी के लिए रैखिकीकृत अपडेट ऑपरेटर ( $J$ $J$ ) व्युत्पन्न करते हैं।
- एडम (Adam) के लिए, ऑपरेटर $J = I - \eta M^{-1}H$ है, जहाँ $M$ एक डायगोनल एडेप्टिव प्रीकंडीशनर (adaptive preconditioner) है।
- मोमेंटम के साथ एसजीडी (SGD with momentum) के लिए, ऑपरेटर को एक संवर्धित अवस्था स्थान (augmented state space) $(\theta, v)$ पर परिभाषित किया गया है, जिसके परिणामस्वरूप एक ब्लॉक मैट्रिक्स संरचना प्राप्त होती है।
गैर-सामान्यता विश्लेषण (Non-Normality Analysis): लेखक सिद्ध करते हैं कि ये ऑपरेटर जेनेरिक रूप से गैर-सामान्य (non-normal) हैं ( $J^\dagger J \neq J J^\dagger$ $J^{†} J \neq = J J^{†}$ )।
- एडम के लिए, गैर-सामान्यता कम्यूटेटर $[H, M]$ द्वारा नियंत्रित होती है। चूंकि $H$ सामान्यतः गैर-विकर्ण (non-diagonal) है और $M$ निर्देशांक-निर्भर (coordinate-dependent) है, वे आपस में कम्यूट नहीं करते हैं।
- मोमेंटम के साथ एसजीडी के लिए, गैर-सामान्यता संवर्धित अवस्था-स्थान (augmented state-space) के ऑफ-डायगोनल ब्लॉक स्ट्रक्चर से स्वाभाविक रूप से उत्पन्न होती है, जो हेसियन से स्वतंत्र है।
स्थिरता मेट्रिक्स (Stability Metrics): केवल स्पेक्ट्रल रेडियस $\rho(J)$ पर निर्भर रहने के बजाय, शोध पत्र आइगेनवेक्टर कंडीशन नंबर $\kappa(V) = \|V\| \cdot \|V^{-1}\|$ (जहाँ $V$ आइगेनवेक्टर्स का मैट्रिक्स है) और $\epsilon$ -स्यूडोस्पेक्ट्रम ( $\epsilon$ -pseudospectrum) का उपयोग करता है। ये उपकरण क्षणिक विकास सीमाओं (transient growth bounds) और गड़बड़ी के प्रति स्पेक्ट्रल संवेदनशीलता को परिमाणित करते हैं।
संख्यात्मक सत्यापन (Numerical Validation): एक सिंथेटिक रिग्रेशन कार्य पर एक टू-लेयर एमएलपी (241 पैरामीटर्स) को एडम और मोमेंटम के साथ एसजीडी का उपयोग करके प्रशिक्षित करने के लिए प्रयोग किए गए। इस अध्ययन ने लॉस स्पाइक्स के विरुद्ध $\kappa(V)$ , $\rho(J)$ , और हेसियन के सबसे बड़े आइगेनवैल्यू $\lambda_{\max}(H)$ को ट्रैक किया।

प्रमुख योगदान और परिणाम

जेनेरिक गैर-सामान्यता का प्रमाण: यह शोध पत्र स्थापित करता है कि एडम और मोमेंटम के साथ एसजीडी के रैखिकीकृत अपडेट ऑपरेटर जेनेरिक रूप से गैर-सामान्य हैं। एडम के लिए, यह हेसियन और एडेप्टिव प्रीकंडीशनर के बीच गैर-कम्यूटेटिविटी का सीधा परिणाम है।
क्षणिक प्रवर्धन सीमा (Transient Amplification Bound): लेखक एक रूढ़िवादी पूर्ववर्ती सीमा (Theorem 2) व्युत्पन्न करते हैं, जो यह दर्शाती है कि $\rho(J) < 1$ होने पर भी $O(\log \kappa(V) / \log(1/\rho))$ चरणों के लिए क्षणिक प्रवर्धन हो सकता है। यह समझाता है कि कैसे स्पेक्ट्रल रेडियस स्थिरता का संकेत देने के बावजूद लॉस स्पाइक्स हो सकते हैं।
$\kappa(V)$ एक प्रारंभिक चेतावनी संकेतक के रूप में: संख्यात्मक प्रयोगों से पता चलता है कि जबकि स्पेक्ट्रल रेडियस $\rho(J)$ लगभग स्थिर रहता है (उदाहरण के लिए, $[1.00, 1.04]$ की सीमा में) और स्थिर एवं अस्थिर प्रशिक्षण चरणों के बीच अंतर करने में विफल रहता है, आइगेनवेक्टर कंडीशन नंबर $\kappa(V)$ लगभग एक क्रम (order of magnitude) से इन चरणों को अलग करता है। उच्च $\kappa(V)$ मान (50–500) अस्थिरता चरणों के साथ सह-संबंधित हैं, जबकि निम्न मान (10–30) स्थिर अभिसरण के साथ सह-संबंधित हैं।
शार्पनेस (Sharpness) के साथ पूरकता: शास्त्रीय शार्पनेस मानदंड ( $\lambda_{\max}(H) > 2/\eta$ ) एक बाइनरी थ्रेशोल्ड सिग्नल प्रदान करता है जो "एज ऑफ स्टेबिलिटी" (Edge of Stability) साहित्य के अनुरूप है। इसके विपरीत, $\kappa(V)$ अस्थिर शासन (unstable regime) के भीतर गैर-सामान्य प्रवर्धन का एक निरंतर गंभीरता मापन प्रदान करता है, जो पूरक नैदानिक जानकारी प्रदान करता है।
एक्सिप्शनल पॉइंट्स (Exceptional Points) सीमा के रूप में: शोध पत्र एक्सिप्शनल पॉइंट्स (EPs) की पहचान करता है—जहाँ आइगेनवैल्यू और आइगेनवेक्टर विलीन हो जाते हैं—जो वह गणितीय सीमा है जहाँ $\kappa(V) \to \infty$ होता है। लेखक तर्क देते हैं कि EPs लॉस स्पाइक्स का सामान्य तंत्र नहीं हैं, बल्कि वे नॉन-नॉर्मल फ्रेमवर्क की चरम सीमा का प्रतिनिधित्व करते हैं; प्रशिक्षण प्रक्षेपवक्र (trajectories) आमतौर पर EPs के निकट से गुजरते हैं, जिससे बड़े लेकिन परिमित (finite) $\kappa(V)$ मान उत्पन्न होते हैं।
क्वासी-स्टैटिक सन्निकटन सीमाएं (Quasi-Static Approximation Limits): एडम के लिए, लेखक नोट करते हैं कि प्रीकंडीशनर $M$ को फ्रीज करने वाला क्वासी-स्टैटिक सन्निकटन प्रारंभिक प्रशिक्षण में विफल रहता है, जिससे $\rho(J)$ में एकतंत्रीय वृद्धि (monotonic growth) होती है जो वास्तविक अस्थिरता को प्रतिबिंबित नहीं करती है। नॉन-नॉर्मल प्रिकर्सर फ्रेमवर्क प्रशिक्षण के अंतिम चरण में सबसे अधिक लागू होता है जहाँ प्रीकंडीशनर अभिसरित हो चुका होता है।

महत्व और दावे
शोध पत्र का दावा है कि यह न्यूरल नेटवर्क अनुकूलन स्थिरता को समझने के लिए एक उपयोगी और अल्प-अन्वेषित ढांचे के रूप में नॉन-हर्मिटियन ऑपरेटर थ्योरी (non-Hermitian operator theory) को स्थापित करता है।

यह एक नैदानिक भाषा (via $\kappa(V)$ and pseudospectra) प्रदान करता है जो उन घटनाओं को समझाने में सक्षम है जिन्हें मानक स्पेक्ट्रल रेडियस मानदंड नहीं पकड़ पाता।
यह एक प्रूफ-ऑफ-कॉन्सेप्ट बेंचमार्क प्रदान करता है जो दर्शाता है कि क्षणिक प्रवर्धन (transient amplification) एडेप्टिव प्रीकंडिशनिंग और मोमेंटम का एक संरचनात्मक परिणाम है, न कि लॉस ज्योमेट्री का कोई विशिष्ट आर्टिफैक्ट।
लेखक अपने कार्य को एक रूढ़िवादी पूर्ववर्ती सीमा (conservative precursor bound) के रूप में प्रस्तुत करते हैं; वे परिकल्पना करते हैं कि रैखिकीकृत क्षणिक विकास (linearized transient growth) नॉन-लीनियर लॉस स्पाइक्स के अनुरूप है, हालांकि वे स्वीकार करते हैं कि इसके लिए सैद्धांतिक प्रमाण के बजाय अनुभवजन्य सत्यापन की आवश्यकता है।
शोध पत्र सुझाव देता है कि ग्रेडिएंट क्लिपिंग और लर्निंग रेट वॉर्मअप जैसी व्यावहारिक तकनीकें स्यूडोस्पेक्ट्रल स्थिरता सीमा के माध्यम से नेविगेट करने की एक अंतर्निहित रणनीतियों के रूप में पुनर्व्याख्या की जा सकती हैं, हालांकि यह दावा नहीं करता है कि इन तकनीकों को इसी सिद्धांत के आधार पर डिजाइन किया गया है।

यह कार्य निष्कर्ष निकालता है कि जबकि स्पेक्ट्रल रेडियस आवश्यक है, यह गैर-सामान्य प्रणालियों के लिए स्थिरता विश्लेषण के लिए अपर्याप्त है, और $\kappa(V)$ अस्थिरता की गंभीरता के एक महत्वपूर्ण, निरंतर माप के रूप में कार्य करता है।