💻 computer science

On the Stability of the Jacobian Matrix in Deep Neural Networks

यह शोध पत्र स्पार्स (sparse) और दुर्बल रूप से सह-संबंधित (weakly correlated) भार वाले डीप न्यूरल नेटवर्क में जैकोबियन मैट्रिक्स के लिए एक सामान्य स्थिरता प्रमेय स्थापित करता है, जो रैंडम मैट्रिक्स थ्योरी की हालिया प्रगति का लाभ उठाते हुए, i.i.d. भार वाले पारंपरिक पूर्णतः जुड़े (fully connected) नेटवर्कों से परे कठोर स्पेक्ट्रल स्थिरता गारंटी का विस्तार करता है।

मूल लेखक: Benjamin Dadoun, Soufiane Hayou, Hanan Salam, Mohamed El Amine Seddik, Pierre Youssef

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Benjamin Dadoun, Soufiane Hayou, Hanan Salam, Mohamed El Amine Seddik, Pierre Youssef

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "On the Stability of the Jacobian Matrix in Deep Neural Networks" का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: AI का "फुसफुसाने वाला खेल" (The Whispering Game)

कल्पना कीजिए कि एक डीप न्यूरल नेटवर्क (DNN) लोगों की एक लंबी कतार है जो "फुसफुसाने वाला खेल" (जिसे "टेलीफोन" गेम भी कहा जाता है) खेल रहे हैं।

इनपुट (Input): पहली पंक्ति के व्यक्ति के कान में फुसफुसाया गया एक संदेश।
परतें (Layers): पंक्ति में प्रत्येक व्यक्ति संदेश को सुनता है, उसमें अपनी थोड़ी सी व्याख्या जोड़ता है, और उसे अगले व्यक्ति को फुसफुसा देता है।
आउटपुट (Output): अंतिम व्यक्ति द्वारा सुना गया अंतिम संदेश।

इस शोध पत्र में, लेखक इस बात को लेकर चिंतित हैं कि संदेश कैसे बदलता है जब वह कतार में नीचे की ओर यात्रा करता है। वे इसे जैकबियन (Jacobian) कहते हैं।

वेनिशिंग ग्रेडिएंट (Vanishing Gradient): यदि संदेश हर कदम पर धीमा और शांत होता जाता है, तो आखिरी व्यक्ति को कुछ सुनाई नहीं देता। नेटवर्क इनपुट को "भूल" जाता है।
एक्सप्लोडिंग ग्रेडिएंट (Exploding Gradient): यदि संदेश हर कदम पर तेज़ और शोर भरा होता जाता है (चिल्लाने जैसा), तो आखिरी व्यक्ति बहरा हो जाता है। नेटवर्क अराजक (chaotic) और अस्थिर हो जाता है।

इस शोध पत्र का लक्ष्य यह पता लगाना है कि खेल को इस तरह कैसे व्यवस्थित किया जाए कि संदेश हमेशा एक "गोल्डिलॉक्स" (Goldilocks) वॉल्यूम पर रहे—न बहुत धीमा, न बहुत तेज़—चाहे लोगों की कतार कितनी भी लंबी क्यों न हो।

समस्या: पुराने नियम अब काम नहीं करते

पहले, वैज्ञानिकों को पता था कि इस खेल को कैसे व्यवस्थित किया जाए यदि हर कोई एक अजनबी हो जिसकी आवाज़ रैंडम (स्वतंत्र, यादृच्छिक भार/weights) हो। उन्होंने एक "जादुई सेटिंग" (जिसे एज ऑफ केओस - Edge of Chaos कहा जाता है) पाई थी जहाँ संदेश स्थिर रहता है।

हालाँकि, वास्तविक दुनिया का AI हमेशा इतना सरल नहीं होता। लेखकों ने दो वास्तविक, जटिल परिदृश्यों को देखा जहाँ पुराने नियम टूट सकते हैं:

प्रून्ड नेटवर्क (The Sparse Network): कल्पना कीजिए कि आपने जगह बचाने के लिए कतार में से आधे लोगों को हटा दिया है। क्या संदेश अभी भी अच्छी तरह से यात्रा करेगा?
कोरिलेटेड वेट्स (The Dependent Network): कल्पना कीजिए कि पंक्ति में मौजूद लोग दोस्त हैं जो एक जैसे स्वर में फुसफुसाते हैं या एक-दूसरे की नकल करते हैं। क्या संदेश स्थिर रहेगा?

शोध पत्र पूछता है: क्या हम इन जटिल स्थितियों में भी संदेश को स्थिर रख सकते हैं?

समाधान: एक सार्वभौमिक "वॉल्यूम नॉब" (Universal Volume Knob)

लेखकों ने एक नया गणितीय नियम विकसित किया है (एक यूनिवर्सैलिटी थ्योरम) जो एक सार्वभौमिक वॉल्यूम नॉब की तरह काम करता है। उन्होंने सिद्ध किया कि जटिल स्थितियों में भी, यदि आप "वॉल्यूम" को सही ढंग से समायोजित करते हैं, तो संदेश बिल्कुल वैसा ही व्यवहार करेगा जैसा वह आदर्श, रैंडम परिदृश्य में करता है।

यहाँ बताया गया है कि उन्होंने दो विशिष्ट समस्याओं को कैसे हल किया:

1. स्पार्स नेटवर्क (Pruning/छंटनी)

उपमा: कल्पना कीजिए कि आपने फुसफुसाने वाली कतार से 90% लोगों को हटा दिया है। स्वाभाविक रूप से, संदेश खत्म हो जाएगा क्योंकि इसे आगे बढ़ाने के लिए कम लोग बचे हैं।
शोध पत्र का निष्कर्ष: आप इसे ठीक कर सकते हैं! यदि आप लोगों को हटाते हैं, तो आपको शेष लोगों के "वॉल्यूम" को बढ़ाने के लिए उसे ऊपर करना होगा ताकि इसकी भरपाई हो सके।

रैंडम प्रूनिंग (Random Pruning): यदि आप लोगों को रैंडम तरीके से बाहर निकालते हैं, तो आपको वॉल्यूम को एक विशिष्ट मात्रा में बढ़ाना होगा (गणितीय रूप से, $1/\sqrt{1-s}$ का कारक, जहाँ $s$ वह हिस्सा है जिसे आपने हटाया है)।
मैग्निट्यूड प्रूनिंग (Magnitude Pruning): यदि आप लोगों को इस आधार पर काटते हैं कि कौन सबसे ज़ोर से फुसफुसा रहा है (केवल "महत्वपूर्ण" लोगों को रखते हुए), तो गणित थोड़ा बदल जाता है। आपको रैंडम वाले की तुलना में एक अलग वॉल्यूम नॉब सेटिंग की आवश्यकता होगी।
परिणाम: यदि आप गलत वॉल्यूम नॉब का उपयोग करते हैं, तो संदेश या तो गायब हो जाएगा या विस्फोट (explode) कर जाएगा। यदि आप सही वाले का उपयोग करते हैं, तो नेटवर्क स्थिर रहता है, भले ही वह 99% खाली हो।

2. कोरिलेटेड नेटवर्क (Dependent Weights/निर्भर भार)

उपमा: कल्पना कीजिए कि पंक्ति में मौजूद लोग दोस्तों का एक समूह हैं जो सभी बिल्कुल एक ही पिच में फुसफुसाते हैं। यदि वे बहुत अधिक समान हैं, तो संदेश विकृत या अजीब तरीके से बढ़ सकता है।
शोध पत्र का निष्कर्ष: आप दोस्तों के साथ मिलकर फुसफुसा सकते हैं, लेकिन वे बहुत अधिक समान नहीं हो सकते।

एक सख्त सीमा है कि वे एक-दूसरे को कितना "कॉपी" कर सकते। यदि सहसंबंध (similarity) बहुत अधिक है, तो संदेश टूट जाता है।
हालाँकि, यदि समानता को एक बहुत ही विशिष्ट, सूक्ष्म सीमा (नेटवर्क के आकार से संबंधित) के नीचे रखा जाता है, तो संदेश बिल्कुल वैसे ही यात्रा करता है जैसे कि वे अजनबी हों।

"जादुई" खोज

इस शोध पत्र का सबसे रोमांचक हिस्सा यूनिवर्सैलिटी (Universality) का दावा है।
लेखकों ने सिद्ध किया कि:

एक नेटवर्क जिसमें कनेक्शन को रैंडम तरीके से काटा गया है (यदि सही ढंग से स्केल किया गया हो)।
एक नेटवर्क जिसमें थोड़ी नकल करने वाले दोस्त हैं (यदि सहसंबंध कम हो)।
एक नेटवर्क जिसमें परफेक्ट रैंडम अजनबी हैं (पुराना मानक)।

...ये सभी संदेश की स्थिरता के संबंध में बिल्कुल एक जैसा व्यवहार करते हैं। वे सभी एक ही "गोल्डिलॉक्स" स्थिति तक पहुँचते हैं।

यह क्यों मायने रखता है (शोध पत्र के अनुसार)

यह शोध पत्र नए AI मॉडल बनाने या बीमारियों का इलाज करने का दावा नहीं करता है। इसके बजाय, यह आधुनिक AI प्रथाओं के लिए सैद्धांतिक सुरक्षा मैनुअल प्रदान करता है।

यह समझाता है कि हमें नेटवर्क को प्रून (छंटनी) करने के बाद वेट्स को फिर से स्केल करने की आवश्यकता क्यों होती है (एक सामान्य अभ्यास ताकि AI फोन पर तेज़ी से चल सके)।
यह हमें बताता है कि हम वेट्स के बीच कितनी "दोस्ती" (सहसंबंध) की अनुमति दे सकते हैं इससे पहले कि AI विफल होने लगे।
यह कठोर गणितीय प्रमाण देता है कि ये "जटिल" सेटअप भी उतने ही स्थिर हो सकते हैं जितने कि उनके "परफेक्ट" सैद्धांतिक सेटअप, बशर्ते आप उनके द्वारा खोजे गए विशिष्ट स्केलिंग नियमों का पालन करें।

सारांश

इस शोध पत्र को एक बहुत लंबी, बहुत जटिल रिले रेस बनाने के गाइड के रूप में देखें।

पुराना गाइड: "केवल तभी यह दौड़ दौड़ें जब हर धावक एक अजनबी हो और एक सीधी रेखा में खड़ा हो।"
नया गाइड (यह शोध पत्र): "आप ऐसे धावक रख सकते हैं जो दोस्त हैं, और आप समय बचाने के लिए कुछ धावकों को हटा भी सकते हैं! लेकिन, आपको उनकी दौड़ने की गति (स्केलिंग) को समायोजित करना होगा और यह सुनिश्चित करना होगा कि दोस्त बहुत अधिक सिंक्रोनाइज़ (एक साथ) न हों। यदि आप हमारे नए गणित का पालन करते हैं, तो दौड़ हर बार सुचारू रूप से पूरी होगी।"

तकनीकी सारांश: डीप न्यूरल नेटवर्क में जैकोबियन मैट्रिक्स की स्थिरता पर

समस्या विवरण
जैसे-जैसे नेटवर्क की गहराई बढ़ती है, डीप न्यूरल नेटवर्क (DNNs) अक्सर ग्रेडिएंट के फटने (exploding) या लुप्त होने (vanishing) की समस्या से ग्रस्त होते हैं, जो कि इनपुट-आउटपुट जैकोबियन मैट्रिक्स के स्पेक्ट्रल व्यवहार से आंतरिक रूप से जुड़ा हुआ है। हालांकि पूर्व शोध ने क्रिटिकल इनिशियलाइजेशन स्कीम्स (जैसे कि "एज ऑफ केओस" रिजीम) को स्थापित किया है जो स्वतंत्र और समान रूप से वितरित (i.i.d.) गॉसियन वेट्स वाले फुली कनेक्टेड नेटवर्क के लिए जैकोबियन स्थिरता सुनिश्चित करते हैं, लेकिन ये विश्लेषण सीमित हैं। वे व्यावहारिक परिदृश्यों में आसानी से विस्तारित नहीं होते जिनमें संरचित या आश्रित रैंडमनेस (structured or dependent randomness) शामिल हो, जैसे कि:

सहसंबंधित वेट्स (Correlated Weights): जो डेटा-डिपेंडेंट इनिशियलाइजेशन, मेटा-लर्निंग, या प्री-ट्रेंड मॉडल्स की फाइन-ट्यूनिंग से उत्पन्न होते हैं।
स्पार्स नेटवर्क (Sparse Networks): जो कंप्यूटेशनल फुटप्रिंट को कम करने के लिए उपयोग की जाने वाली प्रूनिंग तकनीकों (जैसे कि रैंडम प्रूनिंग, मैग्नीट्यूड-बेस्ड प्रूनिंग) से उत्पन्न होते हैं।

इन गैर-मानक सेटिंग्स में जैकोबियन का व्यवहार अभी भी ठीक से समझ में नहीं आया है, विशेष रूप से इस संबंध में कि वेट कोरिलेशन और स्पर्सिटी (sparsity), ग्रेडिएंट प्रोपेगेशन और ट्रेनिंग स्टेबिलिटी को गहराई के बड़े स्तर (large-depth regime) में कैसे प्रभावित करते हैं।

कार्यप्रणाली (Methodology)
लेखक जैकोबियन उत्पादों के लिए एक सामान्य यूनिवर्सैलिटी थ्योरम (थ्योरम 3.1) विकसित करते हैं जो रैंडम मैट्रिक्स थ्योरी (विशेष रूप से [BvH24]) में हालिया सफलताओं पर आधारित है। विश्लेषण फिक्स्ड-डेप्थ, इनफिनिट-विड्थ रिजीम में मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) पर केंद्रित है।

मुख्य तकनीकी दृष्टिकोण में शामिल हैं:

लेयर-बाय-लेयर रिप्लेसमेंट: लेखक एक तुलनात्मक तर्क का उपयोग करते हैं जहाँ एक सामान्य रैंडम मैट्रिक्स लेयर को एक संगत i.i.d. गॉसियन लेयर द्वारा प्रतिस्थापित किया जाता है।
हर्मिटियन डाइलेशन (Hermitian Dilation): नॉन-सेल्फ-एडजॉइंट मैट्रिक्स उत्पादों को संभालने के लिए, जैकोबियन टर्म्स को हर्मिटियन डाइलेशन का उपयोग करके सेल्फ-एडजॉइंट मैट्रिसेस में मैप किया जाता है।
कंसन्ट्रेशन इनइक्वेलिटीज (Concentration Inequalities): प्रमाण स्वतंत्र सेल्फ-एडजॉइंट रैंडम मैट्रिसेस और डिपेंडेंट एंट्रीज वाले गॉसियन मैट्रिसेस के योग के उन्नत कंसन्ट्रेशन परिणामों पर निर्भर करते हैं।
वैरिएंस मैचिंग (Variance Matching): स्पार्स नेटवर्क के लिए, लेखक क्रिटिकली इनिशियलाइज्ड i.i.d. गॉसियन मॉडल के दूसरे मोमेंट (वैरिएंस) से मेल खाने के लिए रिटेन्ड वेट्स के लिए विशिष्ट रीस्केलिंग फैक्टर्स की पहचान करते हैं।

प्रमुख योगदान और परिणाम

जैकोबियन उत्पादों के लिए यूनिवर्सैलिटी थ्योरम (थ्योरम 3.1):
यह पेपर स्थापित करता है कि उपयुक्त रूप से रीस्केल किए गए स्पार्स नेटवर्क और कमजोर रूप से सहसंबंधित गॉसियन नेटवर्क, क्रिटिकली इनिशियलाइज्ड i.i.d. गॉसियन मॉडल के समान फिक्स्ड-डेप्थ, लार्ज-विड्थ जैकोबियन स्पेक्ट्रल नॉर्म रखते हैं। यह दो विशिष्ट शर्तों के तहत लागू होता है:
- स्वतंत्र एंट्रीज: अधिकतम एंट्री मैग्नीट्यूड को एक विशिष्ट क्षय (decay) स्थिति ( $r_n \log^4 n \to 0$ ) को संतुष्ट करना चाहिए।
- कमजोर रूप से सहसंबंधित गॉसियन एंट्रीज: अलग-अलग एंट्रीज के बीच अधिकतम कोरिलेशन $\rho_n = o(n^{-5/2} / \log n)$ को संतुष्ट करना चाहिए।
स्पार्स नेटवर्क में स्थिरता:
- रैंडम प्रूनिंग: लेखक सिद्ध करते हैं कि रैंडम प्रूनिंग के लिए स्पर्सिटी $s_n$ के साथ, स्थिरता तब बनी रहती है यदि वेट्स को $(1-s_n)^{-1/2}$ के कारक द्वारा रीस्केल किया जाए (थ्योरम 4.1)। इस स्केलिंग के बिना, जैकोबियन नॉर्म डेप्थ पर घातांकीय (exponential) निर्भरता प्रदर्शित करता है, जिससे अस्थिरता आती है। पेपर एक "एज ऑफ स्टेबिलिटी" की पहचान करता है जहाँ स्पर्सिटी $1 - s_n \sim n^{-1} \log^9 n$ तक पहुँचती है; इस थ्रेशोल्ड के आगे, यूनिवर्सैलिटी रिजल्ट टूट जाता है।
- मैग्नीट्यूड-बेस्ड प्रूनिंग: अध्ययन स्कोर-बेस्ड (मैग्नीट्यूड) प्रूनिंग तक विस्तृत है (थ्योरम 4.2 और 4.3)। महत्वपूर्ण रूप से, आवश्यक स्केलिंग फैक्टर रैंडम प्रूनिंग की तुलना में भिन्न है। पेपर प्रदर्शित करता है कि मैग्नीट्यूड-प्रूनड नेटवर्क्स पर रैंडम प्रलिंग स्केलिंग फैक्टर का उपयोग करने से स्थिरता सुनिश्चित करने में विफलता होती है, जिसके लिए वेट्स के थ्रेशोल्ड डिस्ट्रीब्यूशन से प्राप्त विधि-विशिष्ट रीस्केलिंग की आवश्यकता होती है।
डिपेंडेंट वेट्स के साथ स्थिरता (थ्योरम 5.1):
पेपर वेट कोरिलेशन के लिए टॉलरेंस को मापता है। यह दिखाता है कि यदि वेट एंट्रीज के बीच कोरिलेशन $o(n^{-3/2} / \log n)$ है, तो जैकोबियन स्पेक्ट्रल नॉर्म i.i.d. केस के समान ही डिटर्मिनिस्टिक लिमिट की ओर अभिसरित (converge) होता है। यह कोरिलेशन के उस स्तर की कठोर सीमा प्रदान करता है जिसे जैकोबियन स्थिरता से समझौता किए बिना स्वीकार किया जा सकता है।
अनुभवजन्य सत्यापन (Empirical Verification):
सैद्धांतिक निष्कर्षों को स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) के साथ प्रशिक्षित MLPs पर प्रायोगिक परिणामों द्वारा समर्थित किया गया है। प्रयोग पुष्टि करते हैं कि:
- डायगोनल एक्टिवेशन गेट्स और वेट्स की स्वतंत्रता के संबंध में अनुमान i.i.d. वेट्स के लिए सही हैं लेकिन उच्च कोरिलेशन के तहत घट जाते हैं।
- प्रूनड नेटवर्क्स पर सही रीस्केलिंग फैक्टर्स लागू करने से ट्रेनैबिलिटी बहाल होती है और जैकोबियन विस्फोट/लुप्त होने से बचाव होता है।
- कमजोर रूप से सहसंबंधित वेट्स वाले नेटवर्क i.i.d. नेटवर्क के समान व्यवहार करते हैं, जबकि उच्च कोरिलेशन जैकोबियन नॉर्म के विचलन (divergence) की ओर ले जाते हैं।

महत्व और दावे
लेखक दावा करते हैं कि वे आधुनिक न्यूरल नेटवर्क्स में इनिशियलाइजेशन और वेट स्केलिंग के सैद्धांतिक आधार को i.i.d. वेट्स की प्रतिबंधात्मक धारणा से परे ले जाते हैं। एक यूनिवर्सैलिटी सिद्धांत स्थापित करके, यह पेपर ब्रॉडर क्लास के नेटवर्क मॉडल्स के लिए स्पेक्ट्रल स्थिरता के लिए कठोर गारंटी प्रदान करता है, जिसमें स्ट्रक्चर्ड रैंडमनेस (स्पर्सिटी) और डिपेंडेंट वेट्स शामिल हैं।

यह कार्य रेखांकित करता है कि:

रीस्केलिंग आवश्यक है: केवल एक नेटवर्क को प्रून करना या हल्का कोरिलेशन पेश करना पर्याप्त नहीं है; "एज ऑफ केओस" स्थिरता रिजीम को बनाए रखने के लिए विशिष्ट, विधि-विशिष्ट रीस्केलिंग की आवश्यकता होती है।
यूनिवर्सैलिटी: इनिशियलाइजेशन (प्रूनिंग रणनीतियाँ, कोरिलेशन स्ट्रक्चर) में अंतर के बावजूद, जैकोबियन का स्पेक्ट्रल व्यवहार उसी सीमा की ओर अभिसरित होता है जैसा कि क्रिटिकल i.i.d. केस में है, बशर्ते कि वैरिएंस मैच किया गया हो और कोरिलेशन/स्पर्सिटी व्युत्पन्न सीमाओं के भीतर हो।

सीमाएं
लेखक स्पष्ट रूप से नोट करते हैं कि उनका वर्तमान सैद्धांतिक ढांचा मल्टी-लेयर पर्सेप्ट्रॉन (MLP) आर्किटेक्चर तक सीमित है। इसके अलावा, स्पार्स नेटवर्क का विश्लेषण इनिशियलाइजेशन के समय किए गए रैंडम प्रूनिंग और मैग्नीट्यूड-बेस्ड प्रूनिंग तक ही सीमित है। इन परिणामों को अधिक जटिल आर्किटेक्चर (जैसे कि CNN, ट्रांसफॉर्मर) और अन्य प्रूनिंग एल्गोरिदम (जैसे कि ग्रेडिएंट-बेस्ड प्रूनिंग जैसे SNIP या GraSP) तक विस्तारित करना भविष्य के कार्य के लिए एक खुला प्रश्न बना हुआ है। इसके अतिरिक्त, परिणाम फिक्स्ड-डेप्थ, इनफिनिट-विड्थ लिमिट से प्राप्त किए गए हैं और वे संयुक्त सीमा (joint limit) को संबोधित नहीं करते हैं जहाँ डेप्थ और विड्थ दोनों एक साथ विचलन करते हैं।