🤖 machine learning

Correlation flow governs learning at criticality

यह शोध पत्र यह स्थापित करता है कि वेट-बायस वेरिएंस (weight-bias variance) के क्रिटिकल पॉइंट पर, ऑर्थोगोनल इनिशियलाइजेशन (orthogonal initialization) अनंत गहराई तक कोरिलेशन प्रोपेगेशन (correlation propagation) को सक्षम बनाता है, जो सीधे तौर पर लर्निंग डायनेमिक्स को नियंत्रित करता है क्योंकि यह न्यूरल टेंगेंट कर्नेल (Neural Tangent Kernel) को आउटपुट कोरिलेशन के ठीक समानुपाती बनाता है, जिससे अनंत रूप से गहरे नेटवर्क में सूचना प्रसार (information propagation) और लर्निंग का एकीकरण होता है।

मूल लेखक: Andrea Combette, Nelly Pustelnik, Antoine Venaille

प्रकाशित 2026-08-11

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrea Combette, Nelly Pustelnik, Antoine Venaille

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

डीप लर्निंग का गहन विश्लेषण: अनंत सीढ़ी को ट्यून करना

कल्पना कीजिए कि आप एक गगनचुंबी इमारत बनाने की कोशिश कर रहे हैं, लेकिन ईंटों के बजाय, आप अदृश्य, गणितीय दर्पणों की परतों को एक के ऊपर एक रख रहे हैं। एक "डीप न्यूरल नेटवर्क" वास्तव में यही है: एक कंप्यूटर प्रोग्राम जिसे सैकड़ों परतों वाले गणनाओं के माध्यम से सूचना पारित करके सीखने के लिए डिज़ाइन किया गया है। लक्ष्य यह है कि एक संकेत (जैसे कि बिल्ली की तस्वीर) नीचे से प्रवेश करे, हर एक दर्पण से टकराकर गुजरे, और ऊपर पहुँचते समय एक स्पष्ट उत्तर ("यह एक बिल्ली है!") के रूप में बाहर निकले।

लेकिन यहाँ एक पेंच है: यदि आप दर्पणों को गलत तरीके से बनाते हैं, तो संकेत या तो इतना धीमा हो जाता है कि ऊपर पहुँचते-पहुँचते वह सन्नाटे में विलीन हो जाता है, या फिर यह इतना अधिक बढ़ जाता है कि पूरी इमारत हिलकर ढह जाती है। यह "सिग्नल प्रोपेगेशन" (संकेत प्रसार) की समस्या है। लंबे समय से वैज्ञानिक जानते हैं कि इन दर्पणों को बिल्कुल शुरुआत में कैसे सेट किया जाता है (जिसे "इनिशियलाइजेशन" कहा जाता है) यह अत्यंत महत्वपूर्ण है। उन्होंने एक विशेष "स्वीट स्पॉट" भी खोजा है जिसे क्रिटिकैलिटी (criticality) कहा जाता है, जहाँ नेटवर्क अराजकता और व्यवस्था के बीच पूरी तरह से संतुलित होता है। इसे गिटार के तार को ट्यून करने जैसा समझें: यदि यह बहुत ढीला है, तो स्वर मृत होगा; यदि यह बहुत कस गया, तो यह टूट जाएगा। क्रिटिकैलिटी पर, यह गाता है।

हालाँकि, यहाँ एक दूसरी, अधिक कठिन समस्या है। भले ही संकेत गुजर जाए, कंप्यूटर को अपनी गलतियों से सीखने की आवश्यकता होती है। ऐसा करने के लिए, यह एक "ग्रेडिएंट" (एक संकेत कि क्या गलत हुआ) वापस नीचे की ओर भेजता है। यदि सीढ़ी बहुत लंबी है, तो ये संकेत खो सकते हैं या विकृत हो सकते हैं, जिससे सीखना असंभव हो जाता है। यह शोध पत्र इस रहस्यमय संबंध की खोज करता है कि कैसे सूचना आगे की ओर यात्रा करती है और कैसे सीखने के संकेत पीछे की ओर यात्रा करते हैं, विशेष रूप से उन नेटवर्कों में जो अनंत रूप से चौड़े और अनंत रूप से गहरे हैं। शोधकर्ता पूछते हैं: क्या कोई ऐसा तरीका है जिससे दर्पणों को इस तरह सेट किया जा सके कि नेटवर्क न केवल यात्रा में जीवित रहे, बल्कि चाहे गगनचुंबी इमारत कितनी भी ऊँची क्यों न हो जाए, वह पूरी तरह से सीख सके?

अनंत सीखने का गुप्त नुस्खा

इस शोध पत्र के लेखकों ने, गहरे गणितीय सिद्धांतों के साथ काम करते हुए, इन पूर्ण, अनंत रूप से गहरे नेटवर्कों को बनाने के बारे में एक आश्चर्यजनक रहस्य का खुलासा किया है। उन्होंने पाया कि नेटवर्क की शुरुआती स्थितियों को सेट करने का एक बहुत ही विशिष्ट, लगभग जादुई तरीका है जो सब कुछ सही ढंग से व्यवस्थित कर देता है।

"क्रिटिकल" स्वीट स्पॉट
सबसे पहले, यह शोध पत्र पुष्टि करता है कि एक अनंत रूप से गहरे नेटवर्क के माध्यम से सूचना भेजने के लिए, आपको नेटवर्क को क्रिटिकैलिटी नामक एक सटीक बिंदु पर शुरू करना होगा। यह नेटवर्क के वेट्स (weights - वे संख्याएँ जो निर्धारित करती हैं कि दर्पणों का कोण कैसा है) की यादृच्छिकता (randomness) के लिए एक विशिष्ट सेटिंग है। यदि आप इस बिंदु से थोड़े भी अलग हैं, तो नेटवर्क विफल हो जाता है। लेखक दिखाते हैं कि इस सटीक क्रिटिकल पॉइंट पर, नेटवर्क एक बहुत ही विशेष तरीके से व्यवहार करता है: सूचना केवल जीवित ही नहीं रहती; यह विभिन्न इनपुट्स के बीच के संबंधों को सुरक्षित रखती है। यदि दो तस्वीरें शुरुआत में समान हैं, तो वे अंत में भी समान रहती हैं, हजारों परतों से गुजरने के बाद भी।

लुप्त होने की प्रक्रिया (The Vanishing Act)
यहाँ एक बात विरोधाभासी लगती है। आमतौर पर, वैज्ञानिक आशा करते हैं कि "सीखने के संकेत" (ग्रेडिएंट्स) नेटवर्क के माध्यम से यात्रा करते समय मजबूत और स्थिर रहें। इस स्थिति को "डायनामिकल आइसोमेट्री" कहा जाता है, जहाँ नेटवर्क के माध्यम से प्रत्येक पथ समान रूप से मजबूत होता है। लेखक एक चौंकाने वाली बात सिद्ध करते हैं: भले ही हम पूर्ण क्रिटिकल पॉइंट पर हों, ये सीखने के संकेत वास्तव में नेटवर्क के गहरा होने के साथ कमजोर होते जाते हैं। वे पूरी तरह से गायब नहीं होते, लेकिन वे बीजगणितीय रूप से (algebraically) कम होते जाते हैं (जैसे कि स्पीकर से दूर जाने पर आवाज धीमी होती जाती है)। इसका अर्थ यह है कि एक अनंत नेटवर्क में पूरी तरह से मजबूत, अपरिवर्तित ग्रेडिएंट रखने का पुराना सपना असंभव है। नेटवर्क में ये घटते हुए संकेत होने ही चाहिए।

जादुई संबंध
इस घटने के बावजूद, लेखकों ने एक सुंदर, पहले से अनदेखा संबंध खोजा है। उन्होंने पाया कि इस क्रिटिकल पॉइंट पर, नेटवर्क जिस तरह से सीखता है (जिसे न्यूरल टेंगेंट कर्नेल या NTK कहा जाता है), वह ठीक उसी तरह से होता है जैसे सूचना के सह-संबंध (correlations) नेटवर्क के माध्यम से यात्रा करते हैं। सरल शब्दों में: नेटवर्क की सीखने की क्षमता सीधे तौर पर इस बात से तय होती है कि वह इनपुट की समानता को कितनी अच्छी तरह सुरक्षित रखता है। यदि नेटवर्क गहराई में जाने के बाद भी डेटा के "आकार" को बरकरार रखता है, तो सीखने की प्रक्रिया पूरी तरह से अनुमानित और नियंत्रित हो जाती है। यह ऐसा है जैसे नेटवर्क की "स्मृति" उसकी "सीखने की क्षमता" के साथ एक-से-एक संबंध बनाती है।

ऑर्थोगोनल कुंजी (The Orthogonal Key)
यह शोध पत्र एक व्यावहारिक समस्या को भी संबोधित करता है: वास्तविक कंप्यूटर अनंत नहीं होते। उनकी एक सीमित चौड़ाई होती है, जो शोर (noise) और त्रुटियाँ पैदा करती है। लेखक दिखाते हैं कि आप शुरुआती संख्याओं को कैसे चुनते हैं, यह यहाँ बहुत मायने रखता है।

गौसियन इनिशियलाइजेशन (मानक तरीका): यदि आप मानक बेल कर्व (bell curve) से ली गई यादृच्छिक संख्याओं के साथ शुरुआत करते हैं, तो जैसे-जैसे नेटवर्क गहरा होता है, शोर बढ़ता जाता है। सीखने के संकेत अव्यवस्थित हो जाते हैं, और बहुत गहरे परतों में नेटवर्क का व्यवहार अप्रत्याशित हो जाता है।
ऑर्थोगोनल इनिशियलाइजेशन (विशेष तरीका): यदि आप संख्याओं को एक विशेष "ऑर्थोगोनल" पैटर्न (जहाँ दिशाएँ बिल्कुल लंबवत होती हैं, जैसे x, y और z अक्ष) में व्यवस्थित करते हैं, तो शोर दब जाता है। लेखक प्रदर्शित करते हैं कि यह विधि त्रुटियों को जमा होने से रोकती है। यह नेटवर्क के व्यवहार को स्थिर और अनुमानित बनाए रखती है, भले ही नेटवर्क बहुत गहरा हो।

यह भविष्य के लिए क्या मायने रखता है
यह शोध पत्र केवल एक सिद्धांत नहीं देता है; उन्होंने परिमित नेटवर्कों (निश्चित परतों और चौड़ाई वाले नेटवर्क) पर सिमुलेशन के साथ इसका परीक्षण किया और पाया कि गणित पूरी तरह से सही साबित हुआ। उन्होंने दिखाया कि क्रिटिकल पॉइंट पर ऑर्थोगोनल इनिशियलाइजेशन का उपयोग करना यह नियंत्रित करने का सबसे अच्छा तरीका है कि जब नेटवर्क बड़े होते हैं तो डीप लर्निंग नेटवर्क कैसे व्यवहार करते हैं।

यह खोज कि हम विशाल AI मॉडल को कैसे प्रशिक्षित करते हैं, इसके बारे में हमारी सोच को बदल देती है। यह सुझाव देती है कि एक ऐसा नेटवर्क बनाने के लिए जो डेटा से प्रभावी ढंग से सीख सके, हमें केवल मजबूत ग्रेडिएंट की उम्मीद नहीं करनी चाहिए; हमें डेटा की संरचना को सुरक्षित रखने पर ध्यान केंद्रित करना चाहिए। नेटवर्क को क्रिटिकल पॉइंट पर ट्यून करके और ऑर्थोगोनल शुरुआती मानों का उपयोग करके, हम यह सुनिश्चित कर सकते हैं कि नेटवर्क की सीखने की गतिशीलता स्थिर है और वह सही पैटर्न सीख रहा है, चाहे हम उसके ऊपर कितनी भी परतें जोड़ दें। यह कुछ ऐसा है जैसे यह महसूस करना कि आकाश तक पहुँचने वाला टॉवर बनाने के लिए, आपको मजबूत ईंटों की आवश्यकता नहीं है; आपको बस यह सुनिश्चित करने की आवश्यकता है कि नींव पूरी तरह से संतुलित है और ईंटों को एक विशिष्ट, व्यवस्थित पैटर्न में रखा गया है।

तकनीकी सारांश: क्रिटिकैलिटी (Criticality) पर सहसंबंध प्रवाह (Correlation Flow) का नियंत्रण

समस्या विवरण
डीप न्यूरल नेटवर्क का इनिशियलाइजेशन (initialization) इस बात को निर्धारित करने के लिए महत्वपूर्ण है कि गहराई के पार सूचना और ग्रेडिएंट्स प्रसारित हो सकते हैं या नहीं। जबकि अनुभवजन्य सफलता ने नेटवर्क के आकार के विस्तार को प्रेरित किया है, इनिशियलाइजेशन गुणों और लर्निंग डायनेमिक्स को जोड़ने वाला एक एकीकृत सिद्धांत अभी भी दुर्लभ है। विशेष रूप से, यह समझने की कमी है कि एंड-टू-एंड जैकोबियन (Jacobian) के स्पेक्ट्रम और न्यूरल टेंगेंट कर्नेल (NTK) के साथ सहसंबंध प्रसार (correlation propagation) का परस्पर संबंध, अनंत चौड़ाई और अनंत गहराई वाले नेटवर्क में इनिशियलाइजेशन विकल्पों (गौसियन बनाम ऑर्थोगोनल) द्वारा कैसे नियंत्रित होता है। पिछले कार्यों ने यह स्थापित किया है कि "क्रिटिकैलिटी" (वेट-बायस वेरिएंस प्लेन में एक विशिष्ट बिंदु) सहसंबंधों के घातीय (exponential) क्षय के बजाय बीजगणितीय (algebraic) क्षय की अनुमति देती है, लेकिन इस सहसंबंध प्रवाह और परिणामी लर्निंग डायनेमिक्स (जो NTK द्वारा शासित है) के बीच सटीक संबंध का पूर्णतः लक्षण वर्णन नहीं किया गया है। इसके अलावा, इस सीमा में परिमित-आकार सुधारों (finite-size corrections) को नियंत्रित करने में ऑर्थोगोनल इनिशियलाइजेशन की भूमिका के लिए कठोर सैद्धांतिक आधार की आवश्यकता है।

कार्यप्रणाली
लेखक सीक्वेंशियल लिमिट (sequential limit) में पूर्णतः जुड़े हुए न्यूरल नेटवर्क का विश्लेषण करने के लिए मीन-फील्ड थ्योरी (mean-field theory) और रैंडम मैट्रिक्स थ्योरी (random matrix theory) के संयोजन का उपयोग करते हैं, जहाँ चौड़ाई $N$ को गहराई $L$ से पहले अनंत तक ले जाया जाता है ( $N \to \infty$ के बाद $L \to \infty$ )।

सैद्धांतिक ढांचा:
- मीन-फील्ड रिजीम (Mean-Field Regime): लेखक गहराई बढ़ने के साथ प्री-एक्टिवेशन्स के कोवेरियेंस (covariance) और सहसंबंध के नियतात्मक पुनरावृत्ति संबंधों (deterministic recursion relations) का विश्लेषण करते हैं। वे तीन रिजीम की पहचान करते हैं: ऑर्डर्ड (सहसंबंध $\to 1$ ), कॉटिक (सहrelation $\to$ constant $<1$ ), और एक नव-पहचाना गया वैनिशिंग वेरिएंस फेज (vanishing variance phase) (जहाँ वेरिएंस $\to 0$ होता है)।
- क्रिटिकल पॉइंट: वे वैनिशिंग वेरिएस फेज बाउंड्री और "एज ऑफ केओस" (edge of chaos) लाइन के प्रतिच्छेदन पर क्रिटिकल पॉइंट को स्थित करते हैं, जिसे $\sigma_w = 1/\phi_1$ और $\sigma_b = 0$ द्वारा परिभाषित किया गया है (जहाँ $\phi_1$ एक्टिवेशन फंक्शन का पहला टेलर गुणांक है)।
- जैकोबियन विश्लेषण: फ्री प्रोबेबिलिटी थ्योरी का उपयोग करते हुए, वे लेयर-वाइज और एंड-टू-एंड जैकोबियन्स के सिंगुलर वैल्यू स्पेक्ट्रम का विश्लेषण करते हैं। वे गौसियन और ऑर्थोगोनल इनिशियलाइजेशन दोनों के तहत जैकोबियन स्पेक्ट्रम के माध्य और वेरिएंस के लिए स्केलिंग लॉ (scaling laws) व्युत्पन्न करते हैं।
- NTK व्युत्पत्ति: वे कोवेरियंस कर्नेल्स को आंशिक जैकोबियन्स द्वारा खींचे गए (pulled back) योग के रूप में NTK को व्यक्त करते हैं। क्रिटिकैलिटी पर इन पदों के एसिम्प्टोटिक व्यवहार का विश्लेषण करके, वे NTK और फिक्स्ड-पॉइंट सहसंबंध के बीच संबंध व्युत्पन्न करते हैं।
परिमित-आकार विश्लेषण (Finite-Size Analysis):
- लेखक एम्पिरिकल कर्नेल के अग्रणी-क्रम परिमित-आकार सुधारों ( $O(L/N)$ ) को व्युत्पन्न करते हैं। वे इन उतार-चढ़ाव को "विक (Wick) डिफेक्ट्स" (प्री-एक्टिवेशन्स की नॉन-गौसियनिटी से उत्पन्न) और "वेट नॉन-ऑर्थोगोनैलिटी" प्रभावों में विभाजित करते हैं।
- वे गौसियन बनाम ऑर्थोगोनल इनिशियलाइजेशन के तहत इन त्रुटियों के संचय की तुलना करते हैं।
संख्यात्मक सत्यापन (Numerical Validation):
- सैद्धांतिक भविष्यवाणियों को साइन (और कुछ tanh) एक्टिवेशन फंक्शन के साथ पूर्णतः जुड़े हुए न्यूरल नेटवर्क का उपयोग करके सत्यापित किया जाता है। प्रयोग मैनिफोल्ड प्रोपेगेशन, कोरिलेशन फ्लो, जैकोबियन स्पेक्ट्रा और विभिन्न गहराइयों और चौड़ाई केAcross NTK कंडीशनिंग को ट्रैक करते हैं।

प्रमुख योगदान और परिणाम

सहसंबंध प्रसार के लिए क्रिटिकैलिटी आवश्यक है:
लेखक सिद्ध करते हैं कि अनंत गहराई तक गैर-तुच्छ (non-trivial) सहसंबंध प्रसार केवल क्रिटिकल पॉइंट पर ही संभव है। अन्य सभी रिजीम्स में, सहसंबंध या तो 1 की ओर गिर जाते हैं (ऑर्डर्ड), या इनपुट से स्वतंत्र एक स्थिरांक (constant) बन जाते हैं (कॉटिक), या वेरिएंस तेजी से शून्य हो जाता है, जिससे संख्यात्मक पतन (numerical collapse) होता है। क्रिटिकैलिटी पर, सहसंबंध बीजगणितीय रूप से अभिसरित (converge) होता है, जिससे इनपुट निर्भरता बनी रहती है।
एंड-टू-एंड जैकोबियन का बीजगणितीय विलुप्त होना (Algebraic Vanishing):
इस उम्मीद के विपरीत कि क्रिटिकैलिटी "डायनामिकल आइसोमेट्री" (जहाँ जैकोबियन स्पेक्ट्रम इकाई के करीब केंद्रित होता है) को सक्षम कर सकती है, लेखक सिद्ध करते हैं कि क्रिटिकलिटी पर, एंड-टू-एंड जैकोबियन गहराई के साथ बीजगणितीय रूप से लुप्त हो जाता है ( $\Xi \propto 1/L$ )। यह ऑर्थोगोनल इनिशियलाइजेशन के साथ भी होता है। फलस्वरूप, क्रिटिकलिटी पर डायनामिकल आइसोमेट्री अनुपस्थित है।
NTK और आउटपुट सहसंबंध की समानता:
यह शोध पत्र का केंद्रीय सैद्धांतिक परिणाम है कि, क्रिटिकलिटी पर अनंत-गहराई की सीमा में, NTK ठीक से फिक्स्ड-पॉइंट सहसंबंध मैट्रिक्स के समानुपाती होता है (विशेष रूप से, $\Theta_L \to \frac{1}{A\sigma_w^2} \rho_\infty$ )। यह सूचना प्रसार (सहसंबंध) और लर्निंग डायनेमिक्स (NTK स्पेक्ट्रम) के बीच एक सीधा संबंध स्थापित करता है। यह समानता लुप्त होते जैकोबियन के बावजूद बनी रहती है, क्योंकि NTK की परिभाषा में उपयोग किए जाने वाले रीस्केल्ड ओवरलैप जैकोबियन्स में इस क्षय की भरपाई की जाती है।
ऑर्थोगोनल इनिशियलाइजेशन की भूमिका:
यद्यपि ऑर्थोगोनल इनिशियलाइजेशन डायनामिकल आइसोमेट्री को बहाल नहीं कर सकता, लेकिन यह परिमित-आकार के प्रभावों को नियंत्रित करने में महत्वपूर्ण भूमिका निभाता है।
- गौसियन इनिशियलाइजेशन के तहत, सहसंबंध और NTK में परिमित-आकार के उतार-चढ़ाव $O(\sqrt{L/N})$ के रूप में स्केल करते हैं, जो गहराई के साथ संचित होते हैं और इल-कंडीशन्ड (ill-conditioned) स्पेक्ट्रा की ओर ले जाते हैं।
- ऑर्थोगोनल इनिशियलाइजेशन के तहत, वेट नॉन-ऑर्थोगोनैलिटी से उत्पन्न अग्रणी-क्रम के उतार-चढ़ाव दब जाते हैं। शेष उतार-चढ़ाव (Wick defects) $O(1/\sqrt{N})$ के रूप में स्केल करते हैं और गहराई से स्वतंत्र होते हैं। यह सीक्वेंशियल लिमिट भविष्यवाणियों को बहुत गहरे नेटवर्क के लिए भी मान्य बनाता है।
एक्टिवेशन फंक्शन की बाधाएं:
लेखक दिखाते हैं कि सूचना को एक तुच्छ फिक्स्ड पॉइंट में ढहने से बचाने के लिए, एक्टिवेशन फंक्शन को $\phi_2 = 0$ को संतुष्ट करना चाहिए (अर्थात, निम्नतम क्रम पर इसे एक विषम (odd) फंक्शन होना चाहिए)। यदि $\phi_2 \neq 0$ है, तो इनिशियलाइजेशन के बावजूद सहसंबंध ढह जाते हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह डीप नेटवर्क में सूचना प्रसार, ग्रेडिएंट नियंत्रण और लर्निंग डायनेमिक्स को जोड़ने वाला एक एकीकृत ढांचा प्रदान करता है। इसका प्राथमिक महत्व है:

सहसंबंध और लर्निंग का एकीकरण: यह प्रदर्शित करता है कि NTK स्पेक्ट्रम, जो सीखने की गति और दिशा को निर्धारित करता है, क्रिटिकलिटी पर इनपुट्स के सहसंबंध ढांचे द्वारा एसिम्प्टोटिक रूप से निर्धारित होता है। यह समझाता है कि नेटवर्क के माध्यम से इनपुट समानता को बनाए रखना प्रशिक्षण के लिए क्यों आवश्यक है।
क्रिटिकल इनिशियलाइजेशन का औचित्य: यह क्रिटिकल पॉइंट पर इनिशियलाइज़ करने के लिए एक कठोर सैद्धांतिक औचित्य प्रदान करता है, यह दिखाते हुए कि यह एकमात्र विकल्प है जो एक सुपरिभाषित (यद्यपि लुप्त होता हुआ) जैकोबियन स्ट्रक्चर बनाए रखते हुए इनपुट-डिपेंडेंट सहसंबंधों को सुरक्षित रखता है।
ऑर्थोगोनल इनिशियलाइजेशन को स्पष्ट करना: यह "फ्रोजन" (लीनियर) और "फीचर-लर्निंग" रिजीम्स के बीच के तनाव को यह दिखाकर हल करता है कि ऑर्थोगोनल इनिशियलाइजेशन उन अनियंत्रित परिमित-आकार के उतार-चढ़ाव को दबाने के लिए आवश्यक शर्त है जो अन्यथा गहरे नेटवर्क में NTK की पूर्वानुमेयता को नष्ट कर देते।
व्यावहारिक निहितार्थ: परिणाम बताते हैं कि बहुत गहरे नेटवर्क (जैसे, SIRENs, इम्पलिसिट न्यूरल रिप्रेजेंटेशन) के लिए, क्रिटिकल इनिशियलाइजेशन के साथ ऑर्थोगोनल वेट्स एक सिद्धांतपूर्ण दृष्टिकोण है ताकि स्थिर प्रशिक्षण डायनेमिक्स और नियंत्रित स्पेक्ट्रल बायस सुनिश्चित किया जा सके, जहाँ नेटवर्क इनपुट डेटासेट के सहसंबंध संरचना के मुख्य मोड (principal modes) के साथ सीखता है।

लेखक नोट करते हैं कि ये परिणाम सीक्वेंशियल लिमिट और विशिष्ट एक्टिवेशन फंक्शन धारणाओं (बाउंडेड, डिफरेंशिएबल, $\phi_2=0$ ) पर निर्भर करते हैं, और वे स्वीकार करते हैं कि इन निष्कर्षों को संयुक्त सीमा ( $L/N \to c$ ) या अनबाउंडेड एक्टिवेशन (जैसे ReLU) तक विस्तारित करना भविष्य के कार्य के लिए एक खुला क्षेत्र है।

डीप लर्निंग का गहन विश्लेषण: अनंत सीढ़ी को ट्यून करना

अनंत सीखने का गुप्त नुस्खा

इसी तरह के और पेपर