Competing nonlinearities, criticality, and order-to-chaos transition in deep networks

तकनीकी सारांश: प्रतिस्पर्धी गैर-रैखिकताएं, क्रांतिकता (Criticality), और डीप नेटवर्क में व्यवस्था-से-अराजकता संक्रमण (Order-to-Chaos Transition)

समस्या विवरण
डीप न्यूरल नेटवर्क अभिव्यंजक शक्ति प्राप्त करने के लिए गैर-रैखिक सक्रियण फलनों (nonlinear activation functions) पर निर्भर करते हैं, फिर भी गहरे आर्किटेक्चर के माध्यम से संकेतों और ग्रेडिएंट्स का प्रसार इन सक्रियणों के चयन द्वारा नियंत्रित होता है। अनंत-चौड़ाई की सीमा (infinite-width limit) में, प्री-एक्टिवेशन का विचरण (variance) एक नियतात्मक पुनरावृत्ति (deterministic recursion) का अनुसरण करता है। यह पुनरावृत्ति सक्रियण फलनों को उनके स्थिर बिंदुओं ($K_\star$) के आधार पर विशिष्ट "यूनिवर्सलिटी क्लासेस" में विभाजित करती है:

1. स्केल-इनवेरिएंट (जैसे ReLU): $K_\star = 0$ एक स्थिर बिंदु है जो सटीक रैखिक कर्नेल पुनरावृत्ति सुनिश्चित करता है, जिससे किसी भी इनिशियलाइजेशन के लिए क्रांतिकता (डेप्थ-स्वतंत्र विचरण) सुनिश्चित होती है। हालांकि, ReLU स्मूथ नहीं है (z=0 पर अवकलनीय नहीं है), जो इसे कर्वेचर-आधारित ऑप्टिमाइज़र, फिजिक्स-इन्फॉर्म्ड नेटवर्क और न्यूरल-नेटवर्क क्वांटम स्टेट्स के लिए अनुपयुक्त बनाता है जिन्हें सुपरिभाषित हेसियन (Hessian) की आवश्यकता होती है।
2. हाफ-स्टेबल (जैसे Swish, GELU): $K_\star = 0$ अस्थिर है, और विचरण एक परिमित, स्थिर स्थिर बिंदु $K_\star > 0$ की ओर प्रवाहित होता है। हालांकि ये स्मूथ हैं, लेकिन ये एक विशिष्ट लंबाई का पैमाना (length scale) पेश करते हैं और इनिशियलाइजेशन के प्रति संवेदनशील होते हैं।
3. स्टेबल (जैसे Tanh, Sin): $K_\star = 0$ एक स्थिर स्थिर बिंदु है, जिसके कारण विचरण गहराई के साथ बीजगणितीय रूप से ($K^{(l)} \sim 1/l$) घटता है, जिससे सिग्नल क्षीणन (attenuation) होता है।

मुख्य खुला प्रश्न यह है कि क्या इन असतत (discrete) यूनिवर्सलिटी क्लासेस को निरंतर रूप से जोड़ा जा सकता है। विशेष रूप से, क्या एक एकल पैरामीटर को ट्यून करके विचरण-घटते चरण (variance-collapsing phase) और विचरण-बढ़ते चरण (variance-inflating phase) के बीच संक्रमण किया जा सकता है ताकि एक ऐसा क्रांतिक बिंदु प्राप्त किया जा सके जो स्केल-इनवेरिएंट और स्मूथ दोनों हो?

कार्यप्रणाली (Methodology)
लेखक सांख्यिकीय मिश्रण (statistical mixtures of activation functions) पर आधारित एक ढांचे का प्रस्ताव करते हैं। नियत (deterministic) मिश्रणों के विपरीत, जहाँ प्रत्येक न्यूरॉन एक भारित योग $\sigma(z) = p\sigma_1(z) + (1-p)\sigma_2(z)$ लागू करता है, यह दृष्टिकोण प्रत्येक न्यूरॉन को प्रायिकता $p$ और $1-p$ के साथ दो सक्रियण फलनों $\sigma_1$ या $\sigma_2$ में स्वतंत्र रूप से और यादृच्छिक रूप से असाइन करता है। यह असाइनमेंट "क्वेंच्ड" (quenched - इनिशियलाइजेशन पर स्थिर) है।

अनंत-चौड़ाई की सीमा में, सेल्फ-अवेरेजिंग यह सुनिश्चित करती है कि प्रभावी कर्नेल फंक्शन शुद्ध-घटक कर्नेल्स के एक सख्त रैखिक इंटरपोलेशन (linear interpolation) के रूप में बन जाता है:
$$g^{(mix)}(K) = p g^{(\sigma_1)}(K) + (1-p) g^{(\sigma_2)}(K)$$
यह रैखिकता $p$ को एक विश्लेषणात्मक रूप से पारदर्शी नियंत्रण पैरामीटर के रूप में कार्य करने की अनुमति देती है। लेखक स्थिरता गुणांक $a_1$ (फिक्स्ड पॉइंट की ओर बढ़ने को नियंत्रित करने वाला) को व्युत्पन्न करते हैं और मिश्रण के लिए $p_c$ की पहचान करते हैं जहाँ $a_1^{(mix)}(p_c) = 0$ होता है। यह स्थिति एक चरण संक्रमण (phase transition) को दर्शाती है जहाँ नेटवर्क सांख्यिकीय रूप से स्केल-इनवेरिएंट हो जाता है।

अध्ययन एक विशिष्ट युग्म पर केंद्रित है: Tanh (स्टेबल क्लास, $a_1 < 0$) और Swish (हाफ-स्टेबल क्लास, $a_1 > 0$)। लेखक छोटे-विचरण सीमा में $p_c$ की विश्लेषणात्मक भविष्यवाणी करते हैं और परिमित इनपुट विचरण के लिए इसे परिवर्तनात्मक (perturbative) रूप से विश्लेषण करते हैं। वे इन भविष्यवाणियों की पुष्टि तीन संख्यात्मक निदानों (numerical diagnostics) का उपयोग करके करते हैं:

1. विचरण प्रसार (Variance Propagation): गहराई के साथ प्री-एक्टिवेशन विचरण $K^{(l)}$ के विकास को ट्रैक करना।
2. ससेप्टिबिलिटीज (Susceptibilities): सिग्नल स्केल के संरक्षण और इनपुट गड़बड़ी के प्रति संवेदनशीलता का पता लगाने के लिए समानांतर ($\chi_\parallel$) और लंबवत ($\chi_\perp$) ससेप्टिबिलिटीज को मापना।
3. ल्यपुनोव एक्सपोनेंट्स (Lyapunov Exponents): व्यवस्था-से-अराजकता (order-to-chaos) संक्रमण को निदान करने के लिए अधिकतम ल्यपुनोव एक्सपोनेंट $\lambda$ की गणना करना ($\lambda < 0$ के लिए व्यवस्थित, $\lambda > 0$ के लिए अराजक, $\lambda = 0$ के लिए क्रांतिक)।

प्रमुख परिणाम

1. विश्लेषणात्मक भविष्यवाणी: Tanh/Swish मिश्रण के लिए, क्रांतिक मिश्रण अंश $p_c = \frac{g_2^{(Tanh)}}{g_2^{(Tanh)} - g_2^{(Swish)}}$ के रूप में व्युत्पन्न किया गया है। छोटे-विचरण सीमा में, यह $p_c \approx 0.91$ देता है। परिवर्तनात्मक विश्लेषण दिखाता है कि परिमित इनपुट विचरण इस मान को नीचे की ओर स्थानांतरित करता है।
2. चरण संक्रमण (Phase Transition): संख्यात्मक सिमुलेशन $p_c \approx 0.83$ (इकाई इनपुट विचरण के लिए) पर एक तीव्र चरण संक्रमण की पुष्टि करते हैं।
   • $p < p_c$ के लिए, नेटवर्क विचरण-घटते चरण (Tanh-प्रधान) में है, जहाँ $K^{(l)}$ बीजगणितीय रूप से घटता है।
   • $p > p_c$ के लिए, नेटवर्क विचरण-बढ़ते चरण (Swish-प्रधान) में है, जहाँ $K^{(l)}$ बढ़ता है।
   • $p \approx p_c$ पर, नेटवर्क उभरती हुई सांख्यिकीय स्केल-इनवेरिएंस प्रदर्शित करता है: विचरण गहराई-स्वतंत्र रहता है, जो ReLU के व्यवहार की नकल करता है, लेकिन पूरी तरह से स्मूथ, अवकलनीय न्यूरॉन्स से बना होता है।
3. फाइनाइट-साइज़ स्केलिंग (Finite-Size Scaling): संक्रमण नेटवर्क की गहराई $L$ के साथ तीक्ष्ण होता है, जो क्रिटिकल एक्सपोनेंट $\nu = 1$ के साथ फाइनाइट-साइज़ स्केलिंग प्रदर्शित करता है, जो एक मीन-फील्ड निरंतर चरण संक्रमण के अनुरूप है।
4. सीखने का प्रदर्शन (Learning Performance): MNIST और Fashion-MNIST पर मल्टीलेयर पर्सेप्ट्रॉन्स (MLPs) को प्रशिक्षित करने से $p$ के फलन के रूप में गैर-मोनोटोनिक टेस्ट प्रदर्शन का पता चलता है। इष्टतम टेस्ट सटीकता सैद्धांतिक रूप से अनुमानित $p_c$ के पास होती है, जो यह दर्शाता है कि इनिशियलाइजेशन-स्तर का संक्रमण सीखे गए निरूपण (representations) को सीधे प्रभावित करता है। शुद्ध Tanh और शुद्ध Swish नेटवर्क depto-critical mixture की तुलना में कम प्रदर्शन करते हैं।
5. निहित नियमितीकरण (Implicit Regularization): दूषित लेबल वाले ओवरपैरामीटराइज्ड नेटवर्क में, 'क्वेंच्ड डिसऑर्डर' (quenched disorder) एक निहित नियमितकर्ता के रूप में कार्य करता है। मिश्रण शोर (noise) के आत्मसात (memorization) को दबा देता है (जो Tanh के संतृप्ति/saturation द्वारा समर्थित है) जबकि वास्तविक संरचना को सीखने की क्षमता को बनाए रखता है (जो Swish के ग्रेडिएंट फ्लो द्वारा समर्थित है)। यह उस क्रम विनिमय समरूपता (permutation symmetry) को तोड़ता है जिसका उपयोग होमोजेनियस नेटवर्क स्पूरियस एसोसिएशंस को याद रखने के लिए करते हैं।

महत्व और दावे
यह शोध पत्र सांख्यिकीय सक्रियण मिश्रणों को डीप नेटवर्क यूनिवर्सलिटी क्लासेस के फेज डायग्राम में नेविगेट करने के लिए एक नियंत्रित, विश्लेषणात्मक रूप से सुलभ उपकरण के रूप में स्थापित करता है। इसका प्राथमिक महत्व एक लंबे समय से चले आ रहे तनाव को हल करने में है: स्केल-इनवेरिएंट प्रोपेगेशन (क्रांतिकता) प्राप्त करना बिना स्मूथनेस का त्याग किए।

• सैद्धांतिक योगदान: यह सिद्ध करता है कि यूनिवर्सलिटी क्लासेस, जिन्हें पहले असतत लेबल के रूप में देखा जाता था, सांख्यिकीय मिश्रणों के एक निरंतर परिवार द्वारा जुड़े हुए हैं। यह संक्रमण क्वांटम सर्किटों में मेजरमेंट-इंड्यूस्ड फेज ट्रांजिशन (MIPTs) के समान है, जो विपरीत प्रवृत्तियों वाले प्रतिस्पर्धी स्थानीय ऑपरेशनों द्वारा संचालित होता है।
• व्यावहारिक उपयोगिता: यह ढांचा सक्रियण आर्किटेक्चर चुनने के लिए एक लेबल-मुक्त, केवल फॉरवर्ड-पास प्रोटोकॉल प्रदान करता है। सबसे सपाट विचरण प्रोफाइल या विश्लेषणात्मक सूत्रों के माध्यम से $p_c$ का अनुमान लगाकर, अभ्यासकर्ता महंगे हाइपरपैरामीटर खोजों से बच सकते हैं।
• डोमेन प्रयोज्यता: $C^\infty$-स्मूथ नेटवर्क बनाने की क्षमता उन डोमेन के लिए तुरंत उपयोगी है जहाँ उच्च-क्रम डेरिवेटिव की आवश्यकता होती है, जैसे नेचुरल-ग्रेडिएंट ऑप्टिमाइज़र, फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क (PDEs को हल करना), और न्यूरल-नेटवर्क क्वांटम स्टेट्स, जहाँ ReLU अनुपयुक्त है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण डीप लर्निंग में ऑर्डर-टू-केओस ट्रांजिशन के लिए एक नया तंत्र प्रदान करता है, जहाँ सक्रियण असाइनमेंट का "क्वेंच्ड डिसऑर्डर" एक संरचनात्मक नियमितकर्ता और क्रांतिकता को इंजीनियर करने के साधन दोनों के रूप में कार्य करता है।