A Complete Symmetry Classification of Shallow ReLU Networks

यहाँ प्रनवकृष्णिश रामकृष्णन के शोध पत्र "A COMPLETE SYMMETRY CLASSIFICATION OF SHALLOW RELU NETWORKS" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र न्यूरल नेटवर्क में पैरामीटर पहचान क्षमता (parameter identifiability) की मौलिक समस्या को संबोधित करता है। विशेष रूप से, यह शैलो ReLU (Rectified Linear Unit) न्यूरल नेटवर्क के सममिति समूह (symmetry group) की जांच करता है।

• मुख्य प्रश्न: यदि किसी विशिष्ट फलन $f$ को एक शैलो ReLU नेटवर्क द्वारा साकार किया जाता है, तो उन सभी विशिष्ट पैरामीटर विन्यासों (भार और बायस) का सेट क्या है जो ठीक उसी फलन को उत्पन्न करते हैं?
• संदर्भ: जबकि न्यूरल नेटवर्क की "मानक" सममितियाँ (परिवर्तनों के हिडन न्यूरॉन्स का क्रमपरिवर्तन और भारों का धनात्मक स्केलिंग) अच्छी तरह से समझी जा रही हैं, यह एक खुला प्रश्न था कि क्या छिपी हुई सममितियाँ (hidden symmetries) मौजूद हैं—अर्थात वे पैरामीटर जो मानक ऑर्बिट (orbit) के बाहर होने के बावजूद समान फलन को साकार करते हैं।
• अंतराल (The Gap): पूर्ण वर्गीकरण के पिछले परिणाम सक्रियण फलनों (activation functions) की विश्लेषिकता (analyticity) (जैसे सिग्मॉइड, बहुपद) पर निर्भर थे। ये तकनीकें ReLU के लिए विफल हो जाती हैं क्योंकि ReLU शून्य पर अवकलनीय (differentiable) नहीं है। फलस्वरूप, शैलो ReLU नेटवर्क के लिए एक पूर्ण सममिति वर्गीकरण करना कठिन बना हुआ था।

2. कार्यप्रणाली (Methodology)

लेखक एक बीजगणितीय दृष्टिकोण (algebraic approach) का उपयोग करते हैं, न कि उन संभाव्य या ज्यामितीय तकनीकों का जो डीप लर्निंग साहित्य में सामान्य हैं। कार्यप्रणाली कई प्रमुख चरणों के माध्यम से आगे बढ़ती है:

A. पैरामीटर स्थान का औपचारिककरण (Formalization of Parameter Space)

शोध पत्र एक इनपुट आयाम $m$, हिडन लेयर आकार $n$, और आउटपुट आयाम $k$ वाले शैलो नेटवर्क के लिए पैरामीटर स्पेस $\Omega(m,n,k)$ को परिभाषित करता है। एक पैरामीटर को $\theta = (M, A, b, c)$ के रूप में दर्शाया जाता है, जो आउटपुट वेट्स, हिडन वेट्स, हिडन बायस और आउटपुट बायस का प्रतिनिधित्व करता है।
रियलाइजेशन मैप (realization map) $\rho$ इन मापदंडों को फलन स्थान $C^0(\mathbb{R}^m, \mathbb{R}^k)$ में मैप करता है।

B. मानक सममितिओं की पहचान ($H_n$)

शोध पत्र $H_n \leq GL_n(\mathbb{R})$ उपसमूह की पहचान करता है, जो इनसे निर्मित है:

1. परिवर्तन (Permutations) ($S_n$): हिडन न्यूरॉन्स को आपस में बदलना।
2. धनात्मक विकर्ण स्केलिंग (Positive Diagonal Scaling) ($D^+_n$): भारों और बायस को धनात्मक स्थिरांकों से स्केल करना।
   यह ज्ञात है कि $H_n$ पैरामीटर स्पेस पर इस प्रकार कार्य करता है कि $\rho$ इस क्रिया के तहत अपरिवर्तित रहता है। लक्ष्य यह निर्धारित करना है कि क्या फाइबर $\rho^{-1}(\theta)$ (उन सभी मापदंडों का सेट जो एक ही फलन को साकार करते हैं) ठीक ऑर्बिट $H_n \cdot \theta$ है या यह इससे बड़ा है।

C. "न्यूनतम रूप" (Minimal Form) और तुल्यता संबंध

फाइबर्स को वर्गीकृत करने के लिए, लेखक पैरामीटर के लिए एक कैनोनिकल "न्यूनतम रूप" (canonical "minimal form") पेश करते हैं। इसमें तीन विशिष्ट बीजगणितीय ऑपरेशनों द्वारा उत्पन्न एक तुल्यता संबंध $\sim$ को परिभाषित करना शामिल है:

1. शून्य करना (Zeroing out): यदि किसी न्यूरॉन का आउटपुट वेट शून्य ($v_i=0$) है, तो उसके आंतरिक भार और बायस को बिना फलन बदले शून्य पर सेट किया जा सकता है।
2. विलय करना (Merging): यदि दो न्यूरॉन्स के आनुपातिक भार और बायस हैं ($\lambda(a_i, b_i) = (a_j, b_j)$), तो उनके योगदान को एक एकल न्यूरॉन में विलय किया जा सकता है।
3. बायस शिफ्टिंग (Bias shifting): यदि किसी न्यूरॉन के आंतरिक भार शून्य ($a_i=0$) हैं, तो उसके बायस को आउटपुट बायस में समाहित किया जा सकता है।

किसी भी पैरामीटर को उसके न्यूनतम रूप ($\theta_{min}$) तक कम करके, लेखक इन ऑपरेशनों के तहत तुल्यता वर्गों के लिए एक अद्वितीय प्रतिनिधि बनाते हैं।

D. गैर-अवकलनीयता का लाभ उठाना (Exploiting Non-Differentiability)

मुख्य तकनीकी सफलता ReLU के विशिष्ट गुण पर निर्भर करती है: $\sigma(x) - \sigma(-x) = x$।
लेखक सिद्ध करते हैं (प्रपोजिशन 14) कि एक न्यूनतम पैरामीटर के लिए जिसमें कोई "जीरो फैक्टर्स" (कोई अनावश्यक न्यूरॉन्स नहीं) नहीं हैं, साकार फलन सुचारू (affine linear) होता है यदि और केवल यदि पैरामीटर एक विशिष्ट "एंटी-सिमेट्रिक" संरचना का पालन करते हैं:
$$\sum \sigma(a_i^T x + b_i) - \sum \sigma(-a_i^T x - b_i) = \text{Linear Function}$$
यह पहचान (identity) शैलो ReLU नेटवर्क में "छिपी हुई सममिति" का एकमात्र स्रोत है। इसका तात्पर्य यह है कि एक न्यूरॉन जिसके भार $(a, b)$ और वेट $v$ हैं, उसे एक ऐसे न्यूरॉन के साथ बदला जा सकता है जिसके भार $(-a, -b)$ और वेट $-v$ हैं, बिना फलन बदले, बशर्ते वे एक रैखिक पद बनाने के लिए एक-दूसरे को रद्द कर दें।

3. मुख्य योगदान और परिणाम

प्रमेय 1: जेनेरिक पहचान क्षमता (Generic Identifiability)

कथन: मापदंडों $\theta$ का सेट जहाँ फाइबर $\rho^{-1}(\theta)$ $H_n$ के ली ग्रुप (Lie group) के डिफरियोमोर्फिक है (अर्थात, एकमात्र सममितियाँ मानक क्रमपरिवर्तन और स्केलिंग हैं) पैरामीटर स्पेस में सघन (dense) है।
महत्व: "लगभग सभी" शैलो ReLU नेटवर्क के लिए, कोई छिपी हुई सममिति नहीं होती है। मानक समूह $H_n$ पूरी तरह से सममिति का वर्णन करता है।

प्रमेय 2: स्टेबलाइज़र वर्गीकरण (Stabilizer Classification)

कथन: शोध पत्र स्टेबलाइज़र उपसमूह $Stab_{H_n}(\theta)$ (वे पैरामीटर जो समूह क्रिया द्वारा स्थिर रहते हैं) को वर्गीकृत करता है। यह दिखाता है कि स्टेबलाइज़र $S \times H_{n'}$ के आइसोमॉर्फिक है, जहाँ $S$ एक परिमित समूह है जो अधिकतम $\binom{n-n'}{2}$ ट्रांसपोज़िशन (समान न्यूरॉन्स के स्वैप) द्वारा उत्पन्न होता है और $n'$ शून्य किए गए न्यूरॉन्स की संख्या है।
महत्व: यह सटीक बीजगणितीय लक्षण वर्णन प्रदान करता है कि कब एक नेटवर्क में समान न्यूरॉन्स या शून्य घटकों के कारण अनावश्यक सममितियाँ होती हैं।

प्रमेय 3 और 4: पूर्ण सममिति वर्गीकरण

कथन: शोध पत्र कोटिएंट स्पेस (साकार किए गए फलनों के स्थान) का पूर्ण वर्गीकरण प्रदान करता है। दो पैरामीटर $\theta_1$ और $\theta_2$ एक ही फलन को साकार करते हैं यदि और केवल यदि:

1. वे मानक $H_n$ क्रिया द्वारा संबंधित हैं, या
2. उनका "अंतर" (एक विशिष्ट घटाव ऑपरेशन $\ominus$ के माध्यम से परिभाषित) एक ऐसे रूप में कम हो जाता है जो $\sigma(x) - \sigma(-x) = x$ की पहचान का प्रतिनिधित्व करता है।
   महत्व: यह ReLU के लिए पहला पूर्ण वर्गीकरण है। यह सिद्ध करता है कि मानक सममितियों के अलावा, एकमात्र अतिरिक्त सममिति ReLU फलन के विशिष्ट रैखिक रद्दीकरण गुण से उत्पन्न होती है।

कोरोलरी 9: गैर-पहचान क्षमता की स्थितियाँ (Non-Identifiability Conditions)

शोध पत्र एक पदानुक्रम स्थापित करता है जो दिखाता है कि यदि आंतरिक भारों/बायस का स्टेबलाइज़र गैर-तुच्छ (non-trivial) है ($Stab_{H_n}(A, b) \neq 1$), तो फाइबर $H_n$ ऑर्बिट से स्पष्ट रूप से बड़ा है। यह पहचानने में मदद करता है कि कब स्थानीय पहचान क्षमता विफल हो जाती है।

4. महत्व और प्रभाव

1. ReLU केस का समाधान: शोध पत्र सफलतापूर्वक उस अंतराल को भरता है जो पिछले कार्यों द्वारा छोड़ा गया था जिन्हें विश्लेतिक सक्रियण फलनों की आवश्यकता थी। यह प्रदर्शित करता है कि ReLU की गैर-अवकलनीयता बाधा नहीं बल्कि एक विशेषता है जो बीजगणितीय वर्गीकरण की अनुमति देती है।
2. अनुकूलन गतिकी (Optimization Dynamics): "न्यूरोमैनीफोल्ड" (पैरामीटर के कोटिएंट स्पेस) की ज्यामिति को समझना अनुकूलन परिदृश्य (जैसे, ग्रेडिएंट डिसेंट क्यों अभिसरित होता है, सैडल पॉइंट्स की प्रकृति) को समझने के लिए महत्वपूर्ण है। यह कार्य शैलो ReLU नेटवर्क के लिए कठोर ज्यामितीय आधार प्रदान करता है।
3. एल्गोरिद्मिक निहितार्थ: "न्यूनतम रूप" का निर्माण गणना योग्य है (पेपर का सेक्शन 6 यह संकेत देता है)। यह न्यूरल नेटवर्क के मापदंडों को कैनोनिकल बनाने का एक तरीका सुझाता है, जो संभावित रूप से मॉडल संपीड़न (model compression), प्रूनिंग और विभिन्न प्रशिक्षित मॉडलों की तुलना करने में सहायता कर सकता है।
4. सीमाएँ और भविष्य का कार्य: लेखक नोट करते हैं कि जबकि बीजगणितीय वर्गीकरण पूर्ण है, इक्विवेलेंस स्थितियों (विशेष रूप से "बेंट हाइपरप्लेन अरेंजमेंट") के पूर्ण ज्यामितीय व्याख्या का पूर्ण विवरण भविष्य के अनुसंधान के लिए एक खुला क्षेत्र बना हुआ है। वर्तमान परिणाम शैलो (एक हिडन लेयर) नेटवर्क तक सीमित हैं, हालांकि उनकी कार्यप्रणाली संभावित विस्तार का संकेत देती है।

संक्षेप में, रामकृष्णन एक कठोर बीजगणितीय ढांचा प्रदान करते हैं जो यह सिद्ध करता है कि शैलो ReLU नेटवर्क, क्रमपरिवर्तन और धनात्मक स्केलिंग तक अपवाद स्वरूप, जेनेरिक रूप से पहचान योग्य हैं, जिसका एकमात्र अपवाद ReLU फलन के रैखिक रद्दीकरण गुण से प्राप्त एक विशिष्ट सममिति है।