Approximating Simple ReLU Networks based on Spectral Decomposition of Fisher Information

तकनीकी सारांश: फिशर सूचना के स्पेक्ट्रल अपघटन (Spectral Decomposition) के आधार पर सरल ReLU नेटवर्क का सन्निकटन

समस्या विवरण
यह शोध पत्र एक दो-परत (two-layer), बायस-मुक्त (bias-free) ReLU न्यूरल नेटवर्क द्वारा प्रतिनिधित्व किए जाने वाले फलन स्थान (function space) की जांच करता है, जिसमें हिडन वेट्स (hidden weights) यादृच्छिक रूप से स्थिर होते हैं और आउटपुट वेट्स (output weights) प्रशिक्षित योग्य (trainable) होते हैं। विशेष रूप से, लेखक यह पहचानने का लक्ष्य रखते हैं कि फिशर सूचना मैट्रिक्स (Fisher Information Matrix - FIM) के प्रमुख आइगेनस्पेस (eigenspaces) के अनुरूप विशिष्ट कार्यात्मक रूप (functional forms) क्या हैं। पूर्ववर्ती कार्य [7, 8, 9] ने स्थापित किया था कि ऐसे नेटवर्कों के लिए, FIM का आइगेनवैल्यू वितरण तीन पहले आइगेनस्पेस पर भारी रूप से केंद्रित होता है, जो सामूहिक रूप से मैट्रिक्स के ट्रेस (trace) का लगभग 97.7% हिस्सा कवर करते हैं, चाहे हिडन यूनिट्स की संख्या ($m$) कुछ भी हो। जबकि स्पेक्ट्रल गुण ज्ञात थे, इन प्रमुख आइगेनस्पेस द्वारा प्रेरित विशिष्ट फलन स्थानों की पहचान अभी तक नहीं की गई थी।

कार्यप्रणाली (Methodology)
यह अध्ययन एक ऐसे मॉडल का विश्लेषण करता है जहाँ इनपुट $x \in \mathbb{R}^d$ एक मानक गॉसियन वितरण $N(0, I_d)$ का अनुसरण करता है, और आउटपुट $y = f_v(x) + \epsilon$ है, जहाँ $f_v(x) = X(x)^\top v$ है। यहाँ, $X(x) = \sigma(x^\top W)$ ReLU एक्टिवेशन $\sigma(\cdot)$ का उपयोग करके हिडन लेयर आउटपुट को दर्शाता है, जहाँ $W \in \mathbb{R}^{d \times m}$ में i.i.d. गॉसियन वेट्स $N(0, 1/m)$ शामिल हैं, और $v \in \mathbb{R}^m$ प्रशिक्षित योग्य आउटपुट वेट वेक्टर है।

कार्यप्रणाली इस प्रकार है:

1. स्पेक्ट्रल विश्लेषण (Spectral Analysis): लेखक पूर्व साहित्य से प्राप्त FIM के अनुमानित स्पेक्ट्रल अपघटन $J = \mathbb{E}_{x}[X(x)X(x)^\top]$ का उपयोग करते हैं। वे तीन प्रमुख आइगेनस्पेस पर ध्यान केंद्रित करते हैं जो सबसे बड़े आइगेनवैल्यू के अनुरूप हैं:
   • प्रथम आइगेनस्पेस (बहुलता 1) जिसका आइगेनवैल्यू $\approx (2d+1)/4\pi$ है।
   • द्वितीय आइगेनस्पेस (बहुलता $d$) जिसका आइगेनवैल्यू $1/4$ है।
   • तृतीय आइगेनस्पेस (बहुलता $d(d+1)/2 - 1$) जिसका आइगेनवैल्यू $\approx 1/(2\pi(d+2))$ है।
2. फलन स्थान मानचित्रण (Function Space Mapping): फलन स्थान में आंतरिक उत्पाद (inner product) को $\langle f, g \rangle = \mathbb{E}_{x \sim N(0, I_d)}[f(x)g(x)]$ के रूप में परिभाषित करके, लेखक पैरामीटर स्पेस ($v$) के अनुमानित आइगेनवेक्टर्स को उनके संगत स्पर्शोन्मुखी कार्यात्मक रूपों (asymptotic functional forms) में मैप करते हैं, जब $m \to \infty$ होता है।
3. स्पर्शोन्मुखी व्युत्पत्ति (Asymptotic Derivation): शोध पत्र तीन प्रमुख क्लस्टर्स से जुड़े विशिष्ट आइगेनवेक्टर्स के लिए $X(x)^\top v$ की सीमा (limit) को व्युत्पन्न करता है, जो कि गोलाकार हार्मोनिक्स (spherical harmonics) से जुड़े कार्यों के रूप में संभाव्यता में अभिसरण (convergence in probability) को सिद्ध करता है।
4. सत्यापन (Validation): सैद्धांतिक परिणामों को विभिन्न इनपुट आयामों ($d$) और हिडन लेयर आकारों ($m$) में संख्यात्मक सिमुलेशन के माध्यम से सत्यापित किया गया है, जिसमें वास्तविक नेटवर्क आउटपुट और उनके व्युत्पन्न स्पर्शोन्मुखी सीमाओं के बीच माध्य पूर्ण त्रुटि (Mean Absolute Error - MAE) को मापा गया है।

प्रमुख योगदान और परिणाम
प्राथमिक योगदान उन विशिष्ट आधार फलनों (basis functions) की पहचान करना है जो FIM के ट्रेस के 97.7% का प्रतिनिधित्व करते हैं। जैसे-जैसे $m \to \infty$ होता है, तीन प्रमुख आइगेनस्पेस के अनुरूप नेटवर्क आउटपुट निम्नलिखित रूपों में अभिसरित होते हैं:

1. प्रथम आइगेनस्पेस: फलन यूक्लिडियन नॉर्म के समान एक रेडियल घटक में अभिसरित होता है:
   $$F_0(x) \propto \|x\|$$
2. द्वितीय आइगेनस्पेस: फलन विशिष्ट निर्देशांक-आधारित रैखिक पदों में अभिसरित होते हैं:
   $$F_l(x) \propto x_l \quad \text{for } l \in \{1, \dots, d\}$$
3. तृतीय आइगेनस्पेस: फलन निर्देशांकों के गुणनफल और नॉर्म के अनुपात वाले पदों में अभिसरित होते हैं, जो विशेष रूप से डिग्री 2 के गोलाकार हार्मोनिक्स से संबंधित हैं:
   $$F_{\alpha\beta}(x) \propto \frac{x_\alpha x_\beta}{\|x\|} \quad (\alpha < \beta)$$
   $$F_\gamma(x) \propto \frac{x_\gamma^2}{\|x\|} - \text{सुधार पद (correction terms)} \quad (\gamma \in \{1, \dots, d-1\})$$

लेखक प्रदर्शित करते हैं कि ये फलन फिशर मेट्रिक के तहत फलन स्थान में लगभग ऑर्थोगोनल (orthogonal) आधार बनाते हैं। सिमुलेशन परिणाम पुष्टि करते हैं कि जैसे-जैसे $m$ बढ़ता है, नेटवर्क के वास्तविक रूप और इन सैद्धांतिक सीमाओं के बीच का माध्य पूर्ण त्रुटि (MAE) कम होता जाता है, जो इन स्पर्शोन्मुखी सन्नकनों (asymptotic approximations) को मान्य करता है।

महत्व और दावे
शोध पत्र का दावा है कि ये परिणाम अनंत-चौड़ाई सीमा (infinite-width limit) में सरल ReLU नेटवर्कों के "लर्निंग डायनेमिक्स" का एक कठोर लक्षण वर्णन प्रदान करते हैं। FIM के स्पेक्ट्रल अपघटन को विशिष्ट कार्यात्मक रूपों से जोड़कर, लेखक तर्क देते हैं कि:

• ग्रेडिएंट डिसेंट प्राथमिकता (Gradient Descent Prioritization): चूंकि ग्रेडिएंट डिसेंट हेसियन (Hessian) के बड़े आइगेनवैल्यू (जो इष्टतम के पास FIM का अनुमान लगाता है) के अनुरूप दिशाओं में तेजी से अभिसरित होता है, इसलिए नेटवर्क $\|x\|$ के समान विशेषताओं को सीखने को प्राथमिकता देता है, उसके बाद $x_l$, और फिर $x_\alpha x_\beta / \|x\|$ वाले द्विघात (quadratic) पदों को।
• न्यूरल टेंगेंट कर्नेल (NTK) से संबंध: इन परिणामों की व्याख्या दो-परत नेटवर्कों के लिए न्यूरल टेंगेंट कर्नेल के पहले तीन डिग्री के मर्सेर अपघटन (Mercer decomposition) के आइगेनवैल्यू और आइगेनफंक्शंस की पहचान के रूप में की जाती है। यह परिमित-चौड़ाई वाले FIM विश्लेषण को अनंत-चौड़ाई वाले NTK साहित्य से जोड़ता है, विशेष रूप से बीयेट्टी और मा [3] के कार्य से।
• फलन स्थान गतिशीलता (Function Space Dynamics): यह कार्य यह समझने के लिए एक ढांचा प्रदान करता है कि ओवरपैरामीटराइज्ड नेटवर्क फलनों को कैसे व्यक्त करते हैं, यह सुझाव देते हुए कि प्रारंभिक प्रशिक्षण चरण निम्न-डिग्री वाले गोलाकार हार्मोनिक फलनों (क्रम 0, 1, और 2) द्वारा नियंत्रित होता है।

सीमाएं
लेखक स्पष्ट रूप से कई सीमाओं को नोट करते हैं:

• इनपुट वितरण: ऑर्थोगोनैलिटी और विशिष्ट कार्यात्मक रूप इस बात पर अत्यधिक निर्भर हैं कि इनपुट $x$ घूर्णी रूप से अपरिवर्तनीय (rotationally invariant) (विशेष रूप से मानक गॉसियन) है। गैर-गॉसियन या गैर-घूर्णी अपरिवर्तनीय वितरण आधार फलनों के पदानुक्रम को बदल सकते हैं।
• परिमित चौड़ाई (Finite Width): विश्लेषण अनंत-चौड़ाई सीमा ($m \to \infty$) मानता है। परिमित-चौड़ाई वाले नेटवर्क स्टोकेस्टिक प्रभावों के कारण विचलन प्रदर्शित कर सकते हैं।
• डेटा मैनिफोल्ड्स (Data Manifolds): वर्तमान ढांचा उन डेटा के लिए समाधान नहीं करता है जो निम्न-आयामी मैनिफोल्ड्स पर वितरित हैं, जहाँ FIM अपभ्रष्ट (degenerate) हो सकता है।
• आर्किटेक्चर: यह अध्ययन दो-परत, बायस-मुक्त ReLU नेटवर्कों तक सीमित है; गहरे आर्किटेक्चर या विभिन्न एक्टिवेशन फंक्शन के विस्तार को इसमें शामिल नहीं किया गया है।