तकनीकी सारांश: HALFNET: LEARNED SUBSPACE GEOMETRY के साथ RANDOMIZED NEURAL NETWORKS

1. समस्या विवरण

पारंपरिक न्यूरल नेटवर्क प्रशिक्षण में प्रत्येक भार पैरामीटर (weight parameter) को व्यक्तिगत रूप से अनुकूलित (optimize) करना शामिल है, जो गणनात्मक रूप से महंगा और पैरामीटर-भारी हो सकता है। इसके विपरीत, रैंडमाइज्ड न्यूरल नेटवर्क (जैसे, एक्सट्रीम लर्निंग मशीन्स) भारों को एक मानक वितरण (जैसे, $N(0, I)$) से प्राप्त मानों पर स्थिर रखते हैं, जिससे अनुकूलन सरल हो जाता है लेकिन अक्सर सटीक भविष्यवात्मक शक्ति (predictive power) का त्याग करना पड़ता है क्योंकि रैंडम ज्योमेट्री डेटा की संरचना के साथ संरेखित नहीं हो पाती है।

मुख्य समस्या जिसे संबोधित किया गया है वह यह है कि रैंडमाइज्ड नेटवर्क की सरलता को कैसे बनाए रखा जाए जबकि उच्च सटीकता के लिए आवश्यक डेटा-निर्भर संरचना को भी कैप्चर किया जा सके। विशेष रूप से, यह शोध इस बात की जांच करता है कि क्या भार वितरण की ज्यामिति (covariance structure) व्यक्तिगत भारों के सटीक मानों की तुलना में भविष्यवात्मक प्रदर्शन के लिए अधिक महत्वपूर्ण है, और क्या इस ज्योमेट्री को कुशलतापूर्वक सीखा जा सकता है।

2. कार्यप्रणाली: HalfNet

प्रस्तावित HalfNet फ्रेमवर्क एक स्टोकेस्टिक पैरामीट्राइजेशन पेश करता है जहाँ भार न तो एक मानक वितरण के रूप में फिक्स होते हैं और न ही व्यक्तिगत रूप से सीखे जाते हैं, बल्कि उन्हें एक सीखे गए वितरण $N(0, \Sigma)$ से सैंपल किया जाता है।

2.1. मॉडल फॉर्मूलेशन

एक हिडन यूनिट $h$ के लिए इनपुट $x$ के साथ, एक्टिवेशन को इस प्रकार परिभाषित किया गया है:
$$y_h = g(u_h(r_h^\top x) + u_{h0})$$
जहाँ $g$ एक्टिवेशन फंक्शन (जैसे, ReLU) है, और $u_h, u_{h0}$ हैं यूनिट-विशिष्ट सीखे गए स्केलिंग और ट्रांसलेशन पैरामीटर्स।

रैंडम प्रोजेक्शन वेक्टर $r_h$ को एक लो-रैंक फैक्टराइजेशन के माध्यम से उत्पन्न किया जाता है:
$$r_h = B z_h + \text{diag}(\sigma) \epsilon_h$$
जहाँ:

• $z_h \sim N_k(0, I)$ और $\epsilon_h \sim N_d(0, I)$ एक बार सैंपल किए गए और फिक्स किए गए रैंडम वेक्टर्स हैं।
• $B \in \mathbb{R}^{d \times k}$ (जहाँ $k < d$) और $\sigma \in \mathbb{R}^d$ सीखे गए पैरामीटर्स हैं जो लेयर के सभी यूनिट्स के बीच साझा (shared) हैं।
• परिणामी वितरण $r_h \sim N_d(0, \Sigma)$ है, जहाँ $\Sigma = BB^\top + \text{diag}(\sigma^2)$।

यह दृष्टिकोण रैंडमनेस (वेक्टर्स $z_h, \epsilon_h$) को ज्योमेट्री (मैट्रिक्स $B$ और स्केलिंग $\sigma$) से अलग करता है। रैंक $k$ एक हाइपरपैरामीटर के रूप में कार्य करता है जो मॉडल की जटिलता को नियंत्रित करता है, जो पूरी तरह से रैंडम यूनिट्स ($k \to 0$) और पूरी तरह से ट्रेन करने योग्य नेटवर्क के बीच इंटरपोलेशन करता है।

2.2. विस्तार (Extensions)

फ्रेमवर्क को निम्नलिखित के लिए विस्तारित किया गया है:

• बाइनरी वेट्स (Binary Weights): उत्पन्न वेक्टर्स पर साइन फंक्शन लागू करके, HalfNet बाइनरी ($\pm 1$) वेट्स बना सकता है। साइन ऑपरेशन सीखे गए कोवेरिएंस $\Sigma$ द्वारा परिभाषित कोणीय संबंधों (angular relationships) को सुरक्षित रखता है, जिससे मॉडल बाइनरी रिजीम में भी निर्भरताओं को सीखने में सक्षम होता है।
• कन्वोल्यूशनल लेयर्स (Convolutional Layers): फिल्टर्स को उसी लो-रैंक फैक्टराइजेशन का उपयोग करके बनाया जाता है, यह मानते हुए कि एक लेयर के भीतर फिल्टर्स के बीच एक साझा कोवेरिएंस स्ट्रक्चर है।
• मल्टी-लेयर आर्किटेक्चर (Multi-layer Architectures): प्रत्येक लेयर के लिए अलग-अलग सीखे गए पैरामीटर्स के साथ कई HalfNet लेयर्स को स्टैक किया जा सकता है।

3. मुख्य योगदान

1. कोवेरिएंस स्ट्रक्चर को सीखना: HalfNet रैंडम प्रोजेक्शन के व्यक्तिगत भारों के बजाय कोवेरिएंस स्ट्रक्चर को सीखता है, जो प्रभावी रूप से एक डेटा-डिपेंडेंट रैंडम एम्बेडिंग करता है।
2. रैंक के साथ स्मूथ स्केलिंग: पेपर यह प्रदर्शित करता है कि सटीकता कोवेरिएंस फैक्टर के रैंक $k$ के साथ सुचारू रूप से स्केल करती है, जो यह सुझाव देता है कि भविष्यवात्मक शक्ति का अधिकांश हिस्सा कम-आयामी ज्यामितीय संरचनाओं में निहित है।
3. बहुमुखी प्रतिभा (Versatility): यह दिखाया गया है कि फ्रेमवर्क फुली-कनेक्टेड लेयर्स, कन्वोल्यूशनल फ्रंट-एंड और बाइनरी वेट नेटवर्क के लिए लागू किया जा सकता है।
4. सैद्धांतिक व्याख्याएँ: यह विधि तीन पूरक व्याख्याएँ प्रदान करती है:
   • रैंडम प्रोजेक्शन: एक लीनियर एम्बेडिंग $x' = B^\top x$ को सीखना जिसके बाद फिक्स्ड रैंडम प्रोजेक्शन होता है।
   • मेट्रिक लर्निंग: एक महालनोबिस मेट्रिक (Mahalanobis metric) को सीखना जहाँ $B$ यह निर्धारित करता है कि किन इनपुट दिशाओं पर जोर दिया जाना चाहिए।
   • कर्नेल मेथड्स: प्रोजेक्शन वेक्टर्स के वितरण को सीखना अप्रत्यक्ष रूप से कर्नेल फंक्शन को सीखता है।

4. प्रयोगात्मक परिणाम

4.1. MNIST प्रयोग

• सिंगल हिडन लेयर (784–64–10): सीखे गए $\sigma$ और लो-रैंक $B$ वाले HalfNet वेरिएंट्स शुद्ध रैंडम नेटवर्क की तुलना में काफी बेहतर प्रदर्शन करते हैं। $k=4$ रैंक के साथ, HalfNet एक लीनियर परसेप्ट्रॉन (LP) की सटीकता से मेल खाता है, जिसमें लगभग आधे पैरामीटर्स का उपयोग होता है। $k=16$ के साथ, यह तुलनीय पैरामीटर काउंट के साथ पूरी तरह से प्रशिक्षित मल्टीलेयर परसेप्ट्रॉन (MLP) के बराबर पहुँच जाता है।
• स्पेक्ट्रल विश्लेषण (Spectral Analysis): पूरी तरह से प्रशिक्षित MLP के वेट्स के सिंगुलर वैल्यू डीकंपोजिशन (SVD) से पता चलता है कि 60% स्पेक्ट्रल एनर्जी शीर्ष 9 दिशाओं में और 80% शीर्ष 17 दिशाओं में स्थित है। यह पुष्टि करता है कि प्रशिक्षित वेट्स एक कम-आयामी सबस्पेस में होते हैं, जिसे HalfNet स्पष्ट रूप से पैरामीटराइज करता है।
• कन्वोल्यूशनल फ्रंटएंड: एक कन्वोल्यूशनल लेयर (16 फिल्टर्स) जोड़ने से सभी मॉडल्स में सुधार होता है। HalfNet को इससे काफी लाभ होता है, जो कम रैंक ($k=1$) पर भी उच्च सटीकता प्राप्त करता है, क्योंकि जटिलता फैन-इन (fan-in) के बजाय प्रभावी रैंक पर निर्भर करती है।
• दो हिडन लेयर्स: HalfNet लेयर्स (784–64–64–10) को स्टैक करने से बढ़ती रैंक के साथ बेहतर सटीकता का रुझान बना रहता है, जो इसकी गहराई (deep networks) में स्केलेबिलिटी को सिद्ध करता है।
• बाइनरी वेट्स: हालांकि बहुत कम रैंक ($k=2$) पर बाइनराइजेशन फीचर विविधता के पतन के कारण सटीकता में गिरावट का कारण बनता है, $k \ge 4$ मजबूत परिणाम देता है। $k=16$ पर, बाइनरी HalfNet 94.87% सटीकता प्राप्त करता है, जो इसके कंटीन्यूअस समकक्ष की 95.30% के करीब है।

4.2. CIFAR-10 प्रयोग

• आर्किटेक्चर: एक साधारण नेटवर्क जिसमें एक सिंगल कन्वोल्यूशनल लेयर (32 फिल्टर्स) के बाद एक बड़ा फुली-कनेक्टेड लेयर (256 यूनिट्स) है। FC लेयर में 99% से अधिक पैरामीटर्स हैं।
• प्रदर्शन: "Full–Half" कॉन्फ़िगरेशन (ट्रेन करने योग्य Conv, HalfNet FC) लगभग 8 गुना कम पैरामीटर्स के साथ पूरी तरह से प्रशिक्षित "Full–Full" बेसलाइन से मेल खाता है। $k_f=48$ पर, यह बेसलाइन प्रदर्शन से थोड़ा बेहतर प्रदर्शन करता है।
• कन्वोल्यूशनल HalfNet: कन्वोल्यूशनल लेयर पर HalfNet लागू करने ("Half–Half") से शुरुआत में प्रदर्शन में कमी आई और ट्रेनिंग धीमी हो गई, जो यह सुझाव देता है कि लो-रैंक धारणा उन लेयर्स के लिए बहुत प्रतिबंधात्मक हो सकती है जिनमें पहले से ही मजबूत स्ट्रक्चरल बाधाएं (locality, weight sharing) मौजूद हैं।

5. महत्व और दावे

पेपर दावा करता है कि HalfNet यह प्रदर्शित करता है कि प्रोजेक्शन डिस्ट्रीब्यूशन की ज्योमेट्री को सीखना पूरी तरह से प्रशिक्षित न्यूरल लेयर्स की अधिकांश भविष्यवात्मक शक्ति को कैप्चर कर सकता है, जबकि काफी कम पैरामीटर्स का उपयोग किया जाता है।

लेखक द्वारा रेखांकित किए गए मुख्य निष्कर्ष इस प्रकार हैं:

• वैल्यू से अधिक ज्योमेट्री: न्यूरल नेटवर्क की भविष्यवात्मक शक्ति व्यक्तिगत पैरामीटर्स के सटीक मानों की तुलना में वेट स्पेस की ज्योमेट्री (कोवेरिएंस स्ट्रक्चर) में अधिक निहित है।
• दक्षता (Efficiency): HalfNet फिक्स्ड रैंडम फीचर्स और पूरी तरह से ट्रेन करने योग्य नेटवर्क के बीच एक स्मूथ ट्रेड-ऑफ प्रदान करता है, जिससे अभ्यासकर्ता रैंक पैरामीटर $k$ के माध्यम से मॉडल क्षमता को ट्यून कर सकते हैं।
• लो-रैंक फैक्टराइजेशन से अंतर: नियत (deterministic) लो-रैंक मेथड्स (जैसे, $W=UV$ जहाँ दोनों सीखे जाते हैं) के विपरीत, HalfNet उस वितरण को सीखता है जिससे वेट्स सैंपल किए जाते हैं, जिससे प्रोजेक्शन वेक्टर्स स्टोकेस्टिक रहते हैं। यह विधि को रैंडम फीचर्स और कर्नेल लर्निंग से जोड़ता है।
• सीमाएँ: लाभ उच्च फैन-इन सेटिंग्स और मजबूत डेटा कोरिलेशन (जैसे, इमेज डेटा पर फुली-कनेक्टेड लेयर्स) में सबसे अधिक स्पष्ट हैं। पेपर नोट करता है कि कमजोर कोरिलेशन वाले सेटिंग्स में प्रदर्शन लाभ कम हो सकता है, और विविध डेटासेट्स पर और अधिक मूल्यांकन की आवश्यकता है।

यह कार्य HalfNet को केवल कंप्रेशन के लिए एक आर्किटेक्चरल ट्रिक के रूप में नहीं, बल्कि रैंडम एम्बेडिंग्स के माध्यम से डेटा की अंतर्निहित मेट्रिक और कर्नेल संरचना को सीखने की दिशा में एक मौलिक बदलाव के रूप में स्थापित करता है।