📊 statistics

How does feature learning reshape the function space?

यह शोधपत्र यह प्रदर्शित करता है कि दो-परत वाले न्यूरल नेटवर्क में प्रारंभिक-चरण का फीचर लर्निंग (feature learning), फीचर वितरण को एक लक्ष्य-निर्भर स्पाइक्ड गॉसियन (target-dependent spiked Gaussian) में परिवर्तित करके प्रेरित फंक्शन स्पेस (induced function space) को मौलिक रूप से नया रूप देता है, जो एक डेटा-अनुकूलित कर्नेल (data-adaptive kernel) निर्मित करता है जो केवल एक निश्चित कर्नेल को पुन: स्केल करने के बजाय सिग्नल-संरेखित दिशाओं को चुनिंदा रूप से प्रवर्धित करता है और आइगेनफंक्शंस (eigenfunctions) को मिश्रित करता है।

मूल लेखक: João Lobo, Bruno Loureiro, Long Tran-Than, Fanghui Liu

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: João Lobo, Bruno Loureiro, Long Tran-Than, Fanghui Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को फर्नीचर से भरे एक विशाल, अराजक कमरे में एक विशिष्ट पैटर्न को पहचानना सिखा रहे हैं।

पुराना तरीका (फिक्स्ड कर्नेल - Fixed Kernel):
परंपरागत रूप से, आप रोबोट को कमरे का एक कठोर, पूर्व-निर्मित नक्शा देंगे। इस नक्शे के नियम तय हैं: "यदि आप एक कुर्सी देखते हैं, तो यहाँ देखें; यदि आप एक मेज देखते हैं, तो वहाँ देखें।" रोब의 केवल इस बात को बदलकर सीख सकता है कि वह इस निश्चित नक्शे के प्रत्येक भाग पर कितना भरोसा करता है। यह एक ऐसी लाइब्रेरी में एक विशिष्ट पुस्तक खोजने जैसा है जहाँ अलमारियाँ कभी नहीं हिलतीं; आप केवल यह बदल सकते हैं कि आप शेल्फ से कौन सी किताबें निकालते हैं, शेल्फ की स्थिति को नहीं। न्यूरल नेटवर्क में यह "लेजी ट्रेनिंग" (lazy training) जैसा है—विशेषताएं (नक्शा) जमी हुई रहती हैं।

नया तरीका (फीचर लर्निंग - Feature Learning):
आधुनिक न्यूरल नेटवर्क अलग हैं। वे केवल एक निश्चित नक्शे पर भार (weights) को समायोजित नहीं करते; वे वास्तव में कमरे को ही पुनर्व्यवस्थित करने के लिए अलमारियों को हिलाते हैं। वे कमरे को खुद को इस तरह से पुनर्गठित करने के लिए सीखते हैं कि लक्षित पैटर्न को खोजना आसान हो जाए। यह शोध पत्र पूछता है: जब रोबोट सीखने का अपना पहला बड़ा कदम उठाता है, तो वह अलमारियों को ठीक कैसे हिलाता है?

यहाँ इस शोध पत्र की खोज का विवरण दिया गया, जिसे सरल रूपकों का उपयोग करके समझाया गया है:

1. "स्पाइक्ड" (Spiked) नक्शा

शोधकर्ताओं ने देखा कि क्या होता है जब रोबोट सीखने का एक विशाल कदम (एक "ग्रेडिएंट स्टेप") उठाता है। उन्होंने पाया कि कमरे का आंतरिक नक्शा जिस तरह से बदलता है, वह बहुत विशिष्ट है।

कल्पना करें कि कमरा घास का एक विशाल, समतल मैदान है (जो रैंडम डेटा का प्रतिनिधित्व करता है)। सीखने से पहले, रोबोट घास को पूरी तरह से एक समान देखता है। सीखने के एक बड़े कदम के बाद, रोबोट को अचानक उस दिशा में एक विशाल, चमकता हुआ स्पाइक (नुकीला उभार) दिखाई देता है, जो उस उत्तर की ओर इशारा कर रहा है जिसे वह ढूंढ रहा है।

यह शोध पत्र सिद्ध करता है कि यह नया नक्शा पुराने नक्शे का केवल थोड़ा बदला हुआ संस्करण नहीं है। यह ऐसा है जैसे रोबोट का बोध एक "लक्ष्य-निर्भर" (target-dependent) बल द्वारा विकृत हो गया हो। यह विशेष चश्मे पहनने जैसा है जो उत्तर की दिशा को विशाल और चमकदार बनाता है, जबकि बाकी सब कुछ अपेक्षाकृत सामान्य रहता है।

2. "फंक्शन स्पेस" (Function Space) को आकार देना

गणितीय शब्दों में, शोध पत्र "फंक्शन स्पेस" की बात करता है। आइए इसे संभावनाओं का खेल का मैदान (Playground of Possibilities) कहें।

सीखने से पहले: खेल का मैदान एक सपाट, विशेषताहीन क्षेत्र है। आप जो भी रास्ता चुनते हैं, वह किसी भी अन्य रास्ते के समान ही संभावित है।
सीखने के बाद: खेल के मैदान को नया आकार दिया जाता है। जमीन झुक जाती है। वे रास्ते जो उत्तर की ओर ले जाते हैं, वे चिकने, चौड़े राजमार्ग बन जाते हैं। वे रास्ते जो उत्तर से दूर ले जाते हैं, वे खड़ी, पथरीली चट्टानें बन जाते हैं।

यह शोध पत्र दिखाता है कि यह पुनर्गठन यादृच्छिक (random) नहीं है। यह विशेष रूप से डेटा की उन "दिशाओं" को बढ़ाता है जो उत्तर से मेल खाती हैं (सिग्नल), और विभिन्न प्रकार के पैटर्न को आपस में मिलाता है ताकि उन्हें सीखना आसान हो सके।

3. "मिक्सिंग" (Mixing) प्रभाव

सबसे दिलचस्प निष्कर्षों में से एक यह है कि रोबोट विभिन्न प्रकार के पैटर्न को कैसे जोड़ता है।
कल्पना कीजिए कि रोबोट एक जटिल आकार (जैसे एक वक्र या कर्व) सीखने की कोशिश कर रहा है।

पुराना दृष्टिकोण: रोबोट "सीधी रेखा" वाले हिस्से और "वक्र" वाले हिस्से को अलग-अलग सीखने की कोशिश कर सकता है।
नया दृष्टिकोण (फीचर लर्निंग): शोध पत्र दिखाता है कि रोबोट सीधी रेखा को वक्र के साथ मिला (mix) देता है। यह एक नया, हाइब्रिड पैटर्न बनाता है जो उत्तर के लिए पूरी तरह से अनुकूलित है।

विशेष रूप से, सामान्य "ReLU" एक्टिवेशन (एआई का एक मानक उपकरण) के लिए, रोबोट सबसे सरल पैटर्न (उत्तर की ओर इशारा करती एक सीधी रेखा) को थोड़ा अधिक जटिल पैटर्न (एक वक्र) के साथ मिलाता है। यह एक "सुपर-पैटर्न" बनाता है जो अकेले उन दोनों हिस्सों की तुलना में समस्या को हल करने में बहुत बेहतर है।

4. कदम का आकार मायने रखता है

शोध पत्र ने यह भी पाया कि रोबोट के सीखने का कदम कितना बड़ा है, इससे परिणाम बदल जाता है।

छोटे कदम: रोबोट सूक्ष्म समायोजन करता है। नक्शा थोड़ा बदलता है, लेकिन यह काफी हद तक वही पुराना नक्शा रहता है।
बड़े कदम: रोबमा एक विशाल छलांग लगाता है। इसके कारण खेल के मैदान का भारी पुनर्गठन होता है। उत्तर की दिशा में "स्पाइक" बहुत प्रमुख हो जाता है, और पैटर्न का मिश्रण बहुत अधिक आक्रामक रूप से होता है।

निचोड़ (The Bottom Line)

शोध पत्र निष्कर्ष निकालता है कि फीचर लर्निंग केवल एक निश्चित रेडियो स्टेशन पर वॉल्यूम बढ़ाने (एक निश्चित कर्नेल को रीस्केल करने) के बारे में नहीं है; बल्कि यह रेडियो को ही फिर से वायर करने जैसा है ताकि आप उस नई फ्रीक्वेंसी को ट्यून कर सकें जो आपके पसंदीदा संगीत से मेल खाती है।

एक ही बड़े कदम को लेकर, न्यूरल नेटवर्क अपने आंतरिक परिदृश्य को मौलिक रूप से बदल देता है। यह डेटा के प्रति अपने बोध को मोड़ देता है ताकि उन विशिष्ट विशेषताओं को उजागर किया जा सके जो महत्वपूर्ण हैं, जिससे यह प्रभावी रूप से सीखने के शुरुआती, धीमे चरणों को "स्किप" कर देता है और तुरंत वर्तमान समस्या के लिए एक कस्टम-मेड नक्शा बना लेता है।

तकनीकी सारांश: फीचर लर्निंग फंक्शन स्पेस को कैसे नया रूप देती है

1. समस्या का विवरण (Problem Statement)

आधुनिक न्यूरल नेटवर्क (NN), फिक्स्ड-कर्नेल विधियों (जैसे रैंडम फीचर मॉडल या लेजी ट्रेनिंग रिजीम) से इस क्षमता के कारण भिन्न हैं कि वे फीचर लर्निंग (feature learning) कर सकते हैं—अर्थात प्रशिक्षण के दौरान डेटा की संरचना के अनुकूल अपने आंतरिक प्रतिनिधित्व (internal representations) को ढाल सकते हैं। हालाँकि फीचर लर्निंग की सफलता का श्रेय अक्सर इस तंत्र को दिया जाता है, लेकिन प्रेरित फंक्शन स्पेस (function space) पर इसके सटीक प्रभाव को अभी तक पूरी तरह से समझा नहीं जा सका है। कर्नेल और न्यूरल नेटवर्क के मौजूदा लक्षण वर्णन (characterizations) काफी हद तक स्थिर (static) हैं; वे इनिशियलाइजेशन या अनंत-चौड़ाई की सीमा में फंक्शन स्पेस का वर्णन करते हैं, लेकिन यह समझाने में विफल रहते हैं कि प्रशिक्षण एल्गोरिदम, विशेष रूप से ग्रेडिएंट डिसेंट, इस स्पेस को गतिशील रूप से कैसे नया रूप देते हैं।

यह कार्य इस प्रश्न को संबोधित करता है: ग्रेडिएंट अपडेट के तहत कर्नेल (और संबंधित फंक्शन स्पेस) कैसे विकसित होता है, और कौन सी जानकारी क्रमिक रूप से सीखी जाती है? लेखक एक दो-परत वाले न्यूरल नेटवर्क के पहले-परत के भार (weights) पर एक एकल बड़े ग्रेडिएंट डिसेंट स्टेप के बाद फीचर लर्निंग का विश्लेषण करते हैं। यह सेटअप एक गॉसियन सिंगल-इंडेक्स मॉडल पर आधारित है, जो उन कार्यों के सबसे सामान्य वर्ग को पकड़ने के लिए जाना जाता है जिन्हें हाई-डायमेंशनल प्रोपोर्शनल रिजीम में सीखा जा सकता है।

सेटअप में शामिल है:

डेटा मॉडल: एक गॉसियन सिंगल-इंडेक्स मॉडल $y_i = g(\langle w^*, x_i \rangle) + \epsilon_i$ , जहाँ $x_i \sim \mathcal{N}(0, I_d)$ ।
नेटवर्क आर्किटेक्चर: एक दो-परत वाला नेटवर्क $f(x) = \frac{1}{\sqrt{m}} \sum_{j=1}^m a_j \sigma(w_j^\top x)$ जिसमें ReLU या सामान्य लिप्सचिट्ज़ (Lipschitz) एक्टिवेशन का उपयोग किया गया है।
ट्रेनिंग रिजीम: "प्रोपोर्शनल रिजीम" जहाँ नमूनों की संख्या $n$ , हिडन यूनिट्स $m$ , और डायमेंशन $d$ निश्चित अनुपातों ( $\alpha = n/d, \beta = m/d$ ) पर अनंत की ओर बढ़ते हैं। स्टेप साइज $\eta$ को $\Theta(d^\zeta)$ के रूप में स्केल किया जाता है जहाँ $\zeta \in [1/2, 1)$ है, जो महत्वपूर्ण वेट अपडेट की अनुमति देता है।
दो-चरणीय प्रशिक्षण (Two-Stage Training):
1. फीचर लर्निंग: एक एकल ग्रेडिएंट स्टेप पहले-परत के भार $W$ को अपडेट करता है जबकि दूसरे स्तर $a$ को स्थिर रखता है।
2. लीनियर रीडआउट: दूसरे-परत के भारों को नमूनों के एक नए सेट पर रिज रिग्रेशन (ridge regression) के माध्यम से अनुकूलित किया जाता है।

मुख्य विश्लेषणात्मक दृष्टिकोण अपडेट के बाद पोस्ट-अपडेट फीचर डिस्ट्रीब्यूशन को लक्षणबद्ध करना और परिणामी डेटा-एडेप्टिव कर्नेल (data-adaptive kernel) को व्युत्पन्न करना है। लेखक रैंडम मैट्रिक्स थ्योरी, इंटीग्रल ऑपरेटर्स के स्पेक्ट्रल विश्लेषण और टेलर-जैसे एक्सपेंशन का उपयोग करके अपडेटेड कर्नेल को प्रारंभिक आइसोट्रोपिक कर्नेल से जोड़ने के लिए करते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक दो-परत वाले नेटवर्क के पहले-परत के भारों पर एकल बड़े ग्रेडिएंट डिसेंट स्टेप के बाद फंक्शन स्पेस के विकास का विश्लेषण करते हैं। सेटअप में शामिल है:

डेटा मॉडल: एक गॉसियन सिंगल-इंडेक्स मॉडल $y_i = g(\langle w^*, x_i \rangle) + \epsilon_i$ , जहाँ $x_i \sim \mathcal{N}(0, I_d)$ ।
नेटवर्क आर्किटेक्चर: एक दो-परत वाला नेटवर्क $f(x) = \frac{1}{\sqrt{m}} \sum_{j=1}^m a_j \sigma(w_j^\top x)$ जिसमें ReLU या सामान्य लिप्सचिट्ज़ एक्टिवेशन है।
ट्रेनिंग रिजीम: "प्रोपोर्शनल रिजीम" जहाँ नमूनों की संख्या $n$ , हिडन यूनिट्स $m$ , और डायमेंशन $d$ निश्चित अनुपातों ( $\alpha = n/d, \beta = m/d$ ) पर अनंत की ओर बढ़ते हैं। स्टेप साइज $\eta$ को $\Theta(d^\zeta)$ के रूपas स्केल किया जाता है, जहाँ $\zeta \in [1/2, 1)$ है, जो महत्वपूर्ण वेट अपडेट की अनुमति देता है।
दो-चरणीय प्रशिक्षण:
1. फीचर लर्निंग: एक एकल ग्रेडिएंट स्टेप पहले-परत के भार $W$ को अपडेट करता है जबकि दूसरे स्तर $a$ को स्थिर रखता है।
2. लीनियर रीडआउट: दूसरे-परत के भारों को फ्रेश सैंपल्स पर रिज रिग्रेशन के माध्यम से अनुकूलित किया जाता है।

मुख्य विश्लेषणात्मक दृष्टिकोण अपडेटेड फीचर डिस्ट्रीब्यूशन को लक्षणबद्ध करना और परिणामी डेटा-एडेप्टिव कर्नेल को व्युत्पन्न करना है। लेखक रैंडम मैट्रिक्स थ्योरी, इंटीग्रल ऑपरेटर्स के स्पेक्ट्रल विश्लेषण और टेलर-जैसे एक्सपेंशन का उपयोग करके अपडेटेड कर्नेल को प्रारंभिक आइसोट्रोपिक कर्नेल से जोड़ने के लिए करते हैं।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

A. टारगेट-डिपेंडेंट स्पाइक्ड गॉसियन द्वारा सन्निकटन (Approximation by a Target-Dependent Spiked Gaussian)

पेपर यह सिद्ध करता है कि एक बड़े ग्रेडिएंट स्टेप के बाद, सीखे गए फीचर्स का वितरण एक टारगेट-डिपेंडेंट स्पाइक्ड गॉसियन द्वारा अच्छी तरह से अनुमानित किया जाता है। विशेष रूप से, फीचर वेट्स का कोवेरिएंस मैट्रिक्स आइसोट्रोपिक रूप से बदलकर यह हो जाता है:
$\Gamma = A I_d + B w^* (w^*)^\top$
जहाँ $A$ और $B$ स्टेप साइज, डेटा डायमेंशन और लिंक फंक्शन $g$ पर निर्भर स्थिरांक (constants) हैं। यह एक डेटा-एडेप्टिव कर्नेल $k_1$ की ओर ले जाता है जिसे इस प्रकार व्यक्त किया जा सकता है:
$k_1(x, x') = k_0(\Gamma^{1/2}x, \Gamma^{1/2}x')$
यह फॉर्मूलेशन फीचर लर्निंग को या तो पैरामीटर स्पेस में एक डिस्ट्रीब्यूशनल ट्रांसफॉर्मेशन (वेट डिस्ट्रीब्यूशन को शिफ्ट करना) या इनपुट स्पेस में एक ट्रांसफॉर्मेशन (डेटा रिप्रेजेंटेशन को बदलना) के रूप में व्याख्यायित करता है।

B. स्पेक्ट्रल एक्सपेंशन और कर्नेल विरूपण (Spectral Expansion and Kernel Deformation)

लेखक प्रारंभिक आइसोट्रोपिक कर्नेल $k_0$ के आसपास नए कर्नेल $k_1$ का टेलर एक्सपेंशन करते हैं। वे प्रदर्शित करते हैं कि "स्पाइक" ( $w^*$ के साथ संरेखित रैंक-वन अपडेट) उच्च-क्रम के पदों (higher-order terms) को पेश करता है जो डायमेंशन बढ़ने के साथ लुप्त हो जाते हैं, जिससे एक प्रभावी डोमिनेंट फर्स्ट-ऑर्डर परटर्बेशन बचता है।

परिणाम: फीचर लर्निंग प्रक्रिया प्रभावी रूप से एक अतिरिक्त, टारगेट-डिपेंडेंट कर्नेल घटक लागू करती है।
तंत्र (Mechanism): यह घटक लक्षित दिशा $w^*$ के साथ संरेखित आइजनवैल्यूज (eigenvalues) को चुनिंदा रूप से बढ़ाता है और अग्रणी आइजनफंक्शंस (eigenfunctions) को मिश्रित करता है।

C. ReLU एक्टिवेशन के लिए स्पष्ट लक्षण वर्णन (Explicit Characterization for ReLU Activations)

ReLU एक्टिवेशन के विशिष्ट मामले के लिए, लेखक एक सटीक स्पेक्ट्रल विश्लेषण प्रदान करते हैं:

लीनियर आइजनस्पेस: टारगेट के साथ संरेखित लीनियर फंक्शन, $\psi^*(x) = \langle x, w^* \rangle$ , अपने आइजनवैल्यू के लिए एक चयनात्मक बूस्ट (selective boost) प्राप्त करता है। $w^*$ के लंबवत (orthogonal) लीनियर फंक्शन अप्रभावित रहते हैं।
टॉप आइजनस्पेस मिक्सिंग: अपडेटेड ऑपरेटर का शीर्ष आइजनफंक्शन केवल कांस्टेंट हार्मोनिक (जैसा कि प्रारंभिक कर्नेल में है) नहीं रहता, बल्कि यह कांस्टेंट रेडियल मोड ( $Y_0$ ) और एक टारगेट-अलाइन्ड क्वाड्रेटिक हार्मोनिक ( $Y_2$ ) का एक सुपरपोजिशन बन जाता है।
कपलिंग (Coupling): यह प्रकट करता है कि फीचर लर्निंग टॉप रेडियल मोड को सिग्नल के साथ संरेखित क्वाड्रेटिक हार्मोनिक के साथ जोड़ती है, जिससे प्रभावी रूप से फंक्शन स्पेस की ज्यामिति को उन दिशाओं को प्राथमिकता देने के लिए पुनर्गठित किया जाता है जिनमें सिग्नल मौजूद है।

D. संख्यात्मक सत्यापन (Numerical Validation)

सिंथेटिक डेटा पर प्रयोगों से सैद्धांतिक निष्कर्षों की पुष्टि होती है:

एलाइनमेंट: अपडेटेड कर्नेल ( $k_1$ ) का अग्रणी आइजनवेक्टर $Y_2$ के साथ बढ़ता हुआ संरेखण दिखाता है जैसे-जैसे स्पाइक स्ट्रेंथ $B$ बढ़ता है, जबकि प्रारंभिक कर्नेल ( $k_0$ ) में ऐसा कोई संरेखण नहीं दिखता।
जनरलाइजेशन: एक एकल ग्रेडिएंट स्टेप के साथ प्रशिक्षित न्यूरल नेटवर्क स्पाइक्ड कर्नेल $k_1$ के प्रदर्शन की ओर अभिसरित (converge) होते हैं, जो टारगेट फंक्शन को सीखने में फिक्स्ड कर्नेल $k_0$ की तुलना में बेहतर प्रदर्शन करते हैं, विशेष रूप से जब टारगेट में नॉन-लीनियर घटक होते हैं।

4. महत्व और दावे (Significance and Claims)

यह पेपर प्रारंभिक-चरण की फीचर लर्निंग के लिए एक सटीक फंक्शन-स्पेस परिप्रेक्ष्य प्रदान करता है। इसका प्राथमिक दावा यह है कि ग्रेडिएंट डिसेंट केवल एक फिक्स्ड कर्नेल को रीस्केल नहीं करता है; बल्कि, यह फंक्शन स्पेस का एक डेटा-एडेप्टिव विरूपण (data-adaptive deformation) प्रेरित करता है।

सीखने का तंत्र (Mechanism of Learning): फीचर लर्निंग को एक ऐसे ट्रांसफॉर्मेशन के रूप में वर्णित किया गया है जो फंक्शन स्पेस में उन दिशाओं को प्राथमिकता से बढ़ाता है जो डेटा में सिग्नल के साथ संरेखित हैं।
स्टेप साइज निर्भरता: इस ट्रांसफॉर्मेशन का परिमाण स्टेप साइज द्वारा नियंत्रित होता है; बड़े स्टेप्स अधिक तीव्र विरूपण (deformations) उत्पन्न करते हैं और लीनियर तथा उच्च-क्रम के नॉन-लीनियर फीचर्स दोनों के योगदान को बढ़ाते हैं।
सैद्धांतिक सेतु (Theoretical Bridge): परिणाम डेटा-एडेप्टिव कर्नेल और न्यूरल नेटवर्क के बीच के अंतर को पाटते हैं, यह सुझाव देते हुए कि फीचर लर्निंग के "जादू" को इस दृष्टि से समझा जा सकता है कि कर्नेल की स्पेक्ट्रल संरचना को टारगेट फंक्शन के साथ संरेखित करने के लिए कैसे संशोधित किया जाता है।

लेखक निष्कर्ष निकालते हैं कि इन डिस्ट्रीब्यूशनल शिफ्ट्स को समझना इन एडेप्टेड कर्नेल्स के साथ नेटवर्क को सीधे इनिशियलाइज करने के माध्यम से शुरुआती ट्रेनिंग चरणों को "स्किप" करने का एक संभावित मार्ग प्रदान करता है, हालांकि वे इसे वर्तमान कार्य में एक प्रदर्शित अनुप्रयोग के बजाय भविष्य के अनुसंधान की दिशा के रूप में नोट करते हैं।