📊 statistics

Sharp feature-learning transitions and Bayes-optimal neural scaling laws in extensive-width networks

यह शोध पत्र यह स्थापित करता है कि उच्च-आयामी, विस्तृत-चौड़ाई वाले न्यूरल नेटवर्क में पदानुक्रमित विशेषताओं (hierarchical features) को सीखते समय, विशेषता अधिग्रहण (feature acquisition) तीक्ष्ण क्रमिक चरण संक्रमणों (sharp sequential phase transitions) के माध्यम से होता है जो एक "प्रभावी चौड़ाई" (effective width) को परिभाषित करते हैं और विशिष्ट सामान्यीकरण त्रुटि स्केलिंग नियमों (generalization error scaling laws) को एक एकल इष्टतम संबंध में एकीकृत करते हैं, जिसे एडम-प्रशिक्षित छात्रों (Adam-trained students) द्वारा अनुभवजन्य रूप से प्राप्त किया जा सकता है।

मूल लेखक: Minh-Toan Nguyen, Jean Barbier

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minh-Toan Nguyen, Jean Barbier

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छोटे, उत्साही प्रशिक्षु (छात्र AI) को एक उत्कृष्ट कृति (मास्टरपीस) पेंट करना सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास कला के सबक (डेटा) की एक सीमित संख्या और आपूर्ति के लिए एक विशिष्ट बजट है। मुख्य चित्रकार (शिक्षक AI) पहले से ही पेंटिंग करना जानता है, लेकिन उनकी शैली कौशल के एक पदानुक्रम (hierarchy) पर आधारित है: कुछ बुनियादी हैं (जैसे ब्रश पकड़ना), जबकि अन्य सूक्ष्म बारीकियां हैं (जैसे गोधूलि बेला के एक विशिष्ट नीले रंग का मिश्रण करना)।

यह शोध एक बहुत ही विशिष्ट प्रश्न की जांच करता है: एक निश्चित मात्रा में अभ्यास डेटा (data) दिए जाने पर, छात्र को मास्टर से सबसे अधिक सीखने के लिए उसके "मस्तिष्क" (न्यूरॉन्स या फीचर्स की संख्या) का आकार कितना बड़ा होना चाहिए?

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "गोल्डिलॉक्स" चौड़ाई (The "Goldilocks" Width)

शोधकर्ताओं ने पाया कि छात्र मॉडल के लिए एक "गोल्डिलॉक्स" आकार होता है।

बहुत छोटा: यदि छात्र बहुत संकीर्ण है, तो वे मास्टर की शैली को सीखने के लिए पर्याप्त अवधारणाओं (concepts) को धारण नहीं कर सकते। वे महत्वपूर्ण विवरणों को चूक जाते हैं।
बहुत बड़ा: आश्चर्यजनक रूप से, यदि छात्र बहुत अधिक चौड़ा है (बहुत अधिक न्यूरॉन्स), तो वे वास्तव में बदतर प्रदर्शन करते हैं। क्यों? क्योंकि बहुत अधिक क्षमता के साथ, छात्र डेटा के "शोर" (noise) या यादृच्छिक गलतियों को याद करने की कोशिश करने लगता है, न कि वास्तविक पैटर्न को। यह एक ऐसे छात्र की तरह है जो मास्टर द्वारा किए गए हर एक ब्रशस्ट्रोक को याद करने की कोशिश करता है, जिसमें अनजाने में गिरे हुए छींटे भी शामिल हैं, और अंत में भ्रमित हो जाता है।
बिल्कुल सही: एक विशिष्ट "प्रभावी चौड़ाई" ( $k_c$ ) होती है। यदि छात्र का आकार ठीक इसी के अनुरूप है, तो वे सबसे महत्वपूर्ण विशेषताओं को पूरी तरह से सीखते हैं और बाकी को अनदेखा कर देते हैं।

2. सीखने की "सीढ़ी" (The "Staircase" of Learning)

शोध पत्र बताता है कि सीखना एक सुचारू ढलान के रूप में नहीं, बल्कि एक सीढ़ी के रूप में होता है।
कल्पना कीजिए कि विशेषताएं (कौशल) एक रेखा में व्यवस्थित हैं, जो "सीखने में सबसे आसान" से "सीखने में सबसे कठिन" की ओर जाती हैं।

जैसे-जैसे आप छात्र को अधिक डेटा देते हैं, वे सब कुछ एक साथ नहीं सीखते हैं।
इसके बजाय, वे सबसे आसान विशेषता में महारत हासिल करते हैं, फिर अचानक अगले कौशल की ओर "कूदते" हैं, फिर अगले की ओर।
शोध पत्र दिखाता है कि यह तीव्र संक्रमणों (sharp transitions) के माध्यम से होता है। यह एक लाइट स्विच की तरह है: एक विशेषता या तो पूरी तरह से सीखी गई है या बिल्कुल नहीं सीखी गई है। इन विशिष्ट प्रकार के नेटवर्क के लिए कोई "आधा-सीखा हुआ" (half-learned) अवस्था नहीं होती है।

3. सीखने की दो गति (The Two Speeds of Learning)

शोधकर्ताओं ने पाया कि छात्र का प्रदर्शन दो अलग-अलग गतियों से सुधरता है, जो इस बात पर निर्भर करता है कि उनके पास कितना डेटा है:

"विशेषता-सीखने" का चरण (धीमा) (The "Feature-Learning" Phase): जब डेटा कम होता है, तो छात्र यह समझने में व्यस्त होता है कि कौन से नए कौशल सीखने हैं। हर बार जब वे सीढ़ी के एक नए "कदम" को सीखते हैं, तो उनकी त्रुटि (error) कम हो जाती है, लेकिन यह एक धीमी प्रक्रिया है।
"परिष्करण" का चरण (तेज़) (The "Refinement" Phase): एक बार जब छात्र उन सभी कौशलों में महारत हासिल कर लेता है जिन्हें वे सीख सकते हैं (प्रभावी चौड़ाई तक पहुँच जाते हैं), तो वे नई चीजें खोजना बंद कर देते हैं। इसके बजाय, वे जो पहले से जानते हैं उसे बस निखारते हैं। इस चरण में, अधिक डेटा जोड़ने से वे बहुत तेज़ी से पूर्णता की ओर बढ़ते हैं।

4. "प्रभावी चौड़ाई" का सूत्र (The "Effective Width" Formula)

शोध पत्र यह अनुमान लगाने के लिए एक गणितीय नियम प्रदान करता है कि एक छात्र कितने फीचर्स सीख सकता है।

इसे एक क्षमता सीमा (capacity limit) के रूप में सोचें। यदि आपके पास पानी की एक छोटी बाल्टी (डेटा) है, तो आप केवल एक छोटा कप (कुछ फीचर्स) भर सकते हैं। यदि आपके पास डेटा की एक विशाल झील है, तो आप एक बड़ा बाल्टी भर सकते हैं।
लेखकों ने पाया कि यह सीमा ( $k_c$ ) ऊपर बताए गए दो चरणों को एकीकृत करती है। चाहे आप धीमी अवस्था में हों या तेज़ अवस्था में, त्रुटि दर हमेशा डेटा और प्रभावी चौड़ाई के अनुपात द्वारा निर्धारित होती है।

5. वास्तविक दुनिया का सत्यापन (Real-World Validation)

टीम ने केवल गणित नहीं किया; उन्होंने ADAM नामक एक सामान्य प्रशिक्षण पद्धति का उपयोग करके वास्तविक कंप्यूटर सिमुलेशन के साथ परीक्षण किया।

उन्होंने पाया कि वास्तविक दुनिया का प्रशिक्षण लगभग उनके सैद्धांतिक "परफेक्ट" छात्र की तरह व्यवहार करता है, बशर्ते छात्र का आकार सही हो।
एकमात्र मामूली अंतर यह है कि वास्तविक दुनिया का छात्र कभी-कभी बहुत कठिन, बहुत सूक्ष्म विशेषताओं (सबसे कमजोर कड़ियों) के साथ थोड़ा संघर्ष करता है, संभवतः इसलिए क्योंकि प्रशिक्षण एल्गोरिदम "गॉड-मोड" (बेयस-ऑप्टिमल) लर्नर की तरह पूरी तरह से सटीक नहीं है।

सारांश

संक्षेप में, यह शोध पत्र सिद्ध करता है कि एक विशिष्ट प्रकार की पदानुक्रमित संरचना वाले न्यूरल नेटवर्क के लिए:

बड़ा होना हमेशा बेहतर नहीं होता। आपके पास मौजूद डेटा के आधार पर एक मॉडल का एक इष्टतम आकार होता है।
सीखना क्रमिक है। मॉडल एक-एक करके विशेषताओं को सीखते हैं, जो एक तीव्र, चरण-दर-चरण प्रक्रिया है।
आप सीमा का अनुमान लगा सकते हैं। आप मॉडल को प्रशिक्षित करने से पहले ही गणना कर सकते हैं कि वह कितने फीचर्स सीखेगा, केवल डेटा की मात्रा और कार्य की जटिलता को देखकर।

यह समझाने में मदद करता है कि क्यों बड़े AI मॉडल सरल "पावर लॉ" (सुधार के अनुमानित पैटर्न) का पालन करते हैं, और यह सुझाव देता है कि सर्वोत्तम प्रदर्शन प्राप्त करने के लिए, हमें अपने मॉडल के आकार को केवल जितना बड़ा हो सके बनाने के बजाय, अपने डेटा के अनुरूप आकार देना चाहिए।

तकनीकी सारांश: व्यापक-चौड़ाई वाले नेटवर्क्स में शार्प फीचर-लर्निंग ट्रांजिशन और बेयस-ऑप्टिमल न्यूरल स्केलिंग लॉज़

समस्या सेटअप
यह शोध पत्र शोर वाले प्रश्नों (noisy queries) से पदानुक्रमित विशेषताओं (hierarchical features) वाले एक वन-हिडन-लेयर टीचर न्यूरल नेटवर्क को सीखने की सूचना-सैद्धांतिक सीमाओं की जांच करता है, विशेष रूप से एक छोटे स्टूडेंट मॉडल में ज्ञान हस्तांतरण (knowledge transfer) के संदर्भ में। यह अध्ययन एक्स्टेंसिव-विड्थ रिजीम (extensive-width regime) में संचालित होता है, जहाँ टीचर की चौड़ाई $k$ , इनपुट आयाम $d$ के साथ रैखिक रूप से स्केल करती है ( $k = \Theta(d)$ )। यह सेटिंग मल्टी-इंडेक्स रिजीम ( $k = \Theta(1)$ ) और न्यूरल टेंगेंट कर्नल (NTK) रिजीम ( $k \gg d$ ) के बीच स्थित है, जो व्यावहारिक नेटवर्क्स की "बड़ी-लेकिन-परिमित" (large-but-finite) चौड़ाई को कैप्चर करती है।

टीचर नेटवर्क लेबल $y_\mu = v^\top \sigma(W_0 x_\mu)$ उत्पन्न करता है, जहाँ इनपुट्स $x_\mu \sim \mathcal{N}(0, I_d)$ हैं, जिसमें योगात्मक गॉसियन शोर (additive Gaussian noise) शामिल है। रीडआउट वेक्टर $v$ एक पदानुक्रमित संरचना का पालन करता है (जैसे, पावर-लॉ डिके $v_i \propto i^{-\beta}$ ), जिसका अर्थ है कि विशेषताओं का महत्व ज्यामितीय रूप से घटता जाता है। लेखक दो प्रकार के लर्नर्स का विश्लेषण करते हैं:

बेयसियन स्टूडेंट (Bayesian Student): यह डेटा जनरेशन मैकेनिज्म (एक्टिवेशन $\sigma$ , शोर वेरिएंस $\Delta$ , रीडआउट $v$ ) को जानता है, लेकिन विशिष्ट टीचर वेट्स $W_0$ को नहीं। यह पोस्टीरियर मीन के माध्यम से भविष्यवाणी करता है, जिससे बेयस-ऑप्टिमल एरर ( $\varepsilon_{BO}$ ) प्राप्त होता है।
एसजीडी स्टूडेंट (SGD Student): एक वन-हिडन-लेयर नेटवर्क जिसकी चौड़ाई $k_s \leq k$ है और जिसे ADAM के साथ प्रशिक्षित किया गया है।

मुख्य प्रश्न जिनका समाधान किया गया है: (Q1) दिए गए फिक्स्ड डेटासेट के लिए, कौन सी टीचर फीचर्स सांख्यिकीय रूप से रिकवरेबल (recoverable) हैं? और (Q2) रिकवरेबल फीचर्स का उपसमुच्चय (subset), डेटा आकार $n$ के सापेक्ष $\varepsilon_{BO}$ के स्केलिंग लॉ को कैसे बाधित करता है?

कार्यप्रणाली (Methodology)
लेखक एक ह्यूरिस्टिक लीव-वन-आउट (कैविटी) डीकप्लिंग तर्क (heuristic leave-one-out (cavity) decoupling argument) का उपयोग करते हैं, जो सांख्यिकीय भौतिकी में एक मानक तकनीक है, ताकि लर्निंग प्रक्रिया का स्पर्शोन्मुख रूप से शार्प लक्षण वर्णन (asymptotically sharp characterization) प्राप्त किया जा सके।

डीकप्लिंग (Decoupling): यह विधि अन्य सभी फीचर्स के योगदान को एक प्रभावी शोर टर्म के रूप में मानकर, एकल फीचर $w_i$ के योगदान को अलग करती है।
गॉसियन धारणा (Gaussian Assumption): लेखक यह मानते हैं कि "कैविटी फील्ड्स" (अन्य फीचर्स से प्रभावी शोर) स्वतंत्र गॉसियन वेरिएबल्स की तरह व्यवहार करते हैं। यह मल्टी-फीचर इन्फरेंस समस्या को स्वतंत्र स्केलर जनरल लाइनियर मॉडल्स (GLMs) के एक अनुक्रम में बदल देता है।
फिक्स्ड-पॉइंट सिस्टम (Fixed-Point System): वास्तविक फीचर दिशा और पोस्टीरियर एस्टीमेट के बीच ओवरलैप का विश्लेषण करके, लेखक फिक्स्ड-पॉइंट समीकरणों का एक क्लोज्ड सिस्टम प्राप्त करते हैं। ये समीकरण फीचर $i$ के ओवरलैप $q_i$ को सिग्नल-टू-नॉइज़ रेशियो (SNR) और ग्लोबल जनरलाइजेशन एरर $\varepsilon$ से जोड़ते हैं।
वैलिडेशन (Validation): सैद्धांतिक भविष्यवाणियों को विभिन्न पैरामीटर रिजीम्स में हैमिल्टोनियन मोंटे कार्लो (HMC) सिमुलेशन का उपयोग करके मान्य किया गया है, जो $d \sim 10^2$ जैसे मध्यम आयामों पर भी उत्कृष्ट सहमति दिखाते हैं।

मुख्य परिणाम

फीचर-लर्निंग ट्रांजिशन का शार्प स्टेयरकेस (Sharp Staircase of Feature-Learning Transitions):
विश्लेषण से पता चलता है कि फीचर लर्नेबिलिटी एक शार्प फेज ट्रांजिशन द्वारा नियंत्रित होती है। एक फीचर $i$ रिकवरेबल (ओवरलैप $q_i > 0$ ) है यदि और केवल यदि इसका प्रभावी SNR, $snr_i = \frac{(n/d)v_i^2}{\Delta + \varepsilon_{BO}}$ , एक क्रिटिकल एक्टिवेशन-डिपेंडेंट थ्रेशोल्ड $\lambda_\sigma$ से अधिक है।

जैसे-जैसे डेटा आकार $n$ बढ़ता है, फीचर्स इस थ्रेशोल्ड को क्रमिक रूप से पार करते हैं, जो सबसे मजबूत (सबसे बड़े $v_i$ ) से शुरू होता है।
इसके परिणामस्वरूप फीचर ओवरलैप्स में विच्छिन्न उछाल (discontinuous jumps) और कोरेस्पोंडिंग जनरलाइजेशन एरर में गिरावट का एक "स्टेयरकेस" (सीढ़ीनुमा स्वरूप) दिखाई देता है, न कि एक स्मूथ ट्रांजिशन।

प्रभावी चौड़ाई ( $k_c$ ) और एरर डिकंपोजिशन (Effective Width and Error Decomposition):
दिए गए डेटा बजट पर सीखने योग्य फीचर्स की संख्या को प्रभावी चौड़ाई $k_c = |\{i : q_i > 0\}|$ के रूप में परिभाषित किया गया है। बेयस-ऑप्टिमल एरर दो पदों में विभाजित होता है:
$\varepsilon_{BO} = \Theta\left(\frac{k_c d}{n}\right) + \Theta\left(\sum_{j > k_c} v_j^2\right)$
पहला पद सीखने योग्य फीचर्स पर एस्टीमेशन एरर (जो प्रत्येक फीचर के लिए $d/n$ के रूप में स्केल करता है) को दर्शाता है, जबकि दूसरा पद अनलर्नेबल फीचर्स से होने वाले अपरिहार्य बायस (irreducible bias) को दर्शाता है।
एकीकृत स्केलिंग लॉ (Unified Scaling Laws):
एक्सपोनेंट $\beta > 1/2$ वाले पावर-लॉ रीडआउट के लिए, पेपर दो अलग-अलग स्केलिंग रिजीम्स का वर्णन करता है जो संबंध $\varepsilon_{BO} = \Theta(k_c d / n)$ के तहत एकीकृत होते हैं:

फीचर-लर्निंग रिजीम ( $n \ll k^{2\beta}d$ ): यहाँ, $k_c \sim (n/d)^{1/(2\beta)}$ । एरर $\varepsilon_{BO} \sim n^{1/(2\beta) - 1}$ के रूप में स्केल करता है। इस रिजीम में, मॉडल उन फीचर्स की संख्या द्वारा सीमित होता है जिन्हें वह सीख सकता है।
रिफाइनमेंट रिजीम ( $n \gg k^{2\beta}d$ ): सभी फीचर्स सीखने योग्य हैं ( $k_c = k$ )। एरर $\varepsilon_{BO} \sim n^{-1}$ के रूप में स्केल करता है, जो क्लासिकल पैरामेट्रिक रेट को रिकवर करता है।
क्रॉसओवर पॉइंट $n^\star = \Theta(k^{2\beta}d)$ उस ट्रांजिशन को चिह्नित करता है जहाँ सबसे कमजोर फीचर सीखने योग्य बनता है।

SGD-प्रशिक्षित स्टूडेंट्स के लिए निहितार्थ (Implications for SGD-Trained Students):
अनुभवजन्य परिणाम दिखाते हैं कि एक ADAM-प्रशिक्षित स्टूडेंट, जिसकी चौड़ाई $k_c$ के करीब है, इन इष्टतम स्केलिंग लॉ को (एक छोटे एल्गोरिथमिक गैप के साथ) प्राप्त करता है।

यदि $k_s < k_c$ है, तो स्टूडेंट अपनी क्षमता (capacity) के कारण अंडरफिट करता है।
यदि $k_s \gg k_c$ है, तो स्टूडेंट नॉन-लर्नेबल दिशाओं पर ओवरफिट करता है, जिससे प्रदर्शन गिर जाता है।
इष्टतम स्टूडेंट विड्थ, फीचर पदानुक्रम के अनुसार डेटा बजट के साथ स्केल करती है, जो हाइपरपैरामीटर ट्रांसफर के लिए एक सैद्धांतिक आधार प्रदान करती है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि यह हिएरार्किकल फीचर्स और वैनिशिंग सेकंड हर्मिट कोएफिशिएंट ( $\mu_2 = 0$ ) वाले एक्स्टेंसिव-विड्थ रिजीम ( $k = \Theta(d)$ ) में बेयस-ऑप्टिमल लर्निंग का पहला विश्लेषणात्मक लक्षण वर्णन प्रदान करता है।

एकीकरण (Unification): यह दो पहले से अलग ज्ञात अनुभवजन्य स्केलिंग रिजीम्स (फीचर-लर्निंग और रिफाइनमेंट) को प्रभावी चौड़ाई $k_c$ द्वारा संचालित एक एकल ढांचे के तहत एकीकृत करता है।
मैकेनिज्म (Mechanism): यह व्यवहार में देखे गए "स्टेयरकेस" लर्निंग डायनेमिक्स के लिए एक यांत्रिक स्पष्टीकरण प्रदान करता है, जिसे फीचर रिकवरेबिलिटी में क्रमिक फेज ट्रांजिशन के रूप में समझाया गया है।
मेथोडोलॉजिकल योगदान (Methodological Contribution): यह कार्य डेंस रीडआउट्स से परे произвольный (arbitrary) रीडआउट स्ट्रक्चर (जिसमें स्पार्स और पावर-लॉ शामिल हैं) के लिए कैविटी मेथड का विस्तार करता है, डेंस रीडआउट्स के ज्ञात परिणामों को रिकवर करते हुए स्पार्स सेटिंग्स के लिए सामान्यीकृत करता है जहाँ एरर डिके रेट काफी भिन्न होते हैं।
व्यावहारिक अंतर्दृष्टि (Practical Insight): व्युत्पन्न प्रभावी चौड़ाई $k_c$ , स्टूडेंट मॉडल के आकार को निर्धारित करने के लिए प्रथम-सिद्धांतों (first-principles) का नुस्खा प्रदान करती है, जो यह सुझाव देती है कि मॉडल क्षमता को कुल टीचर फीचर्स के बजाय सीखने योग्य फीचर्स की संख्या के साथ स्केल किया जाना चाहिए।

सीमाएं (Limitations)
लेखक स्वीकार करते हैं कि उनके व्युत्पन्न कुछ अप्रमाणित धारणाओं पर निर्भर हैं, विशेष रूप से कैविटी फील्ड्स की गॉसियनिटी और ओवरलैप्स का संकेंद्रण (concentration)। इसके अतिरिक्त, विश्लेषण $\mu_2 = 0$ वाले सक्रियणों (activations) तक सीमित है, जिसमें विषम (odd) एक्टिवेशन शामिल हैं लेकिन ReLU जैसे अन्य शामिल नहीं हैं (हालांकि पेपर नोट करता है कि ReLU को अन्य कार्यों में पूरक रिजीम $\mu_2 \neq 0$ के माध्यम से विश्लेषित किया जा सकता है)। लीव-वन-आउट रिडक्शन ह्यूरिस्टिक है, हालांकि इसे संख्यात्मक रूप से मान्य किया गया है।