📊 statistics

Feature Learning in Linear-Width Two-Layer Networks: Two vs. One Step of Gradient Descent

यह शोध पत्र लीनियर-विड्थ टू-लेयर नेटवर्क्स में फीचर लर्निंग को यह प्रदर्शित करके अभिलक्षित करता है कि ग्रेडिएंट डिसेंट का दूसरा चरण, विशेष रूप से पुन: उपयोग किए गए बैचों के साथ, वेट अपडेट्स के शार्प स्पेक्ट्रल विश्लेषण के माध्यम से उच्च सूचना घातांक (information exponents) वाली लक्षित फलनों (target functions) के अनुरूप कई दिशाओं को सीखने के लिए सिंगल-स्टेप अपडेट्स की रैंक-वन सीमाओं को पार कर लेता है।

मूल लेखक: Behrad Moniri, Hamed Hassani

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Behrad Moniri, Hamed Hassani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Feature Learning in Linear-Width Two-Layer Networks: Two vs. One Step of Gradient Descent" शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

मुख्य विचार: एक रोबोट को देखना सिखाना

कल्पना कीजिए कि आप एक रोबोट (एक न्यूरल नेटवर्क) को किताबों के एक विशाल पुस्तकालय (डेटा) में पैटर्न पहचानना सिखा रहे हैं। रोबोट का "दिमाग" न्यूरॉन्स की परतों से बना है। लक्ष्य यह है कि रोबोट फीचर्स (features) सीख सके—यानी डेटा को देखने के सार्थक तरीके, जैसे कि यह पहचानना कि एक "बिल्ली" के कान नुकीले होते हैं, न कि केवल किसी विशिष्ट बिल्ली की फोटो के सटीक पिक्सेल को याद करना।

यह शोध पत्र इस बात का अध्ययन करता है कि जब रोबोट सीखने के लिए दो कदम (two steps) लेता है, तो क्या होता है, इसकी तुलना केवल एक कदम (one step) लेने से की जाती है। शोधकर्ताओं ने पाया कि दूसरा कदम लेना सब कुछ बदल देता है, लेकिन केवल तभी जब आप इसे एक विशिष्ट तरीके से करते हैं।

परिवेश: "बिल्कुल सही" आकार

शोधकर्ता एक विशिष्ट प्रकार के रोबोट मस्तिष्क को देख रहे हैं:

न बहुत बड़ा, न बहुत छोटा: वे इसे "लीनियर-विड्थ" (linear-width) शासन कहते हैं। कल्पना कीजिए कि रोबोट के दिमाग में न्यूरॉन्स की संख्या पुस्तकालय में किताबों की संख्या और प्रत्येक पुस्तक में पृष्ठों की संख्या के लगभग बराबर है। यह आधुनिक AI के लिए एक वास्तविक आकार है, जो पुराने सिद्धांतों द्वारा अध्ययन किए गए "अनंत" दिमागों (जो बहुत आदर्श हैं) या "बहुत छोटे" दिमागों (जो बहुत सरल हैं) के विपरीत है।
कार्य: रोबोट एक जटिल नियम (लक्ष्य फलन/target function) सीखने की कोशिश कर रहा है जो पुस्तक के पृष्ठों को उत्तरों में बदल देता है। यह नियम सरल हो सकता है (जैसे "शब्द गिनना") या जटिल (जैसे "व्यंग्य का पता लगाना")।

एक कदम की समस्या: "टॉर्चलाइट" (Flashlight)

पिछले शोधों ने दिखाया है कि यदि आप रोबोट को सीखने का केवल एक कदम (सीखने का एक अपडेट) लेने देते हैं, तो यह एक टॉर्चलाइट की तरह काम करता है।

यह एक दिशा में प्रकाश की एक एकल किरण बिखेरता है।
यह एक बार में केवल एक सरल फीचर ही सीख सकता है।
नुकसान: यह केवल उन्हीं फीचर्स को सीख सकता है जो "लीनियर" (सीधे-सादे) हैं। यदि नियम जिसे वह सीखने की कोशिश कर रहा है वह घुमावदार या जटिल है (जैसे कि एक लहर), तो एक-कदम वाली टॉर्चलाइट उसे पूरी तरह से मिस कर देती है। यह एक छिपे हुए खजाने को खोजने के लिए ऐसी टॉर्चलाइट का उपयोग करने जैसा है जो केवल उत्तर की ओर इशारा करती है; यदि खजाना पूर्व में है, तो आप उसे नहीं ढूंढ पाएंगे।

खोज: "दूसरा कदम" की सुपरपावर

यह शोध पत्र पूछता है: क्या होता है यदि हम रोबोट को दूसरा कदम उठाने दें?

उत्तर आश्चर्यजनक है। दूसरा कदम एक मल्टी-बीम सर्चलाइट (multi-beam searchlight) की तरह काम करता है।

कई दिशाएँ: केवल एक किरण के बजाय, रोबोट का दिमाग अचानक कई "आउटलायर्स" (outliers) (विशेष, मजबूत दिशाएँ) विकसित कर लेता है।
जादुई संख्या: यह कितने नए दिशाओं को सीखता है? यह सीखने के कदमों के आकार (step-sizes) पर निर्भर करता है।
- स्टेप-साइज़ को यह समझें कि रोबोट अपने दिमाग को कितनी आक्रामकता से समायोजित करता है।
- यदि रोबोट छोटे, सावधानीपूर्ण कदम उठाता है, तो वह कुछ नई दिशाएँ सीखता है।
- यदि वह बड़े, साहसी कदम उठाता है, तो वह कई नई दिशाएँ सीखता है।
- शोध पत्र बिल्कुल यह अनुमान लगाने के लिए एक गणितीय सूत्र प्रदान करता है कि कदमों के आकार के आधार पर कितने नए "प्रकाश पुंज" (beams) दिखाई देंगे।

महत्वपूर्ण मोड़: पुन: उपयोग बनाम ताज़ा डेटा

सबसे महत्वपूर्ण खोज यह है कि रोबोट अपने डेटा का उपयोग कैसे करता है। शोधकर्ताओं ने दो परिदृश्यों का परीक्षण किया:

1. "पुन: उपयोग किया गया बैच" (वही पुरानी किताब)

इस परिदृश्य में, रोबोट पहले और दूसरे कदम के लिए किताबों के उसी सेट को देखता है।

परिणाम: रोबोट जटिल, घुमावदार पैटर्न खोजने में जीनियस बन जाता है। भले ही नियम जिसे वह सीखने की कोशिश कर रहा है बहुत कठिन हो (जिसका कोई सरल "लीनियर" हिस्सा न हो), दूसरा कदम उसे इसे समझने में सक्षम बनाता है।
उपमा: कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं। चरण 1 में, आप पहेली के टुकड़ों को देखते हैं। चरण 2 में, आप वही टुकड़े फिर से देखते हैं, लेकिन इस बार आप चरण 1 में जो सीखा है उसका उपयोग करके उनमें एक छिपा हुआ पैटर्न देखते हैं। क्योंकि आप उन्हीं टुकड़ों को देख रहे हैं, "शोर" (noise) समाप्त हो जाता है, और जटिल पैटर्न उभर आता है।

2. "ताज़ा बैच" (एक नई किताब)

इस परिदृश्य में, रोबोट पहले कदम के लिए किताबों के पहले सेट को देखता है, और फिर दूसरे कदम के लिए पूरी तरह से नया, अलग सेट उठा लेता है।

परिणाम: रोबोट जटिल पैटर्न सीखने में विफल रहता है। वह केवल सरल, लीनियर फीचर्स के साथ ही अटक जाता है।
उपमा: आप पहेली के टुकड़ों को देखते हैं, फिर उन्हें फेंक देते हैं और रैंडम टुकड़ों का एक नया बॉक्स उठा लेते हैं। चरण 1 में आपके द्वारा बनाया गया संबंध टूट जाता है। आप अपने पिछले अंतर्दृष्टि (insight) पर आगे नहीं बढ़ सकते क्योंकि नया डेटा उस "भाषा" में बात नहीं करता है जिसमें पुराना डेटा करता था। आप वापस शुरुआती स्तर पर आ जाते हैं, जहाँ आप केवल सरल आकृतियों को ही देख पाते हैं।

"स्पेक्ट्रल" (Spectral) रहस्य

शोध पत्र रोबोट के मस्तिष्क का वर्णन करने के लिए उन्नत गणित (Random Matrix Theory) का उपयोग करता है।

सीखने से पहले: मस्तिष्क के वजन (weights) एक चिकने, सपाट समुद्र (एक "bulk" या यादृच्छिक मानों का समूह) की तरह दिखते हैं।
चरण 1 के बाद: एक एकल "स्पाइक" या द्वीप पानी से ऊपर उठता है (एक सीखी हुई दिशा)।
चरण 2 के बाद (पुन: उपयोग किए गए डेटा के साथ): कई नए द्वीप ऊपर उठते हैं! इन द्वीपों की संख्या स्टेप-साइज़ पर निर्भर करती है। ये द्वीप उन नए, जटिल फीचर्स का प्रतिनिधित्व करते हैं जिन्हें रोबोट ने सीखा है।

दावों का सारांश

एक कदम सीमित है: यह केवल सरल, सीधी रेखा वाले फीचर्स सीखता है।
दो कदम शक्तिशाली हैं: वे रोबोट को जटिल, घुमावदार फीचर्स और एक साथ कई दिशाएँ सीखने में सक्षम बनाते हैं।
स्टेप-साइज़ मायने रखता है: सीखने की "आक्रामकता" यह निर्धारित करती है कि कितने जटिल फीचर्स सीखे जाते हैं।
डेटा का पुन: उपयोग महत्वपूर्ण है: जटिल फीचर्स सीखने के लिए, रोबोट को दोनों चरणों के लिए उसी डेटा का उपयोग करना चाहिए। यदि आप दूसरे चरण के लिए नया डेटा बदलते हैं, तो रोबोट जटिलता सीखने की अपनी क्षमता खो देता है और केवल सरल फीचर्स सीखने तक ही सीमित रह जाता है।

शोध पत्र निष्कर्ष निकालता है कि इन "स्पेक्ट्रल ट्रांज़िशन" (समुद्र से ऊपर उठते द्वीपों) को समझकर, हमारे पास एक बेहतर गणितीय मानचित्र है कि आधुनिक, ओवर-पैरामीटराइज्ड AI सिस्टम वास्तव में अपने शुरुआती चरणों में फीचर्स को कैसे सीखते हैं।

तकनीकी सारांश: लीनियर-विड्थ टू-लेयर नेटवर्क्स में फीचर लर्निंग

समस्या विवरण (Problem Statement)

यह शोध पत्र लीनियर-विड्थ रिजीम (linear-width regime) के भीतर दो-परत वाले फुली कनेक्टेड न्यूरल नेटवर्क में फीचर लर्निंग की कार्यप्रणाली की जांच करता है, जहाँ छिपे हुए न्यूरॉन्स की संख्या ( $N$ ), सैंपल आकार ( $n$ ), और इनपुट आयाम ( $d_X$ ) समान रूप से स्केल करते हैं ( $N \asymp n \asymp d_X \to \infty$ )।

जबकि हालिया साहित्य ने ग्रेडिएंट डिसेंट के एक एकल चरण (single step) के माध्यम से फीचर लर्निंग का विश्लेषण किया है (जैसे, [BES+22, MLHD24]), लेखक इस दृष्टिकोण में मौलिक सीमाओं की पहचान करते हैं:

रैंक-वन बाधा (Rank-One Constraint): एक एकल अपडेट लगभग रैंक-वन होता है, जो मॉडल को केवल टार्गेट फंक्शन की एक ही दिशा सीखने की अनुमति देता है।
सूचना घातांक सीमा (Information Exponent Limitation): सिंगल-स्टेप अपडेट के लिए सामान्यतः यह आवश्यक है कि टार्गेट फंक्शन में एक गैर-शून्य रैखिक घटक (non-zero linear component) हो (सूचना घातांक $\tau = 1$ )। उच्च सूचना घातांक वाले फंक्शन (जैसे, शुद्ध क्यूबिक या उच्च-क्रम इंटरैक्शन) को प्रभावी रूप से शोर (noise) माना जाता है और वे अनलर्न (unlearned) रह जाते हैं।

यह शोध पत्र एक दूसरे चरण (second step) के चरित्र चित्रण के माध्यम से इस अंतराल को संबोधित करता है। यह प्रश्न उठता है: दूसरे अपडेट में कौन से फीचर्स सीखे जाते हैं? वेट मैट्रिक्स (weight matrix) का स्पेक्ट्रम कैसे विकसित होता है? क्या दूसरा चरण एक एकल दिशा या बिना रैखिक घटकों वाले फंक्शनों को सीखने में सक्षम बनाता है?

कार्यप्रणाली (Methodology)

यह अध्ययन एक दो-परत वाले नेटवर्क $f_{NN}(x) = a^\top \sigma(Wx)$ पर लेयर-वाइज ट्रेनिंग प्रक्रिया का उपयोग करता है:

इनिशियलाइजेशन (Initialization): वेट्स $W_0$ और $a_0$ को गॉसियन एंट्रियों के साथ इनिशियलाइज किया जाता है।
दो-चरण अपडेट (Two-Step Update): फर्स्ट-लेयर वेट्स $W$ $W$ को एक कोरिलेशन लॉस पर ग्रेडिएंट डिसेंट का उपयोग करके दो बार अपडेट किया जाता है, जबकि सेकंड लेयर $a$ $a$ इनिशियलाइजेशन पर स्थिर रहती है ( $a_0$ $a_{0}$ ):
- $W_1 = W_0 - \eta_1 \nabla_W \mathcal{L}(W_0, a_0)$
- $W_2 = W_1 - \eta_2 \nabla_W \mathcal{L}(W_1, a_0)$
स्टेप-साइज़ स्केलिंग (Step-Size Scaling): स्टेप साइजेस नेटवर्क विड्थ के साथ $\eta_1 \asymp N^{\alpha_1}$ और $\eta_2 \asymp N^{\alpha_2}$ के रूप में स्केल होते हैं, जहाँ $\alpha_1, \alpha_2 \in [0, 0.5)$ ।
बैच सेटिंग्स (Batch Settings): विश्लेषण दो डेटा उपयोग परिदृश्यों के बीच अंतर करता है:
- रियूज्ड बैच (Reused Batch): दोनों ग्रेडिएंट गणनाओं के लिए एक ही डेटासेट $(X, y)$ का उपयोग किया जाता है।
- फ्रेश बैच (Fresh Batch): डेटासेट को दो विलगित (disjoint) सेटों $(X_1, y_1)$ और $(X_2, y_2)$ में विभाजित किया जाता है, जो क्रमशः पहले और दूसरे चरण के लिए उपयोग किए जाते हैं।
सैद्धांतिक ढांचा (Theoretical Framework): लेखक अपडेटेड वेट मैट्रिसेस के सटीक स्पेक्ट्रल लक्षण वर्णन प्राप्त करने के लिए रैंडम मैट्रिक्स थ्योरी और हर्मिट पॉलीनोमियल एक्सपेंशन (Hermite polynomial expansions) का उपयोग करते हैं। वे मानते हैं कि एक्टिवेशन फंक्शन $\sigma$ और टार्गेट फंक्शन्स $g_k$ पॉलीनोमियल्स (या तेजी से घटते हर्मिट गुणांकों वाले) हैं।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. $W_2$ का स्पेक्ट्रल लक्षण वर्णन (Spectral Characterization of $W_2$ )

यह शोध पत्र अपडेटेड वेट मैट्रिक्स $W_2$ का सटीक लक्षण वर्णन प्रदान करता है। पहले अपडेट ( $W_1$ ) के विपरीत, जो इनिशियलाइजेशन का एक रैंक-वन पर्सर्बेशन (perturbation) है, $W_2$ मल्टीपल आउटलेयर्स (multiple outliers) के साथ एक स्पाइक्ड रैंडम मैट्रिक्स की तरह व्यवहार करता है।

स्पेक्ट्रम में एक बल्क (इनिशियलाइजेशन $W_0$ से) और सीखे गए दिशाओं के अनुरूप आउटलेयर्स का एक सेट होता है।
इन आउटलेयर्स की संख्या, जिसे $\Lambda$ द्वारा दर्शाया गया है, स्टेप-साइज़ स्केलिंग पैरामीटर्स द्वारा निर्धारित होती है:
$\Lambda(\alpha_1, \alpha_2) = \min\left(L-1, \left\lfloor \frac{\alpha_2}{1/2 - \alpha_1} \right\rfloor \right)$
जहाँ $L$ पॉलीनोमियल एक्सपेंशन की डिग्री है।
यह परिणाम प्रदर्शित करता है कि दूसरा अपडेट मॉडल को एक साथ कई अलग-अलग दिशाओं को कैप्चर करने की अनुमति देता है, जिससे पहले चरण की रैंक-वन सीमा टूट जाती है।

2. टार्गेट दिशाओं के साथ संरेखण (Alignment with Target Directions)

लेखक सीखे गए दिशाओं $\{\hat{\beta}_{2;k}\}$ और वास्तविक टार्गेट दिशाओं $\{\beta^*_{k}\}$ के बीच संरेखण का विश्लेषण करते हैं। परिणाम बैच सेटिंग के आधार पर काफी भिन्न होते हैं:

रिययूज्ड बैच सेटिंग (Reused Batch Setting):
- दूसरा अपडेट उन दिशाओं को सीख सकता है जो एक से अधिक सूचना घातांक वाले टार्गेट फंक्शन्स (अर्थात, ऐसे फंक्शन जिनमें कोई रैखिक घटक नहीं है, जैसे $g(z) = H_3(z)$ ) के अनुरूप होते हैं।
- विशेष रूप से, यदि स्टेप साइजेस इस प्रकार हों कि $\Lambda(\alpha_1, \alpha_2) \geq 2$ , तो मॉडल उन दिशाओं के साथ संरेखित होता है जहाँ रैखिक गुणांक शून्य है।
- यह पुष्टि करता है कि डेटा का पुन: उपयोग (data reuse) मॉडल को सूचना घातांक बाधा (information exponent barrier) से आगे बढ़ने में सक्षम बनाता है।
फ्रेश बैच सेटिंग (Fresh Batch Setting):
- दूसरा अपडेट अभी भी गैर-शून्य रैखिक घटक ( $\tau = 1$ ) वाली दिशाओं को सीखने तक सीमित रहता है।
- भले ही दूसरा चरण उपयोग किया जाए, यदि फ्रेश डेटा का उपयोग किया जाता है, तो मॉडल उन दिशाओं को नहीं सीख सकता जहाँ रैखिक गुणांक शून्य है। सीखे गए दिशा $\hat{\beta}_{2;k}$ (जहाँ $k \geq 1$ ) उन टार्गेट दिशाओं के साथ कोई संरेखण नहीं दिखाते जिनका $\tau > 1$ है।

3. फेज ट्रांजिशन (Phase Transitions)

यह शोध पत्र स्टेप-साइज़ एक्सपोनेंट्स $\alpha_1$ और $\alpha_2$ के आधार पर लर्निंग डायनेमिक्स में फेज ट्रांजिशन की पहचान करता है:

यदि $\alpha_1 + \alpha_2 < 1/2$ , तो दूसरा अपडेट प्रभावी रूप से स्टेप साइज़ $\eta_1 + \eta_2$ वाले एकल चरण के समान है; कोई नई दिशाएं नहीं सीखी जातीं ( $\Lambda = 0$ )।
जैसे-जैसे $\alpha_1 \to 0.5^-$ होता है, सीखने योग्य दिशाओं की संख्या बढ़ती है, जिससे मॉडल उच्च-क्रम (higher-order) फीचर्स को कैप्चर करने में सक्षम होता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र आधुनिक, ओवरपैरामीटराइज्ड नेटवर्क्स में ऑप्टिमाइजेशन और फीचर लर्निंग घटनाक्रम (phenomenology) के अध्ययन के लिए एक व्यवहार्य गणितीय ढांचे (tractable mathematical framework) को स्थापित करने का दावा करता है। इसका प्राथमिक महत्व निम्नलिखित है:

एक-चरण विश्लेषण से परे (Beyond One-Step Analysis): यह सिंगल-स्टेप अपडेट के सीमित "रैंक-वन" विश्लेषण से आगे बढ़कर प्रशिक्षण के शुरुआती चरणों (विशेष रूप से दूसरे चरण) के दौरान स्पेक्ट्रल विकास का पूर्ण लक्षण वर्णन प्रदान करता है।
बैच पुन: उपयोग का सत्यापन (Validation of Batch Reuse): यह कठोरता से पुष्टि करता है कि बैच पुन: उपयोग (जो पहले सीमित-विड्थ रिजीम में देखा गया था) के लाभ हाई-डायमेंशनल लीनियर-विड्थ लिमिट में भी बने रहते हैं। डेटा को पुन: उपयोग करने से नेटवर्क जटिल, नॉन-लीनियर फीचर्स (उच्च सूचना घातांक) को सीख पाता है जो फ्रेश बैचों का उपयोग करने पर अप्राप्य होते हैं।
स्केलिंग लॉज़ (Scaling Laws): यह स्टेप साइजेस ( $\alpha_1, \alpha_2$ ) के लिए स्पष्ट स्केलिंग लॉ प्रदान करता है जो मल्टी-इंडेक्स फंक्शन बनाम सिंगल-इंडेक्स फंक्शन सीखने की नेटवर्क क्षमता को निर्धारित करते हैं।

लेखक इस कार्य को "रैंडम फीचर्स" रिजीम (जहाँ फीचर्स फिक्स्ड होते हैं) और "मीन-फील्ड" या "नैरो" रिजीम के बीच एक सेतु के रूप में देखते हैं, जो यह अंतर्दृष्टि प्रदान करता है कि इटरेटिव ऑप्टिमाइजेशन के माध्यम से ओवरपैरामीटराइज्ड सिस्टम में स्ट्रक्चर्ड रिप्रेजेंटेशन कैसे उभरते हैं।