📊 statistics

Asymmetric Scaling Laws from Sparse Features

यह शोधपत्र स्पार्स एक्टिवेशन (sparse activations) के तहत न्यूरल स्केलिंग लॉज़ (neural scaling laws) के लिए एक मॉडल प्रस्तुत करता है जो एक नवीन बॉटलनेक (bottleneck) को प्रकट करता है जो विशिष्ट अंडर-पैरामीटराइज्ड (underparameterized) और ओवर-पैरामीटराइज्ड (overparameterized) स्केलिंग घातांकों के साथ डबल-डिसेंट (double-descent) व्यवहार का कारण बनता है, जो अंततः यह प्रदर्शित करता है कि निश्चित बजट के तहत कंप्यूट-ऑप्टिमल ट्रेनिंग, मॉडल क्षमता की तुलना में डेटासेट के आकार को बढ़ाने को प्राथमिकता देती है।

मूल लेखक: John Sous, Michael Winer

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: John Sous, Michael Winer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को किताबों के एक विशाल पुस्तकालय में पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं। आमतौर पर, हम यह मान लेते हैं कि यदि आप रोबोट को अधिक किताबें (डेटा) या एक बड़ा दिमाग (अधिक पैरामीटर्स) देते हैं, तो वह एक स्थिर, अनुमानित दर से स्मार्ट हो जाएगा। वैज्ञानिक इसे "स्केलिंग लॉज़" (scaling laws) कहते हैं।

हालाँकि, यह शोध पत्र तर्क देता है कि जब उन किताबों में जानकारी स्पार्स (sparse) होती है—यानी अधिकांश पन्ने खाली होते हैं, और केवल कुछ विशिष्ट शब्द ही वास्तविक अर्थ रखते हैं—तो नियम पूरी तरह बदल जाते हैं। रोबोट का व्यवहार इस बात पर निर्भर करता है कि वह अपने दिमाग के आकार से सीमित है या उसके द्वारा पढ़ी गई किताबों की संख्या से।

यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के मुख्य विचारों का विवरण दिया गया है:

1. "दुर्लभ कीवर्ड" की समस्या (The "Rare Keyword" Problem)

कल्पना कीजिए कि पुस्तकालय में लाखों किताबें हैं। अधिकांश समय, किताबें सामान्य चीजों के बारे में बात करती हैं जैसे "बिल्ली" या "कुत्ता"। लेकिन कभी-कभी, एक किताब में एक बहुत ही दुर्लभ, अत्यधिक विशिष्ट शब्द होता है जैसे "Pheochromocytoma" (एक विशिष्ट चिकित्सा स्थिति) या किसी दुर्लभ वित्तीय संकट का संदर्भ।

एक सामान्य (डेंस) दुनिया में: हर शब्द बार-बार आता है। यदि आपके पास अधिक किताबें हैं, तो आप हर शब्द को अधिक बार देखते हैं। यदि आपके पास एक बड़ा दिमाग है, तो आप अधिक शब्द याद रख सकते हैं। सुधार सममित (symmetrical) होता है।
इस शोध पत्र की "स्पार्स" दुनिया में: दुर्लभ शब्द इतने दुर्लभ हैं कि यदि आप 1,000 किताबें भी पढ़ लें, तो भी हो सकता है कि आपको "Pheochromocytoma" शब्द एक बार भी न मिले। यदि आप इसे कभी नहीं देखते हैं, तो आपका रोबोट इसे सीख नहीं सकता, चाहे उसका दिमाग कितना भी बड़ा क्यों न हो।

2. दो अलग-अलग स्थितियों के लिए दो अलग-अलग नियम

लेखकों ने पाया कि रोबोट के सीखने की गति दो अलग-अलग नियमों का पालन करती है, जो इस बात पर निर्भर करता है कि बाधा (bottleneck) क्या है:

परिदृश्य A: दिमाग बहुत छोटा है (Underparameterized)
यदि रोबकौट का दिमाग छोटा है, तो वह केवल कुछ ही अवधारणाओं को रख सकता है। इससे कोई फर्क नहीं पड़ता कि आप उसे 10 लाख किताबें देते हैं या 100 किताबें; वह केवल उन्हीं कुछ सबसे सामान्य चीजों को सीख सकता है जिन्हें वह अपने सिर में समा सकता है।
- परिणाम: अधिक किताबें जोड़ने से ज्यादा मदद नहीं मिलती। आपको और अधिक सीखने के लिए दिमाग को बड़ा करना ही होगा। सुधार तेज़ होता है।
परिदृश्य B: दिमाग विशाल है, लेकिन किताबें कम हैं (Overparameterized)
अब, रोबोट को एक विशाल दिमाग दें। वह सब कुछ सीख सकता है, लेकिन वह किताबों द्वारा सीमित है। क्योंकि "दुर्लभ कीवर्ड" इतने दुर्लभ हैं, ऐसा हो सकता है कि रोबोट 1,000 किताबें पढ़ ले और फिर भी उन दुर्लभ शब्दों को न देख पाए। उन दुर्लभ शब्दों की एक झलक पाने के लिए उसे बहुत अधिक किताबें पढ़ने की आवश्यकता होगी।
- परिणाम: अधिक मस्तिष्क शक्ति जोड़ने से कोई मदद नहीं मिलती क्योंकि रोबोट डेटा के लिए भूखा है। सुधार बहुत धीमा होता है।

बड़ी खोज: सीखने की "गति" (exponent) दिमाग के आकार बनाम डेटा के आकार के लिए अलग-अलग है। अतीत में, लोग सोचते थे कि ये दोनों गति समान हैं। यह शोध पत्र सिद्ध करता है कि स्पार्सिटी (sparsity) समरूपता को तोड़ देती है, जिससे एक "डबल-डिसेंट" (double-descent) वक्र बनता है जहाँ प्रदर्शन उस सीमा को पार करने से पहले गिरता है जब तक कि आपके पास उन दुर्लभ शब्दों को खोजने के लिए पर्याप्त डेटा न हो जाए।

3. "कंप्यूट बजट" का द्वंद्व (The "Compute Budget" Dilemma)

कल्पना कीजिए कि आपके पास प्रशिक्षण (training) पर खर्च करने के लिए एक निश्चित राशि (कंप्यूट बजट) है। आप अपना पैसा अधिक किताबें खरीदने (Data) या बड़ा दिमाग बनाने (Model Size) पर खर्च कर सकते हैं।

पुरानी सोच: आपको किताबों और दिमाग दोनों पर समान रूप से पैसा खर्च करना चाहिए।
नई खोज: क्योंकि दुर्लभ शब्द ढूंढना बहुत कठिन है, इसलिए आपको लगभग सारा पैसा किताबों पर खर्च करना चाहिए।
- क्यों? क्योंकि दिमाग को बड़ा बनाने से कोई मदद नहीं मिलेगी यदि वे दुर्लभ शब्द उन किताबों में नहीं हैं जो आपने पहले ही पढ़ ली हैं। आपको एक विशाल पुस्तकालय की आवश्यकता है ताकि यह सुनिश्चित हो सके कि रोबकौट उन दुर्लभ, उच्च-मूल्य वाले कीवर्ड्स को कम से कम एक बार देख सके। शोध पत्र दिखाता है कि इष्टतम रणनीति (optimal strategy) बड़े मॉडल बनाने के बजाय अधिक डेटा एकत्र करने की ओर भारी रूप से झुक जाती है।

4. "स्थिरता" की चेतावनी (The "Stability" Warning)

शोध पत्र ने इस बात पर भी गौर किया कि रोबोट कैसे सीखता है (ग्रेडिएंट डिसेंट नामक विधि का उपयोग करके)।

जोखिम: यदि रोबोट बहुत तेज़ी से सीखने की कोशिश करता है (एक बड़ा "स्टेप साइज" उपयोग करके), तो वह डेटा के एक अत्यंत दुर्लभ और शोर भरे "स्पाइक" (एक बहुत ही असामान्य शब्द जो एक किताब में दिखाई देता है) से भ्रमित हो सकता है। इससे रोबोट क्रैश हो सकता है या सीखने में विफल हो सकता है।
समाधान: शोध पत्र इस क्रैश की संभावना की गणना करता है। यह दिखाता है कि हालांकि यह दुर्लभ है, लेकिन स्पार्स वातावरण में यह हमारी सोच से अधिक बार होता है। यह सुझाव देता है कि वास्तविक दुनिया में, हमें इन "दुर्लभ स्पाइक" क्रैश से बचने के लिए रोबोट को कितनी तेज़ी से सीखने देने के बारे में अधिक सावधान रहने की आवश्यकता हो सकती है।

5. क्या यह "स्मार्ट" रोबोटों के लिए काम करता है?

लेखकों ने इसका परीक्षण केवल सरल रैखिक (linear) रोबोटों पर नहीं, बल्कि "नॉन-लीनियर" परतों वाले "स्मार्ट" रोबोटों (आधुनिक AI की तरह) पर किया।

परिणाम: भले ही रोबोट के दिमाग में जटिल, नॉन-लीनियर परतें हों, असममिति (asymmetry) बनी रहती है। डेटा की दुर्लभ और स्पार्स प्रकृति ही मूल कारण है, न कि रोबोट के दिमाग की सरलता। चाहे रोबोट सरल हो या जटिल, यदि डेटा स्पार्स है, तो स्केलिंग के नियम बदल जाते हैं।

सारांश

यह शोध पत्र हमें बताता है कि ऐसी दुनिया में जहाँ महत्वपूर्ण जानकारी दुर्लभ, स्पार्स संकेतों में छिपी होती है:

डेटा ही सर्वोपरि है: उन दुर्लभ संकेतों को खोजने के लिए आपको मॉडल के आकार की तुलना में बहुत अधिक डेटा की आवश्यकता है।
समरूपता टूट जाती है: डेटा को बढ़ाने के नियम मॉडल के आकार को बढ़ाने के नियमों से भिन्न हैं।
लालची न बनें: यदि आप केवल मॉडल को बड़ा बनाते हैं बिना अधिक डेटा प्राप्त किए, तो आप एक ऐसी दीवार से टकराते हैं जहाँ मॉडल उन दुर्लभ, महत्वपूर्ण चीजों को नहीं सीख पाता क्योंकि उसने उन्हें कभी देखा ही नहीं।

मुख्य संदेश यह है कि स्पार्सिटी मौलिक रूप से हमें AI बनाने और प्रशिक्षित करने के तरीके को बदलने के लिए मजबूर करती है, जिससे हमें उन दुर्लभ, उच्च-मूल्य वाले अंतर्दृष्टि को पकड़ने के लिए विशाल मॉडल आकार के बजाय विशाल डेटासेट को प्राथमिकता देने के लिए मजबूर होना पड़ता है।

तकनीकी सारांश: विरल विशेषताओं (Sparse Features) से विषम स्केलिंग नियम (Asymmetric Scaling Laws)

समस्या विवरण
न्यूरल स्केलिंग लॉ (Neural scaling laws) मॉडल प्रदर्शन (टेस्ट लॉस) और संसाधन चरों (resource variables) के बीच पूर्वानुमानित संबंधों का वर्णन करते हैं: मॉडल आकार ( $N$ ), डेटासेट का आकार ( $D$ ), और कंप्यूट बजट ( $C$ )। जबकि मौलिक कार्यों (जैसे Kaplan et al., 2020; Hoffmann et al., 2022) ने पावर-लॉ संबंधों और कंप्यूट-इष्टतम आवंटन रणनीतियों (जो अक्सर समान स्केलिंग का सुझाव देते हैं जहाँ $N$ और $D$ समान रूप से स्केल होते हैं) को स्थापित किया है, मॉडल-सीमित और डेटा-सीमित शासन (regimes) के बीच स्केलिंग घातांक (exponents) क्यों भिन्न हो सकते हैं, इसका एक व्यापक सैद्धांतिक बोध अभी भी मायावी बना हुआ है। मौजूदा सैद्धांतिक ढांचे अक्सर सघन (dense), गॉसियन-वितरित डेटा की धारणा रखते हैं, जो वास्तविक दुनिया के उच्च-आयामी डेटा के संरचनात्मक गुणों को कैप्चर नहीं कर सकते जहाँ विशेषताएँ अक्सर विरल (sparse) और हेवी-टेल्ड (heavy-tailed) होती हैं। यह शोध पत्र इस बात को समझने के अंतर को संबोधित करता है कि कैसे विरल इनपुट सक्रियण (sparse input activations) मौलिक रूप से स्केलिंग व्यवहार को बदलते हैं, जिससे मॉडल आकार और डेटासेट आकार को नियंत्रित करने वाले घातांकों के बीच विषमता उत्पन्न हो सकती है।

कार्यप्रणाली (Methodology)
लेखक जनसंख्या लॉस (population loss) के स्केलिंग का विश्लेषण करने के लिए विरल रैंडम फीचर्स (sparse random features) पर आधारित एक सुलभ सैद्धांतिक मॉडल प्रस्तुत करते हैं।

डेटा जनरेशन प्रक्रिया: इनपुट डेटा $x \in \mathbb{R}^M$ को एक संरचित प्रक्रिया के माध्यम से उत्पन्न किया जाता है जहाँ प्रत्येक निर्देशांक (coordinate) $j$ को एक हेवी-टेल्ड प्रायिकता $p_j = j^{-\alpha_1-1}$ के साथ सक्रिय किया जाता है। जब सक्रिय होता है, तो निर्देशांक एक मान लेता है जिसका वेरिएंस (variance) $j^{-\alpha_1-\alpha_2-2}$ के रूप में स्केल होता है। यह एक ऐसी स्थिति बनाता है जहाँ अधिकांश निर्देशांक शून्य होते हैं, और सक्रिय निर्देशांक $\alpha_1$ और $\alpha_2$ द्वारा नियंत्रित पावर-लॉ वितरण का पालन करते हैं।
मॉडल आर्किटेक्चर: सीखने वाला मॉडल एक निश्चित रैंडम एम्बेडिंग $u \in \mathbb{R}^{N \times M}$ (इनपुट को फीचर्स $\phi = ux$ में मैप करने के लिए) और उसके बाद एक ट्रेन करने योग्य लीनियर रीडआउट $\theta$ से बना है। टार्गेट फंक्शन एक लीनियर फंक्शनल $y = w^\top x$ है। यह सेटअप प्रभावी रूप से एक स्केच्ड लीनियर रिग्रेशन या दो-परत वाले नेटवर्क का मॉडल करता है जिसके पहले-परत के वेट्स (weights) फ्रीज्ड हैं।
विश्लेषण शासन (Analysis Regimes): लेखक दो अलग-अलग शासन में एसिम्प्टोटिक पॉपुलेशन लॉस (बेयस-ऑप्टिमल एरर) का व्युत्पन्न निकालते हैं:
- अंडरपैरामीटराइज्ड ( $N \ll D$ ): जहाँ मॉडल क्षमता बाधा (bottleneck) है।
- ओवरपैरामीटराइज्ड ( $D \ll N$ ): जहाँ नमूनों (samples) की संख्या बाधा है, विशेष रूप से उन अनदेखे (कभी सक्रिय न हुए) निर्देशांकों पर ध्यान केंद्रित करते हुए जो कभी देखे नहीं गए।
ऑप्टिमाइज़ेशन डायनेमिक्स: पेपर फुल-बैच ग्रेडिएंट डिसेंट (GD) के अभिसरण (convergence) का विश्लेषण करता है, दुर्लभ, उच्च-आयाम वाले सक्रियण स्पाइक्स (activation spikes) के कारण विफलता की स्थिरता के लिए स्थितियाँ और एक स्केलिंग लॉ व्युत्पन्न करता है।
कंप्यूट-ऑप्टिमल फ्रंटियर: एक निश्चित कंप्यूट बजट $C \propto ND \cdot \min\{N, D\}$ के तहत, लॉस को कम करने के लिए $N$ और $D$ के बीच आवंटन को अनुकूलित किया जाता है।
प्रायोगिक सत्यापन: सिद्धांत को लीनियर और नॉन-लीनियर (ReLU) रैंडम फीचर मॉडल्स पर प्रयोगों के माध्यम से मान्य किया जाता है, जो विरल (sparse) इनपुट को सघन गॉसियन बेसलाइन्स के विरुद्ध तुलना करते हैं।

प्रमुख योगदान और परिणाम

दो-घातांक स्केलिंग लॉ (Two-Exponent Scaling Law): प्राथमिक सैद्धांतिक परिणाम विरल सक्रियण ( $\alpha_1 > 0$ ) की उपस्थिति में एक लॉस स्केलिंग लॉ का व्युत्पन्न है जिसमें दो अलग-अलग घातांक ( $\alpha_N \neq \alpha_D$ ) हैं।
- अंडरपैरामीटराइज्ड शासन में, लॉस $\ell \sim N^{-(\alpha_1+\alpha_2+1)}$ के रूप में स्केल होता है। यहाँ, विरलता (sparsity) प्रभावी रूप से छिप जाती है क्योंकि मॉडल अग्रणी उच्च-वेरिएंस वाले निर्देशांकों को फिट करता है, और घातांक $\alpha_N$ सघन मॉडलों के समान होता है।
- ओवरपैरामीटराइज्ड शासन में, लॉस $\ell \sim D^{-(\alpha_1+\alpha_2+1)/(\alpha_1+1)}$ के रूप में स्केल होता है। यहाँ घातांक $\alpha_D$ स्पष्ट रूप से $\alpha_N$ से छोटा है ( $\alpha_D < \alpha_N$ )। यह विषमता इसलिए उत्पन्न होती है क्योंकि प्रभावी सीखने योग्य निर्देशांकों की संख्या डेटासेट के आकार के साथ उप-रैखिक (sublinearly) रूप से बढ़ती है ( $K(D) \sim D^{1/(\alpha_1+1)}$ ) क्योंकि विरलता मौजूद है। दुर्लभ निर्देशांक प्रशिक्षण सेट में कभी नहीं देखे जाते, जो एक निरंतर बाधा पैदा करते हैं जिसे सघन मॉडल प्रदर्शित नहीं करते हैं।
- संयुक्त स्केलिंग लॉ $\ell(N, D) \sim N^{-\alpha_N} + D^{-\alpha_D}$ है।
डबल-डिसेंट घटना (Double-Descent Phenomenon): विश्लेषण इंटरपोलेशन थ्रेशोल्ड के पास एक डबल-डिसेंट पीक की भविष्यवाणी करता है जहाँ मापदंडों की संख्या $N$ सीखने योग्य (देखे गए) निर्देशांकों $K(D)$ के बराबर होती है। यह पीक विरलता घातांक $\alpha_1$ द्वारा नियंत्रित होती है।
कंप्यूट-ऑप्टिमल फ्रंटियर: एक निश्चित कंप्यूट बजट के तहत, अनुकूल आवंटन महत्वपूर्ण रूप से बड़े मॉडलों के बजाय बड़े डेटासेट्स की ओर स्थानांतरित हो जाता है। इष्टतम मॉडल आकार $N^*(C) \sim C^{1/(\alpha_1+3)}$ के रूप में स्केल होता है, जबकि इष्टतम डेटासेट आकार $D^*(C) \sim C^{(\alpha_1+1)/(\alpha_1+3)}$ के रूप में स्केल होता है। जैसे-जैसे विरलता बढ़ती है ( $\alpha_1$ बढ़ता है), इष्टतम रणनीति डेटा को अधिक प्राथमिकता देती है, और कंप्यूट-ऑप्टिमल घातांक $\alpha_C$ बढ़ता है, जो कंप्यूट के साथ तेजी से लॉस क्षय (decay) का संकेत देता है।
ग्रेडिएंट डिसेंट स्थिरता: पेपर इस बात का स्केलिंग लॉ व्युत्पन्न करता है कि फिक्स्ड-स्टेप ग्रेडिएंट डिसेंट दुर्लभ सक्रियण स्पाइक्स के कारण अस्थिर कब हो जाता है। यह प्रायिकता $P_{\text{rare}} \sim D^{-\nu}$ के रूप में घटती है, जहाँ $\nu = (\alpha_1+\alpha_2+1)/(-\alpha_2-1)$ (यदि $\alpha_2 < -1$ हो)। यह ओवरपैरामीटराइज्ड शासन में हेवी-टेल्ड विरल डेटा के कारण होने वाली एक विशिष्ट विफलता मोड की पहचान करता है, जो मानक ऑप्टिमाइज़र बाधाओं से अलग है।
नॉन-लिनियैरिटी के प्रति मजबूती: ReLU सक्रियणों के साथ प्रयोग पुष्टि करते हैं कि नॉन-लीनियर सेटिंग्स में भी $\alpha_N$ और $\alpha_D$ के बीच गुणात्मक विषमता बनी रहती है, हालांकि नॉन-लिनियैरिटी द्वारा स्पेक्ट्रल स्मूथिंग के कारण विषमता की मात्रा कम हो जाती है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह दुर्लभ फीचर कवरेज (rare feature coverage) को ऑप्टिमाइज़र डायनेमिक्स या फीचर लर्निंग मैकेनिज्म से अलग, स्केलिंग विषमता के एक विशिष्ट स्रोत के रूप में अलग करता है। यह प्रदर्शित करके कि विरलता अकेले स्केलिंग लॉ की समरूपता (जहाँ सघन मॉडलों में $\alpha_N = \alpha_D$ होता है) को तोड़ सकती है, यह कार्य उन अनुभवजन्य अवलोकनों के लिए एक सैद्धांतिक स्पष्टीकरण प्रदान करता है जहाँ मॉडल और डेटा के स्केलिंग घातांक भिन्न होते हैं।

लेखक का तर्क है कि उनके निष्कर्ष संसाधन आवंटन के लिए एक सिद्धांत-आधारित नुस्खा प्रदान करते हैं: विरल, उच्च-आयामी सेटिंग्स में, स्थिर कंप्यूट बजट के तहत भी, डेटासेट का आकार बढ़ाना मॉडल क्षमता बढ़ाने की तुलना में अधिक लाभ देता है। इसके अलावा, "GD विफलता" स्केलिंग लॉ की पहचान यह बताती है कि ऐसे शासन में व्यावहारिक अनुकूलन के लिए दुर्लभ, उच्च-वेरिएंस स्पाइक्स को संभालने के लिए विशिष्ट सुरक्षा उपायों (जैसे ग्रेडिएंट क्लिपिंग) की आवश्यकता हो सकती है। कार्य निष्कर्ष निकालता है कि विरलता एक मौलिक संरचनात्मक गुण है जो उच्च-आयामी शिक्षण के प्रदर्शन और स्केलिंग व्यवहार को आकार देती है, जो लीनियर मॉडल्स से आगे बढ़कर नॉन-लीनियर आर्किटेक्चर तक विस्तृत है।