📊 statistics

Deriving Neural Scaling Laws from the statistics of natural language

यह शोध पत्र पहला ऐसा सिद्धांत प्रस्तुत करता है जो प्राकृतिक भाषा में युग्मवार टोकन सहसंबंधों (pairwise token correlations) के क्षय और अगले-टोकन की सशर्त एंट्रॉपी (next-token conditional entropy) के क्षय पर आधारित एक पैरामीटर-मुक्त सूत्र को व्युत्पन्न करके, प्रथम सिद्धांतों से बड़े भाषा मॉडलों के डेटा-सीमित न्यूरल स्केलिंग घातांकों (data-limited neural scaling exponents) की मात्रात्मक रूप से भविष्यवाणी करता है।

मूल लेखक: Francesco Cagnetta, Allan Raventós, Surya Ganguli, Matthieu Wyart

प्रकाशित 2026-07-07✓ Author reviewed ⓘ

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Francesco Cagnetta, Allan Raventós, Surya Ganguli, Matthieu Wyart

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक नई भाषा बोलना सिखाने की कोशिश कर रहे हैं। आपके पास किताबों का एक विशाल पुस्तकालय (डेटा) है, लेकिन आप नहीं जानते कि रोबोट को कुशल बनने के लिए कितनी किताबें पढ़नी पड़ेंगी, या जैसे-जैसे आप पुस्तकालय में अधिक किताबें जोड़ते हैं, उसके प्रदर्शन में कितना सुधार होता है।

लंबे समय से, वैज्ञानिकों ने एक पैटर्न देखा है: जैसे-जैसे आप रोबोट को अधिक डेटा देते हैं, उसकी गलतियाँ एक अनुमानित तरीके से कम होती जाती हैं, जैसे कि एक ढलान। इसे "स्केलिंग लॉ" (scaling law) कहा जाता है। लेकिन अब तक, कोई यह नहीं समझा सका था कि ऐसा क्यों होता है या केवल भाषा को देखकर उस ढलान के सटीक आकार की भविष्यवाणी कैसे की जा सकती है।

यह शोध पत्र (paper) पहली बार ऐसी थ्योरी प्रदान करता है जो बिल्कुल यही करती है। यह दावा करता है कि एक भाषा मॉडल के सीखने की "गति" स्वयं भाषा के दो सरल, छिपे हुए सांख्यिकीय गुणों (statistics) द्वारा निर्धारित होती है, न कि विशिष्ट कंप्यूटर आर्किटेक्चर या प्रशिक्षण पर खर्च किए गए धन से।

यहाँ सरल उपमाओं (analogies) का विवरण दिया गया है:

1. भाषा के दो छिपे हुए नियम

लेखकों का तर्क है कि प्रत्येक भाषा के दो "व्यक्तित्व लक्षण" होते हैं जो यह तय करते हैं कि उसे सीखना कितना कठिन है:

"मेमोरी स्पैन" का नियम (सहसंबंध/Correlations): एक वाक्य में शब्द कितनी दूर तक एक-दूसरे पर निर्भर करते हैं?
- उपमा: "टेलीफोन" (Telephone) के खेल की कल्पना करें। कुछ भाषाओं में, यदि आप लाइन की शुरुआत में एक शब्द फुसफुसाते हैं, तो यह लाइन के बिल्कुल अंत वाले शब्द को बदल सकता है। अन्य भाषाओं में, यह संबंध तेजी से फीका पड़ जाता है। शोध पत्र यह मापता है कि शब्दों के बीच की दूरी बढ़ने के साथ यह संबंध कितनी तेजी से कम होता है।
"सरप्राइज" का नियम (एन्ट्रॉपी/Entropy): अगला शब्द कितना अनुमानित है?
- उपमा: यदि आप एक वाक्य पढ़ रहे हैं और आप देखते हैं "The cat sat on the...", तो आप अगले शब्द से बहुत अधिक हैरान नहीं होंगे (संभवतः "mat")। लेकिन यदि आप देखते हैं "The cat sat on the...", और भाषा बहुत जटिल है, तो अगला शब्द कुछ भी हो सकता है। शोध पत्र यह मापता है कि लंबे और लंबे वाक्यों को पढ़ते समय कितनी "हैरानी" (या अनिश्चितता) शेष रहती है।

2. सीखने की प्रक्रिया: अतीत को "अनलॉक" करना

शोध पत्र सुझाव देता है कि भाषा सीखना केवल अधिक शब्दों को याद रखना नहीं है; यह लंबी याददाश्त को अनलॉक करने के बारे में है।

उपमा: प्रशिक्षण डेटा (किताबों की संख्या) को एक "चाबी" के रूप में सोचें।
- किताबों के छोटे ढेर के साथ (कम डेटा पॉइंट्स), रोबोट वाक्य के केवल अंतिम कुछ शब्दों को ही "सुन" सकता है। यह एक कहानी को समझने की कोशिश करने जैसा है जहाँ आप केवल अंतिम 5 शब्द सुन पा रहे हैं।
- जैसे-जैसे आप अधिक किताबें जोड़ते हैं (अधिक डेटा), रोबमा को अतीत में और पीछे तक "सुनने" की क्षमता प्राप्त होती है। अब वह "cat" शब्द को "sat" से जोड़ सकता है, भले ही उनके बीच 10 शब्द हों।
- थ्योरी कहती है कि रोबोट अपनी सुनने की सीमा का विस्तार करके सीखता है। वह पहले से सुने जा रहे शब्दों को प्रोसेस करने में अनिवार्य रूप से "अधिक स्मार्ट" नहीं होता; वह बस अतीत का अधिक हिस्सा सुनने की क्षमता प्राप्त करता है।

3. जादुई सूत्र (The Magic Formula)

लेखकों ने एक सरल सूत्र निकाला है जो भविष्यवाणी करता है कि जैसे-जैसे आप अधिक डेटा जोड़ते हैं, रोबोट की गलतियाँ कितनी तेजी से कम होंगी।

सूत्र: सीखने की गति = (कितनी तेजी से "सरप्राइज" गिरता है) विभाजित (2 × कितनी तेजी से "कनेक्शन" गिरते हैं)।
यह क्यों महत्वपूर्ण है: आपको यह पता लगाने के लिए रोबोट को प्रशिक्षित करने की आवश्यकता नहीं है। आपको केवल भाषा के दो "व्यक्तित्व लक्षणों" (मेमोरी स्पैन और सरप्राइज नियम) को टेक्स्ट पर गणित का उपयोग करके मापने की आवश्यकता है। एक बार जब आपके पास वे दो नंबर आ जाते हैं, तो सूत्र आपको ठीक से बताता है कि रोबोट का प्रदर्शन कैसे स्केल करेगा।

4. "कोलैप्स" प्रयोग (The "Collapse" Experiment)

इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक चतुर तरकीब अपनाई। उन्होंने विभिन्न प्रकार के भाषा मॉडलों (जैसे GPT-2 और LLaMA) को लिया और उन्हें दो बहुत अलग डेटासेट्स पर प्रशिक्षित किया:

TinyStories: बच्चों के लिए सरल, काल्पनिक कहानियाँ।
WikiText: जटिल, वास्तविक दुनिया के विश्वकोश लेख।

उन्होंने प्रत्येक डेटासेट के लिए दो भाषाई गुणों को मापा। फिर, उन्होंने उनके लर्निंग कर्व्स (learning curves) को प्लॉट किया।

परिणाम: जब उन्होंने अपने सूत्र का उपयोग करके ग्राफों को समायोजित किया (भाषा के लक्षणों के आधार पर अक्षों/axes को स्केल किया), तो अलग-अलग मॉडल और अलग-अलग डेटा साइज के सभी अलग-अलग कर्व्स एक ही, पूर्ण रेखा पर एक साथ मिल गए (collapse हो गए)।

यह ऐसा है जैसे उन्होंने अलग-अलग रंगों के धागों के एक बिखरे हुए ढेर को लिया और, सही रूलर का उपयोग करके दिखाया कि वे वास्तव में एक ही धागा थे, बस अलग-अलग तरह से खींचे गए थे।

सारांश

शोध पत्र का दावा है कि AI भाषा कैसे सीखता है, इसका "जादू" वास्तव में जादू नहीं है। यह भाषा की सांख्यिकीय संरचना का सीधा प्रतिबिंब है।

यदि किसी भाषा में लंबी दूरी के कनेक्शन (ऐसे शब्द जो बहुत पीछे के शब्दों पर निर्भर हैं) होते हैं, तो मॉडल को इसे सीखने के लिए बहुत अधिक डेटा की आवश्यकता होती है।
यदि कोई भाषा बहुत अनुमानित है, तो मॉडल इसे जल्दी सीख लेता है।

लेखकों ने हमें एक "डिकोडर रिंग" प्रदान की है जो हमें एक भाषा को देखने, उसके दो बुनियादी सांख्यिकीय गुणों को मापने और गणितीय रूप से यह भविष्यवाणी करने की अनुमति देती है कि एक AI को इसमें महारत हासिल करने के लिए कितने डेटा की आवश्यकता होगी, और वह भी बिना किसी महंगे प्रशिक्षण प्रयोग को चलाए।

तकनीकी सारांश: प्राकृतिक भाषा के सांख्यिकी से न्यूरल स्केलिंग लॉ का व्युत्पन्न (Deriving)

समस्या विवरण
यद्यपि प्रयोगात्मक न्यूरल स्केलिंग लॉ ने बड़े भाषा मॉडलों (LLMs) के विकास को अनुभवजन्य रूप से निर्देशित किया है, फिर भी एक ऐसा मात्रात्मक सैद्धांतिक ढांचा उपलब्ध नहीं था जो आधुनिक LLMs के लिए प्राकृतिक भाषा डेटासेट पर प्रशिक्षित होने वाले इन कानूनों के घातांकों (exponents) की भविष्यवाणी कर सके। मौजूदा सिद्धांत, जो मुख्य रूप से निश्चित फीचर मैप्स वाले कर्नेल विधियों (kernel methods) पर आधारित हैं, आधुनिक ट्रांसफॉर्मर की फीचर-लर्निंग क्षमताओं को समझाने में विफल रहते हैं। इसके अलावा, सिंथेटिक डेटा मॉडल या खिलौना व्याकरण (toy grammars) पर निर्भर पिछले दृष्टिकोण वर्तमान LLMs के प्रासंगिक टोकन स्केल पर लॉस लर्निंग कर्व्स के घातांकों को सीधे प्राकृतिक भाषा के अंतर्निहित सांख्यिकी से जोड़ने में सफल नहीं रहे हैं। केंद्रीय प्रश्न यह बना हुआ है: भाषा के कौन से सांख्यिकीय गुण परीक्षण हानि (test loss) और प्रशिक्षण डेटा की मात्रा के बीच संबंध रखने वाले पावर-लॉ घातांक को नियंत्रित करते हैं?

कार्यप्रणाली (Methodology)
लेखक डेटा-सीमित शासन (data-limited regime) के लिए एक सामान्य सैद्धांतिक ढांचे का प्रस्ताव करते हैं, जहाँ मॉडल क्षमता और कंप्यूट प्राथमिक बाधाएं नहीं हैं, बल्कि प्रशिक्षण डेटा ( $P$ ) की मात्रा है। यह सिद्धांत ऑटो-रिग्रेसिव लॉस को दो शिक्षण तंत्रों में विभाजित करता है: (1) प्रभावी भविष्यवाणी समय क्षितिज (prediction time horizon) का विस्तार करना, और (2) उस क्षितिज के भीतर भविष्यवाणी की सटीकता में सुधार करना।

यह व्युत्पत्ति भाषा के डेटासेट के दो प्रमुख सांख्यिकीय गुणों पर निर्भर करती है:

अगले-टोकन की सशर्त एंट्रॉपी (Conditional Entropy, $H_n$ ) का क्षय: $n$ पिछले टोकनों के दिए जाने पर अगले टोकन की सशर्त एंट्रॉपी, संदर्भ लंबाई (context length) $n$ के साथ पावर-लॉ के रूप में घटती है: $H_n - H_\infty \propto n^{-\gamma}$ ।
टोकन-टोकन सहसंबंधों (Token-Token Correlations) का क्षय: एक टेम्पोरल लैग $n$ द्वारा अलग किए गए टोकनों के बीच सहसंबंधों की शक्ति, पावर-लॉ के रूप में घटती है: $\|C(n)\|_{op} \propto n^{-\beta}$ ।

सिद्धांत यह मानता है कि एक दिए गए डेटासेट आकार $P$ के लिए, मॉडल केवल एक डेटा-निर्भर भविष्यवाणी समय क्षितिज $n^*(P)$ तक के टोकनों का ही लाभकारी रूप से उपयोग कर सकता है। यह क्षितिज टोकन-टोकन सहसंबंधों के सिग्नल-टू-नॉइज़ रेशियो द्वारा निर्धारित होता है; विशेष रूप से, $n^*(P)$ वह अधिकतम लैग है जहाँ सहसंबंध सिग्नल, सैंपलिंग नॉइज़ ( $O(P^{-1/2})$ ) से अधिक होता है। इससे निम्नलिखित संबंध प्राप्त होता है: $n^*(P) \propto P^{1/(2\beta)}$ ।

यह मानते हुए कि मॉडल क्षितिज $n < n^*(P)$ के भीतर की जानकारी का पर्याप्त तेजी से उपयोग करना सीख जाता है ("फास्ट-लर्निंग" धारणा), डोमिनेंट अतिरिक्त लॉस (excess loss) सीमित क्षितिज का परिणाम है। फलस्वरूप, ऑटो-रिग्रेसिव लॉस के लिए डेटा-सीमित स्केलिंग घातांक $\alpha_D$ को इस प्रकार व्युत्पन्न किया जाता है:
$\alpha_D = \frac{\gamma}{2\beta}$

यह ढांचा व्यक्तिगत $n$ -ग्राम लॉस कर्व्स $L_n(P)$ के लिए एक स्केलिंग कोलैप्स (scaling collapse) की भविष्यवाणी भी करता है। जब डेटासेट की सशर्त एंट्रॉपी ( $n^\gamma$ ) और डेटा थ्रेशोल्ड ( $P/n^{2\beta}$ ) द्वारा पुनर्गठित (rescaled) किया जाता है, तो सभी $n$ -ग्राम लर्निंग कर्व्स एक एकल मास्टर कर्व पर समाहित (collapse) हो जाने चाहिए।

प्रयोगात्मक सत्यापन (Experimental Verification)
लेखकों ने अपने सिद्धांत का परीक्षण दो गुणात्मक रूप से भिन्न डेटासेट्स पर किया: TinyStories (सिंथेटिक लघु कथाएँ) और WikiText-103 (विकिपीडिया लेख)।

सांख्यिकी का अनुमान:
- $\gamma$ (एंट्रॉपी घातांक): बढ़ते डेटासेट आकारों पर विभिन्न आर्किटेक्चर (GPT-2 APE, GPT-2 RoPE, LLaMA, Mamba) को प्रशिक्षित करके और छोटे $n$ $n$ के लिए $n$ $n$ -ग्राम लॉस $L_n$ $L_{n}$ के पावर-लॉ क्षय को फिट करके अनुमान लगाया गया।
  - TinyStories: $\gamma \approx 0.325$
  - WikiText: $\gamma \approx 0.265$
- $\beta$ (सहसंबंध घातांक): टोकन-टोकन कोवेरिएंस मैट्रिक्स $C(n)$ $C (n)$ के ऑपरेटर नॉर्म का मापन करके और इसके क्षय को फिट करके अनुमान लगाया गया।
  - TinyStories: $\beta \approx 0.88$
  - WikiText: $\beta \approx 0.94$
स्केलिंग लॉ का सत्यापन:
- स्केलिंग कोलैप्स: लेखकों ने $n$ -ग्राम लॉस $L_n$ को पुनर्गठित चरों $P/n^{2\beta}$ और $L_n \times n^\gamma$ के विरुद्ध प्लॉट किया। दोनों डेटासेट्स में, विभिन्न $n$ के लिए कर्व्स एक एकल मास्टर कर्व पर समाहित हो गए, जो प्रस्तावित स्केलिंग एंसाटे (ansatz) को प्रमाणित करते हैं।
- घातांक भविष्यवाणी: उपयोग किए गए $\gamma$ $γ$ और $\beta$ $β$ का उपयोग करके, अनुमानित स्केलिंग घातांक $\alpha_D = \gamma/(2\beta)$ $α_{D} = γ / (2 β)$ की तुलना ऑटो-रिग्रेसिव लॉस $L(P)$ $L (P)$ बनाम $P$ $P$ के अनुभवजन्य ढलान (empirical slope) से की गई।
  - TinyStories भविष्यवाणी: $\alpha_D \approx 0.185$ । अनुभवजन्य परिणाम इस ढलान से निकटता से मेल खाते हैं।
  - WikiText भविष्यवाणी: $\alpha_D \approx 0.141$ । अनुभवजन्य परिणाम इस ढलान से निकटता से मेल खाते हैं।

यह सहमति विभिन्न मॉडल आर्किटेक्चर (एब्सोल्यूट और रोटरी पोजीशनल एम्बेडिंग के साथ ट्रांसफॉर्मर, LLaMA-शैली, और Mamba) और विभिन्न संदर्भ लंबाई (context length) के बावजूद बनी रही, बशर्ते कि संदर्भ लंबाई डेटा-निर्भर क्षितिज को बाधित न करे।

प्रमुख योगदान (Key Contributions)

प्रथम पैरामीटर-मुक्त सिद्धांत: यह पेपर बिना किसी फ्री पैरामीटर या सिंथेटिक डेटा मॉडल के, प्राकृतिक भाषा के लिए डेटा-सीमित न्यूरल स्केलिंग घातांकों की मात्रात्मक भविष्यवाणी करने वाला पहला सिद्धांत प्रदान करता है।
निर्धारक तत्वों की पहचान: यह भाषा के दो अंतर्निहित सांख्यिकीय गुणों (एंट्रॉपी क्षय $\gamma$ और सहसंबंध क्षय $\beta$ ) को स्केलिंग घातांक के एकमात्र निर्धारकों के रूप में अलग करता है।
स्केलिंग कोलैप्स: यह प्रदर्शित करता है कि इन सांख्यिकीय गुणों द्वारा पुनर्गठित किए जाने पर विविध $n$ -ग्राम लर्निंग कर्व्स एक एकल मास्टर कर्व पर समाहित हो जाते हैं, जो सीखने की प्रक्रिया का एक कठोर सत्यापन प्रदान करता है।
यूनिवर्सलिटी क्लास: यह कार्य सुझाव देता है कि पदानुक्रमित संरचनाओं (जैसे ट्रांसफॉर्मर) को सीखने में सक्षम गहरे आर्किटेक्चर एक ऐसे 'यूनिवर्सलिटी क्लास' के अंतर्गत आते हैं जहाँ लॉस, उस क्षितिज के भीतर उप-इष्टतम शिक्षण के बजाय, डेटा-निर्भर भविष्यवाणी क्षितिज की परिमितता (finiteness) द्वारा नियंत्रित होता है।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य न्यूरल स्केलिंग लॉ के आकार और भाषा की सांख्यिकीय संरचना के बीच एक सीधा संबंध उजागर करता है। यह दिखाकर कि स्केलिंग घातांक भाषा के मापने योग्य सांख्यिकीय गुणों ( $\alpha_D = \gamma/2\beta$ ) का एक फलन है, यह पेपर केवल अनुभवजन्य अवलोकन से आगे बढ़कर इस समझ की ओर बढ़ता है कि LLMs डेटा से भाषा की दक्षता कैसे प्राप्त करते हैं।

पेपर सीमाओं को भी नोट करता है: इस सिद्धांत का परीक्षण डेटासेट के सीमित आकार और संदर्भ लंबाई (प्रायोगिक क्षितिज के लिए कुछ दसों टोकन तक) के भीतर किया गया है। यह स्वीकार करता है कि उथले नेटवर्क (shallow networks) या कर्नेल विधियाँ संभवतः इस यूनिवर्सलिटी क्लास से बाहर हैं क्योंकि वे 'कर्स ऑफ डायमेंशनलिटी' से प्रभावित होते हैं, और क्षितिज के भीतर "फास्ट-लर्निंग" धारणा सभी आर्किटेक्चर के लिए लागू नहीं हो सकती है। हालाँकि, परीक्षण किए गए गहरे नेटवर्क के लिए, यह सिद्धांत देखे गए स्केलिंग व्यवहार के लिए एक सटीक, प्रथम-सिद्धांतों (first-principles) वाला स्पष्टीकरण प्रदान करता है।

1. भाषा के दो छिपे हुए नियम

2. सीखने की प्रक्रिया: अतीत को "अनलॉक" करना

3. जादुई सूत्र (The Magic Formula)

4. "कोलैप्स" प्रयोग (The "Collapse" Experiment)

सारांश

इसी तरह के और पेपर