🤖 machine learning

Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

यह शोध पत्र मास्कड-इनपुट रेगुलराइजेशन (MIR) को पेश करके भाषा मॉडल प्रीट्रेनिंग के डेटा-सीमित शासन (data-constrained regime) को संबोधित करता है ताकि वैलिडेशन और डाउनस्ट्रीम प्रदर्शन में सुधार किया जा सके, और सॉफ्टक्यू (SoftQ) का प्रस्ताव देता है, जो एक नया स्केलिंग लॉ है जो उन बार-बार होने वाले प्रशिक्षण युगों (repeated training epochs) के तहत मॉडल और डेटा के आकार के बीच की अंतःक्रिया को सटीक रूप से कैप्चर करता है जहाँ शास्त्रीय नियम विफल हो जाते हैं।

मूल लेखक: Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (AI मॉडल) को कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। अतीत में, नियम यह था: "छात्र को अद्वितीय पुस्तकों का एक विशाल पुस्तकालय दें, और उन्हें प्रत्येक पुस्तक को ठीक एक बार पढ़ने दें।" यह अच्छी तरह काम करता था क्योंकि पुस्तकालय बहुत बड़ा था, और छात्र के पास सब कुछ एक बार पढ़ने के लिए पर्याप्त समय था।

लेकिन अब, स्थिति बदल गई है। हमने सुपर-फास्ट कंप्यूटर (कंप्यूट) बनाए हैं जो एक सेकंड में लाखों किताबें पढ़ सकते हैं, लेकिन नए, अद्वितीय पुस्तकों (प्राकृतिक भाषा डेटा) की आपूर्ति समाप्त हो रही है। हम एक "डेटा-सीमित, कंप्यूट-समृद्ध" दुनिया में हैं। अब छात्र को अपने दिमाग को भरने के लिए एक ही छोटे पुस्तकालय को बार-बार, कई बार पढ़ना होगा।

समस्या क्या है? यदि आप छात्र को केवल वही किताबें बार-बार पढ़ाते हैं, तो वे लिखने के बजाय किताबों को रटने लगते हैं। वे एक तोते की तरह बन जाते हैं, जो उन सटीक वाक्यांशों को दोहराते हैं जो उन्होंने देखे हैं, बजाय इसके कि वे भाषा के नियमों को समझें। इसे "ओवरफिटिंग" (overfitting) कहा जाता है।

यह शोध पत्र दो मुख्य प्रश्नों का समाधान करता है:

हम छात्र को केवल रटने से कैसे रोक सकते हैं? (रेगुलराइजेशन/Regularization)
छात्र के मस्तिष्क के आकार और पुस्तकालय के आकार के बीच संतुलन बनाने का सबसे अच्छा तरीका क्या है? (स्केलिंग लॉ/Scaling Laws)

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।

1. "धुंधले चश्मे" वाली ट्रिक (मास्क्ड-इनपुट रेगुलराइजेशन)

समस्या:
जब एक छात्र दसवीं बार एक ही किताब पढ़ता है, तो वह कहानी सीखने के बजाय पेज 5 पर किसी अजीब टाइपो या सटीक फॉन्ट को रटना शुरू कर सकता है। उन्हें अर्थ पर ध्यान केंद्रित करने के लिए मजबूर करने के तरीके की आवश्यकता है, न कि सटीक टेक्स्ट पर।

समाधान (MIR):
लेखकों ने मास्क्ड-इनपुट रेगुलराइजेशन (MIR) नामक एक तकनीक का परीक्षण किया। कल्पना कीजिए कि छात्र को पढ़ते समय "धुंधले चश्मे" या एक "स्कैम्बलर" (scrambler) दिया जा रहा है।

हर बार जब वे एक वाक्य पढ़ते हैं, तो कंप्यूटर यादृच्छिक रूप से (randomly) कुछ शब्दों को छिपा देता है (मास्क कर देता है), जिससे वे [MASK] बन जाते हैं।
छात्र को संदर्भ के आधार पर गायब शब्दों का अनुमान लगाना होता है, ठीक वैसे ही जैसे "रिक्त स्थान भरें" वाला खेल होता है।
वे यह अपने सामान्य पढ़ने के साथ-साथ करते हैं।

परिणाम:
इसे एक खेल का अभ्यास करने जैसा समझें। यदि आप केवल एक आदर्श, समतल मैदान पर अभ्यास करते हैं, तो आप विफल हो सकते हैं जब हवा चलती है। लेकिन यदि आप अपने ऊपर "विंड मशीन" (यादृच्छिक मास्किंग) चलते हुए अभ्यास करते हैं, तो आप अनुकूलन करना सीखते हैं।

शोध पत्र में पाया गया कि भले ही छात्र पहले से ही अनुशासित था (एक "स्ट्रॉन्ग वेट डिके" का उपयोग कर रहा था, जो एक सख्त कोच की तरह है जो उन्हें रटने से रोकता है), इस "धुंधले चश्मे" वाली ट्रिक को जोड़ने से वे और भी बेहतर हो गए।
इसने मॉडल को कठिन स्थितियों, जैसे अजीब नाम, मिश्रित भाषा, या टूटे हुए टेक्स्ट को संभालने में, उस मॉडल की तुलना में बहुत बेहतर बनाया जो केवल साफ टेक्स्ट को बार-बार पढ़ता था।
लाभ: उन्होंने गणना की कि इस ट्रिक का उपयोग करना गणितीय रूप से छात्र को 1.3 गुना अधिक अद्वितीय पुस्तकें पढ़ने देने के बराबर है। यह हमारे पास मौजूद सीमित पुस्तकालय से अधिक मूल्य प्राप्त करने का एक तरीका है।

2. "कप्ल्ड" (Coupled) विकास नियम (सॉफ्टQ स्केलिंग लॉ)

पुराना नियम (चिंचिला):
पहले, विशेषज्ञों के पास यह तय करने के लिए एक सूत्र (चिंचिला कानून) था कि पुस्तकों की संख्या के आधार पर छात्र के मस्तिष्क का आकार कितना बड़ा होना चाहिए।

पुराना विचार: "यदि आप पुस्तकों की संख्या दोगुनी करते हैं, तो आपको मस्तिष्क का आकार भी दोगुना करना चाहिए।" इसने मस्तिष्क के आकार और पुस्तक गणना को दो अलग-अलग चीजों के रूप में जोड़ा।
खामी: इस सूत्र ने माना कि आप हमेशा नई पुस्तकें प्राप्त कर सकते हैं। लेकिन हमारी "किताबें खत्म हो रही हैं" वाली दुनिया में, यह सूत्र टूट जाता है। इसने भविष्यवाणी की थी कि कम पुस्तकें होने का दंड एक छोटे मस्तिष्क और एक विशाल मस्तिष्क, दोनों के लिए समान होगा।

नया नियम (सॉफ्टQ):
लेखकों ने महसूस किया कि सीमित पुस्तकों वाली दुनिया में, मस्तिष्क का आकार और पुस्तक संख्या आपस में मजबूत रूप से जुड़े हुए हैं।

उपमा: कल्पना कीजिए कि एक बाल्टी (मस्तिष्क) और एक पाइप (डेटा) है।
- यदि बाल्टी छोटी है, तो इससे कोई फर्क नहीं पड़ता कि पाइप कितना बड़ा है; बाल्टी जल्दी भर जाती है, और अतिरिक्त पानी बस बाहर गिर जाता है (बर्बाद डेटा)।
- यदि बाल्टी बहुत बड़ी है लेकिन पाइप बहुत छोटा है, तो बाल्टी ज्यादातर खाली रहती है (बर्बाद मस्तिष्क शक्ति)।
- छोटे पाइप के होने का "दंड" (penalty) बहुत बदतर हो जाता है जैसे-जैसे बाल्टी बड़ी होती जाती है। एक विशाल बाल्टी के साथ एक छोटा पाइप आपदा है।

परिणाम:
उन्होंने सॉफ्टQ नामक एक नया सूत्र प्रस्तावित किया।

पुराने सूत्र के विपरीत, सॉफ्टQ समझता है कि जैसे-जैसे मॉडल बड़ा होता है, अद्वितीय डेटा की आवश्यकता तेजी से बढ़ती है। यह दोनों को एक साथ "कपल" (couple) करता है।
जब उन्होंने परीक्षण किया, तो सॉफ्टQ ने पुराने चिंचिला सूत्र की तुलना में मॉडल के प्रदर्शन की बहुत अधिक सटीकता से भविष्यवाणी की, विशेष रूप से तब जब डेटा सीमित था और मॉडल एक ही डेटा को कई बार पढ़ रहा था।

"मुख्य बातें" का सारांश

केवल दोहराएं नहीं; स्कैम्बल करें: जब आपको एक सीमित डेटासेट पर प्रशिक्षित किया जाना पड़े, तो टेक्स्ट के हिस्सों को यादृच्छिक रूप से छिपाना (MIR) AI को विशिष्ट वाक्यों को याद करने के बजाय सामान्य नियम सीखने के लिए मजबूर करता है। यह उत्तरों को ढककर अभ्यास क्विज़ करने जैसा है, बजाय इसके कि केवल पाठ्यपुस्तक को पढ़ा जाए।
डेटा की कमी होने पर आकार मायने रखता है: AI बनाने के नियम कहते थे "बड़ा मॉडल = बेहतर, डेटा की परवाह किए बिना।" नए नियम (सॉफ्टQ) कहते हैं "यदि आप मॉडल को बड़ा बनाते हैं, तो आपको अननुपातिक रूप से अधिक अद्वितीय डेटा की आवश्यकता होगी, अन्यथा मॉडल विफल हो जाएगा।"
दक्षता: "स्कैम्बल" ट्रिक (MIR) और नए "कप्ल्ड" सूत्र (SoftQ) का उपयोग करके, हम बेहतर AI मॉडल बना सकते हैं, भले ही हमारे पास प्रशिक्षण के लिए नए टेक्स्ट की कमी हो रही हो।

इस शोध पत्र ने क्या नहीं कहा:
शोध पत्र यह दावा नहीं करता है कि यह तुरंत चिकित्सा निदान को ठीक करेगा, ग्राहक सेवा के लिए पूर्ण चैटबॉट बनाएगा, या जलवायु परिवर्तन को हल करेगा। यह पूरी तरह से इस बात पर केंद्रित है कि डेटा की कमी होने पर इन मॉडलों को अधिक कुशलता से प्रशिक्षित करने के लिए गणित कैसे काम करता है। परिणाम 1.4 बिलियन पैरामीटर्स तक के मॉडलों के साथ प्रयोगों पर आधारित हैं (जो आज की बड़ी टेक कंपनियों द्वारा उपयोग किए जाने वाले विशाल मॉडलों की तुलना में छोटे हैं), लेकिन इन सिद्धांतों को बड़े पैमाने पर लागू करने के लिए बनाया गया है।

तकनीकी सारांश: डेटा-सीमित भाषा मॉडल प्रीट्रेनिंग (Data-Constrained Language Model Pretraining)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) प्रीट्रेनिंग के शास्त्रीय स्केलिंग लॉ (classical scaling laws), जैसे कि चिनचिला (Chinchilla), एक "प्रचुर डेटा" (abundant data) शासन के तहत कार्य करते हैं जहाँ अद्वितीय प्रशिक्षण डेटा कंप्यूट के साथ स्वतंत्र रूप से स्केल किया जा सकता है। ये नियम एक निश्चित कंप्यूट बजट को मॉडल पैरामीटर्स और प्रशिक्षण टोकन के बीच आवंटित करने के लिए अनुकूलित करते हैं, जो आमतौर पर कॉर्पस के एक एकल पास (single pass) की धारणा पर आधारित होते हैं।

हालाँकि, यह शोध पत्र तर्क देता है कि क्षेत्र अब एक डेटा-सीमित, कंप्यूट-समृद्ध शासन (data-constrained, compute-rich regime) की ओर बढ़ रहा है। इस सेटिंग में, उच्च गुणवत्ता वाले प्राकृतिक भाषा डेटा की आपूर्ति स्थिर या सीमित है, जबकि प्रशिक्षण कंप्यूट निरंतर बढ़ता जा रहा है। फलस्वरूप, प्रशिक्षण रणनीतियों को बड़े मॉडलों का उपयोग करने और एक सीमित डेटासेट पर कई इपोक (multiple epochs/repeated passes) करने के लिए अनुकूलित होना चाहिए। लेखक इस शासन के बारे में दो महत्वपूर्ण अंतराल (gaps) की पहचान करते हैं:

नियमितीकरण (Regularization): जब कंप्यूट बढ़ता है लेकिन अद्वितीय डेटा स्थिर रहता है, तो मॉडल ओवरफिटिंग से कैसे बच सकते हैं? हालांकि स्ट्रॉन्ग वेट डिके (strong weight decay) से मदद मिलती है, लेकिन यह स्पष्ट नहीं है कि क्या अन्य तंत्र, जैसे कि डिफ्यूजन लैंग्वेज मॉडल्स (dLLMs) में उपयोग किया जाने वाला रैंडम मास्किंग, पूरक लाभ प्रदान करते हैं।
स्केलिंग लॉ (Scaling Laws): क्या शास्त्रीय योगात्मक स्केलिंग लॉ (additive scaling laws), जो मॉडल आकार और डेटा आकार को अलग करते हैं, इस शासन में लॉस सरफेस (loss surface) का सटीक वर्णन करते हैं? लेखकों का अनुमान है कि ये कानून मिसस्पेसिफाइड (misspecified) हैं क्योंकि वे मॉडल क्षमता और सीमित अद्वितीय डेटा के बीच के अंतर्संबंध को पकड़ने में विफल रहते हैं।

कार्यप्रणाली (Methodology)

1. मास्क-इनपुट रेगुलराइजेशन (Masked-Input Regularization: MIR)

नियमितीकरण की जांच के लिए, लेखक मास्क-इनपुट रेगुलराइजेशन (MIR) पेश करते हैं। यह मानक ऑटोरेग्रेसिव (AR) प्रीट्रेनिंग में एक न्यूनतम संशोधन है जो मॉडल आर्किटेक्चर या इन्फरेंस प्रक्रिया को नहीं बदलता है।

तंत्र (Mechanism): एक स्वच्छ इनपुट सीक्वेंस $x$ के लिए, एक रैंडमली मास्क्ड वर्जन $\hat{x}$ बनाया जाता है, जिसमें एक सैंपलड मास्क रेशियो के आधार पर टोकन को [MASK] टोकन से बदल दिया जाता है।
उद्देश्य (Objective): प्रशिक्षण लॉस को एक ऑक्सिलरी नेक्स्ट-टोकन प्रेडिक्शन लॉस के साथ बढ़ाया जाता है जो मास्क्ड सीक्वेंस पर आधारित होता है:
$L = L_{NTP}(x) + \lambda L_{NTP}(\hat{x})$
तर्क (Rationale): लेखकों का अनुमान है कि रैंडम मास्किंग एक रेगुलराइज़र के रूप में कार्य करती है, जो मॉडल को सामान्यीकरण योग्य प्रेडिक्टिव फीचर्स सीखने के लिए मजबूर करती है न कि संदर्भ-विशिष्ट शोर (context-specific noise) को याद करने के लिए। इसका परीक्षण "स्ट्रॉन्गली रेगुलराइज्ड" AR मॉडल्स (उच्च वेट डिके का उपयोग करके) के विरुद्ध किया जाता है और dLLMs के साथ तुलना की जाती है।

2. स्केलिंग: द सॉफ्टक्यू लॉ (The SoftQ Law)

स्केलिंग प्रश्न को संबोधित करने के लिए, लेखक प्रयोगों का एक ग्रिड बनाते हैं जिसमें मॉडल का आकार ( $N \in \{72M, \dots, 1.4B\}$ ) और अद्वितीय डेटा बजट ( $U \in \{100M, \dots, 400M\}$ ) को बदला जाता है। वे कई स्केलिंग लॉ का मूल्यांकन करते हैं:

चिनचिला (Chinchilla): एक योगात्मक रूप $L = E + A N^{-\alpha} + B U^{-\beta}$ , जो यह मानता है कि डेटा बजटों के बीच का लॉस गैप मॉडल के आकार से स्वतंत्र है।
मुएनिघॉफ-शैली (Muennighoff-style): प्रभावी संसाधनों का उपयोग करता है जो दोहराव के साथ संतृप्त (saturate) हो जाते हैं।
क्वांटा (Quanta): स्किल-लर्निंग दृष्टिकोण से प्राप्त एक युग्मित (coupled) कानून।
सॉफ्टक्यू (SoftQ - प्रस्तावित): एक पांच-पैरामीटर वाला स्केलिंग लॉ जो एक "सॉफ्ट बॉटलनेक" के माध्यम से मॉडल आकार और डेटा आकार को जोड़ता है:
$L_{SoftQ}(N, U) = E + \left( \frac{A}{N^\rho} + \frac{B}{U^{\rho/(1+\alpha)}} \right)^{\alpha/\rho}$
यहाँ, $\rho$ पैरामीटर-सीमित और डेटा-सीमित शासन के बीच संक्रमण की तीक्ष्णता (sharpness) को नियंत्रित करता है। जैसे-जैसे $U \to \infty$ , यह पैरामीटर स्केलिंग को रिकवर करता है; जैसे-जैसे $N \to \infty$ , यह डेटा स्केलिंग को रिकवर करता है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. रेगुलराइजेशन संबंधी निष्कर्ष

वेट डिके ट्रांसफर: लेखक प्रदर्शित करते हैं कि स्ट्रॉन्ग वेट डिके (जो AR के लिए अनुकूलित है) dLLM प्रदर्शन में काफी सुधार करता है, जिससे AR और dLLM मॉडल्स के बीच वैलिडेशन लॉस गैप कम हो जाता है। जब दोनों को स्ट्रॉन्गली रेगुलराइज किया जाता है, तो उनका प्रदर्शन तुलनीय हो जाता है।
MIR की प्रभावकारिता: MIR, स्ट्रॉन्ग वेट डिके के ऊपर पूरक रेगुलराइजेशन (complementary regularization) प्रदान करता है। DCLM डेटासेट (100M यूनिक टोकन) पर 72M से 1.4B तक के मॉडल साइज में, MIR लगातार स्ट्रॉन्ग-वेट-डिके-ओनली बेसलाइन की तुलना में कम वैलिडेशन लॉस देता है।
- यह लाभ मॉडल के आकार के साथ बढ़ता है (72M पर ~0.006 लॉस रिडक्शन से बढ़कर 1.4B पर ~0.03 तक), जो इस सैद्धांतिक अंतर्ज्ञान के अनुरूप है कि ओवरपैरामीटराइज्ड मॉडल्स को मास्किंग-आधारित रेगुलराइजेशन से अधिक लाभ होता है।
- डाउनस्ट्रीम लाभ: 1.4B पैरामीटर्स पर, MIR महत्वपूर्ण डाउनस्ट्रीम सुधार देता है, जिसमें BoolQ पर +10.2 पॉइंट्स और SciQ पर +2.2 पॉइंट्स शामिल हैं।
- सामान्यीकरण (Generalization): इसके लाभ कोड-हैवी डेटा (Stack-V2) में भी स्थानांतरित होते हैं, भले ही हाइपरपैरामीटर्स केवल प्राकृतिक भाषा डेटा पर ट्यून किए गए हों।
मैकेनिज्म विश्लेषण: टोकन-लेवल विश्लेषण से पता चलता है कि MIR उन "हार्ड" टोकन पर सबसे अधिक मदद करता है जहाँ कॉन्टेक्स्ट शोरपूर्ण (noisy), मिश्रित-स्क्रिप्ट, या दुर्लभ नामों वाला होता है, जो यह सुझाव देता है कि MIR केवल फ्रीक्वेंसी-आधारित प्रेडिक्शन के बजाय लोकल प्रिफिक्स कॉन्टेक्स्ट के प्रति मजबूती (robustness) में सुधार करता है।

2. स्केलिंग लॉ संबंधी निष्कर्ष

चिनचिला मिसस्पेसिफाइड है: प्रायोगिक परिणाम दिखाते हैं कि विभिन्न अद्वितीय डेटा बजटों के बीच वैलिडेशन लॉस गैप मॉडल के आकार के साथ बढ़ता है। योगात्मक चिनचिला कानून, जो एक मॉडल-साइज-इनवेरिएंट गैप की भविष्यवाणी करता है, इस "फैन-आउट" व्यवहार को पकड़ने में विफल रहता है।
सॉफ्टक्यू की श्रेष्ठता: प्रस्तावित सॉफ्टक्यू लॉ, जो मॉडल और डेटा आकार को स्पष्ट रूप से जोड़ता है, चिनचिला, क्वांटा और मुएनिघॉफ-शैली के कानूनों की तुलना में डेटा-सीमित प्रयोगों में काफी बेहतर फिट बैठता है। यह इन-सैंपल फिट और होल्ड-आउट एक्सट्रपलेशन (छोटे बजट से 400M बजट के प्रदर्शन की भविष्यवाणी करना) दोनों पर कम RMSE और MAE प्राप्त करता है।
डेटा दक्षता का परिमाणीकरण: सॉफ्टक्यू को बेसलाइन के रूप में उपयोग करते हुए, लेखक अनुमान लगाते हैं कि MIR का प्रदर्शन लाभ लगभग 1.3 गुना अद्वितीय प्रशिक्षण डेटा (विशेष रूप से 200M–400M टोकन बजट रेंज में) के बराबर है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र डेटा-सीमित, कंप्यूट-समृद्ध शासन की एक मौलिक समझ प्रदान करने का दावा करता है, जो तेजी से प्रासंगिक होता जा रहा है क्योंकि कंप्यूट की उपलब्धता डेटा की उपलब्धता की तुलना में अधिक तेजी से बढ़ रही है।

व्यावहारिक रेसिपी: लेखक एक व्यावहारिक, लो-ओवरहेड रेसिपी (MIR) प्रस्तावित करते हैं जो बिना किसी आर्किटेक्चरल बदलाव या इन्फरेंस ओवरहेड के ऑटोरेग्रेसिव प्रीट्रेनिंग के लिए डेटा दक्षता में सुधार करती है।
सैद्धांतिक सुधार: वे प्रदर्शित करते हैं कि शास्त्रीय योगात्मक स्केलिंग लॉ डेटा-सीमित शासन के लिए अपर्याप्त हैं और वे सॉफ्टक्यू को एक अधिक सटीक मॉडल के रूप में प्रस्तावित करते हैं जो लॉस सरफेस की भविष्यवाणी कर सके जब अद्वितीय डेटा एक बाइंडिंग रिसोर्स हो।
रेगुलराइजेशन और स्केलिंग का अंतर्संबंध: यह कार्य रेखांकित करता है कि इस शासन में रेगुलराइजेशन रणनीतियाँ (जैसे वेट डिके और मास्किंग) और स्केलिंग लॉ गहराई से जुड़े हुए हैं; प्रभावी स्केलिंग के लिए ऐसे मॉडल्स की आवश्यकता होती जो प्रॉपरली रेगुलराइज हों ताकि बार-बार उपयोग किए गए डेटा पर ओवरफिटिंग को रोका जा सके।

लेखक विनम्रता बरतते हुए नोट करते हैं कि उनके प्रयोग 1.4B पैरामीटर्स और 400M यूनिक टोकन तक सीमित हैं, जो फ्रंटियर-स्केल प्रीट्रेनिंग की तुलना में छोटे हैं। वे सुझाव देते हैं कि भविष्य के कार्यों को हाइपरपैरामीटर ट्रांसफर रेसिपी और विविध मॉडल आर्किटेक्चरों की खोज करनी चाहिए।