💬 NLP

Reusing Overtrained Language Models Saturates Scaling

यह शोध पत्र अनुभवजन्य रूप से यह प्रदर्शित करता है कि आगे के प्रीट्रेनिंग के लिए अत्यधिक प्रशिक्षित (overtrained) भाषा मॉडलों का पुन: उपयोग करने से घटते प्रतिफल (diminishing returns) प्राप्त होते हैं, क्योंकि स्केलिंग दक्षता प्रारंभिक प्रीट्रेनिंग कॉर्पस के आकार के साथ लघुगणकीय (logarithmically) रूप से घटती है, जो मल्टी-स्टेज ट्रेनिंग रणनीतियों में एक मौलिक ट्रेड-ऑफ को प्रकट करती है।

मूल लेखक: Seng Pei Liew, Takuya Kato

प्रकाशित 2026-02-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seng Pei Liew, Takuya Kato

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

मुख्य विचार: जब "बहुत अधिक अभ्यास" नई चीजें सीखने में बाधा बनता है

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली छात्र को प्रशिक्षित कर रहे हैं। आप वर्षों तक उन्हें सामान्य ज्ञान (इतिहास, विज्ञान, साहित्य) सिखाते हैं। वे एक विशेषज्ञ बन जाते हैं। अब, आप उन्हें एक नया, विशिष्ट कौशल सिखाना चाहते हैं, जैसे कोडिंग या उन्नत गणित।

आमतौर पर, आप सोचेंगे, "बहुत बढ़िया! वे पहले से ही इतना कुछ जानते हैं; वे नई चीज़ें बहुत तेज़ी से सीख लेंगे।"

हालाँकि, इस शोध पत्र ने एक आश्चर्यजनक मोड़ की खोज की है: यदि छात्र को सामान्य चीज़ों पर बहुत अधिक प्रशिक्षित किया गया है, तो वे नए कौशल को सीखने में फंस जाते हैं। वे जितना अधिक "ओवर-ट्रेन्ड" (over-trained) होते हैं, उन्हें नए प्रशिक्षण से उतना ही कम लाभ मिलता है। यह ऐसा है जैसे उनका मस्तिष्क इतना कठोर हो गया है कि वह नई जानकारी के अनुरूप खुद को आसानी से ढाल नहीं सकता।

शोधकर्ता इसे "स्केलिंग सैचुरेशन" (Scaling Saturation) कहते हैं। उन्होंने पाया कि यदि आप एक ऐसे मॉडल का बार-बार उपयोग करते हैं जिसने पहले ही भारी मात्रा में डेटा देखा है, तो बाद में और अधिक डेटा जोड़ने से उतना लाभ नहीं होता जितना कि अपेक्षित होता है।

मॉडल को "पुन: उपयोग" करने के दो तरीके जो उन्होंने आजमाए

शोधकर्ताओं ने एक मौजूदा, प्रशिक्षित मॉडल को शून्य से शुरू किए बिना बेहतर बनाने के दो मुख्य तरीकों का परीक्षण किया:

निरंतर प्रीट्रेनिंग (कंटीन्यूअल प्रीट्रेनिंग - "विशेषज्ञ" दृष्टिकोण):
- उपमा: कल्पना कीजिए कि एक सामान्य डॉक्टर है जिसने लाखों मरीजों को देखा है। आप चाहते हैं कि वह हृदय रोग विशेषज्ञ (heart surgeon) बने। आप उसी डॉक्टर को लेते हैं और उसे कार्डियोलॉजी की एक नई पाठ्यपुस्तक देते हैं।
- प्रयोग: उन्होंने इंटरनेट के सामान्य टेक्स्ट पर प्रशिक्षित एक मॉडल लिया और उसे कोडिंग या गणित सिखाने की कोशिश की।
- परिणाम: यदि डॉक्टर ने पहले ही बहुत अधिक सामान्य किताबें पढ़ ली थीं, तो नई कार्डियोलॉजी पुस्तक उन्हें उतना सुधार करने में मदद नहीं कर पाई। उनकी "लर्निंग कर्व" (सीखने की गति) सपाट हो गई।
मॉडल ग्रोथ (मॉडल विकास - "विशाल" दृष्टिकोण):
- उपमा: कल्पना कीजिए कि एक छोटा, कुशल रोबोट है। आप इसे और स्मार्ट बनाना चाहते हैं, इसलिए आप शून्य से नया रोबोट नहीं बनाते। इसके बजाय, आप मौजूदा रोबोट पर "मस्तिष्क" की अतिरिक्त परतें चिपका देते हैं। आपको उम्मीद है कि नई परतें तेज़ी से सीख लेंगी क्योंकि पुरानी परतें पहले से ही स्मार्ट हैं।
- प्रयोग: उन्होंने एक छोटे मॉडल को लिया और वास्तव में उसके ऊपर और अधिक परतें जोड़ दीं (इसे बड़ा बनाया) या उसकी परतों को चौड़ा कर दिया।
- परिणाम: विशेषज्ञ की तरह ही, यदि मूल रोबोट पहले से ही "ओवर-ट्रेन्ड" था, तो नया, बड़ा रोबोट उस दक्षता से नहीं सीख सका जैसा कि शून्य से बनाया गया एक नया रोबोट सीख पाता।

"घटते प्रतिफल का नियम" (The Law of Diminishing Returns - गणितीय भाग)

यह शोध पत्र केवल यह नहीं कह रहा है कि "यह बदतर हो जाता है"; उन्होंने एक विशिष्ट गणितीय नियम भी खोजा है कि यह कैसे बदतर होता है।

मॉडल के प्रदर्शन को एक पानी की टंकी की तरह समझें।

पानी: यह "लॉस" (loss) है (मॉडल कितना गलत है)। आप चाहते हैं कि पानी का स्तर नीचे जाए।
पहला चरण (D1): यह प्रारंभिक प्रशिक्षण है। आप यहाँ जितना अधिक पानी डालेंगे (अधिक टोकन), स्तर उतना ही नीचे जाएगा।
दूसरा चरण (D2): यह पुन: उपयोग वाला प्रशिक्षण है। आप स्तर को और कम करने के लिए और अधिक पानी डालते हैं।

खोज:
यदि आप पहले चरण के दौरान टंकी को लबालब भर देते हैं (ओवरट्रेनिंग), तो दूसरे चरण के दौरान पानी डालने के लिए उपयोग किया जाने वाला पाइप जाम हो जाता है।

आपने मॉडल को शुरू में जितना अधिक प्रशिक्षित किया, दूसरे चरण में पानी का स्तर उतनी ही धीमी गति से नीचे गिरा।
शोध पत्र ने पाया कि यह मंदी एक अनुमानित पैटर्न का पालन करती है: जैसे-जैसे प्रारंभिक प्रशिक्षण बढ़ता है, नए प्रशिक्षण का लाभ लघुगणकीय (logarithmically) रूप से घटता जाता है।

सूत्र (Formula):
उन्होंने इसका अनुमान लगाने के लिए एक सरल समीकरण बनाया। यह मूल रूप से कहता है:

आप बेस मॉडल को जितना अधिक ओवर-ट्रेन करेंगे, नया प्रशिक्षण उतना ही कम प्रभावी होगा।

ऐसा क्यों होता है? (तंत्र/Mechanism)

शोधकर्ताओं ने यह देखने के लिए कि ऐसा क्यों होता है, मशीन के अंदरूनी हिस्सों की जांच की।

"कठोर मांसपेशी" की उपमा: कल्पना कीजिए कि एक भारोत्तोलक (weightlifter) ने एक विशिष्ट लिफ्ट पर इतनी कड़ी मेहनत की है कि उसकी मांसपेशियां उस सटीक गतिविधि के लिए अविश्वसनीय रूप से सख्त और अनुकूलित हो गई हैं। यदि आप उन्हें एक पूरी तरह से नया नृत्य सीखने के लिए कहते हैं, तो उनकी सख्त मांसपेशियां उन्हें लचीला होने में कठिनाई पैदा करती हैं।
ग्रेडिएंट नॉर्म्स (Gradient Norms): शोध पत्र में, उन्होंने "ग्रेडिएंट नॉर्म्स" को मापा (यह मापने का एक तकनीकी तरीका है कि मॉडल को सीखने के लिए कितनी ज़ोर लगाने की आवश्यकता होती है)। उन्होंने पाया कि ओवर-ट्रेन्ड मॉडल्स में बड़े ग्रेडिएंट नॉर्म्स होते हैं। इसका अर्थ है कि मॉडल अपने स्वयं के मौजूदा ज्ञान के विरुद्ध लड़ रहा है। यह एक भारी, जंग लगे गियर को घुमाने की कोशिश करने जैसा है; इसे थोड़ा सा भी चलाने के लिए बहुत अधिक बल की आवश्यकता होती है।

व्यावहारिक निष्कर्ष: कब से शुरुआत दोबारा करें

तो, यदि कोई कंपनी एक बेहतर AI बनाना चाहती है तो उसे क्या करना चाहिए?

यह शोध पत्र एक स्पष्ट नियम देता है: अपने पुराने मॉडल को त्यागने से न डरें।

यदि आपने अपने बेस मॉडल को बहुत अधिक प्रशिक्षित नहीं किया है: तो इसे पुन: उपयोग करना (बड़ा करना या फाइन-ट्यून करना) एक बेहतरीन शॉर्टकट है। यह पैसा और समय बचाता है।
यदि आपने अपने बेस मॉडल को बहुत अधिक प्रशिक्षित किया है (ओवर-ट्रेन्ड): तो इसे पुन: उपयोग करना एक जाल है। आप नए डेटा पर इसे प्रशिक्षित करने में बहुत पैसा खर्च करेंगे, लेकिन इसमें बहुत कम सुधार होगा।
समाधान: यदि बेस मॉडल ओवरट्रेनिंग के कारण बहुत अधिक "कठोर" हो गया है, तो पुराने मॉडल को ठीक करने की कोशिश करने के बजाय एक बिल्कुल नया मॉडल शून्य से प्रशिक्षित करना वास्तव में सस्ता और तेज़ है।

सारांश

यह शोध पत्र हमें चेतावनी देता है कि AI की दुनिया में, "अधिक प्रशिक्षण" हमेशा बेहतर नहीं होता है। यदि आप किसी मॉडल को सामान्य डेटा पर बहुत अधिक प्रशिक्षित करते हैं, तो वह कठोर हो जाता है। उस कठोर मॉडल को नए कार्यों के लिए पुन: उपयोग करने का प्रयास एक ऐसी "सीमा" (ceiling) से टकराता है जहाँ अतिरिक्त प्रयास का लगभग कोई परिणाम नहीं मिलता। कभी-कभी, आगे बढ़ने का सबसे कुशल मार्ग पुराने मॉडल को पुन: उपयोग करने की कोशिश करना छोड़ देना और नए सिरे से शुरुआत करना होता है।

तकनीकी सारांश: ओवरट्रेन्ड लैंग्वेज मॉडल्स का पुन: उपयोग स्केलिंग को संतृप्त करता है

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को शून्य से प्रशिक्षित करना कम्प्यूटेशनल रूप से महंगा और समय लेने वाला है। इसे कम करने के लिए, शोधकर्ता तेजी से मॉडल पुन: उपयोग (model reuse) रणनीतियों का उपयोग कर रहे हैं, जैसे कि कंटीन्यूअल प्रीट्रेनिंग (CPT) (बेस मॉडल्स को नए डोमेन के अनुकूल बनाना) और मॉडल ग्रोथ (Model Growth) (बेस पैरामीटर्स का पुन: उपयोग करके मॉडल की क्षमता बढ़ाना)। हालांकि ये आशाजनक हैं, लेकिन अत्यधिक प्रशिक्षित (overtrained) बेस मॉडल्स (जो विशाल टोकन गणनाओं पर प्रशिक्षित किए गए हैं) के पुन: उपयोग की प्रभावशीलता स्पष्ट नहीं है। सहज रूप से, ओवरट्रेन्ड मॉडल्स में अत्यधिक अनुकूलित पैरामीटर्स नए डेटा वितरणों या क्षमता विस्तार के दौरान प्रभावी अन्वेषण (exploration) को बाधित कर सकते हैं, जिससे "प्लास्टिसिटी की हानि" (loss of plasticity) नामक घटना होती है। यह शोध पत्र इन पुन: उपयोग रणनीतियों के स्केलिंग गुणों की जांच करता है ताकि यह निर्धारित किया जा सके कि क्या और कैसे ओवरट्रेनिंग दूसरे चरण के प्रीट्रेनिंग के लाभों को सीमित करती है।

कार्यप्रणाली (Methodology)

लेखकों ने विभिन्न मॉडल आकारों (15M से 1B पैरामीटर्स) और डेटासेट्स पर 450 से अधिक रन के माध्यम से व्यापक नियंत्रित प्रयोग किए।

प्रायोगिक सेटअप (Experimental Setup):
- आर्किटेक्चर: SwiGLU एक्टिवेशन और रोटरी पोजीशनल एम्बेडिंग्स के साथ डिकोडर-ओनली ट्रांसफॉर्मर (LLaMA-शैली)।
- दो-चरणीय प्रशिक्षण (Two-Stage Training):
  1. प्रथम चरण (बेस मॉडल): जेनेरिक इंटरनेट डेटा (Slimpajama-DC, CommonCrawl का हिस्सा) पर $D_1$ टोकन के लिए प्रीट्रेन किया गया।
  2. द्वितीय चरण (पुन: उपयोग):
    - CPT: डोमेन-विशिष्ट डेटा (Code: Stack/StarCoder; Math: OpenWebMath) पर आगे का प्रशिक्षण।
    - मॉडल ग्रोथ: विड्थ एक्सपेंशन (फंक्शन-प्रिजर्विंग इनिशियलाइजेशन) या डेप्थ-वाइज स्टैकिंग (लेयर्स को कॉपी करना) के माध्यम से क्षमता बढ़ाना।
- चर (Variables): अध्ययन ने व्यवस्थित रूप से पहले चरण के टोकन ( $D_1$ ), दूसरे चरण के टोकन ( $D_2$ ), और मॉडल आकार ( $N$ ) को बदला।
- प्रशिक्षण कॉन्फ़िगरेशन: मिक्स्ड प्रिसिजन (bfloat16), AdamW ऑप्टिमाइज़र, और एक वॉर्मअप-स्टेबल-डिके (WSD) लर्निंग रेट शेड्यूल।
स्केलिंग लॉ फॉर्मूलेशन (Scaling Law Formulation):
लेखकों ने दूसरे चरण के बाद के वैलिडेशन लॉस का वर्णन करने वाले एक कार्यात्मक रूप $L(D_1, D_2)$ की खोज की। उन्होंने अनुभवजन्य डेटा के विरुद्ध कई परिकल्पनाओं का परीक्षण किया:
1. मल्टीप्लिकेटिव विद इंटरैक्शन: $L(D_1, D_2) = A D_1^{-\alpha_1} D_2^{-(\alpha_2 + \alpha_3 \log D_1)} + E$
2. एडिटिव (Additive): $L(D_1, D_2) = A D_1^{-\alpha_1} + F D_2^{-\alpha_2} + E$
3. हाइब्रिड (Hybrid): $L(D_1, D_2) = (A D_1^{-\alpha_1} + F) D_2^{-\alpha_2} + E$
4. कंटीन्यूअस स्केलिंग (Continuous Scaling): $L(D_1, D_2) = A(D_1 + D_2)^{-\alpha} + E$ (डेटा निरंतरता मानते हुए)।
लेखकों ने हबर लॉस ऑप्टिमाइज़ेशन का उपयोग करके इन रूपों को फिट किया और लीव-वन-आउट रूट मीन स्क्वायर एरर (RMS) के माध्यम से इनका मूल्यांकन किया।

मुख्य योगदान (Key Contributions)

मॉडल पुन: उपयोग के लिए अनुभवजन्य स्केलिंग लॉ: यह पेपर स्थापित करता है कि दूसरे चरण के टोकन ( $D_2$ ) के संबंध में स्केलिंग एक्सपोनेंट, पहले चरण के टोकन काउंट ( $D_1$ ) के बढ़ने के साथ लॉगरिदमिक रूप से घटता है। इसे स्केलिंग एक्सपोनेंट में इंटरैक्शन टर्म $\alpha_3 \log D_1$ द्वारा कैप्चर किया गया है।
संतृप्ति का परिमाणीकरण (Quantification of Saturation): लेखक प्रदर्शित करते हैं कि ओवरट्रेन्ड बेस मॉडल्स का पुन: उपयोग करने से स्केलिंग दक्षता में एक अनुमानित संतृप्ति (saturation in scaling efficiency) आती है। जैसे-जैसे $D_1$ बढ़ता है, अतिरिक्त $D_2$ टोकन का सीमांत लाभ (marginal benefit) काफी कम हो जाता है।
मॉडल आकार के साथ संयुक्त स्केलिंग: स्केलिंग लॉ को मॉडल आकार ( $N$ ) को संयुक्त रूप से शामिल करने के लिए विस्तारित किया गया है, जिससे बड़े मॉडल्स और डेटासेट्स के प्रदर्शन का एक्सट्रपलेशन संभव होता है।
मैकेनिस्टिक और सैद्धांतिक विश्लेषण:
- मैकेनिस्टिक: ग्रेडिएंट नॉर्म्स का विश्लेषण प्रकट करता है कि ओवरट्रेन्ड मॉडल्स दूसरे चरण के प्रशिक्षण के दौरान बड़े ग्रेडिएंट नॉर्म्स प्रदर्शित करते हैं, जो बढ़ी हुई ऑप्टिमाइज़ेशन कठिनाई और एक तीव्र लॉस लैंडस्केप का सुझाव देते हैं।
- सैद्धांतिक: लर्निंग कर्व थ्योरी और मैक्सिमम एंट्रॉपी सिद्धांतों पर आधारित एक टॉय मॉडल प्रस्तावित किया गया है ताकि स्केलिंग एक्सपोनेंट के लॉगरिदमिक संतृप्ति को समझाया जा सके, जो फीचर डिस्कवरी को एक ट्री सर्च के रूप में मॉडल करता है जहाँ प्रभावी ब्रांचिंग फैक्टर पहले चरण के प्रशिक्षण द्वारा संशोधित होता है।

मुख्य परिणाम (Key Results)

बेस्ट-फिट मॉडल: इंटरैक्शन टर्म के साथ मल्टीप्लिकेटिव स्केलिंग लॉ (इक्वेशन 1) ने सभी डेटासेट्स (Code, Math) और विधियों (CPT, Model Growth) की तुलना में एडिटिव, हाइब्रिड, या कंटीन्यूअस स्केलिंग फॉर्मुलेशन की तुलना में लगातार सबसे कम RMS एरर प्राप्त किया।
संतृप्ति प्रभाव (The Saturation Effect):
- एक निश्चित $D_1$ के लिए, लॉस $D_2$ के संबंध में पावर लॉ का पालन करता है।
- हालाँकि, एक्सपोनेंट $\alpha_{eff} = \alpha_2 - \alpha_3 \log D_1$ $D_1$ के बढ़ने के साथ घटता है।
- इसका तात्पर्य यह है कि अत्यधिक ओवरट्रेन्ड बेस मॉडल्स (बड़ा $D_1$ ) के लिए, अतिरिक्त दूसरे चरण के प्रशिक्षण टोकन पर रिटर्न तेजी से घटता जाता है।
क्रॉसओवर पॉइंट (Crossover Point): मॉडल पुन: उपयोग बनाम शून्य से प्रशिक्षण (from-scratch training) के स्केलिंग लॉ की तुलना करके, लेखक एक "क्रॉसओवर" बिंदु की पहचान करते हैं। छोटे $D_2$ के लिए, मॉडल ग्रोथ अधिक कुशल है। हालाँकि, जैसे-जैसे $D_2$ बढ़ता है, पुन: उपयोग किए गए मॉडल की संतृप्ति के कारण "शून्य से प्रशिक्षण" वाला दृष्टिकोण अंततः बेहतर प्रदर्शन करता है। यह थ्रेशोल्ड प्रारंभिक निवेश ( $D_1$ ) और मॉडल आकार पर निर्भर करता है।
ग्रेडिएंट नॉर्म्स: ओवरट्रेन्ड मॉडल्स पुन: उपयोग के दौरान बड़े ग्रेडिएंट नॉर्म्स दिखाते हैं, जो देखे गए संतृप्ति के लिए एक मैकेनिस्टिक स्पष्टीकरण प्रदान करता है (अर्थात, मॉडल पैरामीटर स्पेस के एक अत्यधिक संवेदनशील क्षेत्र में है)।
सीमाएँ: स्केलिंग लॉ एक सैद्धांतिक क्रॉसओवर की भविष्यवाणी करता है जहाँ शून्य से प्रशिक्षण बेहतर हो जाता है। हालाँकि, अत्यंत बड़े $D_2$ (2000x टोकन-टू-पैरामीटर अनुपात तक) के साथ प्रयोगों में, डेटा एक नॉइज़ फ्लोर में चला गया, जिससे बड़े मॉडल्स के लिए क्रॉसओवर की निश्चित अनुभवजन्य पुष्टि करने में बाधा आई।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह मल्टी-स्टेज प्रीट्रेनिंग में ट्रेड-ऑफ को मात्रात्मक रूप से निर्धारित करके भाषा मॉडल प्रशिक्षण के लिए व्यावहारिक अंतर्दृष्टि प्रदान करता है।

अभ्यासकर्ताओं के लिए मार्गदर्शन: व्युत्पन्न स्केलिंग लॉ एक डेटा-संचालित रणनीति प्रदान करते हैं कि कब बेस मॉडल को पुन: उपयोग करने के बजाय शून्य से प्रशिक्षण देना चाहिए। यदि लक्षित प्रशिक्षण बजट ( $D_2$ ), बेस मॉडल की ओवरट्रेनिंग ( $D_1$ ) के सापेक्ष एक निश्चित थ्रेशोल्ड से अधिक है, तो शून्य से प्रशिक्षण अधिक कम्प्यूटेशनल रूप से अनुकूल हो सकता है।
मौलिक ट्रेड-ऑफ: यह कार्य एक मौलिक ट्रेड-ऑफ को उजागर करता है: एक बेस मॉडल जितना अधिक व्यापक रूप से प्रीट्रेन किया जाता है, अतिरिक्त प्रीट्रेनिंग का लाभ उतना ही कम होता जाता है। यह इस धारणा को चुनौती देता कि किसी भी प्रीट्रेन्ड मॉडल का पुन: उपयोग करना हमेशा शून्य से प्रशिक्षण की तुलना में बेहतर होता है।
दायरा: लेखक स्पष्ट रूप से कहते हैं कि उनके निष्कर्ष वर्तमान स्केलेबल ट्रेनिंग पद्धतियों (1B पैरामीटर्स तक) के लिए मजबूत हैं, लेकिन स्वीकार करते हैं कि अत्यधिक बड़े पैमाने (क्रॉसओवर के बाद) पर व्यवहार कम्प्यूटेशनल बाधाओं और शोर के कारण एक खुला प्रश्न बना हुआ है। वे यह दावा नहीं करते हैं कि उन्होंने संतृप्ति प्रभावों को समाप्त कर दिया है, बल्कि यह कि हमने नकारात्मक परिणामों को कम करने के लिए उन्हें मॉडल और समझा है।

पेपर निष्कर्ष निकालता है कि जबकि मॉडल पुन: उपयोग एक आशाजनक रणनीति है, इसकी प्रभावकारिता बेस मॉडल की ओवरट्रेनिंग द्वारा सीमित है, और यह संतृप्ति एक अनुमानित, मात्रात्मक घटना है जो विशिष्ट स्केलिंग लॉ द्वारा शासित होती है।