🤖 machine learning

When is Warmstarting Effective for Scaling Language Models?

यह शोध पत्र तर्क देता है कि विशिष्ट टोकन बजट के तहत एक सरल $2\times$ विकास कारक (growth factor) के साथ लार्ज लैंग्वेज मॉडल्स को वार्मस्टार्ट करना सबसे प्रभावी होता है, जो यह प्रदर्शित करता है कि प्रारंभिक प्रदर्शन को बनाए रखना अनावश्यक है और उस विकास की ऊपरी सीमा की पहचान करता है जिसके आगे शून्य से प्रशिक्षण (training from scratch) अधिक कुशल हो जाता है।

मूल लेखक: Neeratyoy Mallik, Maciej Janowski, Johannes Hog, Herilalaina Rakotoarison, Josif Grabocka, Frank Hutter, Aaron Klein

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Neeratyoy Mallik, Maciej Janowski, Johannes Hog, Herilalaina Rakotoarison, Josif Grabocka, Frank Hutter, Aaron Klein

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जिसने महीनों तक एक विशिष्ट सूप रेसिपी को सिद्ध करने में बिताया है। आपके पास सूप का एक बड़ा, अच्छी तरह से प्रशिक्षित बर्तन (आपका छोटा मॉडल) है जिसका स्वाद बहुत बढ़िया है। अब, आप एक बहुत बड़े समूह के लिए दावत देना चाहते हैं, इसलिए आपको एक बड़ा बर्तन (एक बड़ा मॉडल) चाहिए।

मुख्य सवाल यह है: क्या आपको अपना बेहतरीन सूप फेंक देना चाहिए और एक बिल्कुल नए, खाली बर्तन के साथ शुरुआत करनी चाहिए? या फिर आपको अपने मौजूदा सूप को विशाल बर्तन में डाल देना चाहिए और उसे भरने के लिए बस पानी और मसाले मिला देने चाहिए?

यह शोध पत्र आर्टिफिशियल इंटेलिजेंस के लिए ठीक इसी सवाल की जांच करता है। पुराने सूप को नए बर्तन में डालने की इस प्रक्रिया को "वार्मस्टार्टिंग" (Warmstarting) कहा जाता है।

यहाँ शोधकर्ताओं ने जो पाया है, उसे सरल भाषा में समझाया गया है:

1. पुराना नियम: "एक भी चीज़ न बदलें"

लंबे समय तक, वैज्ञानिकों का मानना था कि जब आप अपने सूप को एक बड़े बर्तन में ले जाते हैं, तो आपको बहुत सावधान रहना पड़ता है। आपको यह सुनिश्चित करना होता था कि सूप का स्वाद पहले सेकंड में बिल्कुल वैसा ही हो जैसा छोटे बर्तन में था। उन्हें लगा कि यदि आपने स्वाद में थोड़ा सा भी बदलाव किया, तो पूरी चीज़ विफल हो जाएगी।

शोध पत्र का नया मोड़: शोधकर्ताओं ने पाया कि यह नियम वास्तव में बहुत सख्त है। आपको शुरुआत में सूप को बिल्कुल समान रखने की आवश्यकता नहीं है। वास्तव में, इसे बिल्कुल वैसा ही बनाए रखने की कोशिश करना वास्तव में नए, बड़े बर्तन को नए स्वाद सीखने से रोक सकता है।

2. गुप्त नुस्खा: "श्रिंक, ज़ीरो, एंड पर्टर्ब" (SZP)

पुराने सूप की हुबहू नकल करने के बजाय, लेखक एक सरल, तीन-चरणीय रेसिपी का सुझाव देते हैं जिसे वे SZP कहते हैं:

ज़ीरो (एक खाली कैनवास): कल्पना कीजिए कि आप अपने पुराने सूप को बड़े बर्तन में डालते हैं, लेकिन आप बर्तन में खाली जगह को पूरी तरह से खाली (जीरो आउट) छोड़ देते हैं।
पर्टर्ब (हिलाना/झटका देना): आप बर्तन को थोड़ा सा हिलाते हैं। यह थोड़ा सा रैंडम शोर (noise) जोड़ता है। यह महत्वपूर्ण है क्योंकि यह "नए न्यूरॉन्स" (खाली स्थान) को जगा देता है ताकि वे केवल पुराने सूप की नकल न करें; वे अपने स्वयं के अनूठे स्वाद सीखना शुरू कर सकें।
श्रिंक (पतला करना): आप आपके द्वारा डाले गए पुराने सूप की शक्ति को थोड़ा कम कर देते हैं। यह नए बर्तन में पुराने स्वादों को हावी होने से रोकता है, जिससे नए सामग्रियां प्रभावी ढंग से मिल सकती हैं और सीख सकती हैं।

परिणाम: यह सरल, "अव्यवस्थित" दृष्टिकोण उन जटिल, "परफेक्ट कॉपी" विधियों की तुलना में बेहतर काम करता है जिनका उपयोग अतीत में किया जाता था। यह ऐसा है जैसे यह महसूस करना कि कभी-कभी, पूर्ण व्यवस्था में रहने की तुलना में थोड़ा सा अराजक होना टीम को तेज़ी से बढ़ने में मदद करता है।

3. "बहुत बड़ा" होने की समस्या (विकास की सीमा)

इसमें एक पेच है। आप अपने छोटे सूप को ओलंपिक आकार के स्विमिंग पूल जितने बड़े बर्तन में नहीं डाल सकते और उम्मीद नहीं कर सकते कि यह काम करेगा।

शोधकर्ताओं ने एक "ग्रोथ लिमिट" (विकास की सीमा) की खोज की है।

यदि आप अपने बर्तन का आकार दोगुना (2x ग्रोथ) करते हैं, तो आपको जबरदस्त गति मिलती है। नया बर्तन शून्य से शुरू करने की तुलना में तेज़ी से सीखता है।
लेकिन यदि आप बर्तन को 4 गुना या 8 गुना बड़ा करने की कोशिश करते हैं, तो लाभ गायब हो जाता है। पुराने सूप के इतने पतले होने के कारण वह विशाल बर्तन में लगभग वैसा ही हो जाता है जैसे आपने खाली बर्तन के साथ शुरुआत की हो।

उपमा: कल्पना कीजिए कि आप एक बच्चे (छोटे मॉडल) को अचानक वयस्क (बड़े मॉडल) बनाकर मैराथन दौड़ना सिखा रहे हैं। यदि आप केवल उनके आकार को दोगुना करते हैं, तो वे तेज़ दौड़ सकते हैं क्योंकि उनके पैर लंबे हो गए हैं। लेकिन यदि आप अचानक उन्हें एक विशालकाय बना देते हैं, तो उनका छोटा दिमाग उस विशाल शरीर को संभाल नहीं पाएगा, और वे लड़खड़ा जाएंगे। अक्सर, शून्य से एक विशालकाय को प्रशिक्षित करना अधिक तेज़ होता है।

सही संतुलन (Sweet Spot): शोध पत्र सुझाव देता है कि आकार को दोगुना करना (2x) सबसे सुरक्षित और विश्वसनीय विकल्प है।

4. "समय की सीमा" (टोकन बजट)

शोधकर्ताओं ने इस पर भी गौर किया कि मॉडल को कितना "प्रशिक्षण" (या भोजन) मिलता है।

छोटा प्रशिक्षण: यदि आपके पास मॉडल को प्रशिक्षित करने के लिए बहुत कम समय है (जैसे कि एक त्वरित स्नैक), तो वार्मस्टार्टिंग एक बड़ी जीत है। आपको जल्दी अच्छे परिणाम मिलते हैं।
लंबा प्रशिक्षण: यदि आप मॉडल को बहुत लंबे समय तक प्रशिक्षित करने की योजना बना रहे हैं (एक पूर्ण दावत), तो वार्मस्टार्टिंग का लाभ कम हो जाता है। अंततः, शून्य से प्रशिक्षित मॉडल बराबरी कर लेता है और शायद वॉर्मस्टार्टेड मॉडल से आगे भी निकल जाता है।

मुख्य निष्कर्षों का सारांश

बहुत सटीक न बनें: आपको बड़े मॉडल में जाने के समय छोटे मॉडल के सटीक "स्वाद" को संरक्षित करने की आवश्यकता नहीं है। थोड़ी सी रैंडमनेस (अनिश्चितता) मदद करती है।
सरल रखें: एक सरल विधि (Shrink-Zero-Perturb) जटिल, फैंसी कॉपी करने वाली विधियों से बेहतर है।
बहुत बड़े न बनें: यदि आप अपने मॉडल को उसके मूल आकार से 2 गुना से अधिक बड़ा करने की कोशिश करते हैं, तो बेहतर होगा कि आप फिर से शुरुआत करें। "हेड स्टार्ट" का लाभ लेने की मेहनत बेकार है।
यह एक स्प्रिंट है, मैराथन नहीं: वार्मस्टार्टिंग सीमित प्रशिक्षण समय के साथ त्वरित परिणाम प्राप्त करने के लिए बेहतरीन है। यदि आपके पास प्रशिक्षण के लिए अनंत समय है, तो शून्य से शुरू करना अक्सर उतना ही अच्छा होता है।

संक्षेप में: वार्मस्टार्टिंग एक शानदार शॉर्टकट है, लेकिन केवल तभी जब आप इसे बहुत ज़्यादा खींचने की कोशिश न करें।

तकनीकी सारांश: भाषा मॉडलों को स्केल करने के लिए वार्मस्टार्टिंग (Warmstarting) कब प्रभावी है?

समस्या विवरण

अत्याधुनिक डीप लर्निंग मॉडलों को प्रशिक्षित करने के लिए अत्यधिक कम्प्यूटेशनल संसाधनों की आवश्यकता होती है। जैसे-जैसे मॉडल लाखों से अरबों पैरामीटर्स तक स्केल होते हैं, एक महत्वपूर्ण प्रश्न उठता है: क्या बड़े मॉडलों के प्रशिक्षण को तेज करने के लिए छोटे मॉडलों के प्रशिक्षण में निवेश किए गए कंप्यूट का पुन: उपयोग किया जा सकता है? यह तकनीक, जिसे वार्मस्टार्टिंग (WS) या मॉडल ग्रोथ (Model Growth) कहा जाता है, में एक बड़े मॉडल को एक प्रशिक्षित छोटे चेकपॉइंट से इनिशियलाइज़ करना शामिल है। महत्वपूर्ण शोध रुचि के बावजूद, WS का उत्पादन पाइपलाइनों में सीमित व्यावहारिक उपयोग देखा गया है।

लेखक इस अपनाने की कमी के लिए तीन प्राथमिक बाधाओं का श्रेय देते हैं:

कार्यान्वयन जटिलता (Implementation Complexity): मौजूदा तरीकों के लिए अक्सर आर्किटेक्चर-विशिष्ट अनुकूलन (जैसे, फंक्शन प्रिजर्वेशन के लिए विशिष्ट क्लोनिंग नियम) की आवश्यकता होती है जो आधुनिक घटकों के लिए सामान्यीकृत नहीं होते हैं।
अस्पष्ट विकास सीमाएँ (Unclear Growth Limits): अभ्यासकर्ताओं के पास इस बारे में मार्गदर्शन की कमी है कि एक चेकपॉइंट को कितना बढ़ाया जा सकता है इससे पहले कि WS स्क्रैच से प्रशिक्षण की तुलना में प्रतिकूल हो जाए।
हाइपरपैरामीटर अस्पष्टता (Hyperparameter Opacity): WS विधियों, हाइपरपैरामीटर्स और स्केलिंग बजट (मॉडल आकार बनाम डेटा टोकन) के बीच की अंतःक्रिया कम खोजी गई है, जिससे ट्यूनिंग ओवरहेड पैदा होता है जो दक्षता लाभ को समाप्त कर देता है।

इसके अलावा, पूर्व साहित्य अक्सर आधार मॉडल के सटीक आउटपुट को इनिशियलाइज़ेशन पर बनाए रखने (फंक्शन प्रिजर्वेशन, या FP) पर जोर देता है, जो ऑपरेटर डिज़ाइन को अनावश्यक रूप से बाधित कर सकता है।

कार्यप्रणाली (Methodology)

1. सैद्धांतिक ढांचा: श्रिंक-ज़ीरो-पर्टर्ब (Shrink-Zero-Perturb - SZP)

लेखक एक सामान्यीकृत, आर्किटेक्चर-स्वतंत्र विकास ऑपरेशन प्रस्तावित करते हैं जिसे श्रिंक-ज़ीरो-पर्टर्ब (SZP) कहा जाता है। वे मॉडल ग्रोथ के लिए "श्रिंक-एंड-पर्टर्ब" (SnP) फॉर्मूलेशन को निरंतर शिक्षण (continual learning) से विस्तारित करते हैं। लक्षित भार (target weights) $\theta_{target}$ को इस प्रकार प्राप्त किया जाता है:
$\theta_{target} = \lambda_{shrink} \cdot G(\theta_{base}) + N(0, \sigma_{perturb}^2)$
जहाँ:

$G$ एक ग्रोथ फंक्शन (जैसे, ज़ीरो-पैडिंग या क्लोनिंग) है जो बेस वेट्स को बड़े लक्ष्य आकार में मैप करता है।
$\lambda_{shrink}$ बेस रिप्रेजेंटेशन के प्रभुत्व को कम करने के लिए विरासत में मिले भारों को स्केल डाउन करता है।
$\sigma_{perturb}$ नए जोड़े गए न्यूरॉन्स को सक्रिय करने और सिमिट्री को तोड़ने के लिए गॉसियन नॉइज़ जोड़ता है।

लेखक तर्क देते हैं कि सख्त फंक्शन प्रिजर्वेशन (FP)—जहाँ विकसित मॉडल का प्रारंभिक आउटपुट बेस मॉडल के बिल्कुल समान होता है—प्रभावी वार्मस्टार्टिंग के लिए आवश्यक नहीं है। इसके बजाय, SZP सिग्नल प्रिजर्वेशन और नई क्षमता का उपयोग करने की लचीलापन के बीच संतुलन बनाने के लिए एक सिद्धांतपूर्ण आधार प्रदान करता है।

2. प्रयोगात्मक सेटअप

अध्ययन दो प्राथमिक प्रयोगात्मक सेटअपों का उपयोग करता है:

सिंथेटिक रिग्रेशन (MLPs): एक पावर-लॉ फोरियर स्पेक्ट्रम वाले सिंथेटिक रिग्रेशन कार्य पर विड्थ-स्केल्ड मल्टी-लेयर परसेप्ट्रिड्स (MLPs) का उपयोग करके एक नियंत्रित टेस्टबेड। यह ट्यूनिंग रणनीतियों और विकास सीमाओं का विश्लेषण करने के लिए सघन हाइपरपैरामीटर स्वीप की अनुमति देता है।
लैंग्वेज मॉडलिंग (LLMs): SLIMPAJAMA कॉर्पस पर प्रशिक्षित डिकोडर-ओनली GPT-2 स्टाइल मॉडल (और एब्लेशन के लिए LLaMA-स्टाइल)। प्रयोग 14M से 1.2B पैरामीटर्स तक के मॉडल आकार को कवर करते हैं।

मुख्य प्रयोगात्मक नियंत्रण:

हाइपरपैरामीटर ट्रांसफर: लेखक बेस मॉडल से टारगेट मॉडल में हाइपरपैरामीटर्स (लर्निंग रेट, बैच साइज) को स्थानांतरित करने के लिए $\mu$ P (Maximal Update Parameterization) का उपयोग करते हैं, जिससे री-ट्यूनिंग लागत के कन्फाउंडर से बचा जा सके।
प्रशिक्षण बजट: मॉडलों को निश्चित टोकन-पर-पैरामीटर बजट (10, 20, और 30 टोकन/पैरामीटर) के लिए प्रशिक्षित किया जाता है, जिसमें 20 टोकन/पैरामीटर चिनचिला (Chinchilla) कंप्यूट-ऑप्टिमल फ्रंटियर का प्रतिनिधित्व करता है।
तुलना: SZP की तुलना स्क्रैच से प्रशिक्षण और मानक Net2Net (एक फंक्शन-प्रिजर्विंग बेसलाइन) से की जाती है।

मुख्य योगदान

SZP में सामान्यीकरण: लेखक SZP को एक सरल, आर्किटेक्चर-स्वतंत्र ग्रोथ स्ट्रैटेजी के रूप में पेश करते हैं। वे प्रदर्शित करते हैं कि मजबूत अंतिम प्रदर्शन के लिए सटीक फंक्शन प्रिजर्वेशन आवश्यक नहीं है; वास्तव में, SZP अक्सर जटिल FP-आधारित ऑपरेटरों जैसे Net2Net की तुलना में बेहतर प्रदर्शन करता है, विशेष रूप से लैंग्वेज मॉडल्स में।
ग्रोथ फैक्टर का अनुभवजन्य ऊपरी स्तर ( $g_{upper}$ ): यह पेपर ग्रोथ फैक्टर $g$ (टारगेट और बेस पैरामीटर्स का अनुपात) पर एक अनुभवजन्य ऊपरी सीमा स्थापित करता है। $g_{upper}$ के परे, स्क्रैच से प्रशिक्षित मॉडल का विकास किया गया मॉडल जितना ही तेज़ या उससे भी तेज़ अभिसरण (converge) करता है। यह सीमा MLPs और LLMs दोनों में सुसंगत है।
स्केलिंग लॉ भविष्यवाणियाँ: अवलोकनों पर स्केलिंग लॉ को फिट करके, लेखक भविष्यवाणी करने के लिए मार्गदर्शन प्रदान करते हैं कि कब WS प्रभावी है। वे उस "एफिशिएंसी विंडो" को चिह्नित करते हैं जहाँ WS स्क्रैच से प्रशिक्षण की तुलना में अभिसरण गति में बढ़त देता है, यह दिखाते हुए कि ये लाभ विशिष्ट टोकन-पर-पैरामीटर बजट के तहत सबसे अधिक स्पष्ट होते हैं।

मुख्य परिणाम

1. SZP बनाम Net2Net बनाम स्क्रैच

अभिसरण गति (Convergence Speed): SZP लगातार स्क्रैच से प्रशिक्षण की तुलना में तेजी से अभिसरण करता है और विभिन्न मॉडल विड्थ और ग्रोथ फैक्टर्स में Net2Net से बेहतर प्रदर्शन करता है।
फंक्शन प्रिजर्वेशन आवश्यक नहीं है: जबकि Net2Net (FP-आधारित) बेस मॉडल के लॉस को जल्दी से रिकवर करता है, यह बड़े ग्रोथ परिदृश्यों में शुरुआती सबस्पेस से बाहर निकलने में संघर्ष करता है, जिससे बड़े ग्रोथ परिदृश्यों में कम प्रभावी रैंक और SZP की तुलना में धीमी दीर्घकालिक अभिसरण दर होती है।
मजबूती (Robustness): SZP ग्रोथ फैक्टर्स के प्रति अधिक मजबूत है और इसे वेट क्लोनिंग या नॉइज़ इंजेक्शन के लिए आर्किटेक्चर-विशिष्ट नियमों की आवश्यकता नहीं है।

2. ग्रोथ फैक्टर लिमिट ( $g_{upper}$ )

एक सीमा का अस्तित्व: लेखक एक स्पष्ट $g_{upper}$ की पहचान करते हैं जिसके आगे WS अपना लाभ खो देता है। कई सेटअपों के लिए, यह सीमा लगभग $g = 2$ है।
घटता हुआ प्रतिफल (Diminishing Returns): जैसे-जैसे ग्रोथ फैक्टर बढ़ता है, बेस मॉडल टारगेट आर्किटेक्चर का घटता हुआ हिस्सा घेर लेता है। इनिशियलाइजेशन तेजी से एक रैंडम इनिशियलाइजेशन जैसा हो जाता है, और विरासत में मिली संरचना के प्रतिबंध लाभों से अधिक हो जाते हैं।
बजट निर्भरता: WS की प्रभावशीलता प्रशिक्षण बजट के साथ मजबूती से जुड़ी हुई है। WS के लाभ उन बजटों के लिए सबसे महत्वपूर्ण हैं जो $\le$ 20 टोकन/पैरामीटर हैं। जैसे-जैसे बजट बढ़ता है (चिनचिला ऑप्टिमल फ्रंटियर के करीब या उससे अधिक), WS का लाभ कम हो जाता है, और स्क्रैच से प्रशिक्षण अधिक कुशल हो जाता है।

3. स्केलिंग लॉ विश्लेषण

लेखक पैरामीटर्स ( $N$ ) और टोकन ( $D$ ) के फलन के रूप में लॉस की भविष्यवाणी करने के लिए पावर-लॉ मॉडल $L(N, D) = E + A N^{-\alpha} + B D^{-\beta}$ को फिट करते हैं।
आइसो-लॉस कंटोर्स (Iso-Loss Contours): WS और स्क्रैच के बीच लॉस के अंतर को विज़ुअलाइज़ करने से एक सीमा का पता चलता है। एक निश्चित मॉडल आकार के लिए, कम टोकन/पैरामीटर के साथ प्रशिक्षण WS के पक्ष में होता है, जबकि अधिक टोकन/पैरामीटर के साथ प्रशिक्षण स्क्रैच के पक्ष में होता है।
भविष्यवाणी मार्गदर्शन: फिट किए गए कानून अभ्यासकर्ताओं को उस क्रॉसओवर पॉइंट की भविष्यवाणी करने की अनुमति देते हैं जहाँ WS एक दिए गए ग्रोथ फैक्टर और बजट के लिए फायदेमंद होना बंद कर देता है।

महत्व और व्यावहारिक दिशानिर्देश

यह पेपर वार्मस्टार्टिंग की प्रभावकारिता की एक व्यवस्थित, प्रथम-सिद्धांत (first-principles) जांच प्रदान करता है, जो उपाख्यानात्मक साक्ष्यों से आगे बढ़कर अनुभवजन्य सीमाओं और दिशानिर्देशों तक जाता है। लेखक निम्नलिखित व्यावहारिक निष्कर्ष प्रस्तुत करते हैं:

मॉडल स्केलिंग: यदि केवल एक मॉडल रन संभव है, तो 2 $\times$ ग्रोथ फैक्टर वार्मस्टार्टिंग के लिए सबसे विश्वसनीय स्केलिंग रणनीति है।
एफिशिएंसी विंडो: वार्मस्टार्टिंग को स्क्रैच से प्रशिक्षण की तुलना में तब प्राथमिकता दी जानी चाहिए जब प्रशिक्षण बजट कंप्यूट-ऑप्टिमल स्केलिंग (लगभग 20 टोकन/पैरामीटर) पर या उससे नीचे हो।
हाइपरपैरामीटर ट्रांसफर: $\mu$ P वार्मस्टार्टिंग में हाइपरपैरामीटर्स को स्थानांतरित करने के लिए एक सिद्धांतपूर्ण रणनीति के रूप में कार्य करता है, विशेष रूप से जब बड़े स्केल के लिए ट्यूनिंग बजट सीमित हों।
मानकीकृत रिपोर्टिंग: लेखक प्रस्ताव देते हैं कि भविष्य के साहित्य को निष्पक्ष तुलना की सुविधा के लिए और अप्रभावी ग्रोथ रणनीतियों को अपनाने से रोकने के लिए स्पष्ट रूप से अनुभवजन्य $g_{upper}$ (वह ग्रोथ फैक्टर जहाँ WS स्क्रैच प्रदर्शन से मेल खाता है) को रिपोर्ट करना चाहिए।

अध्ययन यह निष्कर्ष निकालता है कि हालांकि वार्मस्टार्टिंग संसाधन बचत प्रदान करता है, इसकी उपयोगिता सीमित है। प्रस्तावित SZP विधि और पहचाने गए ग्रोथ फैक्टर्स की सीमाएं अभ्यासकर्ताओं को यह निर्णय लेने के लिए एक ढांचा प्रदान करती है कि वास्तविक दक्षता लाभ सुनिश्चित करने के लिए कब और कितना बढ़ाना है।