💬 NLP

Efficient Construction of Model Family through Progressive Training Using Model Expansion

यह शोध पत्र एक कुशल प्रगतिशील प्रशिक्षण पद्धति का प्रस्ताव करता है जो एक मॉडल परिवार बनाने के लिए छोटे मॉडलों को बड़े आकार में क्रमिक रूप से विस्तारित करता है, जिससे पारंपरिक स्वतंत्र प्रशिक्षण की तुलना में प्रदर्शन और व्यवहार संबंधी निरंतरता बनाए रखते हुए कुल कम्प्यूटेशनल लागत में लगभग 25% की कमी आती है।

मूल लेखक: Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक रेस्टोरेंट चेन बनाने की कोशिश कर रहे हैं। आपको तीन अलग-अलग रसोई की आवश्यकता है: एक छोटा फूड ट्रक (1B पैरामीटर्स), एक मध्यम बिस्ट्रो (4B पैरामीटर्स), और एक विशाल फाइव-स्टार होटल की रसोई (8B पैरामीटर्स)।

पुराना तरीका: शून्य से शुरुआत करना

परंपरागत रूप से, यदि आप इन तीनों को खोलना चाहते, तो आप तीन पूरी तरह से अलग टीमें काम पर रखते।

आप टीम A को काम पर रखते, उन्हें ताजी सामग्री खरीदते, और उन्हें फूड ट्रक चलाने के लिए सब कुछ शुरू से सिखाते।
आप उन्हें निकाल देते (या वेतन पर रखते), टीम B को काम पर रखते, नई सामग्री खरीदते, और उन्हें बिस्ट्रो चलाने के लिए सब कुछ शुरू से सिखाते।
आप टीम C और फाइव-स्टार होटल के लिए भी यही करते।

समस्या: यह अविश्वसनीय रूप से महंगा है। आप एक ही "सीखने" के लिए तीन बार भुगतान कर रहे हैं। इसके अलावा, फूड ट्रक शेफ का स्टाइल थोड़ा अलग हो सकता है और होटल शेफ का स्टाइल अलग, इसलिए उनके रेसिपी आपस में मेल नहीं खाएंगे।

नया तरीका: "प्रोग्रेसिव ट्रेनिंग" (पेपर का विचार)

इस पेपर के लेखक आपके रेस्टोरेंट चेन को बनाने का एक स्मार्ट और अधिक कुशल तरीका प्रस्तावित करते हैं। तीन अलग-अलग टीमें रखने के बजाय, आप एक शेफ से शुरुआत करते हैं और उसे विकसित करते हैं।

छोटा शुरू करें: आप एक शेफ को काम पर रखते हैं और उसे फूड ट्रक चलाने के लिए प्रशिक्षित करते हैं। वह बुनियादी बातें सीखता है।
रसोई का विस्तार करें: उसे निकालने के बजाय, आप उसे पदोन्नति देते हैं। आप भौतिक रूप से उसकी रसोई को ट्रक से बिस्ट्रो में विस्तारित करते हैं। आप उसके पहले से सीखे हुए कौशल (यानी "वेट्स" या "पैरामीटर्स") का उपयोग करते हैं। आप फिर से शुरुआत नहीं करते; आप बस जो वह पहले से जानता है उसमें और अधिक काउंटर और ओवन जोड़ देते हैं।
फिर से बढ़ें: एक बार जब वह बिस्ट्रो में महारत हासिल कर लेता है, तो आप अपनी रसोई को फिर से बढ़ाकर फाइव-स्टार होटल में विस्तारित करते हैं। फिर से, आप उसके मौजूदा अनुभव की नींव पर निर्माण करते हैं।

जादुई ट्रिक: ऐसा करने से, आप केवल अंतिम विस्तार की लागत का भुगतान करते हैं। आप हर बार बड़ी रसोई मिलने पर शेफ को प्याज काटना या अंडे तलना फिर से नहीं सिखाने के लिए भुगतान नहीं करते हैं।

उन्होंने क्या पाया?

1. यह बहुत पैसा (और समय) बचाता है
पेपर दिखाता है कि यह "बढ़ाने" वाला तरीका तीन अलग मॉडल को प्रशिक्षित करने की तुलना में लगभग 25% कंप्यूटिंग पावर (या पैसा) बचाता है।

उपमा: यह एक ही उच्च गुणवत्ता वाले सूट खरीदने और उसे आपके बढ़ते शरीर के अनुसार फिट कराने जैसा है, बजाय इसके कि हर बार वजन बढ़ने पर आप एक नया सूट खरीदें।

2. खाना बेहतर स्वाद करता है (प्रदर्शन)
आश्चर्यजनक रूप से, इस तरह से बनाए गए मॉडल न केवल पैसे बचाते हैं; वे स्वतंत्र रूप से प्रशिक्षित मॉडलों की तुलना में बेहतर या उनके बराबर प्रदर्शन करते हैं।

सीक्रेट सॉस: शोधकर्ताओं ने पाया कि यदि आप रसोई के आकार के आधार पर ओवन की "गर्मी" (लर्निंग रेट) को एडजस्ट करते हैं, तो यह और भी बेहतर काम करता है। छोटी रसोई को तेजी से सीखने के लिए उच्च गर्मी की आवश्यकता होती है; विशाल होटलों को स्थिर रहने के लिए कम गर्मी की आवश्यकता होती है। इसे ट्यून करके, "प्रोग्रेसिव" मॉडल कई परीक्षणों में "इंडिपेंडेंट" मॉडल्स को पीछे छोड़ देते हैं।

3. वे एक ही भाषा बोलते हैं (निरंतरता)
सबसे दिलचस्प हिस्सा यह है। क्योंकि बड़े मॉडल का जन्म छोटे मॉडल से हुआ है, इसलिए वे बहुत समान रूप से सोचते हैं।

उपमा: यदि आप फूड ट्रक शेफ और होटल शेफ से एक ही सवाल पूछते हैं, तो वे बहुत समान उत्तर देंगे क्योंकि उनका इतिहास एक ही है।
यह क्यों मायने रखता है: यह स्पेक्टिव डिकोडिंग (Speculative Decoding) का उपयोग करना आसान बनाता है। कल्पना कीजिए कि फूड ट्रक शेफ जल्दी से अनुमान लगा रहा है कि होटल शेफ क्या कहने वाला है। चूंकि वे एक जैसा सोचते हैं, इसलिए होटल शेफ लगभग हर बार उस अनुमान को स्वीकार कर लेता है। यह पूरे सिस्टम को बहुत तेज़ बना देता है।

निचोड़ (The Bottom Line)

यह पेपर एक AI मॉडल परिवार (छोटे से विशाल तक) बनाने का एक तरीका पेश करता है, जो किसी छोटे मॉडल को विस्तारित (expand) करके बनाया गया है, न कि उन्हें अलग-अलग प्रशिक्षित करके।

पुराना तरीका: 1B को ट्रेन करें, 4B को ट्रेन करें, 8B को अलग-अलग ट्रेन करें। (महंगा, असंगत)।
नया तरीका: 1B $\rightarrow$ 4B तक विस्तार $\rightarrow$ 8B तक विस्तार। (सस्ता, तेज़, और मॉडल आपस में पूरी तरह तालमेल रखते हैं)।

यह AI परिवारों को बनाने का एक स्मार्ट तरीका है, जो संसाधनों को बचाते हुए मॉडलों को अधिक सुसंगत और कुशल बनाता है।

यहाँ COLM 2025 में प्रकाशित शोध पत्र "Efficient Construction of Model Family through Progressive Training Using Model Expansion" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) विकास में मानक अभ्यास विविध कम्प्यूटेशनल बाधाओं को पूरा करने के लिए मॉडल परिवारों (जैसे, 1B, 4B, 8B, 70B पैरामीटर्स) का निर्माण करना है। हालाँकि, पारंपरिक दृष्टिकोण में प्रत्येक मॉडल आकार को स्वतंत्र रूप से शून्य (from scratch) से प्रशिक्षित किया जाता है।

अक्षमता (Inefficiency): इसके परिणामस्वरूप एक योगात्मक (additive) कम्प्यूटेशनल लागत आती है। एक मॉडल परिवार $[X_1, X_2, \dots, X_n]$ को प्रशिक्षित करने के लिए $\sum FLOPs(X_i, T_i)$ की आवश्यकता होती, जो केवल सबसे बड़े मॉडल को प्रशिक्षित करने की लागत से काफी अधिक है।
लक्ष्य: लेखकों का लक्ष्य एक पूर्ण मॉडल परिवार का निर्माण कुल कम्प्यूटेशनल लागत को कम करते हुए करना है, जबकि स्वतंत्र प्रशिक्षण की तुलना में व्यक्तिगत मॉडलों के प्रदर्शन को बनाए रखना या सुधारना है।

2. कार्यप्रणाली: प्रोग्रेसिव ट्रेनिंग (Methodology: Progressive Training)

लेखक प्रोग्रेसिव ट्रेनिंग (Progressive Training) का प्रस्ताव करते हैं, जो एक विधि है जो छोटे पूर्व-प्रशिक्षित मॉडलों को बड़े मॉडलों में क्रमिक रूप से विस्तारित करके एक मॉडल परिवार का निर्माण करती है, न कि उन्हें स्वतंत्र रूप से प्रशिक्षित करके।

मुख्य तंत्र (Core Mechanism)

आरंभ (Initialization): सबसे छोटे मॉडल ( $X_1$ ) को शून्य (from scratch) से प्रशिक्षित करके शुरुआत करें।
मॉडल विस्तार (Model Expansion): आगामी आकारों ( $X_{i+1}$ $X_{i + 1}$ ) के लिए, पिछले प्रशिक्षित मॉडल ( $X_i$ $X_{i}$ ) पर लागू एक मॉडल विस्तार विधि ( $f$ $f$ ) का उपयोग करके पैरामीटर्स को इनिशियलाइज़ करें।
- शोध पत्र bert2BERT (Chen et al., 2022) का उपयोग करता है, जो विस्तार (width expansion) (लीनियर लेयर वेट्स को डुप्लिकेट करना) और गहराई विस्तार (depth expansion) (पूर्व-प्रशिक्षित लेयर्स को स्टैक करना) दोनों की अनुमति देता है।
- यह रैंडम इनिशियलाइज़ेशन के बजाय एक उच्च-गुणवत्ता वाला इनिशियलाइज़ेशन ( $\theta_{init}^{i+1}$ ) प्रदान करता है।
टोकन आवंटन रणनीति (Token Allocation Strategy): यह सुनिश्चित करने के लिए कि कुल कम्प्यूटेशनल लागत केवल सबसे बड़े मॉडल ( $X_n$ $X_{n}$ ) को शून्य से प्रशिक्षित करने के बराबर हो, मध्यवर्ती मॉडलों के लिए प्रशिक्षण टोकन ( $T_i$ $T_{i}$ ) को कम कर दिया जाता है।
- बाधा को इस प्रकार परिभाषित किया गया है: $\sum_{i=1}^n FLOPs(X_i, T_i^{prog}) = FLOPs(X_n, T_n^{scratch})$ ।
- छोटे मॉडलों को शून्य से प्रशिक्षित न करने से जो "बचाए गए" FLOPs हैं, उन्हें उसी कुल बजट के भीतर सबसे बड़े मॉडल के प्रशिक्षण के लिए प्रभावी रूप से पुन: आवंटित किया जाता है।

लर्निंग रेट एडजस्टमेंट (Learning Rate Adjustment)

लेखक मॉडल के आकार के आधार पर अधिकतम लर्निंग रेट के रणनीतिक समायोजन को पेश करते हैं:

छोटे मॉडल (जैसे, 1B) अभिसरण (convergence) को तेज करने के लिए उच्च लर्निंग रेट ( $1.5 \times 10^{-3}$ ) का उपयोग करते हैं।
बड़े मॉडल (जैसे, 8B) प्रशिक्षण स्थिरता सुनिश्चित करने के लिए कम लर्निंग रेट ( $3.0 \times 10^{-4}$ ) का उपयोग करते हैं, क्योंकि बड़े मॉडल उच्च लर्निंग रेट के प्रति अधिक संवेदनशील होते हैं।

3. प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल परिवार: 1B से 8B पैरामीटर्स तक के आकार (1B, 2B, 4B, 8B), प्रत्येक चरण पर दोगुना होता हुआ।
आर्किटेक्चर: GPT-2 टोकनाइज़र के साथ Llama-शैली का आर्किटेक्चर।
डेटा: FineWeb-Edu और WikiText।
बेसलाइन (Baselines):
- स्वतंत्र (Independent): प्रत्येक मॉडल को शून्य से प्रशिक्षित किया गया।
- प्रोग्रेसिव (Progressive): विस्तार के माध्यम से प्रशिक्षित मॉडल।
- प्रोग्रेसिव + फिक्स्ड डेटा (Progressive+Fixed Data): एक नियंत्रण सेटिंग जहाँ कुल अद्वितीय डेटा को 8B स्वतंत्र मॉडल द्वारा उपयोग किए गए डेटा तक सीमित कर दिया गया है (बाद के चरणों के लिए डेटा का पुन: उपयोग किया गया) ताकि यह सुनिश्चित हो सके कि डेटा वॉल्यूम प्रदर्शन का चालक नहीं है।
स्केलिंग लॉ (Scaling Laws): प्रयोग "चिंचिला कानून" (Chinchilla law - 20 tokens/param) और "2x चिंचिला कानून" (2x Chinchilla law - 40 tokens/param) दोनों सेटिंग्स के तहत किए गए।

4. प्रमुख परिणाम (Key Results)

A. कम्प्यूटेशनल दक्षता (Computational Efficiency)

लागत में कमी: प्रोग्रेसिव ट्रेनिंग पूरे परिवार को बनाने की कुल कम्प्यूटेशनल लागत को स्वतंत्र प्रशिक्षण की तुलना में लगभग 25% कम कर देती है।
- उदाहरण: 2x Chinchilla सेटिंग के तहत, स्वतंत्र प्रशिक्षण के लिए ~20.4 ZFLOPs की आवश्यकता थी, जबकि प्रोग्रेसिव ट्रेनिंग के लिए केवल ~15.4 ZFLOPs की आवश्यकता थी (जो केवल 8B मॉडल को प्रशिक्षित करने के बराबर है)।
प्रदर्शन: मध्यवर्ती मॉडलों के लिए कम कुल टोकन का उपयोग करने के बावजूद, प्रोग्रेसिव मॉडलों ने पर्सप्लेक्सिटी (perplexity) और डाउनस्ट्रीम बेंचमार्क (LAMBADA, WinoGrande, PIQA, आदि) में स्वतंत्र रूप से प्रशिक्षित मॉडलों के समान या बेहतर प्रदर्शन प्राप्त किया।

B. लर्निंग रेट एडजस्टमेंट का प्रभाव (Impact of Learning Rate Adjustment)

आकार-निर्भर लर्निंग रेट लागू करने से दक्षता में और सुधार हुआ।
प्रोग्रेसिव ट्रेनिंग और लर्निंग रेट एडजस्टमेंट के संयोजन ने फिक्स्ड लर्निंग रेट के साथ 26% की कमी की तुलना में, प्रदर्शन बनाए रखते हुए 31% की FLOPs कमी हासिल की।
लर्निंग रेट एडजस्टमेंट के साथ 8B प्रोग्रेसिव मॉडल ने लगभग सभी मेट्रिक्स पर स्वतंत्र 8B मॉडल को पछाड़ दिया।

C. मॉडल आकारों के बीच निरंतरता (Consistency Across Model Sizes)

एक अनूठा निष्कर्ष यह है कि प्रोग्रेसिव ट्रेनिंग मॉडल परिवार में व्यवहार संबंधी निरंतरता (behavioral consistency) को बढ़ावा देती है:

KL डाइवर्जेंस (KL Divergence): स्वतंत्र परिवारों की तुलना में प्रोग्रेसिव परिवारों में आसन्न मॉडल आकारों (जैसे, 1B बनाम 2B) के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस काफी कम था। यह इंगित करता है कि प्रोग्रेसिव परिवार के मॉडल अधिक समान आंतरिक संभाव्यता वितरण (probability distributions) और निर्णय लेने की प्रक्रियाओं को साझा करते हैं।
स्पेक्टिवल डिकोडिंग (Speculative Decoding): यह निरंतरता व्यावहारिक अनुमान (inference) लाभों में परिवर्तित होती है। 8B प्रोग्रेसिव "जेनरेटर" के लिए "ड्राफ्ट" के रूप में 4B प्रोग्रेसिव मॉडल का उपयोग करते समय:
- स्वीकृति दर (Acceptance Rate): 87.2% (स्वतंत्र ड्राफ्ट) से बढ़कर 93.2% (प्रोग्रेसिव ड्राफ्ट) हो गई।
- अनुमान समय (Inference Speed): जनरेशन समय में लगभग 14.8% की कमी आई।

5. मुख्य योगदान (Key Contributions)

कुशल निर्माण ढांचा (Efficient Construction Framework): प्रदर्शित किया कि एक पूर्ण मॉडल परिवार बनाने के लिए मॉडल विस्तार को पुनरावृत्ति (iteratively) में लागू किया जा सकता है, जिससे गुणवत्ता से समझौता किए बिना कुल प्रशिक्षण लागत को ~25% कम किया जा सकता है।
प्रदर्शन श्रेष्ठता (Performance Superiority): दिखाया कि प्रोग्रेसिव मॉडल, विशेष रूप से लर्निंग रेट ट्यूनिंग के साथ, स्वतंत्र रूप से प्रशिक्षित मॉडलों से बेहतर प्रदर्शन कर सकते हैं, जो इस धारणा को चुनौती देते हैं कि इष्टतम प्रदर्शन के लिए "शून्य से" (from-scratch) प्रशिक्षण आवश्यक है।
व्यवहार संबंधी निरंतरता (Behavioral Consistency): पहचाना और मात्रा निर्धारित किया कि प्रोग्रेसिव ट्रेनिंग एक अधिक सुसंगत मॉडल परिवार बनाती है जिसके आउटपुट वितरण संरेखित (aligned) होते हैं, जो स्पेक्टिवल डिकोडिंग और सुरक्षित परिनियोजन स्केलिंग (safe deployment scaling) जैसी तकनीकों के लिए महत्वपूर्ण है।
डेटा दक्षता विश्लेषण (Data Efficiency Analysis): सिद्ध किया कि प्रदर्शन में सुधार अधिक अद्वितीय डेटा के संपर्क (via the "Fixed Data" control experiment) के कारण नहीं है, बल्कि इनिशियलाइज़ेशन की गुणवत्ता और प्रशिक्षण गतिशीलता के कारण है।

6. महत्व (Significance)

यह कार्य NLP समुदाय के लिए एक कम्प्यूटेशनल रूप से कुशल प्रतिमान (paradigm) प्रदान करता है। जैसे-जैसे एज डिवाइसेस (छोटे मॉडल) और जटिल तर्क कार्यों (बड़े मॉडल) की सेवा करने के लिए मॉडल परिवारों की मांग बढ़ रही है, स्वतंत्र प्रशिक्षण की योगात्मक लागत एक बाधा बनती जा रही है।

संसाधन बाधाएं (Resource Constraints): यह विधि उन संगठनों को एक पूर्ण स्पेक्ट्रम मॉडल आकार तैनात करने की अनुमति देती है जिनके पास सीमित GPU संसाधन हैं।
परिनियोजन लचीलापन (Deployment Flexibility): आकारों के बीच बढ़ी हुई निरंतरता परिनियोजन पाइपलाइन को सरल बनाती है, जिससे उपयोगकर्ताओं को पुनः प्रशिक्षित किए बिना या सुरक्षा फिल्टर को पुन: कैलिब्रेट किए बिना सहज परिवर्तन (seamless switching) संभव होता है।
भविष्य के लिए तैयार (Future-Proofing): यह दृष्टिकोण उभरती हुई मॉडल विस्तार तकनीकों के अनुकूल है, जो भविष्य के LLM विकास के लिए एक स्केलेबल पथ का सुझाव देता है।