💻 computer science

When Data Is Scarce: Scaling Sparse Language Models with Repeated Training

यह शोध पत्र डेटा की कमी के तहत स्पार्स लैंग्वेज मॉडल ट्रेनिंग की जांच करता है, जो यह प्रदर्शित करता है कि स्पर्सिटी न केवल दक्षता में सुधार करती है बल्कि डेटा सैचुरेशन (डेटा संतृप्ति) को भी विलंबित करती है और एक नया स्केलिंग लॉ सक्षम करती है जो सक्रिय पैरामीटर्स, डेटा पुनरावृत्ति और कंप्यूट बजट के बीच प्रदर्शन संबंधी ट्रेड-ऑफ को अनुकूलित करता है।

मूल लेखक: Boqian Wu, Qiao Xiao, Patrik Okanovic, Tomasz Sternal, Maurice van Keulen, Mykola Pechenizkiy, Elena Mocanu, Torsten Hoefler, Decebal Constantin Mocanu

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Boqian Wu, Qiao Xiao, Patrik Okanovic, Tomasz Sternal, Maurice van Keulen, Mykola Pechenizkiy, Elena Mocanu, Torsten Hoefler, Decebal Constantin Mocanu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: पाठ्यपुस्तकों का खत्म होना

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (एक AI) को इंसान की तरह लिखना सिखाने की कोशिश कर रहे हैं। अतीत में, रणनीति सरल थी: "आप उन्हें जितने अधिक टेक्स्टबुक (डेटा) देंगे, और उनका मस्तिष्क (मॉडल का आकार) जितना बड़ा होगा, वे उतने ही स्मार्ट बनेंगे।"

लेकिन हमारे पास उच्च गुणवत्ता वाली पाठ्यपुस्तकों की कमी हो रही है। इंटरनेट पर अच्छी लेखन सामग्री सीमित है, और हमने पहले ही इसमें से अधिकांश पढ़ लिया है। अब, हम ऐसी स्थिति में हैं जहाँ हमें उसी कुछ किताबों को बार-बार पढ़कर छात्र को सिखाना होगा।

पुराना नियम था: "यदि आप एक ही किताब को 10 बार पढ़ते हैं, तो आप ऊब जाते हैं और नई चीजें सीखना बंद कर देते हैं।" इसे "घटता हुआ प्रतिफल" (diminishing returns) कहा जाता है। यह पेपर पूछता है: क्या कोई तरीका है जिससे हम प्रभावी ढंग से सीखते रह सकें, भले ही हमें एक ही डेटा को बार-बार दोहराना पड़े?

समाधान: "स्पार्स" (Sparse) क्लासरूम

शोधकर्ताओं ने एक नई शिक्षण पद्धति का परीक्षण किया जिसे स्पार्स ट्रेनिंग (Sparse Training) कहा जाता है।

इसे समझने के लिए, कल्पना कीजिए कि दो क्लासरूम हैं:

डेंस क्लासरूम (The Dense Classroom): कमरे में मौजूद हर छात्र को हर लेक्चर सुनने और हर विषय पर नोट्स लेने के लिए मजबूर किया जाता है। यदि शिक्षक लेक्चर दोहराता है, तो हर छात्र उसे फिर से सुनता है। अंततः, छात्र ऊब जाते हैं और कक्षा सीखना बंद कर देती है।
स्पार्स क्लासरूम (The Sparse Classroom): शिक्षक एक नियम बनाता है: "केवल 50% छात्र इस लेक्चर को सुनेंगे। बाकी 50% ब्रेक लेंगे।" लेकिन यहाँ एक ट्विस्ट है: कौन सुन रहा है, यह हर बार बदल जाता है।
- लेक्चर 1 में, छात्र A सुनता है।
- लेक्चर 2 में, छात्र B सुनता है।
- लेक्चर 3 में, छात्र C सुनता है।

भले ही शिक्षक बिल्कुल वही लेक्चर दोहरा रहा है (डेटा), लेकिन उसे सुनने वाले छात्र (AI के हिस्से) हर बार अलग होते हैं। यह "क्लास" को ताज़ा रखता है और उस ऊब को रोकता है जो एक ही मस्तिष्क के हिस्सों को बार-बार एक ही जानकारी मिलने से पैदा होती है।

उन्होंने क्या खोजा

शोधकर्ताओं ने छोटे से लेकर बहुत बड़े (2 बिलियन पैरामीटर्स तक) AI मॉडल के साथ इसका परीक्षण किया और तीन मुख्य बातें पाईं:

1. स्पर्सिटी "ऊब" (डेटा सैचुरेशन) को टाल देती है
एक सामान्य क्लास में, यदि आप एक किताब को 4 बार पढ़ते हैं, तो छात्र सीखना बंद कर देते हैं। "स्पार्स क्लासरूम" में, छात्र उस किताब को 6 या 7 बार पढ़ने के बाद भी सीख सकते हैं, इससे पहले कि वे ऊब जाएं।

सीख: यह बदलकर कि AI के कौन से हिस्से "सुन" रहे हैं, आप उसी सीमित डेटा का उपयोग बहुत लंबे समय तक कर सकते हैं बिना AI के अटक जाने के।

2. स्पर्सिटी के लिए "गोल्डिलॉक्स" ज़ोन (The Goldilocks Zone)
आप सोच सकते हैं, "यदि 50% अच्छा है, तो शायद 90% बेहतर होगा?" शोधकर्ताओं ने पाया कि यह सच नहीं है।

बहुत कम स्पर्सिटी (Dense): AI बहुत जल्दी ऊब जाता है।
बहुत अधिक स्पर्सिटी (90%+): AI के पास बड़ी तस्वीर सीखने के लिए पर्याप्त "कान" नहीं होते।
बिल्कुल सही (मध्यम, लगभग 50%): यह सबसे सटीक बिंदु है। यह सीखने के लिए पर्याप्त "कान" रखने और ऊब को रोकने के लिए रोटेशन को ताज़ा रखने के बीच संतुलन बनाता है।

3. सबसे अच्छी रणनीति आपके लक्ष्य पर निर्भर करती है
पेपर दो अलग-अलग "जीतने वाली रणनीतियों" की पहचान करता है, जो इस बात पर निर्भर करती है कि आप किस चीज़ को महत्व देते हैं:

यदि आप सर्वश्रेष्ठ प्रदर्शन (Lowest Loss) चाहते हैं: तो आपको मध्यम स्पर्सिटी (लगभग 50%) का लक्ष्य रखना चाहिए। यह आपके पास उपलब्ध डेटा के लिए सर्वोत्तम परिणाम देता है।
यदि आप पैसा/कंप्यूटर पावर बचाना चाहते हैं (Compute-Optimal): तो आपको उच्च स्पर्सिटी (लगभग 60-75%) का लक्ष्य रखना चाहिए।
- उपमा: कल्पना कीजिए कि आपके पास स्कूल ट्रिप के लिए एक निश्चित बजट है।
  - "मध्यम" रणनीति आपको ट्रिप के लिए सबसे अच्छे ग्रेड दिलाती है।
  - "उच्च स्पर्सिटी" वाली रणनीति आपको उसी ग्रेड के साथ, लेकिन वहां पहुँचने के लिए 8 से 10 गुना कम पैसा खर्च करने में मदद करती है।

नया नियम (Scaling Law)

शोधकर्ताओं ने एक नया गणितीय सूत्र (एक "स्केलिंग लॉ") बनाया है जिससे यह अनुमान लगाया जा सके कि एक AI कैसा प्रदर्शन करेगा।

पुराना नियम: प्रदर्शन = मॉडल का आकार + डेटा की मात्रा।
नया नियम: प्रदर्शन = मॉडल का आकार + डेटा की मात्रा + डेटा को कितनी बार दोहराया गया + आपका मॉडल कितना "स्पार्स" (रोटेट होने वाला) है।

यह नया सूत्र सटीक रूप से भविष्यवाणी करता है कि यदि आपके पास डेटा की कमी है, तो आपको केवल एक बड़ा दिमाग नहीं बनाना चाहिए; बल्कि आपको एक स्पार्स दिमाग बनाना चाहिए जो अपने ध्यान (attention) को घुमाता रहे।

सारांश

जब आपके पास नया डेटा खत्म हो जाता है, तो आप केवल उसी तरह से प्रशिक्षण जारी नहीं रख सकते। यह पेपर दिखाता है कि स्पार्स ट्रेनिंग (जहाँ AI के विभिन्न हिस्से एक ही डेटा से सीखने के लिए बारी-बारी से आते हैं) का उपयोग करके, आप:

AI को उसी डेटा से बहुत लंबे समय तक सीखने में सक्षम बना सकते हैं बिना उसके "ऊबे" हुए।
विशाल मॉडल को प्रशिक्षित कर सकते हैं जो पुराने मॉडलों जितने ही स्मार्ट हैं, लेकिन वे 8 से 10 गुना कम कंप्यूटिंग पावर का उपयोग करते हैं।
अपनी विशिष्ट स्थिति के लिए सर्वोत्तम परिणाम प्राप्त करने के लिए एक आदर्श संतुलन (लगभग 50-75% स्पर्सिटी) पा सकते हैं।

संक्षेप में: जब डेटा कम हो, तो केवल मॉडल को बड़ा न बनाएं; इसे सुनने के तरीके में स्मार्ट बनाएं।

तकनीकी सारांश: बार-बार प्रशिक्षण के साथ स्पार्स लैंग्वेज मॉडल्स का स्केलिंग (Scaling Sparse Language Models with Repeated Training)

समस्या विवरण (Problem Statement)

हालिया लार्ज लैंग्वेज मॉडल्स (LLMs) में प्रगति काफी हद तक उन स्केलिंग लॉज़ (scaling laws) पर टिकी है जो उच्च गुणवत्ता वाले प्रचुर डेटा की उपलब्धता को मानकर चलते हैं। हालाँकि, अद्वितीय, उच्च गुणवत्ता वाले मानव डेटा की आपूर्ति एक मामूली दर (~~1.03× प्रति वर्ष) से बढ़ रही है, जबकि प्री-ट्रेनिंग डेटा की खपत (~~4× प्रति वर्ष) में तेजी आई है। यह विसंगति एक डेटा-बाधित शासन (data-constrained regime) की ओर ले आई है, जहाँ मॉडल्स को सीमित अद्वितीय टोकन्स पर प्रशिक्षित किया जाना आवश्यक है, जिसके लिए मल्टी-इपोक ट्रेनिंग (डेटा रिपिटेशन/पुनरावृत्ति) की आवश्यकता होती है।

इस शासन में, मानक डेंस (dense) स्केलिंग लॉज़ घटते प्रतिफल (diminishing returns) प्रदर्शित करते हैं; एक ही डेटा को बार-बार दोहराने से तेजी से संतृप्ति (saturation) और ओवरफिटिंग होती है। जबकि पिछले कार्यों ने डेटा-पर्याप्त शासन में स्पार्स स्केलिंग (जैसे, Mixture-of-Experts या Dynamic Sparse Training) और डेंस शासन में डेटा-बाधित स्केलिंग का अन्वेषण किया है, स्पार्सिटी (sparsity) और डेटा रिपिटेशन के बीच की अंतःक्रिया अभी भी अनछुए रह गई है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या स्पार्स ऑप्टिमाइज़ेशन, दोहराए गए डेटा की संतृप्ति गतिशीलता (saturation dynamics) को बदल सकता है या मॉडल क्षमता, डेटा पुन: उपयोग और कंप्यूटेशनल लागत के बीच के ट्रेड-ऑफ को सुधार सकता है जब अद्वितीय डेटा दुर्लभ हो।

कार्यप्रणाली (Methodology)

लेखक डेटा-बाधित स्थितियों के तहत डायनेमिक स्पार्स ट्रेनिंग (DST) का एक व्यवस्थित अनुभवजन्य अध्ययन (empirical study) करते हैं। उनकी कार्यप्रणाली में शामिल है:

प्रायोगिक सेटअप (Experimental Setup):
- मॉडेल्स: C4 डेटासेट पर प्रशिक्षित LLaMA-2 परिवार के आर्किटेक्चर।
- स्केल: प्रयोगों में सक्रिय पैरामीटर गणना ( $N$ ) 15M से 960M तक कवर की गई है, जिसमें 1.92B पैरामीटर्स तक के डेंस-इक्विवेलेंट आकार शामिल हैं (7.68B तक एक्सट्रपलेशन द्वारा सत्यापित)।
- स्पार्सिटी (Sparsity): 0% (dense) से 93.75% (16× कंप्रेशन) तक के स्तर।
- डेटा बजट: अद्वितीय टोकन बजट ( $U_d$ ) 0.52B, 1.3B, और 2.6B टोकन्स।
- रिपिटेशन (Repetition): 1, 2, 4, 8, और 16 इपोक के लिए प्रशिक्षण, जिसके परिणामस्वरूप कुल प्रशिक्षण टोकन्स 41.6B तक पहुँचते हैं।
- एल्गोरिदम: मैग्नीट्यूड प्रूनिंग (magnitude pruning) और रैंडम रिग्रोथ (random regrowth) के साथ स्पार्स इवोल्यूशनरी ट्रेनिंग (SET) एल्गोरिदम का उपयोग करके डायनेमिक स्पार्स ट्रेनिंग।
स्केलिंग लॉ फॉर्मूलेशन (Scaling Law Formulation):
लेखक एक नया स्पार्स डेटा-बाधित स्केलिंग लॉ प्रस्तावित करते हैं जो चिनचिला (Chinchilla) और मुएनिघोफ एट अल. (2023) के फॉर्मूलेशन का विस्तार करता है। लॉस फंक्शन $L$ को इस प्रकार मॉडल किया गया है:
$L(N', D', S) = \frac{A}{(N')^\alpha} + \frac{B}{(D')^\beta} + E$
जहाँ:
- $N'$ और $D'$ क्रमशः प्रभावी (effective) पैरामीटर और डेटा काउंट हैं, जो घटते प्रतिफल को ध्यान में रखते हैं।
- $S$ स्पार्सिटी लेवल है।
- प्रभावी डेटा साइज $D'$ , एक स्पार्सिटी-निर्भर संतृप्ति थ्रेशोल्ड $R^*_d(S)$ को शामिल करता है:
  $D' = U_d + U_d R^*_d(S) \left(1 - e^{-R_d/R^*_d(S)}\right)$
- संतृप्ति थ्रेशोल्ड $R^*_d(S)$ को स्पार्सिटी के फलन (function) के रूप में मॉडल किया गया है: $R^*_d(S) = R^*_d (1 + \lambda_1 S + \sigma_1 S^2)$ ।
- इसी तरह, प्रभावी पैरामीटर काउंट $N'$ में सक्रिय पैरामीटर्स और डेंस-इक्विवेलेंट क्षमता के बीच ट्रेड-ऑफ को मॉडल करने के लिए एक स्पार्सिटी-निर्भर कारक शामिल है।
विश्लेषण (Analysis):
अध्ययन फिक्स्ड डेटा और कंप्यूट बजट के तहत इष्टतम संसाधन आवंटन (मॉडल आकार बनाम प्रशिक्षण इपोक) निर्धारित करने के लिए Iso-Loss और Iso-FLOPs कर्व्स का विश्लेषण करता है। वे कंप्यूट की दो परिभाषाओं के बीच अंतर करते हैं: स्पार्स FLOPs (नॉन-जीरो पैरामीटर्स पर ऑपरेशन्स) और डेंस FLOPs (एक समकक्ष डेंस मॉडल को प्रशिक्षित करने की लागत)।

मुख्य योगदान और निष्कर्ष (Key Contributions and Findings)

1. स्पार्स, डेटा-बाधित प्रशिक्षण के लिए एक नया स्केलिंग लॉ

यह पेपर एक ऐसा स्केलिंग लॉ पेश करता है जो सक्रिय पैरामीटर्स, अद्वितीय टोकन्स, डेटा रिपिटेशन और स्पार्सिटी के फलन के रूप में लॉस को मॉडल करके कंप्यूट और डेटा बजटों में प्रदर्शन की सटीक भविष्यवाणी करता है।

सत्यापन (Validation): मॉडल होल्ड-आउट कॉन्फ़िगरेशन पर 0.914 का वैलिडेशन $R^2$ प्राप्त करता है, जो दर्शाता है कि फॉर्मूलेशन स्पार्स स्केलिंग की अंतर्निहित संरचना को बिना ओवरफिटिंग के कैप्चर करता है।

2. डेटा संतृप्ति में देरी (Delayed Data Saturation)

सबसे महत्वपूर्ण अनुभवजन्य निष्कर्ष यह है कि स्पार्सिटी, दोहराए गए डेटा की संतृप्ति को विलंबित करती है।

मैकेनिज्म: डेंस ट्रेनिंग में, सीमित डेटा के बार-बार संपर्क से जल्दी ही घटते प्रतिफल होने लगते हैं। स्पार्स ट्रेनिंग वेट्स के एक बड़े पूल में अपडेट्स को वितरित करती है, जिससे किसी भी एकल पैरामीटर के एक ही डेटा पर अपडेट होने की आवृत्ति कम हो जाती है।
मात्रात्मक प्रभाव (Quantitative Impact): डेटा संतृप्ति थ्रेशोल्ड $R^*_d$ स्पार्सिटी के साथ बढ़ता है, जो $S \approx 0.5$ के आसपास चरम पर पहुँचता है। $S=0$ पर, $R^*_d \approx 4.4$ है; $S=0.5$ पर, $R^*_d \approx 6.9$ है। इसका अर्थ है कि स्पार्स मॉडल्स प्रदर्शन स्थिर होने से पहले अधिक डेटा रिपिटेशन को सहन कर सकते हैं, जिससे मल्टी-इपोक ट्रेनिंग अधिक प्रभावी हो जाती है।

3. संसाधन आवंटन और ट्रेड-ऑफ (Resource Allocation and Trade-offs)

अध्ययन डेटा बाधाओं के तहत स्पार्स बनाम डेंस ट्रेनिंग के लिए अलग-अलग इष्टतम रणनीतियों की पहचान करता है:

आवंटन शिफ्ट (Allocation Shift): डेंस ट्रेनिंग में, अतिरिक्त कंप्यूट को मॉडल का आकार बढ़ाने में सबसे अच्छा आवंटित किया जाता है। स्पार्स ट्रेनिंग (विशेष रूप से मध्यम स्पार्सिटी पर) में, अतिरिक्त कंप्यूट को पैरामीटर संख्या बढ़ाने के बजाय लंबे प्रशिक्षण (अधिक इपोक) में बेहतर ढंग से आवंटित किया जाता है।
पैरामीटर दक्षता: स्पार्स ट्रेनिंग बेहतर पैरामीटर-टू-टोकन अनुपात प्राप्त करती है। 1.3B टोकन बजट के लिए, स्पार्स ट्रेनिंग डेंस ट्रेनिंग की तुलना में 3× छोटा पैरामीटर-टू-टोकन अनुपात प्राप्त कर सकती है, जिससे इन्फरेंस दक्षता में सुधार होता है।

4. इष्टतम स्पार्सिटी स्तर (Optimal Sparsity Levels)

लेखक इष्टतम स्पार्सिटी की दो धारणाएं परिभाषित करते हैं:

लॉस-ऑप्टिमल स्पार्सिटी (Loss-Optimal Sparity): वह स्पार्सिटी जो फिक्स्ड डेटा बजट के लिए वैलिडेशन लॉस को कम करती है। यह विभिन्न डेटा स्केल्स के बीच अपेक्षाकृत स्थिर और मध्यम ( $S \approx 0.45 - 0.5$ ) बनी रहती है।
कंप्यूट-ऑप्टिमल स्पार्सिटी (Compute-Optimal Sparsity): वह स्पार्सिटी जो इष्टतम डेंस मॉडल के प्रदर्शन से मेल खाती है और प्रशिक्षण कंप्यूट को न्यूनतम करती है। यह मान डेटा स्केल के साथ बढ़ता है, जो 1.3B टोकन्स पर $S \approx 0.6$ से बढ़कर बड़े स्केल्स (13B–130B टोकन्स) पर $S \approx 0.7 - 0.75$ हो जाता है।
दक्षता लाभ (Efficiency Gains): कंप्यूट-ऑप्टिमल स्पार्सिटी पर, स्पार्स मॉडल्स डेंस-मॉडल की सटीकता से मेल खाते हैं और लगभग 8× से 10× कम ट्रेनिंग FLOPs का उपयोग करते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह डेटा-बाधित स्केलिंग रेजिम्स के तहत डायनेमिक स्पार्स ट्रेनिंग का पहला व्यवस्थित अनुभवजन्य लक्षण वर्णन (systematic empirical characterization) प्रदान करता है। इसका प्राथमिक महत्व स्पार्सिटी को केवल इन्फरेंस एफिशिएंसी या मॉडल कंप्रेशन के उपकरण के रूप में नहीं, बल्कि एक मैकेनिज्म के रूप में पुनर्गठित करने में है जो डेटा की कमी होने पर स्केलिंग ट्रेड-ऑफ को बेहतर बनाता है।

मुख्य दावों में शामिल हैं:

स्पार्सिटी मौलिक रूप से मॉडल क्षमता और डेटा रिपिटेशन के बीच की अंतःक्रिया को बदल देती है, जिससे घटते प्रतिफल के बिंदु में देरी होती है।
डेटा की कमी के तहत, इष्टतम रणनीति "बड़े मॉडल्स" से बदलकर "स्पार्स मॉडल्स पर लंबा प्रशिक्षण" करने की ओर स्थानांतरित हो जाती है।
प्रस्तावित स्केलिंग लॉ भविष्य के डेटा-बाधित प्री-ट्रेनिंग परिदृश्यों में कंप्यूट और डेटा को आवंटित करने के लिए एक प्रेडिक्टिव फ्रेमवर्क प्रदान करता है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि उनके प्रयोग अभी तक फ्रंटियर LLMs (7.68B डेंस-इक्विवेलेंट पैरामीटर्स से परे) के पैमाने तक नहीं पहुँचे हैं, और स्पार्स इम्प्लीमेंटेशन में हार्डवेयर-स्तरीय अक्षमताएं वास्तविक स्पीडअप को कम कर सकती हैं। हालाँकि, वे दावा करते हैं कि उनके निष्कर्ष सीमित डेटा के युग में कुशल LLMs को प्रशिक्षित करने के लिए एक आधारभूत समझ प्रदान करते हैं।