🤖 machine learning

How to Allocate Your Tokens? Scaling Laws with Training Steps and Batch Size

यह शोध पत्र एक "तीन-पद" (three-term) स्केलिंग लॉ का प्रस्ताव करता है जो प्रशिक्षण डेटा को चरणों (steps) और बैच आकार (batch size) में स्पष्ट रूप से विभाजित करता है, जिससे इष्टतम बैच आकार स्केलिंग की सुदृढ़ रिकवरी और काफी कम प्रशिक्षण रन का उपयोग करके उप-इष्टतम सेटिंग्स के लिए नियमों का व्युत्पन्न संभव हो पाता है।

मूल लेखक: Fabian Schaipp

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fabian Schaipp

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ब्रेड का एक आदर्श लोफ (loaf) बनाने की कोशिश कर रहे हैं (जो इस शोध पत्र में एक शक्तिशाली AI मॉडल का प्रतिनिधित्व करता है)। बेहतरीन परिणाम प्राप्त करने के लिए, आपको तीन मुख्य सामग्रियों को संतुलित करना होगा:

ओवन का आकार (मॉडल का आकार/Model Size): आपकी मशीन कितनी बड़ी और जटिल है।
आटे की मात्रा (प्रशिक्षण डेटा/Training Data): आप इसमें कितनी जानकारी डालते हैं।
बेकिंग की रणनीति (स्टेप्स बनाम बैच साइज/Baking Strategy): यह थोड़ा पेचीदा हिस्सा है। आप या तो आटे के कई छोटे बैच एक-एक करके बना सकते हैं (कई स्टेप्स, छोटा बैच), या एक साथ कुछ बड़े बैच बना सकते हैं (कम स्टेप्स, बड़ा बैच)।

लंबे समय तक, वैज्ञानिकों के पास ओवन और आटे को संतुलित करने का एक बेहतरीन नुस्खा था। वे जानते थे कि प्रत्येक के लिए कितनी मात्रा का उपयोग करना है। लेकिन वे बेकिंग रणनीति के बारे में अस्पष्ट थे। वे बस इतना कह देते थे, "एक अच्छा बैच साइज इस्तेमाल करें," बिना यह समझाए कि बैच का आकार वास्तव में परिणाम को कैसे बदलता है या हजारों बार ब्रेड बनाकर परीक्षण किए बिना परफेक्ट साइज कैसे खोजा जाए।

यह शोध पत्र एक नया, अधिक विस्तृत नुस्खा प्रस्तावित करता है जिसे "थ्री-टर्म लॉ" (Three-Term Law) कहा जाता है।

नया नुस्खा: स्टेप्स की गिनती करना

लेखकों का सुझाव है कि केवल आटे की कुल मात्रा को देखने के बजाय, हमें यह देखना चाहिए कि उस आटे को स्टेप्स (कितनी बार ओवन में आटा डाला गया) और बैच साइज (एक बार में कितना आटा डाला गया) में कैसे विभाजित किया गया है।

इसे इस तरह समझें:

पुराना तरीका: "मेरे पास 100 किलो आटा है। मैं एक बड़ा मॉडल बनाऊंगा।"
नया तरीका: "मेरे पास 100 किलो आटा है। मैं 1 किलो के 100 छोटे बैच बना सकता हूँ, या 10 किलो के 10 बड़े बैच बना सकता हूँ। कौन सा मिश्रण मुझे सबसे अच्छी ब्रेड देगा?"

नया फॉर्मूला (थ्री-टर्म लॉ) बैच साइज और स्टेप्स की संख्या को दो अलग-अलग सामग्रियों के रूप में मानता है जो दोनों अंतिम स्वाद (मॉडल के प्रदर्शन) को प्रभावित करते हैं।

यह एक बड़ी बात क्यों है?

1. यह भारी मात्रा में समय बचाता है ("सैंपलिंग" का तरीका)
आमतौर पर, परफेक्ट बैच साइज खोजने के लिए, आपको ब्रेड की एक पूरी रेंज बनानी पड़ती है: एक बहुत छोटे बैच के साथ, एक मध्यम बैच के साथ, एक बहुत बड़े बैच के साथ, और इसी तरह। यह अविश्वसनीय रूप से महंगा और धीमा है (जैसे कि लाखों GPU घंटों की आवश्यकता होना)।

लेखकों ने पाया कि उनका नया फॉर्मूला इतना स्मार्ट है कि वह केवल दो या तीन अलग-अलग बैच साइज को देखकर सटीक रूप से परफेक्ट साइज की भविष्यवाणी कर सकता है।

उपमा: कल्पना कीजिए कि आप अपने ओवन के लिए सही तापमान खोजना चाहते हैं। 100 अलग-अलग तापमानों का परीक्षण करने के बजाय, आप केवल तीन का परीक्षण करते हैं। क्योंकि आप गर्मी के भौतिकी (फॉर्मूला) को समझते हैं, इसलिए आप अन्य 97 सेटिंग्स को बदले बिना गणितीय रूप से सटीक तापमान की गणना कर सकते हैं।
परिणाम: यह प्रशिक्षण रन (training runs) की संख्या को लगभग 72% कम कर देता है। आप काम के एक अंश के साथ वही उत्तर प्राप्त करते हैं।

2. यह "अपूर्ण" बैचों को संभालता है
वास्तविक दुनिया में, हो सकता है कि आपके पास परफेक्ट बैच साइज का उपयोग करने के लिए आवश्यक हार्डवेयर न हो। शायद आपका ओवन बहुत छोटा है, या आपके पास केवल एक मध्यम बैच के लिए समय है।
पुराने नुस्खे केवल यह बताते थे कि क्या होता है यदि आप परफेक्ट सेटिंग्स का उपयोग करते हैं। यह नया नुस्खा बताता है कि क्या होता है यदि आप एक सब-ऑप्टिमल (अपूर्ण) बैच साइज का उपयोग करते हैं। यह अनुमान लगा सकता है कि यदि आप एक छोटे बैच का उपयोग करने के लिए मजबूर हैं, तो आपकी ब्रेड का स्वाद कितना "खराब" होगा, जिससे आपको अपनी सीमाओं के भीतर सर्वोत्तम निर्णय लेने में मदद मिलती है।

3. यह "क्रिटिकल बैच साइज" के रहस्य को सुलझाता है
वैज्ञानिकों ने "क्रिटिकल बैच साइज" नामक एक घटना देखी है। यह एक स्पीड लिमिट की तरह है। यदि आप अपने बैच बहुत बड़े बनाते हैं, तो आप तेज़ परिणाम प्राप्त करना बंद कर देते हैं; आप बस ऊर्जा बर्बाद करते हैं।

पुराने सिद्धांत: कुछ पुराने सिद्धांतों ने सुझाव दिया था कि सबसे अच्छा बैच साइज बहुत छोटा (साइज 1) होना चाहिए, जो वास्तविक जीवन में जो हम देखते हैं उसके विपरीत है।
इस पेपर की खोज: नया फॉर्मूला सही ढंग से दिखाता है कि "स्पीड लिमिट" (क्रिटिकल बैच साइज) इस बात पर निर्भर करती है कि आपके पास कितना डेटा है, लेकिन आश्चर्यजनक रूप से, यह इस बात से ज्यादा नहीं बदलता कि आपका मॉडल कितना बड़ा है। यह उन प्रयोगों से मेल खाता है जो हम देखते हैं।

कमी (सीमाएं)

लेखक ईमानदार हैं कि उनका नुस्खा अभी कहाँ पूरी तरह सटीक नहीं है:

यह किनारों पर थोड़ा कच्चा है: हालांकि यह बेस्ट बैच साइज की भविष्यवाणी बहुत अच्छी तरह से करता है, लेकिन यह उस सटीक स्वाद की भविष्यवाणी करने में पूरी तरह सटीक नहीं है यदि आप बहुत छोटा या बहुत बड़ा बैच साइज उपयोग करते हैं।
इसे थोड़ी मदद की जरूरत है: "अपूर्ण" बैचों के बारे में सबसे सटीक विवरण प्राप्त करने के लिए, उन्हें एक दो-चरणीय प्रक्रिया (एक "टू-स्टेज फिट") का उपयोग करना पड़ा, जो केवल एक समीकरण में नंबर डालने की तुलना में थोड़ा अधिक जटिल है।
यह वर्तमान उपकरणों के लिए विशिष्ट है: परिणाम विशेष प्रकार के AI ट्रेनिंग (AdamW नामक ऑप्टिमाइज़र का उपयोग करके) पर आधारित हैं। यदि आप टूल्स (जैसे कि एक अलग ऑप्टिमाइज़र) बदलते हैं, तो इस नुस्खे को बदलाव की आवश्यकता हो सकती है।

सारांश

यह पेपर हमें AI ट्रेनिंग की जटिल दुनिया में नेविगेट करने के लिए एक बेहतर मानचित्र देता है। यह हमें बताता है कि हम अपने डेटा को कैसे विभाजित करते हैं (स्टेप्स बनाम बैच साइज) यह उतना ही महत्वपूर्ण है जितना कि हमारे पास कितना डेटा है। सबसे महत्वपूर्ण बात यह है कि यह हमें एक शॉर्टकट देता है: हमें अब सर्वश्रेष्ठ रणनीति खोजने के लिए हर एक संभावना का परीक्षण करने की आवश्यकता नहीं है। हम कुछ परीक्षण कर सकते हैं, इस नए गणित का उपयोग कर सकते हैं, और आत्मविश्वास के साथ विजेता की भविष्यवाणी कर सकते हैं, जिससे भारी मात्रा में समय और कंप्यूटिंग पावर की बचत होती है।

तकनीकी सारांश: प्रशिक्षण चरणों और बैच आकार के साथ स्केलिंग लॉज़ (Scaling Laws)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए मौजूदा स्केलिंग लॉज़, जैसे कि चिंचिला लॉ (Chinchilla law), मॉडल के आकार ( $N$ ) और कुल प्रशिक्षण डेटा ( $D$ ) के फलन (function) के रूप में मॉडल टेस्ट लॉस को मॉडल करते हैं। जबकि $N$ और $D$ के बीच कंप्यूट का इष्टतम आवंटन निर्धारित करने के लिए ये प्रभावी हैं, ये कानून प्रशिक्षण हाइपरपैरामीटर्स, विशेष रूप से बैच आकार ( $b$ ) और प्रशिक्षण चरणों ( $K$ ) को स्पष्ट रूप से शामिल नहीं करते हैं। हाइपरपैरामीटर स्केलिंग को मॉडल करने के पिछले प्रयास अक्सर लॉस-आधारित स्केलिंग लॉज़ के साथ एकीकृत करने में विफल रहते हैं या "क्रिटिकल बैच साइज" की अवधारणा पर निर्भर करते हैं, जो कुछ सैद्धांतिक सूतों में एक इष्टतम बैच आकार एक (one) होने का संकेत देता है—जो कि उन अनुभवजन्य निष्कर्षों के विपरीत है जहाँ इष्टतम बैच आकार टोकन बजट के साथ स्केल करते हैं। इसके अलावा, इष्टतम हाइपरपैरामीटर्स के लिए स्केलिंग लॉज़ को फिट करने के लिए विभिन्न टोकन बजटों के लिए बैच आकारों के व्यापक स्वीप (sweeps) की आवश्यकता होती है, जिससे भारी कम्प्यूटेशनल लागत आती है।

कार्यप्रणाली
लेखक एक थ्री-टर्म स्केलिंग लॉ (3TL) प्रस्तावित करते हैं जो प्रशिक्षण डेटा बजट $D$ को टोकन में बैच आकार ( $M = b \times s$ , जहाँ $s$ सीक्वेंस लेंथ है) और प्रशिक्षण चरणों ( $K$ ) में स्पष्ट रूप से विभाजित करता है, ताकि $D = MK$ हो। प्रस्तावित कार्यात्मक रूप (functional form) लॉस $L$ के लिए है:

$L(N, M, K) = E + \frac{A}{N^\alpha} + \frac{B}{M^\beta} + \frac{C}{K^\gamma}$

जहाँ $(E, A, B, C, \alpha, \beta, \gamma)$ वे पैरामीटर्स हैं जिन्हें प्रशिक्षण रन से फिट किया गया है।

लेखक इस 3TL की तुलना एक टू-टर्म लॉ (2TL) दृष्टिकोण से करते हैं, जहाँ मॉडल का आकार $N$ स्थिर रहता है, और प्रत्येक $N$ के लिए स्वतंत्र रूप से $L(M, K) = E + B/M^\beta + C/K^\gamma$ के रूप में कानून को फिट किया जाता है।

मुख्य कार्यप्रणाली संबंधी चरण शामिल हैं:

इष्टतम बैच आकार का व्युत्पत्ति (Derivation): $D=MK $के प्रतिबंध के अधीन$ M$ के सापेक्ष 3TL को न्यूनतम करके, लेखक एक इष्टतम बैच आकार $M^\star$ निकालते हैं जो $D$ के पावर लॉ के रूप में स्केल करता है: $M^\star \propto D^{\frac{\gamma}{\beta+\gamma}}$ ।
डेटा उपयोग: पिछले तरीकों के विपरीत, जिन्हें प्रत्येक कॉन्फ़िगरेशन के लिए एकल इष्टतम बैच आकार (पूर्ण स्वीप के माध्यम से) की पहचान करने की आवश्यकता होती है, 3TL को सब-ऑप्टिमल (suboptimal) बैच आकारों से डेटा का उपयोग करके फिट किया जाता है। यह अनुमति देता है कि कानून को काफी कम प्रशिक्षण रन के साथ मजबूती से फिट किया जा सके।
सब-ऑप्टिमल रिजीम मॉडलिंग: हार्डवेयर बाधाओं को संबोधित करने के लिए जहाँ सैद्धांतिक इष्टतम बैच आकार अव्यवहारक है, लेखक एक दो-चरणीय फिटिंग प्रक्रिया प्रस्तावित करते हैं। पहले, वे 3TL का उपयोग एक सरलीकृत कार्यात्मक रूप $L(b) = \tilde{E} + \tilde{A}b^{-\tilde{\alpha}} + \tilde{B}b^{\tilde{\alpha}}$ (यह मानते हुए कि $\gamma \approx \beta$ ) को सूचित करने के लिए करते हैं। दूसरे, वे $\epsilon$ -सब-ऑप्टिमल बैच आकारों (जहाँ $\epsilon$ एक 5% कंप्यूट वेस्ट थ्रेशोल्ड का प्रतिनिधित्व करता है) के अंतराल पर एक पावर लॉ को फिट करते हैं।
क्रिटिकल बैच साइज विश्लेषण: लेखक एक लक्ष्य लॉस $\bar{L}$ तक पहुँचने के लिए आवश्यक चरणों की संख्या $K_{\bar{L}}(b)$ का बैच आकार के फलन के रूप में विश्लेषण करते हैं, और 3TL भविष्यवाणियों की तुलना क्रिटिकल बैच साइज के संबंध में अनुभवजन्य निष्कर्षों से करते हैं।

मुख्य परिणाम
लेखकों ने दो डेटासेट्स पर अपने दृष्टिकोण का मूल्यांकन किया: Li (Li et al., 2025a) और OpenEuroLLM।

इष्टतम बैच साइज स्केलिंग: 3TL सफलतापूर्वक इष्टतम बैच आकार $M^\star$ के स्केलिंग को रिकवर करता है। Li डेटासेट पर, व्युत्पन्न स्केलिंग $M^\star \approx 0.667 \cdot D^{0.566}$ , Li et al. (2025a) के "स्टेप-लॉ" ( $M^\star \approx 0.58 \cdot D^{0.571}$ ) के करीब है, जिसे पूर्ण बैच साइज स्वीप से निकाला गया था।
कंप्यूट दक्षता: एक प्राथमिक निष्कर्ष यह है कि 3TL को पारंपरिक तरीकों द्वारा आवश्यक प्रशिक्षण रन के केवल 28% का उपयोग करके फिट किया जा सकता है। $(N, D)$ संयोजन के प्रति प्रत्येक के लिए केवल 2 बैच आकारों को शामिल करने के लिए डेटासेट को मास्क करके, 3TL अभी भी $M^\star$ के लिए सही स्केलिंग लॉ को रिकवर करता है। इसके विपरीत, बिना लॉस सरफेस को मॉडल किए, केवल उपलब्ध कुछ "सर्वश्रेष्ठ" बैच आकारों पर सीधे पावर लॉ को फिट करने से अत्यधिक अस्थिर और गलत स्केलिंग लॉ प्राप्त होते हैं।
सब-ऑप्टिमल बैच आकार: दो-चरणीय फिटिंग प्रक्रिया सफलतापूर्वक उन सब-ऑप्टिमल बैच आकारों के अंतराल को मॉडल करती है जो अधिकतम 5% कंप्यूट वेस्ट (waste) करते हैं। लेखक पाते हैं कि इस अंतराल की चौड़ाई बैच आकार में लगभग $2^2$ (एक कारक 4) है, और इसका स्केलिंग व्यवहार विभिन्न मॉडल आकारों और डेटासेट्स में सुसंगत है।
क्रिटिकल बैच साइज: 3TL उस घटना को सही ढंग से मॉडल करता है जहाँ एक क्रिटिकल पॉइंट के बाद बैच साइज बढ़ने के साथ लक्ष्य लॉस तक पहुँचने के लिए आवश्यक चरणों की संवेदनशीलता कम हो जाती है। महत्वपूर्ण रूप से, मॉडल दिखाता है कि यह क्रिटिकल व्यवहार टोकन बजट $D$ के साथ स्केल करता है लेकिन मॉडल के आकार $N$ के प्रति काफी हद तक अपरिवर्तित रहता है, जो Zhang et al. (2025) के अनुभवजन्य अवलोकनों से मेल खाता है।
चिंचिला के साथ तुलना: जब 3TL को मानक चिंचिला फॉर्म में बदल दिया जाता है (लॉस समीकरण में इष्टतम $M^\star$ को वापस प्रतिस्थापित करके), तो निहित कंप्यूट-ऑप्टिमल स्केलिंग मॉडल आकार $N$ के लिए प्रत्यक्ष चिंचिला फिट से भिन्न होती है। 3TL $D$ के लिए एक छोटा स्केलिंग एक्सपोनेंट सुझाता है, जो इस बात पर प्रकाश डालता है कि स्केलिंग लॉ फॉर्मूलेशन का चयन प्राप्त इष्टतम कॉन्फ़िगरेशन को कैसे प्रभावित करता है।

महत्व और दावे
पेपर का दावा है कि थ्री-टर्म लॉ एक एकीकृत ढांचा प्रदान करता है जो चिंचिला-शैली के स्केलिंग लॉज़ (मॉडल साइज बनाम डेटा) और हाइपरपैरामीटर स्केलिंग लॉज़ (बैच साइज) के बीच के अंतर को पाटता है। इसका महत्व तीन मुख्य क्षेत्रों में है:

स्पार्स डेटा के साथ मजबूती (Robustness): सब-ऑप्टिमल बैच आकारों का उपयोग करके कानून को फिट करने की क्षमता पारंपरिक तरीकों की तुलना में स्केलिंग लॉ प्राप्त करने की कम्प्यूटेशनल लागत को काफी कम कर देती है, जिससे यह पूर्ण स्वीप के बिना इष्टतम बैच आकार निर्धारित करना संभव बनाती है।
सैद्धांतिक निरंतरता (Theoretical Consistency): इसका फॉर्मूलेशन स्टोकेस्टिक ऑप्टिमाइजेशन के कन्वर्जेंस बाउंड्स के संरचनात्मक रूप से समान है, जो अनुभवजन्य स्केलिंग विश्लेषण और ऑप्टिमाइजेशन थ्योरी के बीच एक सैद्धांतिक सेतु प्रदान करता है।
व्यावहारिक प्रयोज्यता: पिछले मॉडलों के विपरीत जो एक बैच आकार एक (one) का सुझाव देते हैं या सब-ऑप्टिमल रिजीम का वर्णन करने में विफल रहते हैं, 3TL एक गैर-तुच्छ (non-trivial) इष्टतम बैच आकार प्रदान करता है और सब-ऑप्टिमल रिजीम में प्रदर्शन को स्पष्ट रूप से मॉडल करता है, जो हार्डवेयर बाधाओं के तहत व्यावहारिक प्रशिक्षण के लिए महत्वपूर्ण है।

लेखक सीमाओं को नोट करते हैं, जिसमें विभिन्न डेटासेट्स (जैसे, इरेड्यूसिबल लॉस टर्म $E$ ) के बीच पैरामीटर मानों में संभावित विसंगतियां और यह तथ्य शामिल है कि कानून को अभी भी प्रत्येक कॉन्फ़िगरेशन के लिए इष्टतम लर्निंग रेट की आवश्यकता होती है। वे यह भी स्वीकार करते हैं कि 3TL का निहित कंप्यूट-ऑप्टिमल स्केलिंग प्रत्यक्ष चिंचिला फिट से भिन्न है, जो यह सुझाव देता है कि यह इष्टतम मॉडल आकारों को निर्धारित करने के लिए एकमात्र उपकरण नहीं हो सकता है, लेकिन स्टेप्स, बैच साइज और डेटा के बीच के इंटरप्ले को समझने के लिए बेहतर है।

नया नुस्खा: स्टेप्स की गिनती करना

यह एक बड़ी बात क्यों है?

कमी (सीमाएं)

सारांश

तकनीकी सारांश: प्रशिक्षण चरणों और बैच आकार के साथ स्केलिंग लॉज़ (Scaling Laws)

इसी तरह के और पेपर