तकनीकी सारांश: M3 स्केलिंग लॉ (M3 Scaling Law)

समस्या विवरण (Problem Statement)

यह शोध पत्र कम-संसाधन वाली भाषा व्यवस्था (low-resource language regimes) के लिए प्रीट्रेनिंग हेतु लार्ज लैंग्वेज मॉडल्स (LLMs) के डिज़ाइन में एक मौलिक चुनौती को संबोधित करता है। एक निश्चित कंप्यूट बजट ($C$) और एक निश्चित लक्षित-भाषा कॉर्पस आकार ($D_T$) के तहत काम करने वाले अभ्यासकर्ताओं (practitioners) को तीन स्थापित प्रशिक्षण दृष्टिकोणों वाले एक जटिल डिज़ाइन स्पेस का सामना करना पड़ता है:

1. मल्टी-इपॉक ट्रेनिंग (Multi-epoch training): लक्षित कॉर्पस को $k$ बार दोहराना।
2. मल्टी-लिंगुअल ट्रेनिंग (Multi-lingual training): उच्च-संसाधन वाले डेटा को लक्षित भाषा के साथ एक औसत अनुपात $r$ पर मिलाना।
3. मल्टी-स्टेज ट्रेनिंग (Multi-stage training): प्रशिक्षण चरणों में लक्षित-भाषा के अनुपात को बदलना (जैसे, निम्न अनुपात $r_1$ से शुरू करके अंतिम अनुपात $r_f$ तक बढ़ना)।

मौजूदा स्केलिंग लॉज़ एक ही $(C, D_T)$ बाधाओं के तहत इन दृष्टिकोणों की तुलना करने के लिए एक एकीकृत ढांचा प्रदान करने में विफल रहते हैं। पूर्ववर्ती कार्य आमतौर पर इस स्थान के प्रतिबंधित हिस्सों (जैसे, केवल सिंगल-स्टेज, या केवल मल्टी-इपॉक) को कवर करते हैं और उनमें एक सामान्य ऑब्जेक्टिव फंक्शन का अभाव है जो एक साथ कई अक्षों (axes) पर भिन्न होने वाले रेसिपीज़ की सीधी तुलना करने की अनुमति दे सके। फलस्वरूप, कम-संसाधन वाले परिदृश्यों के लिए इष्टतम (optimal) प्रशिक्षण सेटअप स्पष्ट नहीं है।

कार्यप्रणाली (Methodology)

लेखक M3 स्केलिंग लॉ प्रस्तावित करते हैं, जो लक्षित-भाषा वैलिडेशन लॉस (validation loss) के लिए एक एकीकृत भविष्य कहने वाला मॉडल है। यह मॉडल मॉडल स्केल ($M$), लक्षित-कॉर्पस इपॉक की संख्या ($k$), औसत लक्षित-भाषा अनुपात ($r$), और अंतिम-चरण के लक्षित-भाषा अनुपात ($r_f$) द्वारा पैरामीटराइज्ड है।

कार्यप्रणाली में तीन प्रमुख अनुभवजन्य मॉडलिंग विस्तार शामिल हैं जिन्हें एक एकल लॉस सरफेस में एकीकृत किया गया है:

1. k-डिपेंडेंट इफेक्टिव मॉडल साइज (मल्टी-इपॉक):
   Muennighoff et al. (2023) पर आधारित, लेखक यह देखते हैं कि इपॉक गणना $k$ के संबंध में प्रभावी मॉडल आकार ($M'$) का संतृप्ति (saturation) स्थिर नहीं है। वे एक $k$-डिपेंडेंट सैचुरेशन पैरामीटर $R^*_M(k)$ पेश करते हैं, जिसे $a/(k-1)^b + c$ के रूप में मॉडल किया गया है। यह फॉर्मूलेशन $k=1$ पर चिंचिला (Chinchilla) स्केलिंग लॉ को रिकवर करता है और उच्च $k$ पर देखे गए अधिक मजबूत संतृप्ति को सटीक रूप से कैप्चर करता है।

2. मल्टी-स्टेज ट्रेनिंग के लिए डुअल पावर लॉ (Dual Power Law):
   He et al. (2024) का विस्तार करते हुए, लेखक चरण-वार भाषा अनुपातों के प्रभाव का विश्लेषण करते हैं। वे पाते हैं कि मल्टी-स्टेज ट्रेनिंग में कम लक्षित-भाषा अनुपातों से जुड़ा लॉस का बढ़ना, सिंगल-स्टेज ट्रेनिंग की तुलना में कम हो जाता है। वे भाषा अनुपात कारक $R_{dual}(r, r_f)$ के लिए एक डुअल पावर लॉ प्रस्तावित करते हैं:
   $$R_{dual}(r, r_f) = \begin{cases} r^{-\gamma} & \text{(single-stage)} \\ r_f^{-\gamma} \cdot (r/r_f)^{-\gamma_2} & \text{(multi-stage)} \end{cases}$$
   अनुभवजन्य परिणाम दिखाते हैं कि लॉस मुख्य रूप से औसत अनुपात $r$ और अंतिम-चरण के अनुपात $r_f$ पर निर्भर करता है, और मध्यवर्ती चरण के अनुपातों के प्रति नगण्य संवेदनशीलता दिखाता है। $\gamma_2$ का घातांक (exponent) $\gamma$ से छोटा पाया गया है, जो अंतिम चरण में लक्षित-भाषा डेटा को केंद्रित करने की प्रभावशीलता को दर्शाता है।

3. मल्टी-इपॉक और मल्टी-लिंगुअल ट्रेनिंग का इंटरेक्शन:
   मल्टी-इपॉक, मल्टी-लिंगुअल सेटिंग्स के लिए, लेखक $(r, R_D)$ के फलन (function) के रूप में हाई-रिसोर्स टोकन्स ($D_{high}$) पर वेट $g$ को बढ़ावा देकर $k$ और $r$ के बीच के इंटरेक्शन को मॉडल करते हैं, जहाँ $R_D = k-1$ है। यह फलन इपॉक्स बढ़ने के साथ घटता जाता है, जो हाई-रिसोर्स टोकन्स की घटती सीमांत उपयोगिता (diminishing marginal utility) को दर्शाता है क्योंकि लक्षित-भाषा डेटा को दोहराया जाता है।

अंतिम M3 स्केलिंग लॉ इन घटकों को जोड़ता है:
$$L_{M3} = \left( \frac{A}{M'^\alpha} + \frac{B}{D'^\beta} + E \right) \cdot R_{dual}(r, r_f)$$
जहाँ $M'$ और $D'$ संतृप्ति कार्यों और डायनेमिक वेट $g$ को शामिल करने वाले प्रभावी मॉडल और डेटा आकार हैं।

प्रयोगात्मक सेटअप (Experimental Setup)

यह अध्ययन तीन भाषा युग्मों में आयोजित किया गया था: (जापानी, अंग्रेजी), (इंडोनेशियाई, अंग्रेजी), और (स्वाहिली, अंग्रेजी)। जापानी और इंडोनेशियाई को कम-संसाधन परिदृश्य का अनुकरण करने के लिए डाउनसैंपल किया गया था, जबकि स्वाहिली ने एक स्वाभाविक रूप से कम-संसाधन वाला मामला प्रदान किया।

• मॉडेल्स: विभिन्न स्केल्स के साथ डिकोडर-ओनली LLaMA आर्किटेक्चर।
• डेटा: C4 (अंग्रेजी) और mC4 (लक्षित भाषाएँ)।
• सर्च स्पेस: कंप्यूट बजट ($C$), मॉडल स्केल ($M$), लक्षित कॉर्पस आकार ($D_T$), इपॉक गणना ($k$), और भाषा अनुपात ($r, r_f$) पर ग्रिड सर्च।
• मेट्रिक: लक्षित-भाषा वैलिडेशन लॉस, जिसे लेखक जापानी बेंचमार्क पर प्रारंभिक सहसंबंध विश्लेषण के माध्यम से डाउनस्ट्रीम प्रदर्शन के प्रॉक्सी के रूप में मान्य करते हैं।

मुख्य परिणाम (Key Results)

1. भविष्य कहने की सटीकता (Predictive Accuracy)

M3 स्केलिंग लॉ सभी परीक्षण किए गए सेटिंग्स में एक्सट्रपोलेशन सटीकता ($R^2$) में मौजूदा बेसलाइन्स (Chinchilla, He, Muennighoff, ATLAS, Sedova, और विभिन्न कंटीन्यूअल प्रीट्रेनिंग लॉ) को पछाड़ देता है:

• एकीकृत प्रदर्शन: यह उच्चतम औसत $R^2$ प्राप्त करता है जब इसे संयुक्त सिंगल-स्टेज और टू-स्टेज डेटा पर मूल्यांकन किया जाता है।
• दोहरी क्षमता: यह सफलतापूर्वक सिंगल-स्टेज और टू-स्टेज दोनों रेजीमों में एक्सट्रपोलेट करता है, एक ऐसी क्षमता जहाँ डुअल पावर लॉ की कमी वाले मॉडल (जैसे, मानक He या Muennighoff) विफल हो जाते हैं।
• मोनोलिंगुअल मल्टी-इपॉक: M3 का एक वेरिएंट जिसमें $k$-डिपेंडेंट $R^*_M(k)$ शामिल है, विशेष रूप से मोनोलिंगुअल मल्टी-इपॉक सेटिंग्स के लिए स्टेट-ऑफ-द-आर्ट सटीकता प्राप्त करता है।

2. इष्टतम प्रशिक्षण दिशानिर्देश (Optimal Training Guidelines)

M3 को एक सरोगेट ऑब्जेक्टिव के रूप में उपयोग करते हुए, लेखक कम-संसाधन LLM प्रीट्रेनिंग के लिए दो व्यावहारिक दिशानिर्देश प्राप्त करते हैं:

• इष्टतम दृष्टिकोण चयन: जैसे-जैसे कंप्यूट बजट के सापेक्ष लक्षित कॉर्पस आकार $D_T$ कम होता है, इष्टतम रणनीति सीधे मल्टी-लिंगुअल टू-स्टेज ट्रेनिंग से मोनोलिंगुअल सिंगल-स्टेज की ओर स्थानांतरित हो जाती है। महत्वपूर्ण रूप से, मल्टी-लिंगुअल सिंगल-स्टेज ट्रेनिंग कभी भी इष्टतम नहीं होती है। यह संक्रमण कंप्यूट-बजट-निर्भर थ्रेशोल्ड पर होता है।
• इष्टतम इपॉक्स: जब $D_T / D^*(C)$ के विरुद्ध स्कैरसिटी वेरिएबल (scarcity variable) के विरुद्ध प्लॉट किया जाता है, तो इष्टतम इपॉक्स संख्या ($k^*$) एक एकल वक्र (curve) पर सिमट जाती है, जहाँ $D^*(C)$ मोनोलिंगुअल कंप्यूट-ऑप्टिमल कॉर्पस साइज है। छोटे-$k$ रेजीम में, यह $k^* \approx D^*(C) / D_T$ सन्निकटन (approximation) का पालन करता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह पहला एकीकृत स्केलिंग लॉ प्रदान करता है जो मल्टी-इपॉक, मल्टी-लिंगुअल और मल्टी-स्टेज ट्रेनिंग को संयुक्त रूप से कवर करता है, जिससे एक ही कंप्यूट और डेटा बजट के तहत विविध प्रशिक्षण रेसिपीज़ की तुलना करना संभव होता है।

• सैद्धांतिक अंतर्दृष्टि: यह कार्य पहचान करता है कि मल्टी-स्टेज ट्रेनिंग के लाभों को केवल औसत और अंतिम-चरण के अनुपातों पर निर्भर डुअल पावर लॉ द्वारा कैप्चर किया जा सकता है, जो जटिल प्रशिक्षण शेड्यूल्स के अनुकूलन को सरल बनाता है।
• व्यावहारिक उपयोगिता: प्राप्त दिशानिर्देश अभ्यासकर्ताओं के लिए एक स्पष्ट निर्णय सीमा (decision boundary) प्रदान करते हैं: यदि लक्षित कॉर्पस दुर्लभ है, तो उन्हें सिंगल-स्टेज मिक्सिंग या मोनोलिंगुअल रिपिटेशन का प्रयास करने के बजाय तुरंत मल्टी-लिंगुअल टू-स्टेज दृष्टिकोण अपनाना चाहिए।
• सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि उनका मूल्यांकन वैलिडेशन लॉस तक सीमित है, हालांकि वे डाउनस्ट्रीम कार्यों के साथ इसके सहसंबंध के प्रमाण प्रदान करते हैं। वे यह भी स्वीकार करते हैं कि उनके प्रयोगों में लर्निंग रेट शेड्यूल्स (जो सिंगल-स्टेज के लिए अनुकूलित हैं) जैसे हाइपरपैरामीटर्स के लिए फिक्स्ड डिफॉल्ट्स का उपयोग किया गया था, और उन्होंने कॉर्पस क्वालिटी या सिंथेटिक डेटा के विविधताओं का पता नहीं लगाया, जो भविष्य के अनुसंधान के लिए खुले क्षेत्र बने हुए हैं।

संक्षेप में, M3 स्केलिंग लॉ विजातीय (disparate) प्रशिक्षण रणनीतियों के बीच के अंतर को पाटता है, एक ऐसा भविष्य कहने वाला मॉडल प्रदान करता है जो सटीक रूप से प्रदर्शन का पूर्वानुमान लगाता है और कम-संसाधन वाली भाषाओं के LLM के लिए इष्टतम प्रशिक्षण रेसिपी निर्धारित करता है।