🤖 machine learning

Bridging Compute- and Data-Optimal Pretraining

यह शोध पत्र कंप्यूट-डेटा (CD) स्केलिंग लॉज़ पेश करता है, जो एक एकीकृत ढांचा है जो कंप्यूट- और डेटा-इष्टतम प्रीट्रेनिंग व्यवस्था के बीच के अंतर को पाटने के लिए 'टोकन-प्रभावशीलता फलन' (token-effectiveness function) के माध्यम से व्युत्पन्न डेटा के घटते प्रतिफल को मॉडल करता है, जिससे यह पता चलता है कि शास्त्रीय कंप्यूट-इष्टतम आवंटन अधिकांश व्यावहारिक सेटिंग्स के लिए उप-इष्टतम है।

मूल लेखक: Tian Qin, Kimia Hamidieh, David Alvarez-Melis

प्रकाशित 2026-07-29

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tian Qin, Kimia Hamidieh, David Alvarez-Melis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान रोबोट को मानव भाषा बोलना सिखाने की कोशिश कर रहे हैं। वर्षों तक, वैज्ञानिकों का मानना था कि इसका गुप्त मंत्र सरल था: बस रोबोट को अधिक से अधिक नई कहानियाँ, तथ्य और पुस्तकें खिलाते रहें। रोबोट का मस्तिष्क (उसका "मॉडल साइज") जितना बड़ा होता और आप उसे जितनी अधिक ताज़ा पुस्तकें देते, वह उतना ही स्मार्ट होता जाता। यह विचार, जिसे "स्केलिंग लॉज़" (scaling laws) के रूप में जाना जाता था, यह सुझाव देता था कि यदि आपके पास पर्याप्त कंप्यूटर शक्ति है, तो आप बस अधिक डेटा खरीद सकते हैं और रोबोट हमेशा बेहतर होता रहेगा।

लेकिन, इसमें एक पेंच है। हमारे पास ताज़ा, उच्च गुणवत्ता वाली पुस्तकों की कमी हो रही है। इंटरनेट सीमित है, और नई, उत्तम कहानियाँ लिखने में समय और पैसा लगता है। इस बीच, हमारे कंप्यूटर दिन-प्रतिदिन तेज़ और सस्ते होते जा रहे हैं। यह एक अजीब समस्या पैदा करता है: हमारे पास एक सुपर-पावरफुल इंजन (कंप्यूट) है लेकिन लगभग खाली गैस टैंक (डेटा)। मुख्य सवाल यह था: यदि हम अधिक ताज़ा किताबें नहीं प्राप्त कर सकते, तो क्या हम रोबोट को एक ही किताबें बार-बार पढ़ा सकते हैं, या उन्हें अलग तरीकों से फिर से लिख सकते हैं, ताकि वह अधिक बुद्धिमान बन सके? क्या एक कहानी को दूसरी बार पढ़ना एक बिल्कुल नई कहानी पढ़ने जितना मददगार होता है?

यह वह पहेली है जिसे शोधकर्ताओं टियान किन, किमिया हामिदिएह और डेविड अल्वारेज़-मेलिस ने अपने नए शोध पत्र में सुलझाने की कोशिश की। वे यह पता लगाना चाहते थे कि जब ताज़ा डेटा दुर्लभ हो, तो इन AI मॉडलों को प्रशिक्षित करने का सही नुस्खा क्या है। उन्होंने "कंप्यूट-डेटा (CD) स्केलिंग लॉज़" नामक नियमों का एक नया सेट विकसित किया। इसे एक यात्रा के लिए एक नए मानचित्र के रूप में समझें जहाँ पुराने मानचित्र ने कहा था "सीधे चलते रहें," लेकिन नया मानचित्र कहता है, "अरे, रास्ता खत्म हो रहा है! यहाँ बताया गया है कि मोड़ कैसे लें।"

टीम ने पाया कि केवल पुराने डेटा को दोबारा पढ़ना कोई जादुई समाधान नहीं है। उन्होंने पाया कि "डिराइव्ड टोकन" (derived tokens)—जो कि एक किताब को दोबारा पढ़ने या एक वाक्य को अपने शब्दों में फिर से लिखने जैसा है—ताज़ा, मूल पाठ की तुलना में कम मूल्यवान होते हैं। आप जितना अधिक दोहराते या पैराफ्रेज़ (paraphrase) करते हैं, प्रत्येक नए शब्द का मूल्य उतना ही कम होता जाता है। यह एक स्वादिष्ट केक खाने जैसा है: पहला टुकड़ा अद्भुत होता है, दूसरा अच्छा होता है, लेकिन दसवें टुकड़े तक पहुँचते-पहुँचते, आप पूरी तरह भर जाते हैं और अब उसका आनंद नहीं ले पाते।

इसे सिद्ध करने के लिए, उन्होंने 14 मिलियन "न्यूरॉन्स" वाले छोटे मॉडलों से लेकर 600 मिलियन वाले मध्यम आकार के मॉडलों तक, दर्जनों AI मॉडलों को प्रशिक्षित किया, और इसके लिए 'डोल्मा-3' (Dolma-3) नामक एक विशाल टेक्स्ट लाइब्रेरी का उपयोग किया। उन्होंने दो मुख्य रणनीतियों का परीक्षण किया: मल्टी-एपॉक रिपिटिशन (एक ही किताब को बार-बार पढ़ना) और पैराफ्रेसिंग (एक ही किताब को अलग-अलग शैलियों में फिर से लिखना, जैसे किसी समाचार लेख को गणित की समस्या या FAQ में बदलना)।

उनके परिणाम आश्चर्यजनक और बहुत विशिष्ट थे। उन्होंने पाया कि दोबारा पढ़ने या फिर से लिखने का "मूल्य" इस बात पर निर्भर करता है कि रोबोट का मस्तिष्क कितना बड़ा है और उसने पहले ही कितना ताज़ा डेटा देखा है।

छोटे रोबोटों के लिए (600 मिलियन से कम पैरामीटर्स), जिनके पास सीमित ताज़ा डेटा है, पैराफ्रेसिंग एक बेहतरीन ट्रिक है। यह रोबोट को उसी कहानी पर एक नया दृष्टिकोण देने जैसा है, जो सीखने में मदद करता है।
बड़े रोबोटों के लिए (7 बिलियन से अधिक पैरामीटर्स) या जब आपके पास पहले से ही बहुत सारा ताज़ा डेटा हो, तो पैराफ्रेसिंग काम करना बंद कर देती है। यह एक पीएचडी छात्र को बच्चों की किताब फिर से लिखकर सिखाने जैसा है; वे पहले से ही बुनियादी बातें सीख चुके हैं, और नया संस्करण कुछ भी नया नहीं जोड़ता।
रिपिटिशन (उसी किताब को दोबारा पढ़ना) बड़े मॉडलों के लिए बेहतर काम करता है, लेकिन तब भी इसकी एक सीमा है। आप बस एक ही किताब को अनंत काल तक पढ़ते रहकर उम्मीद नहीं कर सकते कि रोबकट अनंत रूप से स्मार्ट होता जाएगा।

यह शोध पत्र एक विशेष संख्या पेश करता है, जिसे वे $\eta$ (एटा) कहते हैं, जो ठीक से मापता है कि एक "डिराइव्ड" (व्युत्पन्न) शब्द एक "फ्रेश" (ताज़ा) शब्द की तुलना में कितना मूल्यवान है। यदि $\eta$ 1 है, तो नया शब्द एक ताज़ा शब्द के समान है। यदि यह 0 है, तो यह बेकार है। उन्होंने पाया कि $\eta$ एक स्थिर संख्या नहीं है; जैसे-जैसे मॉडल बड़ा होता है और जैसे-जैसे आप अधिक डेरिव्ड डेटा का उपयोग करते हैं, यह घटता जाता है।

यह उन्हें प्रशिक्षण के तीन अलग-अलग "ज़ोन" (क्षेत्रों) की ओर ले जाता है, जो इंजीनियरों को यह तय करने में मदद करता है कि आगे क्या करना है:

कंप्यूट-बाउंड (Compute-Bound): आपके पास पर्याप्त ताज़ा डेटा है लेकिन पर्याप्त कंप्यूटर शक्ति नहीं है। यहाँ, आपको बस ताज़ा डेटा पर प्रशिक्षण जारी रखना चाहिए।
डेटा-बाउंड (Data-Bound): आपके पास ताज़ा डेटा खत्म हो गया है। यहाँ, आप दोहराव या पैराफ्रेसिंग पर अधिक कंप्यूटर शक्ति खर्च कर सकते हैं, लेकिन आपको सावधान रहना होगा क्योंकि इसके लाभ तेजी से कम होते जाते हैं।
मॉडल-बाउंड (Model-Bound): आपने वह सारा डेटा उपयोग कर लिया है जिसे आप उपयोग कर सकते थे, और कंप्यूटर अपनी अधिकतम क्षमता पर है। अब स्मार्ट बनने का एकमात्र तरीका एक बड़ा मस्तिष्क (एक बड़ा मॉडल) बनाना है।

सबसे व्यावहारिक निष्कर्षों में से एक यह है कि एक किताब को कितनी बार पढ़ना चाहिए। अतीत में एक लोकप्रिय नियम यह था कि एक डेटासेट को 4 बार पढ़ा जाए (4 एपॉक्स)। शोधकर्ताओं ने पाया कि यह केवल मध्यम आकार के मॉडलों और एक विशिष्ट मात्रा में डेटा के लिए ही एक अच्छा विचार है। यदि आपके पास एक बहुत बड़ा मॉडल या बहुत बड़ा डेटासेट है, तो इसे 4 बार पढ़ना समय और पैसे की बर्बादी है; आपको बहुत पहले ही रुक जाना चाहिए। इसके विपरीत, बहुत छोटे मॉडलों के लिए जिनके पास बहुत कम डेटा है, आपको इसे कई बार पढ़ने की आवश्यकता हो सकती है।

उन्होंने दोनों रणनीतियों की आमने-सामने तुलना भी की। उन्होंने एक "टिपिंग पॉइंट" (निर्णायक बिंदु) पाया। यदि आपका मॉडल छोटा है (600 मिलियन से कम) और आपके पास बहुत कम डेटा है, तो पैराफ्रेसिंग विजेता है। लेकिन जैसे ही आपका मॉडल बड़ा होता है (7 बिलियन से अधिक) या आपके पास एक विशाल डेटासेट होता है, रिपिटिशन बेहतर विकल्प बन जाता है, और पैराफ्रेसिंग वास्तव में अप्रभावी हो जाती है।

संक्षेप में, यह शोध पत्र हमें बताता है कि "बस अधिक डेटा खरीदें" का युग समाप्त हो गया है। हम एक नए युग में प्रवेश कर रहे हैं जहाँ हमें इस बात पर ध्यान देना होगा कि हम अपने पास मौजूद डेटा का उपयोग कैसे करते हैं। हम केवल समस्या पर अधिक कंप्यूटर शक्ति नहीं लगा सकते और उम्मीद नहीं कर सकते कि यह काम करेगा; हमें ठीक से पता होना चाहिए कि कब दोहराना बंद करना है, कब फिर से लिखना (रीमिक्स करना) शुरू करना है, और कब यह स्वीकार करना है कि हमें एक बड़े मस्तिष्क की आवश्यकता है। लेखक सुझाव देते हैं कि अधिकांश व्यावहारिक स्थितियों के लिए, पुराना "चिंचिला" (Chinchilla) नियम (जिसने माना था कि डेटा अनंत है) अब सबसे अच्छा मार्गदर्शक नहीं है। इसके बजाय, हमें अपने कंप्यूटर पावर, अपने मॉडल के आकार और अपने डेटा बजट को सावधानीपूर्वक संतुलित करने की आवश्यकता है, इन नए नियमों का उपयोग करके उन ट्रिक्स पर समय बर्बाद करने से बचना है जो काम नहीं करतीं।

शोधकर्ता इन निष्कर्षों के बारे में काफी आश्वस्त हैं क्योंकि उन्होंने परीक्षण किया कि उनके परिणाम कई अलग-अलग मॉडल आकारों और डेटा मात्राओं में काम करते हैं, और गणित सटीक रहा। उन्होंने यह भी जांचा कि क्या इन ट्रिक्स के साथ प्रशिक्षित किए गए मॉडल वास्तविक दुनिया के कार्यों (जैसे प्रश्नों के उत्तर देना या गणित की समस्याओं को हल करना) में बेहतर प्रदर्शन करते हैं, और हाँ, वे बेहतर प्रदर्शन करते हैं। कम "लॉस" (एक माप कि रोबोट कितना भ्रमित है) का अर्थ है कि रोबोट का प्रदर्शन बेहतर है।

तो, अगली बार जब आप किसी नए AI मॉडल के बारे में सुनें, तो याद रखें: यह केवल इस बारे में नहीं है कि उसने कितना पढ़ा, बल्कि इस बारे में है कि उसने कैसे पढ़ा। और यदि आप AI को प्रशिक्षित कर रहे हैं, तो केवल उसी प्लेलिस्ट को बार-बार बजाते न रहें; कभी-कभी आपको एक रीमिक्स की आवश्यकता होती है, और कभी-कभी आपको बस एक बड़ा मस्तिष्क पाने की आवश्यकता होती है।

तकनीकी सारांश: कंप्यूट- और डेटा-अनुकूल प्रीट्रेनिंग के बीच सेतु बनाना

1. समस्या विवरण (Problem Statement)

शास्त्रीय प्रीट्रेनिंग स्केलिंग लॉ (जैसे, Kaplan et al., 2020; Hoffmann et al., 2022) इस धारणा पर कार्य करते हैं कि ताज़ा प्रीट्रेनिंग डेटा असीमित है और कंप्यूट के साथ स्वतंत्र रूप से स्केल होता है। हालाँकि, क्षेत्र एक ऐसे युग में संक्रमण कर रहा है जहाँ कंप्यूट क्षमता तेजी से बढ़ रही है जबकि उच्च गुणवत्ता वाला प्रीट्रेनिंग डेटा सीमित और क्यूरेट करने में महंगा बना हुआ है। इस "डेटा-सीमित" (data-constrained) युग में, अभ्यासकर्ताओं को एक निश्चित कॉर्पस ( $D$ ) से प्राप्त टोकन ( $D'$ ) पर अतिरिक्त कंप्यूट खर्च करना पड़ता है, जो मल्टी-इपॉक रिपिटेशन (repetition), पैराफ्रेसिंग (paraphrasing), या डिस्टिलेशन (distillation) जैसी रणनीतियों के माध्यम से उत्पन्न होते हैं।

इस कार्य द्वारा संबोधित केंद्रीय प्रश्न यह है: एक मॉडल आकार $N$ के लिए जिसे एक निश्चित कॉर्पस $D$ पर प्रशिक्षित किया गया है, अतिरिक्त कंप्यूट (व्यय $D'$ पर) प्रीट्रेनिंग लॉस को कितना कम कर सकता है? मौजूदा कानून डेटा की आपूर्ति सीमित होने पर कंप्यूट और डेटा के बीच के व्यापार (trade-off) का पर्याप्त वर्णन नहीं करते हैं।

2. कार्यप्रणाली (Methodology)

कंप्यूट-डेटा (CD) स्केलिंग फ्रेमवर्क

लेखक एक एकीकृत फ्रेमवर्क, CD-scaling laws प्रस्तावित करते हैं, जो इनके बीच के अंतर को पाटता है:

कंप्यूट-ऑप्टिमल स्केलिंग ( $L_{Chin}$ ): जहाँ डेटा असीमित है ( $D' = 0$ )।
डेटा-ऑप्टिमल स्केलिंग ( $L_D$ ): जहाँ एक निश्चित कॉर्पस पर कंप्यूट असीमित है ( $D' \to \infty$ )।

फ्रेवर्क का मुख्य आधार एक टोकन प्रभावशीलता फलन (token effectiveness function), $\eta_{strat} \in [0, 1]$ है, जो एक फ्रेश टोकन के सापेक्ष एक व्युत्पन्न (derived) टोकन के मूल्य को मात्रात्मक रूप से दर्शाता है। प्रस्तावित स्केलिंग लॉ है:

$L(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{(D + \eta_{strat} \cdot D')^\beta}$

जहाँ:

$N$ : मॉडल पैरामीटर्स।
$D$ : फ्रेश टोकन्स (एक बार देखे गए)।
$D'$ : व्युत्पन्न (derived) टोकन्स।
$\eta_{strat}$ : विस्तार रणनीति (expansion strategy) (रिपिटेशन या पैराफ्रेसिंग), मॉडल आकार $N$ , और डेटा उपलब्धता पर निर्भर प्रभावशीलता गुणांक।

प्रयोगात्मक सेटअप (Experimental Setup)

आर्किटेक्चर: OLMo3 (Olmo et al., 2025)।
मॉडल आकार: 14M से 600M पैरामीटर्स।
डेटा: Dolma-3 कॉर्पस (150B टोकन्स)।
रणनीतियाँ:
1. मल्टी-इपॉक रिपिटेशन: अतिरिक्त इपॉक्स के लिए कॉर्पस को दोहराना।
2. पैराफ्रेसिंग: विशिष्ट स्टाइल मिश्रण (प्रश्न, गणित, FAQ, टेबल) के साथ SmolLM2-1.7B-Instruct का उपयोग करके दस्तावेजों को फिर से लिखना।
फिटिंग: लेखक फ्रेश डेटा साइज ( $D$ ), व्युत्पन्न टोकन बजट ( $D'$ ), और हाइपरपैरामीटर (लर्निंग रेट, वेट डिके) के स्वीप के माध्यम से स्केलिंग लॉ मापदंडों को फिट करते हैं। वे $\eta_{emp}$ को अनुभवजन्य रूप से (empirically) उस मान को खोजकर निकालते हैं जो 1-इपॉक स्केलिंग स्थिरांकों के दिए गए लॉस को पुनरुत्पादित करता है।

$\eta$ का पैरामेट्रिक रूप

अनुभवजन्य विश्लेषण से पता चलता है कि $\eta$ स्थिर नहीं है बल्कि निम्नलिखित के फलन के रूप में घटता है:

विस्तार अनुपात (Expansion Ratio) ( $r = D'/D$ ): जैसे-जैसे अधिक व्युत्पन्न डेटा जोड़ा जाता है, $\eta$ घटता है।
**टोकन्स-पर-पैरामीटर (Tokens-Per-Parameter) ($TPP = D/N $):** जब मॉडल आकार के सापेक्ष फ्रेश डेटा कम होता है, तो$ \eta$ तेजी से घटता है।
मॉडल आकार ( $N$ ): बड़े मॉडल तेजी से संतृप्त (saturate) होते हैं।

लेखक व्युत्पन्न डेटा ( $\eta \cdot D'$ ) को एक सीलिंग $R^*$ तक संतृप्त होने वाले रूप में मॉडल करते हैं। अपनाया गया कार्यात्मक रूप है:
$\eta = \frac{R^*}{r} \left(1 - e^{-r/R^*}\right)$
जहाँ सैचुरेशन सीलिंग $R^*$ एक पावर लॉ के आधार पर $N$ और $TPP$ पर निर्भर करती है:
$R^*(D, N) = K \cdot (D/N)^\rho \cdot N^\sigma$

3. मुख्य परिणाम (Key Results)

1. गैर-स्थिर प्रभावशीलता (Non-Constant Effectiveness)

व्युत्पन्न टोकन की प्रभावशीलता स्थिर नहीं है। यह मॉडल के आकार, $TPP $अनुपात, और व्युत्पन्न डेटा की मात्रा पर संयुक्त रूप से निर्भर करती है। जैसे-जैसे कॉर्पस का विस्तार होता है ($ D' \to \infty $), प्रभावी टोकन गणना$ D_{eff} = D + \eta D'$ संतृप्त हो जाती है।

2. तीन परिचालन क्षेत्र (Three Operational Regimes)

CD-स्केलिंग लॉ प्रशिक्षण को बाइंडिंग बाधा (binding constraint) के आधार पर तीन क्षेत्रों में विभाजित करता है:

कंप्यूट-बाउंड (Compute-bound): कंप्यूट-ऑप्टिमल फ्रंटियर ( $L_{Chin}$ ) और डेटा-ऑप्टिमल फ्रंटियर ( $L_D$ ) के बीच। यहाँ, $D'$ पर अतिरिक्त कंप्यूट लॉस को महत्वपूर्ण रूप से कम करता है।
डेटा-बाउंड (Data-bound): $L_D$ और मॉडल-बाउंड फ्लोर ( $L_N$ ) के बीच। व्युत्पन्न टोकन संतृप्त हो चुके हैं; केवल फ्रेश डेटा ही आगे लॉस को कम कर सकता है।
मॉडल-बाउंड (Model-bound): वह एसिम्प्टोटिक सीमा जहाँ कंप्यूट और डेटा दोनों संतृप्त हैं; केवल $N$ को बढ़ाने से मदद मिलती है।

बड़े मॉडलों या प्रचुर डेटा वाले मॉडलों के लिए अतिरिक्त कंप्यूट पर प्रतिफल कम होता है, जिससे "कंप्यूट-बाउंड" क्षेत्र छोटा हो जाता है।

3. रणनीति चयन और अनुकूलन (Strategy Selection and Optimization)

छोटे मॉडल ( $N \lesssim 600M$ ) और कम डेटा बजट: पैराफ्रेसिंग, रिपिटेशन की तुलना में काफी अधिक प्रभावी है।
बड़े मॉडल ( $N \gtrsim 190M$ ) और उच्च डेटा बजट: रिपिटेशन, पैराफ्रेसिंग से बेहतर प्रदर्शन करता है।
इपॉक अनुशंसाएँ: "4-इपॉक नियम" (जो अक्सर चिनचिला के लिए उद्धृत किया जाता है) केवल मध्यम-स्तर के मॉडलों ( $\sim 3B$ ) के लिए मान्य है जो $1\times$ चिनचिला डेटा स्केल के पास हैं। बड़े मॉडलों और उच्च $TPP$ के लिए, अनुशंसित इपॉक्स की संख्या कम हो जाती है।
पारेटो फ्रंटियर (Pareto Frontier): फ्रेमवर्क इष्टतम कंप्यूट-डेटा आवंटन की पहचान करता है, जो चिनचिला के केवल-कंप्यूट अनुकूलन को एक संयुक्त कंप्यूट-डेटा पारेटो फ्रंटियर में सामान्य बनाता है।

4. डाउनस्ट्रीम ट्रांसफर (Downstream Transfer)

वैलिडेशन लॉस, चाहे मॉडल को 1-इपॉक, रिपिटेशन, या पैराफ्रेसिंग के साथ प्रशिक्षित किया गया हो, डाउनस्ट्रीम क्षमता (LM कार्यों पर BPB और LAMBADA तथा SQuAD जैसे बेंचमार्क पर सटीकता द्वारा मापी गई) के लिए एक पर्याप्त सांख्यिकी (sufficient statistic) बना रहता है। सभी रणनीतियाँ वैलिडेशन लॉस के विरुद्ध प्लॉट किए जाने पर एक ही वक्र (curve) पर आ जाती हैं।

4. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह एक एकीकृत फ्रेमवर्क प्रदान करता है जो मौजूदा कानूनों को विशेष मामलों के रूप में पुनर्प्राप्त करता है:

कंप्यूट-ऑप्टिमल स्केलिंग तब पुनर्प्राप्त होती है जब $D' = 0$ हो।
डेटा-सीमित स्केलिंग (Muennighoff et al., 2025) एक विशेष मामले के रूप में पुनर्प्राप्त होती है जहाँ सैचुरेशन सीलिंग $R^*$ स्थिर है।
डेटा-ऑप्टिमल स्केलिंग (Kim et al., 2025) उस सीमा के रूप में पुनर्प्राप्त होती है जहाँ $D' \to \infty$ है।

व्यावहारिक निहितार्थ:

संसाधन पहचान: अभ्यासकर्ता यह निर्धारित कर सकते हैं कि उनका प्रशिक्षण रन कंप्यूट, डेटा, या मॉडल क्षमता द्वारा सीमित है।
आवंटन रणनीति: कानून "चिनचिला" ह्यूरिस्टिक से आगे बढ़कर फ्रेश डेटा और व्युत्पन्न डेटा के बीच इष्टतम कंप्यूट विभाजन को निर्धारित करता है।
रणनीति मार्गदर्शन: यह बताता है कि कब रिपिटेशन से पैराफ्रेसिंग पर स्विच करना है और रिटर्न संतृप्त होने से पहले कितने इपॉक्स या पैराफ्रेसिंग पास इष्टतम हैं।

5. सीमाएँ (Limitations)

लेखक कई सीमाओं को नोट करते हैं:

अनुभवजन्य फिटिंग (Empirical Fitting): फलन $\eta$ 1-इपॉक फिट से अवशेषों (residuals) को अवशोषित करता है, जिससे संभावित रूप से $\eta_{emp} > 1$ हो सकता है।
हाइपरपैरामीटर संवेदनशीलता: केवल लर्निंग रेट और वेट डिके को स्वीप किया गया था; अन्य हाइपरपैरामीटर (बैच साइज, सीक्वेंस लेंथ) को स्थिर रखा गया था।
कंप्यूट लागत: इन कानूनों को स्थापित करने के लिए 250k से अधिक H100-घंटे की आवश्यकता थी।
दायरा: अध्ययन रिपिटेशन और पैराफ्रेसिंग पर केंद्रित है; अन्य रणनीतियाँ जैसे सेल्फ-डिस्टिलेशन या सिंथेटिक स्ट्रक्चर्ड डेटा अनोखरे (unexplored) हैं।
स्केल: प्रयोग छोटे-से-मध्यम मॉडलों (600M तक) पर किए गए थे, हालांकि इस कानून को बड़े आकार तक एक्सट्रपलेशन (extrapolate) करने के लिए मान्य किया गया था।