Predicting Training Re-evaluation Curves Enables Effective Data Curriculums for LLMs

यहाँ बेर्गस्मा, डे और हेस्टनेस (सेरेब्रास सिस्टम्स) के शोध पत्र "Predicting Training Re-evaluation Curves Enables Effective Data Curriculums for LLMs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) का प्रशिक्षण तेजी से डेटा करिकुलम (data curriculums) पर निर्भर हो रहा है, जहाँ उच्च-गुणवत्ता वाले (HQ) या डोमेन-विशिष्ट डेटा (जैसे, गणित, कोड) को प्री-ट्रेनिंग के विशिष्ट चरणों (जिसे अक्सर "एनीलिंग" या "मिड-ट्रेनिंग" कहा जाता है) के दौरान अपसैंपल किया जाता है।

• चुनौती: इस उच्च-गुणवत्ता वाले डेटा को पेश करने का इष्टतम समय (optimal timing) अभी भी अस्पष्ट है। प्रचलित अनुमान (heuristic) यह है कि इस HQ डेटा को प्रशिक्षण के बिल्कुल अंत में तब रखा जाए जब लर्निंग रेट (LR) सबसे कम हो, यह मानते हुए कि यह प्रतिधारण (retention) को अधिकतम करता है।
• अंतराल (Gap): यह निर्धारित करने के लिए कि मॉडल विशिष्ट प्रकार के डेटा के प्रति सबसे अधिक ग्रहणशील (receptive) कब होता है, कोई सिद्धांत-आधारित, भविष्य कहने वाला ढांचा (predictive framework) मौजूद नहीं है। मौजूदा विधियाँ महंगी एब्लेशन स्टडीज (विभिन्न डेटा प्लेसमेंट के साथ कई मॉडल प्रशिक्षित करना) या त्रुटिपूर्ण अनुमानों पर निर्भर करती हैं, जो उप-इष्टतम प्रदर्शन या विनाशकारी विस्मृति (catastrophic forgetting) का कारण बन सकती हैं।

2. कार्यप्रणाली: ट्रेनिंग री-इवैल्यूएशन कर्व्स (TREC)

लेखक डेटा प्रतिधारण (data retention) को मापने और करिकुलम डिजाइन करने के लिए एक नैदानिक उपकरण (diagnostic tool) के रूप में ट्रेनिंग री-इवैल्यूएशन कर्व (TREC) पेश करते हैं।

TREC की परिभाषा

एक TREC यह मापता है कि एक पूर्णतः प्रशिक्षित मॉडल ($\theta_T$) प्रशिक्षण बैचों ($B_t$) पर कैसा प्रदर्शन करता है, जो कि उन बैचों के प्रशिक्षण के दौरान सामना किए गए समय ($t$) का एक फलन (function) है।

• मीट्रिक: $L_{re}(t) = L(B_t; \theta_T)$, जहाँ $L$ क्रॉस-एन्ट्रॉपी लॉस है।
• व्याख्या: एक विशिष्ट प्रशिक्षण अंश $\hat{t}$ पर कम TREC लॉस यह दर्शाता है कि मॉडल उस चरण की जानकारी को बेहतर ढंग से बनाए रखता है। इसके विपरीत, उच्च TREC लॉस यह दर्शाता है कि मॉडल उस विशिष्ट डेटा के लिए इष्टतम मापदंडों से "भूल" गया है या भटक गया है।
• अवलोकन: मानक लर्निंग रेट शेड्यूल्स (जैसे, स्टेप डिके) के तहत, TREC अक्सर प्रशिक्षण के अंत से पहले न्यूनतम स्तर पर पहुँच जाता है, जो इस अनुमान का खंडन करता है कि "प्रशिक्षण का अंत" हमेशा सबसे अच्छा होता है।

भविष्य कहने वाला ढांचा (Predictive Framework)

चूँकि TREC की गणना करने के लिए मॉडल को पूर्णता तक प्रशिक्षित करना आवश्यक है (जो महंगा है), लेखक बिना पुनः प्रशिक्षण के TREC आकृतियों (shapes) को अग्रिम रूप से भविष्यवाणी करने की एक विधि प्रस्तावित करते हैं।

1. AdamW EMA परिप्रेक्ष्य: वे इस अंतर्दृष्टि का लाभ उठाते हैं कि AdamW मापदंडों को वेट अपडेट के एक्सपोनेंशियल मूविंग एवरेज (EMA) के रूप में देखा जा सकता है। पिछले अपडेट का अंतिम मॉडल पर प्रभाव EMA टाइमस्केल ($\tau$) द्वारा नियंत्रित होता है।
   • $\tau = \frac{1}{\eta \lambda T} = \frac{B}{\eta \lambda D}$
   • जहाँ $\eta$ लर्निंग रेट है, $\lambda$ वेट डिके है, $B$ बैच साइज है, $D$ कुल टोकन है, और $T$ कुल स्टेप्स हैं।
2. मिनिमाइज़र ड्रिफ्ट (Minimizer Drift): लेखक तर्क देते हैं कि शुरुआती ग्रेडिएंट्स न केवल EMA डिके के कारण प्रभावी होते कम हो जाते हैं, बल्कि इसलिए भी क्योंकि एक विशिष्ट बैच के लिए "लोकल मिनिमाइज़र" उस समय बदल जाता है जब मॉडल नए फीचर्स सीख रहा होता है।
3. प्रेडिक्टिव मॉडल: वे सामान्यीकृत TREC आकृति ($\hat{L}_{re}$) को इस प्रकार सूत्रित करते हैं:
   $$\hat{L}_{re}(\hat{t}) = 1 - c(\hat{t})^p \cdot \hat{t}^m$$
   • $c(\hat{t})$: LR और वेट डिके शेड्यूल से प्राप्त EMA गुणांक।
   • $\hat{t}$: प्रशिक्षण अंश (0 से 1)।
   • $m$: एक ट्रेनिंग-फ्रैक्शन एक्सपोनेंट जो मिनिमाइज़र ड्रिफ्ट की दर को कैप्चर करता है।
   • $p$: एक स्केलिंग एक्सपोनेंट (प्रयोगों में 0.5 पर स्थिर)।

एक्सपोनेंट $m^*$ को टोकन्स-पर-पैरामीटर (TPP) और टाइमस्केल ($\tau$) के आधार पर एक पावर लॉ के माध्यम से भविष्यवाणी की जाती है:
$$m^* = C \cdot (\text{TPP})^{\mu_1} \cdot (\tau)^{\mu_2}$$

3. मुख्य योगदान

1. TREC का परिचय: एक नैदानिक मीट्रिक के रूप में जो रिट्रोस्पेक्टिवली (पूर्वव्यापी रूप से) प्रशिक्षण डेटा प्रतिधारण का मूल्यांकन करता है, यह प्रकट करता है कि इष्टतम डेटा प्लेसमेंट अक्सर प्रशिक्षण के अंतिम चरणों से पहले होता है (जिसे "TREC वैली" कहा जाता है)।
2. भविष्य कहने वाला सिद्धांत (Predictive Theory): प्रदर्शित किया गया कि TREC आकृतियाँ मुख्य रूप से AdamW टाइमस्केल ($\tau$) द्वारा संचालित होती हैं और उन्हें EMA गुणांकों और एक ट्रेनिंग-फ्रैक्शन ड्रिफ्ट टर्म का उपयोग करके विश्लेषणात्मक रूप से भविष्यवाणी की जा सकती है।
3. बड़े पैमाने पर अनुभवजन्य सत्यापन: 111M से 3.9B पैरामीटर्स तक के मॉडलों और 20 से 1280 TPP के डेटासेट पर प्रयोग किए गए, जिससे दिखाया गया कि जब $\tau$ और TPP मेल खाते हैं, तो TREC आकृतियाँ विभिन्न पैमानों पर समान रहती हैं।
4. करिकुलम ऑप्टिमाइजेशन: यह सिद्ध किया गया कि HQ डेटा को TREC न्यूनतम (minimum) पर रखने से प्रशिक्षण के अंत में रखने या यूनिफॉर्म मिक्सिंग का उपयोग करने की तुलना में काफी बेहतर वैलिडेशन प्रदर्शन मिलता है।
5. पिछले कार्यों की व्याख्या: पूर्ववर्ती रेसिपी (जैसे, Llama-3 405B का GSM8k एनीलिंग) क्यों विफल हुई (क्योंकि LR बहुत कम/छोटा था, जिससे TREC डेटा पेश होने से पहले ही बढ़ गया था) और अन्य क्यों सफल हुए, इसे समझाने के लिए TREC विश्लेषण का उपयोग किया गया।

4. मुख्य परिणाम

• इष्टतम प्लेसमेंट: 610M मॉडल के प्रयोगों में, हाई-क्वालिटी कोड डेटा को TREC न्यूनतम (जो LR शेड्यूल के आधार पर अक्सर प्रशिक्षण के 70-80% के दौरान होता है) पर रखने से सबसे कम वैलिडेशन लॉस मिला। इसे प्रशिक्षण के बिल्कुल अंत में रखना (मानक अभ्यास) उप-इष्टतम था।
• भविष्यवाणी की सटीकता: विश्लेषणात्मक मॉडल ने उच्च सहसंबंध ($r_p \approx 98\%$) के साथ विभिन्न मॉडल आकारों (111M से 3.3B) और हाइपरपैरामीटर सेटिंग्स के बीच TREC आकृतियों की सफलतापूर्वक भविष्यवाणी की, भले ही सटीक $m^*$ भविष्यवाणी में मामूली त्रुटियां थीं।
• स्केलिंग लॉज़ (Scaling Laws):
  • टाइमस्केल ($\tau$): TREC आकृति का प्राथमिक चालक। उच्च $\tau$ (धीमा डिके) TREC वैली को पहले की ओर खिसका देता है।
  • TPP: उच्च TPP (प्रति पैरामीटर अधिक प्रशिक्षण डेटा) TREC वैली को थोड़ा बाद में खिसका देता है और लॉस ड्रॉप की तीव्रता को कम कर देता है (जो कम मेमोराइजेशन/प्लास्टिसिटी को दर्शाता है)।
  • बैच साइज: TRECs क्रिटिकल बैच साइज तक स्थिर रहते हैं लेकिन उसके बाद महत्वपूर्ण रूप से अलग हो जाते हैं।
• कंटीन्यूअल प्री-ट्रेनिंग (CPT): 3.9B मॉडल CPT प्रयोग में, गणित डेटा को अनुमानित TREC न्यूनतम (मिड-CPT) पर रखने से प्रशिक्षण के अंत में रखने की तुलना में बेहतर प्रदर्शन मिला, जो विभिन्न लर्निंग रेट्स पर भी प्रभावी रहा।
• MoE आर्किटेक्चर: स्पार्स मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) मॉडल ऐसे व्यवहार करते हैं जैसे कि उनके पास प्रति एक्सपर्ट कम प्रभावी TPP है, जो उनके TREC वैली को पहले की ओर खिसका देता है, जो MoEs में देखी गई बढ़ी हुई मेमोराइजेशन की टिप्पणियों के अनुरूप है।

5. महत्व और प्रभाव

• पैराडाइम शिफ्ट: डेटा करिकुलम डिजाइन को "अनुमानित ट्रायल-एंड-एरर" से एक सिद्धांत-आधारित, भविष्य कहने वाली विज्ञान में बदल देता है। अब अभ्यासकर्ता एक विशाल मॉडल को प्रशिक्षित करने से पहले इष्टतम डेटा इंसर्शन पॉइंट निर्धारित कर सकते हैं।
• लागत दक्षता: इष्टतम करिकुलम खोजने के लिए महंगे एब्लेशन स्टडीज (विभिन्न डेटा मिक्स के साथ कई फुल-स्केल मॉडल प्रशिक्षित करना) की आवश्यकता को समाप्त करता है।
• विफलताओं की व्याख्या: यह एक सैद्धांतिक स्पष्टीकरण प्रदान करता है कि क्यों कुछ अत्याधुनिक मॉडल (जैसे, Llama-3 405B) विशिष्ट एनीलिंग चरणों से लाभ उठाने में विफल रहे (TREC बढ़ रहा था, जिसका अर्थ है कि मॉडल उस डेटा को बनाए रखने के लिए आवश्यक संदर्भ को पहले ही "भूल" चुका था)।
• सामान्यीकरण (Generalizability): यह ढांचा विभिन्न ऑप्टिमाइज़र्स (इम्प्लिसिट EMA रूपों के साथ) और स्केल पर लागू किया जा सकता है, जो फ्रंटियर-स्केल LLM प्रशिक्षण को अनुकूलित करने के लिए एक मजबूत उपकरण प्रदान करता है।

संक्षेप में, यह शोध पत्र स्थापित करता है कि डेटा प्रतिधारण (data retention) केवल डेटा की गुणवत्ता पर नहीं, बल्कि प्रशिक्षण गतिशीलता (विशेष रूप से AdamW टाइमस्केल और मिनिमाइज़र ड्रिफ्ट) का एक फलन है। जहाँ मॉडल सबसे अधिक "ग्रहणशील" (receptive) होता है (TREC वैली), इसकी भविष्यवाणी करके, शोधकर्ता उच्च-मूल्य वाले डेटा को रणनीतिक रूप से रखकर डाउनस्ट्रीम प्रदर्शन को अधिकतम कर सकते हैं।