📊 statistics

Correcting Stochastic Update Bias in Preconditioned Language Model Optimizers

यह शोध पत्र एक एकल-बैच ढांचे का प्रस्ताव करके—जो क्रॉस-फिटेड प्रीकंडीशनिंग को वेरिएन्स-करेक्टेड इनवर्जन के साथ जोड़ता है—प्रीकंडीशन्ड लैंग्वेज मॉडल ऑप्टिमाइज़र में दो फाइनाइट-सैंपल बायस (ग्रेडिएंट-प्रीकंडीशनर कपलिंग और नॉनलीनियर इनवर्जन बायस) की पहचान और सुधार करता है, जिससे AdamW, Sophia और Shampoo जैसे मॉडलों में प्रीट्रेनिंग लॉस कम होता है और प्रदर्शन में सुधार होता है।

मूल लेखक: Nikhil Nayak, Julia White, Urchade Zaratiana, Kelton Zhang, Henrijs Princis, Dhruv Atreja, Henry Fawcett, Matthew Thomas, George Hurn-Maloney, Ash Lewis

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nikhil Nayak, Julia White, Urchade Zaratiana, Kelton Zhang, Henrijs Princis, Dhruv Atreja, Henry Fawcett, Matthew Thomas, George Hurn-Maloney, Ash Lewis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कविता लिखना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आप उसे कविता के हजारों उदाहरण दिखाते हैं और उससे कहते हैं कि वह अपने "दिमाग" (अपने पैरामीटर्स) को बेहतर बनाने के लिए उन्हें एडजस्ट करे। रोबोट इस काम के लिए एक विशेष टूल का उपयोग करता है जिसे ऑप्टिमाइज़र (optimizer) कहा जाता है, ताकि यह पता लगाया जा सके कि उसे अपने दिमाग में किस दिशा में बदलाव करना चाहिए।

अधिकांश आधुनिक ऑप्टिमाइज़र "स्मार्ट" होते हैं। वे केवल उस गलती को नहीं देखते जो रोबोट ने की है; वे यह भी देखते हैं कि गलती का आकार क्या है ताकि यह तय किया जा सके कि कितना बड़ा कदम उठाना है। इसे प्रीकंडीशनिंग (preconditioning) कहा जाता है।

हालाँकि, इस शोध पत्र के लेखकों ने पाया है कि इन स्मार्ट ऑप्टिमाइज़र्स में एक छिपा हुआ दोष है: वे थोड़े पक्षपाती (biased) हैं क्योंकि वे डेटा के छोटे, शोर वाले नमूनों (noisy samples) के आधार पर निर्णय लेने की कोशिश कर रहे हैं। यह बिल्कुल वैसा ही है जैसे खिड़की से केवल पाँच सेकंड के लिए बाहर देखकर मौसम का अंदाज़ा लगाने की कोशिश करना।

यहाँ समस्या और उसका समाधान दिया गया है, जिसे सरल उपमाओं के माध्यम से समझाया गया है।

दो छिपे हुए दोष

यह शोध पत्र दो विशिष्ट तरीकों की पहचान करता है जिनसे ऑप्टिमाइज़र डेटा के छोटे बैचों के साथ काम करते समय गणित को गलत करता है:

1. "स्व-हित वाला" पक्षपात (Coupling Bias)

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। अपने काम को ग्रेड देने के लिए, वह उसी परीक्षा पत्र का उपयोग करता है जो उसने अभी लिया था। स्वाभाविक रूप से, वह खुद को बहुत कठोरता से या बहुत उदारता से ग्रेड देने के लिए प्रेरित हो सकता है क्योंकि प्रश्न और उत्तर उसके दिमाग में पूरी तरह से मेल खाते हैं।
वास्तविकता: ऑप्टिमाइज़र में, रोबट "चलने की दिशा" (ग्रेडिएंट) और "कदम का आकार" (प्रीकंडीशनर) दोनों की गणना उसी छोटे डेटा समूह का उपयोग करके करता है। क्योंकि वे एक ही स्रोत से आते हैं, वे सांख्यिकीय रूप से "जुड़े हुए" (coupled) हैं। यह अपडेट नियम में एक सूक्ष्म विरूपण पैदा करता है, जिससे रोबोट का कदम लक्ष्य से थोड़ा भटक जाता है।

2. "गैर-रेखीय" पक्षपात (Inverse Bias)

उपमा: कल्पना कीजिए कि आप एक कार की औसत गति का अनुमान लगाने की कोशिश कर रहे हैं। आप जानते हैं कि एक मील चलने में औसतन 1 मिनट का समय लगता है। आप सोच सकते हैं, "ठीक है, तो औसत गति 60 मील प्रति घंटा होगी।" लेकिन गणित इतना सरल नहीं होता! यदि आप पहले समय का औसत निकालते हैं और फिर गति की गणना करते हैं, तो आपको एक अलग उत्तर मिलेगा बजाय इसके कि आप हर यात्रा के लिए गति की गणना करें और फिर औसत निकालें। ऐसा इसलिए है क्योंकि "गति", "समय" का उल्टा (inverse) है, और इनवर्स के साथ गणित करना पेचीदा होता है।
वास्तविकता: ऑप्टिमाइज़र को कदम का आकार निर्धारित करने के लिए एक संख्या (प्रीकंडीशनर) से भाग देना पड़ता है। भले ही रोबोट प्रीकंडीशनर का औसत रूप से सटीक अनुमान लगा ले, लेकिन उसे उल्टा करने (उसे पलटने/divide करने) की प्रक्रिया एक व्यवस्थित त्रुटि (systematic error) पैदा करती है। यह बिल्कुल वैसा ही है जैसे लोगों के समूह की औसत ऊंचाई का अनुमान लगाने के लिए पहले उनके जूतों के आकार का औसत निकालना; गणित यहाँ विकृत हो जाता है।

समाधान: एक "दोहरा-चेक" प्रणाली

लेखक एक चतुर समाधान प्रस्तावित करते हैं जिसके लिए रोबोट को डेटा को दोबारा पढ़ने या महत्वपूर्ण रूप से धीमा होने की आवश्यकता नहीं है। वे इसे सिंगल-बैच बायस करेक्शन (Single-Batch Bias Correction) कहते हैं।

वे दो मुख्य तरकीबों का उपयोग करते हैं, जिन्हें वे एक साथ लागू करते हैं:

1. क्रॉस-फिटिंग (Cross-Fitting) - ("स्वतंत्र जज")

कैसे काम करता है: "दिशा" और "कदम के आकार" दोनों के लिए एक ही डेटा का उपयोग करने के बजाय, रोबोट अपने वर्तमान डेटा बैच को दो अलग-अलग समूहों में विभाजित करता है।
- समूह A दिशा की गणना करता है।
- समूह B कदम के आकार की गणना करता है।
परिणाम: जजों को स्वतंत्र रखकर, आप "स्व-हित वाले" पक्षपात को हटा देते हैं। कदम का आकार अब उस सटीक डेटा समूह के विशिष्ट दिशा से प्रभावित नहीं होता है।

2. वेरिएंस करेक्शन (Variance Correction) - ("शोर मीटर")

कैसे काम करता है: रोबोट यह देखता है कि डेटा के छोटे उप-समूहों में "कदम के आकार" का अनुमान कितना बदलता है। यदि अनुमान अस्थिर (high variance) है, तो रोबलेट जानता है कि गैर-रेखीय इनवर्जन समस्या के कारण गणित में पक्षपात होने की संभावना है।
परिणाम: रोबोट एक सांख्यिकीय सूत्र (डेल्टा मेथड पर आधारित) का उपयोग करता है ताकि उस अपेक्षित त्रुटि को घटाया जा सके। यह एक ऐसे मैकेनिक की तरह है जो जानता है कि एक विशिष्ट उपकरण नमी वाले वातावरण में 2% अधिक रीडिंग देता है, इसलिए वह वास्तविक मान प्राप्त करने के लिए रीडिंग से स्वतः 2% घटा देता है।

जब उन्होंने इसे आजमाया तो क्या हुआ?

टीम ने तीन अलग-अलग प्रकार के "स्मार्ट" ऑप्टिमाइज़र्स का परीक्षण किया जिनका उपयोग बड़े लैंग्वेज मॉडल्स (जैसे चैटबॉट्स को चलाने वाले मॉडल) को प्रशिक्षित करने के लिए किया जाता है:

AdamW: मानक, मुख्य ऑप्टिमाइज़र।
Sophia: एक ऑप्टिमाइज़र जो समस्या की "वक्रता" (curvature) का अनुमान लगाने की कोशिश करता है (जैसे यह जानना कि पहाड़ी ढलान वाली है या समतल)।
Shampoo: एक बहुत ही जटिल ऑप्टिमाइज़र जो भारी मात्रा में डेटा को संभालने के लिए मैट्रिक्स गणित का उपयोग करता है।

परिणाम:

प्रीट्रेनिंग (शून्य से सीखना): जब शून्य से मॉडल को प्रशिक्षित किया जा रहा था, तो बायस करेक्शन ने बहुत अच्छा काम किया। इसने तीनों ऑप्टिमाइज़र्स के लिए एरर रेट (लॉस) को काफी कम कर दिया। यह ऐसा है जैसे रोबोट ने अपनी शोर भरी गणनाओं से भ्रमित हुए बिना कविता को अधिक तेज़ी से और अधिक सटीकता से सीखा।
इंस्ट्रक्शन ट्यूनिंग (पहले से प्रशिक्षित मॉडल को फाइन-ट्यून करना): जब उन्होंने पहले से प्रशिक्षित मॉडल को नए कार्य सिखाने की कोशिश की, तो परिणाम "तटस्थ-से-सकारात्मक" रहे। सुधार ने नुकसान नहीं पहुँचाया, और कुछ मामलों में, इसने मामूली बढ़त दी, लेकिन लाभ कम थे। यह समझ में आता है क्योंकि मॉडल पहले से ही स्थिर था, इसलिए "शोर" उतनी बड़ी समस्या नहीं थी।

निचोड़

यह शोध पत्र तर्क देता है कि हम इन ऑप्टिमाइज़र्स के साथ ऐसे व्यवहार कर रहे हैं जैसे वे पूर्ण गणितीय मशीनें हों, लेकिन वास्तव में वे सीमित डेटा के साथ काम करने के कारण छोटी, निरंतर गलतियाँ कर रहे हैं।

डेटा को विभाजित करके (ताकि दिशा और कदम का आकार स्वतंत्र रहे) और शोर को मापकर (इनवर्जन एरर को घटाने के लिए), लेखकों ने एक "बायस-करेक्शन लेयर" बनाई है। यह लेयर प्रशिक्षण प्रक्रिया को अधिक कुशल बनाती है, जिससे लैंग्वेज मॉडल्स को थोड़ा बेहतर और तेज़ सीखने में मदद मिलती है, खासकर जब वे शुरुआत से शुरू कर रहे हों। यह एक छोटा सा सांख्यिकीय बदलाव है जिसका बड़े भाषा मॉडल्स के सीखने की क्षमता पर आश्चर्यजनक रूप से बड़ा प्रभाव पड़ता है।

तकनीकी सारांश: प्रीकंडीशन्ड लैंग्वेज मॉडल ऑप्टिमाइज़र्स में स्टोकेस्टिक अपडेट बायस को ठीक करना

1. समस्या विवरण (Problem Statement)

प्रीकंडीशन्ड ऑप्टिमाइज़र्स (जैसे AdamW, Sophia, Shampoo) लार्ज लैंग्वेज मॉडल्स (LLMs) के प्रशिक्षण के लिए केंद्रीय हैं। ये विधियाँ मिनीबैच से एक डिसेंट डायरेक्शन (descent direction) और एक ज्योमेट्री टर्म (preconditioner) का अनुमान लगाती हैं ताकि आदर्श जनसंख्या अपडेट (population update) का सन्निकटन किया जा सके:
$u^\star(\theta) = P(\theta)^{-1}\nabla f(\theta)$
व्यवहार में, ऑप्टिमाइज़र्स मिनीबैच अनुमानों $\hat{g}$ और $\hat{P}$ का उपयोग करके एक स्टोकेस्टिक अपडेट लागू करते हैं:
$\hat{u} = \hat{P}^{-1}\hat{g}$

यह शोध पत्र पहचानता है कि भले ही $\hat{g}$ और $\hat{P}$ , पॉपुलेशन ग्रेडिएंट और प्रीकंडीशनर के निष्पक्ष (unbiased) अनुमान हों, फिर भी उत्पाद $\hat{P}^{-1}\hat{g}$ आदर्श अपडेट का एक बायस्ड एस्टीमेटर (biased estimator) होता है। यह परिमित-नमूना बायस (finite-sample bias) दो अलग-अलग स्रोतों से उत्पन्न होता है:

ग्रेडिएंट–प्रीकंडीशनर कपलिंग बायस (Gradient–Preconditioner Coupling Bias): जब $\hat{g}$ और $\hat{P}$ को एक ही मिनीबैच से अनुमानित किया जाता है, तो वे सांख्यिकीय रूप से निर्भर होते हैं। यह कपलिंग एक क्रॉस-मोमेंट टर्म पेश करती है जो लक्षित जनसंख्या वेक्टर फील्ड से विचलित होती है।
इनवर्स-प्रीकंडीशनर बायस (Inverse-Preconditioner Bias): मैट्रिक्स इनवर्जन (या इनवर्स-रूट ऑपरेशन्स) एक नॉनलीनियर ट्रांसफॉर्मेशन है। जेन्सन की असमानता (Jensen's inequality) के अनुसार, भले ही $\hat{P}$ , $P$ के लिए निष्पक्ष हो, लेकिन $\mathbb{E}[\hat{P}^{-1}]$ का अपेक्षित मान $(\mathbb{E}[\hat{P}])^{-1}$ के बराबर नहीं होता है। यह बायस तब विशेष रूप से स्पष्ट होता है जब प्रीकंडीशनर अनुमान शोरपूर्ण (noisy), आक्रामक या मैट्रिक्स-मान वाले होते हैं।

ये बायस कार्यान्वयन त्रुटियां नहीं हैं, बल्कि परिमित-नमूना अनुमानों पर नॉनलीनियर एडेप्टिव नियमों को लागू करने के स्वाभाविक परिणाम हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक सिंगल-बैच बायस-करेक्शन फ्रेमवर्क प्रस्तावित करते हैं जो बिना उसी पैरामीटर मान पर पुनः जाने (जो न्यूरल नेटवर्क प्रशिक्षण में अव्यावहारिक है) दोनों बायस स्रोतों को संबोधित करता है। यह विधि वर्तमान प्रशिक्षण बैच को माइक्रोबैच समूहों में विभाजित करके एक निश्चित पैरामीटर स्टेप $\theta_t$ पर कार्य करती है।

2.1 क्रॉस-फिटेड प्रीकंडीशनिंग (कपलिंग को संबोधित करना)

ग्रेडिएंट–प्रीकंडीशनर कपलिंग को समाप्त करने के लिए, यह विधि स्वतंत्र माइक्रोबैच समूहों से न्यूमरेटर (ग्रेडिएंट) और डिनोमिनेटर (प्रीकंडीशनर) का अनुमान लगाती है।

माना कि $A$ और $B$ एक ही प्रशिक्षण वितरण से लिए गए दो स्वतंत्र समूह हैं।
ग्रेडिएंट का अनुमान $A$ से लगाया जाता है: $\hat{g}_A$ ।
प्रीकंडीशनर का अनुमान $B$ से लगाया जाता है: $\hat{P}_B$ ।
अपडेट बनता है $\hat{u}_{cf} = \hat{P}_B^{-1}\hat{g}_A$ ।
स्वतंत्रता के कारण, $\mathbb{E}[\hat{P}_B^{-1}\hat{g}_A] = \mathbb{E}[\hat{P}_B^{-1}]\mathbb{E}[\hat{g}_A]$ , जो प्रभावी रूप से कपलिंग बायस टर्म को हटा देता है।

2.2 वेरिएंस-करेक्टेड इनवर्जन (नॉनलिनैरिटी को संबोधित करना)

इनवर्जन की नॉनलिनैरिटी से उत्पन्न होने वाले बायस को कम करने के लिए, यह विधि प्रीकंडीशनर अनुमान समूह $B$ के भीतर की परिवर्तनशीलता (variability) का उपयोग करती है।

समूह $B$ को $m$ माइक्रोबैच $B_1, \dots, B_m$ में विभाजित किया जाता है।
डायगोनल केस (AdamW, Sophia): लेखक एक डेल्टा-मेथड करेक्शन (delta-method correction) लागू करते हैं। एक स्केलर प्रीकंडीशनर एंट्री $p$ के लिए, फंक्शनल $T(p) = (p+\lambda)^{-1}$ का दूसरे क्रम तक विस्तार किया जाता है। मुख्य बायस टर्म, जो माइक्रोबैच मीन के वेरिएंस के समानुपाती है, का अनुमान लगाया जाता है और उसे घटा दिया जाता है:
$\tilde{T}(\bar{p}) = \frac{1}{\bar{p} + \lambda} - \frac{\widehat{\text{Var}}(\bar{p})}{(\bar{p} + \lambda)^3}$
यह करेक्शन डायगोनल प्रीकंडीशनर्स पर एलिमेंटवाइज (elementwise) लागू किया जाता है।
मैट्रिक्स केस (Shampoo): मैट्रिक्स-मान वाले प्रीकंडीशनर्स के लिए, यह विधि औसत प्रीकंडीशनर $\bar{P}$ के आइजनबेसिस (eigenbasis) में करेक्शन लागू करती है। माइक्रोबैच प्रीकंडीशनर्स को इस बेस में प्रोजेक्ट किया जाता है, और मैट्रिक्स को पुनर्गठित करने से पहले आइजनवैल्यूज (या इनवर्स-रूट आइजनवैल्यूज) पर स्केलर डेल्टा-मेथड करेक्शन लागू किया जाता है।
जैकनीफ विकल्प (Jackknife Alternative): एक अधिक सामान्य लीव-वन-आउट (LOO) जैकनीफ करेक्शन का भी वर्णन किया गया है, जो अग्रणी $O(1/m)$ बायस टर्म को रद्द कर देता है, हालांकि यह मैट्रिक्स प्रीकंडीशनर्स के लिए गणनात्मक रूप से महंगा हो सकता है।

3. प्रमुख योगदान (Key Contributions)

सांख्यिकीय अपघटन (Statistical Decomposition): यह शोध पत्र स्पष्ट रूप से स्टोकेस्टिक प्रीकंडीशन्ड अपडेट एरर को दो परिमित-नमूना बायस में विभाजित करता है: ग्रेडिएंट–प्रीकंडीशनर कपलिंग और इनवर्जन की नॉनलिनैरिटी।
करेक्शन फ्रेमवर्क: यह एक व्यावहारिक, सिंगल-स्टेप फ्रेमवर्क प्रस्तावित करता है जो क्रॉस-फिटेड प्रीकंडीशनिंग (कपलिंग हटाने के लिए) और वेरिएंस-करेक्टेड इनवर्जन (इनवर्स बायस हटाने के लिए) को माइक्रोबैच वेरिएबिलिटी का उपयोग करके जोड़ता है।
अनुभवजन्य इंस्टेंशिएशन (Empirical Instantiation): इस फ्रेमवर्क को तीन प्रमुख ऑप्टिमाइज़र परिवारों के लिए स्थापित किया गया है:
- AdamW: डायगोनल मोमेंट-आधारित (LOO क्रॉस-फिटिंग और जेन्सन/डेल्टा करेक्शन का उपयोग करके)।
  ित
- Sophia: डायगोनल कर्वेचर-आधारित।
- Shampoo: मैट्रिक्स-प्रीकंडीशन्ड (आइजनबेसिस करेक्शन का उपयोग करके)।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क का मूल्यांकन Qwen2.5-0.5B पर दो व्यवस्थाओं के तहत किया गया था:

प्रीट्रेनिंग (Pretraining): रैंडम इनिशियलाइजेशन से FineWeb-Edu सीक्वेंस पर।
इंस्ट्रक्शन ट्यूनिंग (Instruction Tuning): Alpaca-शैली के डेटा पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT)।

मुख्य निष्कर्ष:

प्रीट्रेनिंग प्रदर्शन: बायस करेक्शन ने तीनों ऑप्टिमाइज़र परिवारों में होल्ड-आउट प्रीट्रेनिंग लॉस (क्रॉस-एन्ट्रॉपी) को लगातार कम किया:
- AdamW: लॉस को 0.149 नैट्स (4.836 से 4.687) कम किया।
- Sophia: लॉस को 0.070 नैट्स (6.665 से 6.595) कम किया।
- Shampoo: लॉस को 0.110 नैट्स (5.792 से 5.681) कम किया।
- मिश्रित-गुणवत्ता (नॉइजी) प्रीट्रेनिंग में, सुधारा गया AdamW वेरिएंट क्लीन इवैल्यूएशन डेटा पर छोटा लेकिन सकारात्मक लाभ (0.019 नैट्स) दिखाता है, जबकि यह करप्ट स्पैन को कम आक्रामक तरीके से फिट करता है।
इंस्ट्रक्शन ट्यूनिंग: परिणाम "न्यूट्रल-टू-पॉजिटिव" रहे।
- AdamW: लर्निंग रेट को फिर से ट्यून करने के बाद छोटे लाभ (जैसे, -0.001 नैट्स) दिखाया।
- Sophia: छोटे सेट्स पर स्टैंडर्ड ऑप्टिमाइजेशन के लगभग बराबर रहा, बड़े 5K सेट्स पर थोड़ा बेहतर रहा।
- Shampoo: अटेंशन-ओनली SFT सेटिंग में प्रभावी रूप से न्यूट्रल रहा।
एब्लेशन (Ablations): शोध पत्र नोट करता है कि नेइव टू-फोल्ड स्प्लिटिंग (डिनोमिनेटर के लिए आधा बैच उपयोग करना) शोर बढ़ने के कारण बहुत अधिक कंजर्वेटिव हो सकती है। प्रस्तावित लीव-वन-आउट (LOO) कंस्ट्रक्शन, जो AdamW के लिए है, कपलिंग को हटाते हुए डिनोमिनेटर स्केल को बनाए रखता है, जो प्रदर्शन के लिए महत्वपूर्ण साबित हुआ।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र इस कार्य को प्रीकंडीशन्ड लैंग्वेज मॉडल ऑप्टिमाइजेशन को अधिक प्रभावी बनाने के लिए एक व्यावहारिक तंत्र के रूप में प्रस्तुत करता है, जो किसी नए ऑप्टिमाइज़र आर्किटेक्चर या कर्वेचर एप्रोक्सिमेशन के बजाय परिमित-नमूना अपडेट में निहित सांख्यिकीय बायस को संबोधित करता है।

सैद्धांतिक अंतर्दृष्टि: यह स्थापित करता है कि मानक एडेप्टिव अपडेट, कपलिंग और नॉनलिनैरिटी के कारण, पॉपुलेशन प्रीकंडीशन्ड डायरेक्शन के बायस्ड एस्टीमेटर होते हैं।
व्यावहारिक उपयोगिता: सुधार (correction) हल्का है और डायगोनल ऑप्टिमाइज़र्स के लिए उपयुक्त है तथा मैट्रिक्स ऑप्टिमाइज़र्स के लिए विस्तार योग्य है। यह सैंपल एफिशिएंसी और स्थिरता में सुधार करता है, विशेष रूप से प्रीट्रेनिंग व्यवस्था में जहाँ अनुमान शोरपूर्ण होते हैं और प्रशिक्षण लंबे समय तक चलता है।
सीमित दायरा: लेखक प्रभाव के आकार (effect size) की सामान्यीकरण क्षमता के बारे में विनम्र हैं। वे स्वीकार करते हैं कि परिणाम एक एकल मॉडल स्केल (0.5B) और सिंगल-सीड रन पर आधारित हैं। वे नोट करते हैं कि मजबूत प्री-ट्रेन्ड चेकपॉइंट्स से शुरू होने वाले छोटे इंस्ट्रक्शन-ट्यूनिंग रन में, सैंपल स्प्लिटिंग की वेरिएंस लागत, बायस-रिडक्शन के लाभों को कम कर सकती है, जिससे न्यूट्रल परिणाम मिलते हैं।
निष्कर्ष: प्राथमिक योगदान यह प्रदर्शित करना है कि स्टोकेस्टिक अपडेट में परिमित-नमूना बायस को ठीक करने से प्रीकंडीशन्ड लैंग्वेज मॉडल ऑप्टिमाइजेशन अधिक प्रभावी हो सकता है, बिना ऑप्टिमाइज़र के मेमोरी फुटप्रिंट या अपडेट स्ट्रक्चर में मौलिक बदलाव के।