🤖 AI

LoRA-Muon: Spectral Steepest Descent on the Low-Rank Manifold

यह शोध पत्र LoRA-Muon को प्रस्तुत करता है, जो एक मेमोरी-कुशल ऑप्टिमाइज़र है जो लो-रैंक मैनिफोल्ड (low-rank manifold) के लिए Muon के स्पेक्ट्रल स्टीपेस्ट-डिसेन्ट नियम को अनुकूलित करता है, जो लर्निंग रेट्स की बेहतर ट्रांसफ़रेबिलिटी और ऐसा प्रदर्शन प्रदर्शित करता है जो अक्सर QR डिकंपोज़िशन या सेकंड-मोमेंट स्टोरेज की आवश्यकता के बिना डेंस बेसलाइन्स से भी बेहतर होता है।

मूल लेखक: Franz Louis Cesista, Katherine Crowson, Cédric Simal, Stella Biderman

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Franz Louis Cesista, Katherine Crowson, Cédric Simal, Stella Biderman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अविश्वसनीय रूप से बुद्धिमान रोबोट (एक डीप लर्निंग मॉडल) को एक नया कौशल सिखाने की कोशिश कर रहे हैं। आमतौर पर, आपको रोबोट के पूरे मस्तिष्क को फिर से लिखना पड़ता है, जिसमें बहुत अधिक समय और ऊर्जा लगती है। LoRA (लो-रैंक अडैप्टेशन) एक छोटे, अलग होने योग्य नोटबुक देने जैसा है, न कि उसके मस्तिष्क को फिर से लिखने जैसा। यह बहुत तेज़ और सस्ता है, लेकिन इसमें एक पेच है: इसे ट्यून करना बेहद कठिन है। यदि आप "लर्निंग नॉब" (लर्निंग रेट) को गलत दिशा में घुमाते हैं, तो रोबोट भ्रमित हो जाता है और नोटबुक के पन्ने (फैक्टर्स) तालमेल से बाहर हो जाते हैं।

यह शोध पत्र इस नए, स्मार्ट तरीके को पेश करता है जिससे आप उस नॉब को घुमा सकते हैं, जिसे LoRA-Muon कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "दो व्यक्तियों वाली नाव"

सोचिए कि LoRA नोटबुक एक एकल ब्लॉक नहीं है, बल्कि दो व्यक्तियों (फैक्टर A और फैक्टर B) से बनी एक नाव है जो नाव (वेट मैट्रिक्स $W$ ) को चलाने के लिए मिलकर चप्पू चला रहे हैं।

पुराना तरीका (AdamW): कोच (ऑप्टिमाइज़र) व्यक्ति A और व्यक्ति B को स्वतंत्र रूप से चप्पू चलाने के लिए कहता है। यदि व्यक्ति A थक जाता है और व्यक्ति B उत्साहित हो जाता है, तो वे अलग-अलग दिशाओं में चप्पू चलाने लगते हैं। नाव गोल-गोल घूमने लगती है, और टीम विफल हो जाती है।
समस्या: कोच को उन्हें कितनी गति से चप्पू चलाने के लिए कहना चाहिए, यह इस बात पर निर्भर करता है कि नाव कितनी बड़ी है या उन दोनों व्यक्तियों का आकार क्या है। यदि आप नाव का आकार (रैंक) या लोगों का आकार (विड्थ) बदलते हैं, तो आपको फिर से शून्य से सही गति सीखनी पड़ती है।

2. समाधान: "घोस्ट बोट" (LoRA-Muon)

लेखकों ने महसूस किया कि दोनों व्यक्तियों को अलग-अलग कोचिंग देने के बजाय, उन्हें एक पूर्ण आकार के जहाज के रूप में स्वयं नाव को कोचिंग देनी चाहिए और फिर उस निर्देश को वापस दोनों व्यक्तियों पर प्रोजेक्ट करना चाहिए।

उपमा: एक "घोस्ट बोट" (भूतिया नाव) की कल्पना करें जो पानी में तैर रही है और जो रोबोट के पूर्ण-आकार के मस्तिष्क के आदर्श संस्करण का प्रतिनिधित्व करती है। Muon ऑप्टिमाइज़र एक कोच है जो एक विशेष "स्पेक्ट्रल" नियम (नीचे की ओर सबसे तीव्र, सबसे कुशल पथ खोजने का एक ज्यामितीय तरीका) का उपयोग करके इस घोस्ट बोट को स्टीयर करने का सटीक तरीका जानता है।
जादू: LoRA-Muon पूछता है, "यदि हम घोस्ट बोट को स्टीयर कर रहे होते, तो हम क्या करते?" यह उस आदर्श चाल की गणना करता है, और फिर उस चाल को व्यक्ति A और व्यक्ति B के बीच विभाजित करता है ताकि वे पूरी तरह से संरेखित (aligned) रहें।
परिणाम: क्योंकि वे घोस्ट बोट के पथ का अनुसरण कर रहे हैं, वे कभी भी तालमेल से बाहर नहीं होते। भले ही आप नाव या लोगों का आकार बदल दें, "घोस्ट बोट" उन्हें बिल्कुल वही गति बताती है। इसका मतलब है कि लर्निंग रेट विभिन्न आकारों और आकृतियों में पूरी तरह से ट्रांसफर होता है।

3. "स्प्लिट वेट डिके" ट्रिक

पुराने तरीके में, यदि आप नाव को थोड़ा छोटा करने की कोशिश करते हैं ताकि वह बहुत भारी न हो जाए (वेट डिके), तो आप गलती से व्यक्ति A और व्यक्ति B को अलग-अलग आकार दे सकते हैं, जिससे नाव झुक सकती है।

LoRA-Muon का समाधान: उन्होंने एक "स्प्लिट वेट डिके" नियम का आविष्कार किया। यह एक जादुई इलास्टिक बैंड की तरह है जो दोनों व्यक्तियों को एक साथ, पूर्ण सामंजस्य में खींचता और सिकोड़ता है, यह सुनिश्चित करता है कि नाव सीधी रहे और गणित बिल्कुल वैसा ही काम करे जैसा कि एक पूर्ण आकार के जहाज के लिए होता है।

4. यह प्रतिस्पर्धा से बेहतर क्यों है?

यह शोध पत्र इसकी तुलना दो अन्य विधियों से करता है: Spectron और LoRA-RITE।

Spectron: यह एक ऐसे कोच की तरह है जो यह देखने के लिए देखता है कि व्यक्ति A और व्यक्ति B अभी कितने थके हुए हैं ताकि गति तय की जा सके। यदि आप गलती से व्यक्ति A को व्यक्ति B की तुलना में दोगुना बड़ा बना देते (गेज स्केलिंग इश्यू), तो Spectron भ्रमित हो जाता है और गति बदल देता है। यह मनमाने विकल्पों के प्रति संवेदनशील है।
LoRA-RITE: यह वास्तव में LoRA-Muon जैसा ही काम कर रहा है, लेकिन यह एक बहुत ही जटिल, भारी सेट के टूल्स (QR डिकम्पोज़िशन) का उपयोग कर रहा है। यह एक अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसा है।
LoRA-Muon: यह ठीक वही स्मार्ट स्टीयरिंग करता है जो LoRA-RITE करता है, लेकिन यह एक हल्के, तेज़ टूल का उपयोग करता है। इसे काम करने के लिए भारी हथौड़े की आवश्यकता नहीं है, जिससे यह कंप्यूटरों के लिए तेज़ और कम मेमोरी लेने वाला बन जाता है।

5. प्रमाण: टिनी शेक्सपियर (Tiny Shakespeare)

लेखकों ने एक छोटे कार्य पर इसका परीक्षण किया: एक रोबोट को "टाइनी शेक्सपियर" (शेक्सपियर के नाटकों का एक छोटा डेटासेट) लिखना सिखाना।

रैंक 2 (छोटा नोटबुक): यहाँ तक कि एक बहुत छोटे नोटबुक (रैंक 2) के साथ भी, LoRA-Muon ने ठीक वही सटीक गति पाई जो एक विशाल, पूर्ण आकार के रोबोट की थी।
रैंक 32 (मध्यम नोटबुक): थोड़े बड़े नोटबुक के साथ, LoLO-Muon ने वास्तव में पूर्ण आकार के रोबोट से बेहतर प्रदर्शन किया, और औसत रूप से कम त्रुटि दर प्राप्त की।
"गेज" टेस्ट: उन्होंने जानबूझकर व्यक्ति A और व्यक्ति B के शुरुआती आकार के साथ छेड़छाड़ की। पुराने तरीकों (Spectron) ने भ्रम पैदा किया और खराब प्रदर्शन किया। LoRA-Muon ने उस गड़बड़ी पर ध्यान भी नहीं दिया; यह बिना रुके सीधा चलता रहा।

निचोड़ (The Bottom Line)

LoRA-Muon AI मॉडल को प्रशिक्षित करने का एक नया तरीका है जो मॉडल के "नोटबुक" संस्करण के साथ वैसा ही व्यवहार करता है जैसे कि वह "पूर्ण मस्तिष्क" संस्करण हो। यह इसे सक्षम बनाता है:

नोटबुक के आकार या स्केल से कभी भ्रमित न होने के लिए।
छोटे नोटबुक के लिए भी वही स्पीड सेटिंग्स का उपयोग करने के लिए, जैसा कि विशाल नोटबुक्स के लिए किया जाता है।
पिछले स्मार्ट तरीकों की तुलना में तेज़ चलने और कम मेमोरी का उपयोग करने के लिए।

यह एक छोटे AI नोटबुक को ट्यून करने की कठिन कला को एक सरल, विश्वसनीय प्रक्रिया में बदल देता है जो बस काम करती है।

तकनीकी सारांश: LoRA-Muon: लो-रैंक मैनिफोल्ड पर स्पेक्ट्रल स्टीपेस्ट डिसेंट (Spectral Steepest Descent)

1. समस्या विवरण (Problem Statement)

लार्ज डीप लर्निंग मॉडल्स को फाइन-ट्यून करने के लिए लो-रैंक अडैप्टेशन (LoRA) का व्यापक रूप से उपयोग किया जाता है क्योंकि यह ट्रेनिंग FLOPs और मेमोरी आवश्यकताओं को कम करने में कुशल है। हालांकि, जब लो-रा (LoRA) फैक्टर्स ( $A$ और $B$ ) पर स्वतंत्र रूप से AdamW जैसे मानक ऑप्टिमाइज़र लागू किए जाते हैं, तो वे डेंस ट्रेनिंग की तुलना में महत्वपूर्ण ट्यूनिंग कठिनाइयाँ पेश करते हैं। इन समस्याओं में शामिल हैं:

इनिशियलाइजेशन के प्रति संवेदनशीलता (Sensitivity to Initialization): प्रदर्शन इनिशियलाइजेशन के विकल्पों पर अत्यधिक निर्भर करता है।
खराब हाइपरपैरामीटर ट्रांसफर (Poor Hyperparameter Transfer): इष्टतम लर्निंग रेट्स, विभिन्न रैंक, विड्थ (width), डेप्थ (depth), या फैक्टर स्केलिंग कन्वेंशन के बीच अच्छी तरह से ट्रांसफर नहीं होते हैं।
विचलित डायनेमिक्स (Divergent Dynamics): भले ही समान कंपोज्ड वेट्स ( $W = AB^T$ ) से शुरुआत की गई हो, यदि फैक्टर स्केल अलग-अलग हो जाते हैं, तो ट्रेनिंग डायनेमिक्स विचलित हो सकते हैं।
सबऑप्टिमल प्रदर्शन (Suboptimal Performance): नेटिव लो-रैंक प्रीट्रेनिंग अतिरिक्त स्टेबिलाइज़ेशन के बिना डेंस बेसलाइन्स के बराबर पहुँचने में संघर्ष करती है।

मुख्य चुनौती एक ऐसे ऑप्टिमाइज़र को डिजाइन करना है जो फुल-रैंक ऑप्टिमाइज़र्स (विशेष रूप से Muon और Shampoo फैमिली) के ज्यामितीय गुणों को बनाए रखते हुए लो-रैंक मैनिफोल्ड पर स्पेक्ट्रल स्टीपेस्ट डिसेंट (steepest descent) को सुनिश्चित करे, साथ ही रैंक, विड्थ, डेप्थ और फैक्टर रीस्केलिंग के बीच इष्टतम लर्निंग रेट्स का हस्तांतरण सुनिश्चित करे।

2. कार्यप्रणाली (Methodology)

2.1 ज्यामितीय आधार (Geometric Foundation)

यह पेपर ऑप्टिमाइज़र डिज़ाइन को एक ज्यामितीय समस्या के रूप में पुनर्गठित करता है: उस नॉर्म (norm) की पहचान करना जिसके तहत एक ऑप्टिमाइज़र स्टीपेस्ट डिसेंट (steepest descent) करता है।

Muon ऑप्टिमाइज़र: एम्बिएंट मैट्रिक्स स्पेस $\mathbb{R}^{m \times n}$ में स्पेक्ट्रल नॉर्म ( $\|\cdot\|_{2\to2}$ ) के तहत स्टीपेस्ट डिसेंट करता है। अपडेट की दिशा मैट्रिक्स साइन फंक्शन $-\text{msign}(G)$ द्वारा दी जाती है।
लो-रैंक मैनिफोल्ड (Low-Rank Manifold): LoRA वेट्स को एक मैनिफोल्ड $\mathcal{M}_r = \{W \in \mathbb{R}^{m \times n} : \text{rank}(W) = r\}$ तक सीमित करता है। लेखक इस मैनिफोल्ड के टैंजेंट स्पेस (tangent space), $T_W \mathcal{M}_r$ , पर सीधे स्टीपेस्ट डिसेंट समस्या को हल करने का प्रस्ताव देते हैं, न कि $A$ और $B$ को स्वतंत्र कोऑर्डिनेट्स के रूप में ऑप्टिमाइज़ करते हैं।

2.2 LoRA-Muon का व्युत्पन्न (Derivation of LoRA-Muon)

लेखक स्पेक्ट्रल नॉर्म के तहत लो-रैंक टैंजेंट स्पेस पर कन्सट्रेंड लीनियर मिनिमाइजेशन समस्या को हल करके LoRA-Muon को व्युत्पन्न करते हैं।

टैंजेंट स्पेस डिकम्पोज़िशन: $W$ पर अपडेट को $\Delta W = \Delta A B^T + A \Delta B^T$ में विभाजित किया जाता है।
ट्रस्ट रीजन स्प्लिटिंग (Trust Region Splitting): समस्या को सुलभ बनाने के लिए, ट्रस्ट-रीजन बजट $\eta$ को दो टैंजेंट कंपोनेंट्स के बीच समान रूप से विभाजित किया जाता है। यह अवलोकन द्वारा न्यायसंगत है कि दोनों कंपोनेंट्स ट्रेनिंग के दौरान तेजी से संरेखित (align) होते हैं, जिससे ट्राइएंगल इनइक्वेलिटी (triangle inequality) लगभग टाइट हो जाती है।
प्रोजेक्टर फॉर्मूलेशन: यूनिटरी इनवेरियंस (unitary invariance) का उपयोग करते हुए, समस्या को प्रोजेक्टेड ग्रेडिएंट्स पर लीनियर मिनिमाइजेशन ओरेकल (LMOs) खोजने तक कम किया जाता है। आदर्श अपडेट है:
$\Delta W = \frac{\eta}{2} \text{LMO}(\nabla W f \cdot P_B) + \frac{\eta}{2} \text{LMO}(P_A \cdot \nabla W f)$
जहाँ $P_A$ और $P_B$ , $A$ और $B$ के कॉलम स्पेस पर प्रोजेक्टर हैं।
स्पेक्ट्रल स्पेशलाइजेशन: स्पेक्ट्रल नॉर्म के लिए, LMO $-\text{msign}(\cdot)$ है। परिणामी फैक्टर अपडेट्स (समीकरण 14–15) में वर्तमान ग्राम मैट्रिसेस ( $S_A = A^TA, S_B = B^TB$ ) द्वारा फैक्टर ग्रेडिएंट्स को व्हाइटनिंग (whitening) करना और स्पेक्ट्रल साइन फंक्शन लागू करना शामिल है:
$\Delta A^* = -\frac{\eta}{2} \text{msign}(\nabla_A f \cdot S_B^{-1/2}) S_B^{-1/2}$
$\Delta B^* = -\frac{\eta}{2} \text{msign}(\nabla_B f \cdot S_A^{-1/2}) S_A^{-1/2}$

2.3 स्प्लिट वेट डिके (Split Weight Decay)

मानक फैक्टर-वाइज वेट डिके, फुल-रैंक और लो-रैंक अपडेट डायनेमिक्स के बीच बेमेल पैदा करता है। लेखक एक स्प्लिट वेट-डिके नियम व्युत्पन्न करते हैं जहाँ डिके फैक्टर $s = \sqrt{1 - \lambda \eta}$ को एसिमेट्रिकल रूप से लागू किया जाता है:
$A_{t+1} = s A_t + \frac{1}{s} \Delta A^*_t, \quad B_{t+1} = s B_t + \frac{1}{s} \Delta B^*_t$
यह सुनिश्चित करता है कि कंपोज्ड वेट अपडेट वांछित फुल-रैंक डायनेमिक्स से मेल खाता है, जिससे हाइपरपैरामीटर ट्रांसफर क्षमता बनी रहती है।

2.4 गेज इनवेरियंस (Gauge Invariance)

LoRA-Muon का एक महत्वपूर्ण गुण गेज इनवेरियंस है। कंपोज्ड वेट $W$ पर अपडेट मनमाने इनवर्टिबल ट्रांसफॉर्मेशन $(A, B) \to (AR, BR^{-T})$ के तहत इनवेरिएंट रहता है। यह इसलिए प्राप्त होता है क्योंकि अपडेट केवल $P_A$ और $P_B$ प्रोजेक्टर्स पर निर्भर करता है, जो स्वयं गेज-इनवेरिएंट हैं।

3. मुख्य योगदान (Key Contributions)

LoRA-Muon का व्युत्पन्न: यूनिटरी-इनवेरिएंट नॉर्म्स के तहत लो-रैंक मैनिफोल्ड पर स्टीपेस्ट डिसेंट समस्या को हल करके व्युत्पन्न किए गए ऑप्टिमाइज़र्स का एक नया परिवार।
स्प्लिट वेट-डिके नियम: एक विशिष्ट अपडेट नियम जो लो-रैंक ट्रेनिंग के डायनेमिक्स को फुल-रैंक ट्रेनिंग के साथ संरेखित करता है, जिससे हाइपरपैरामीटर ट्रांसफर सक्षम होता है।
गेज इनवेरियंस का प्रमाण: सैद्धांतिक प्रमाण कि LoRA-Muon अपडेट पूर्ण गेज ग्रुप एक्शन के तहत इनवेरिएंट है, जो यह सुनिश्चित करता है कि ऑप्टिमाइज़र प्रेरित वेट अपडेट पर निर्भर है न कि मनमाने फैक्टर कोऑर्डिनेट्स पर।
Spectron के साथ तुलना: यह प्रदर्शन करना कि Spectron, LoRA-Muon के विपरीत, गेज-इनवेरिएंट नहीं है और मनमाने फैक्टर रीस्केलिंग के प्रति संवेदनशील है।
LoRA-RITE के साथ संबंध: यह सिद्ध करना कि LoRA-RITE का सरलीकृत QR-कोऑर्डिनेट कोर, बीजगणितीय रूप से LoRA-Muon के स्पेक्ट्रल अपडेट के समान है, हालांकि LoRA-Muon QR डिकम्पोज़िशन और सेकंड-मोमेंट स्टोरेज के कम्प्यूटेशनल ओवरहेड से बचता है।
प्रायोगिक सत्यापन: साक्ष्य कि LoRA-Muon, कंप्यूट-मैच्ड डेंस और लो-रैंक बेसलाइन्स के साथ TinyShakespeare डेटासेट पर कैरेक्टर-लेवल लैंग्वेज मॉडलिंग पर एक प्रभावी प्रॉक्सी के रूप में कार्य करता है।

4. प्रायोगिक परिणाम (Experimental Results)

कंप्यूट-मैच्ड डेंस और लो-रैंक बेसलाइन्स के साथ TinyShakespeare डेटासेट का उपयोग करके कैरेक्टर-लेवल लैंग्वेज मॉडलिंग पर प्रयोग किए गए।

लर्निंग रेट ट्रांसफर: डेंस Muon ($lr = 0.1$) के लिए इष्टतम लर्निंग रेट, रैंक (2, 4, 8, 16, 32), विड्थ, डेप्थ, और स्केलर फैक्टर रीस्केलिंग के स्वीप्स के माध्यम से LoRA-Muon में पूरी तरह से ट्रांसफर होता है।
- Rank 2 पर, LoRA-Muon डेंस बेस्ट-टेस्टेड लर्निंग रेट को रिकवर करता है।
- Rank 32 पर, Lo-Muon सीड-एवरेज स्वीप में डेंस बेसलाइन ( $1.789 \pm 0.002$ ) की तुलना में कम मीन वैलिडेशन लॉस ( $1.776 \pm 0.002$ ) प्राप्त करता है।
गेज रीबैलेंसिंग (Gauge Rebalancing): जब फैक्टर्स को बड़े स्केलर इम्बैलेंस (स्केल 9) के साथ इनिशियलाइज किया जाता है, तो रीबैलेंसिंग स्टेप लागू करने का LoRA-Muon पर नगण्य प्रभाव पड़ता है (लॉस परिवर्तन $\approx -5.1 \times 10^{-5}$ ), जो गेज इनवेरियंस की पुष्टि करता है। इसके विपरीत, Spectron का प्रदर्शन काफी बदल जाता है ( $2.0 \times 10^{-2}$ ), जो इसकी फैक्टर स्केलिंग के प्रति संवेदनशीलता की पुष्टि करता है।
दक्षता (Efficiency): एक रैंक-2 प्रॉक्सी डेंस मॉडल के केवल ~4.3% ट्रेन करने योग्य पैरामीटर्स का उपयोग करता है जबकि समान कंप्यूट बाधाओं के तहत ~9.2x बड़ा ऑप्टिमाइज़र-स्टेप बजट सपोर्ट करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LoRA-Muon LoRA की ट्यूनिंग कठिनाइयों का एक सैद्धांतिक रूप से पुख्ता समाधान प्रदान करता है। LoRA को एक लो-रैंक मैनिफोल्ड पर ऑप्टिमाइज़ेशन समस्या के रूप में मानकर, लेखक प्राप्त करते हैं:

मजबूती (Robustness): ऑप्टिमाइज़र मनमाने फैक्टराइजेशन (गेज सिमेट्री) के चयन के प्रति इनवेरिएंट है।
हस्तांतरणीयता (Transferability): इष्टतम लर्निंग रेट्स (और विस्तार से, स्केलिंग लॉ के माध्यम से अन्य हाइपरपैरामीटर) रैंक, विड्थ, डेप्थ और फैक्टर स्केल्स के बीच निर्बाध रूप से ट्रांसफर होते हैं।
दक्षता (Efficiency): यह महंगे QR डिकम्पोज़िशन या सेकंड-मोमेंट स्टोरेज के बिना स्पेक्ट्रल अपडेट को कंप्यूट करता है, जिससे यह एक्सेलेरेटर-फ्रेंडली बनता है।

लेखक LoRA-Muon को फुल-रैंक Muon और Shampoo-फैमिली ऑप्टिमाइज़र्स के लिए एक "अच्छे लो-रैंक प्रॉक्सी" के रूप में देखते हैं। वे इस बात पर जोर देते हैं कि लो-रैंक पैरामीट्रिज़ेशन को ऑप्टिमाइज़र की ज्योमेट्री को निर्धारित नहीं करना चाहिए; इसके बजाय, अपडेट को स्वयं लो-रैंक मैट्रिक्स मैनिफोल्ड की ज्योमेट्री द्वारा परिभाषित किया जाना चाहिए।

सीमाएं: लेखक नोट करते हैं कि वर्तमान में प्रायोगिक दावे TinyShakespeare-स्केल मॉडल्स पर स्थापित किए गए हैं और अभी तक बड़े पैमाने पर प्रीट्रेनिंग या डाउनस्ट्रीम फाइन-ट्यूनिंग बेंचमार्क्स पर मान्य नहीं किए गए हैं। अध्ययन लर्निंग रेट ट्रांसफर पर केंद्रित है, न कि पूर्ण हाइपरपैरामीटर स्वीप पर।