🤖 AI

The Hidden Power of Scaling Factor in LoRA Optimization

यह शोध पत्र प्रकट करता है कि लर्निंग रेट के बजाय LoRA स्केलिंग फैक्टर $\alpha$ अनुकूलन प्रदर्शन (optimization performance) का प्राथमिक चालक है, जिससे LoRA- $\alpha$ का प्रस्ताव मिलता है, जो एक सैद्धांतिक रूप से पुष्ट वर्ग-मूल स्केलिंग नियम (square-root scaling law) का लाभ उठाकर अभिसरण (convergence) और कार्य प्रदर्शन में महत्वपूर्ण सुधार करता है और हाइपरपैरामीटर ट्यूनिंग को सरल बनाता है।

मूल लेखक: Zicheng Zhang, Haoran Li, Jiaxing Wang, Guoqiang Gong, Anqi Li, Yudong Hu, Ting Xiong, Yurong Gao, Junxing Hu, Zhida Jiang, Yifeng Zhang, Pengzhang Liu, Qixia Jiang

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zicheng Zhang, Haoran Li, Jiaxing Wang, Guoqiang Gong, Anqi Li, Yudong Hu, Ting Xiong, Yurong Gao, Junxing Hu, Zhida Jiang, Yifeng Zhang, Pengzhang Liu, Qixia Jiang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "वॉल्यूम नॉब" बनाम "गति की सीमा" (The "Volume Knob" vs. The "Speed Limit")

कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान रोबोट (एक लार्ज लैंग्वेज मॉडल) को एक नया कौशल सिखाने की कोशिश कर रहे हैं, जैसे कविता लिखना या गणित की समस्याएँ हल करना। रोबोट पहले से ही बहुत स्मार्ट है, इसलिए आप उसके पूरे मस्तिष्क को फिर से प्रशिक्षित (retrain) नहीं करना चाहते—वह बहुत महंगा और धीमा होगा। इसके बजाय, आप उसे नया हुनर सिखाने के लिए उसके मस्तिष्क से एक छोटा, हल्का "अडैप्टर" (LoRA) जोड़ देते हैं।

इस सेटअप में, दो मुख्य नियंत्रण (controls) हैं जिन्हें आप घुमा सकते हैं:

लर्निंग रेट ( $\eta$ ): इसे रोबोट के सीखने की गति की सीमा (Speed Limit) के रूप में समझें। यदि आप इसे बहुत अधिक सेट करते हैं, तो रोबोट बहुत तेज़ चलता है, अपने ही पैरों में उलझकर गिर जाता है और दुर्घटनाग्रस्त हो जाता है। यदि यह बहुत कम है, तो वह इतनी धीमी गति से सीखता है कि कभी पाठ पूरा ही नहीं कर पाता।
स्केलिंग फैक्टर ( $\alpha$ ): यह पेपर तर्क देता है कि यह वास्तव में रोबोट के ध्यान के लिए वॉल्यूम नॉब (Volume Knob) है। यह नियंत्रित करता है कि रोबोट अपने पुराने ज्ञान की तुलना में नए पाठ को कितनी ज़ोर से "सुनता" है।

पेपर की खोज:
वर्षों से, शोधकर्ता सोचते थे कि वॉल्यूम नॉब ( $\alpha$ ) केवल स्पीड लिमिट का एक मामूली सहायक है। वे आमतौर पर एक सरल नियम के आधार पर वॉल्यूम सेट करते थे (जैसे "वॉल्यूम = रैंक")। लेकिन यह पेपर बताता है कि वॉल्यूम नॉब वास्तव में सबसे महत्वपूर्ण नियंत्रण है।

यदि आप वॉल्यूम नॉब को सही ढंग से घुमाते हैं, तो रोबोट बेहतर और तेज़ी से सीखता है, भले ही आप अपनी स्पीड लिमिट को कम और सुरक्षित रखें। यदि आप खराब लर्निंग को ठीक करने के लिए केवल रोबोट की गति बढ़ाने (लर्निंग रेट बढ़ाने) की कोशिश करते हैं, तो वह अस्थिर हो जाता है और क्रैश हो जाता है।

तीन बड़ी खोजें (क्यों और कैसे)

1. "स्मूथ रोड" प्रभाव (The "Smooth Road" Effect)

समस्या: जब आप बड़े रोबोट के साथ छोटा अडैप्टर जोड़ते हैं, तो यह स्वाभाविक रूप से सीखने की प्रक्रिया के लिए एक "ऊबड़-खाबड़ रास्ता" (bumpy road) बना देता है। यह ऊबड़-खाबड़पन अडैप्टर के निर्माण के तरीके (गणितीय रूप से, यह एक "बाइलीनियर" संरचना है) के कारण होता है।
पेपर का अंतर्दृष्टि (Insight): पेपर ने पाया कि यदि आप वॉल्यूम नॉब को पर्याप्त रूप से ऊँचा रखते हैं, तो अडैप्टर वास्तव में रास्ते को चिकना (smooth) कर देता है।

उपमा (Analogy): कल्पना कीजिए कि आप एक ऊबड़-खाबड़ कच्ची सड़क पर कार चला रहे हैं। आमतौर पर, आपको कार को टूटने से बचाने के लिए बहुत धीरे (कम लर्निंग रेट) गाड़ी चलानी पड़ती है। लेकिन पेपर ने पाया कि यदि आप अपने इंजन का "वॉल्यूम" (स्केलिंग फैक्टर) बढ़ा देते हैं, तो कार का सस्पेंशन ऊबड़-खाबड़ रास्तों को सुचारू बना देता है। अचानक, आप बिना दुर्घटना के हुए बहुत तेज़ी से और सुचारू रूप से चल सकते हैं।
परिणाम: क्योंकि रास्ता अब अधिक चिकना है, इसलिए पूर्ण प्रशिक्षण (full training) के लिए उपयोग किए जाने वाले मानक "स्पीड लिमिट्स" इस विशिष्ट सेटअप के लिए बहुत रूढ़िवादी (बहुत धीमे) हैं। हमें केवल स्पीड नहीं, बल्कि वॉल्यूम बढ़ाने की आवश्यकता है।

2. "शुद्ध सिग्नल" बनाम "शोर" (The "Pure Signal" vs. The "Noise")

समस्या: जब रोबोट सीखता है, तो दो चीजें होती हैं:

सिग्नल (Signal): वह वास्तविक पाठ सीखता है (जैसे, "कविता कैसे लिखें")।
ड्रिफ्ट/शोर (Drift/Noise): वह गलती से कुछ "स्टैटिक" या भ्रम भी पकड़ लेता है क्योंकि अडैप्टर की संरचना ऐसी है।
पेपर की अंतर्दृष्टि:
यदि आप स्पीड लिमिट (लर्निंग रेट) बढ़ाते हैं, तो आप पाठ और स्टैटिक दोनों को बढ़ा देते हैं। रोबोट भ्रमित हो जाता है और मतिभ्रम (hallucinations) या चीज़ों को भूलने लगता है।
यदि आप वॉल्यूम नॉब (स्केलिंग फैक्टर) बढ़ाते हैं, तो आप स्टैटिक की तुलना में पाठ को बहुत अधिक बढ़ाते हैं।
उपमा: कल्पना कीजिए कि आप रेडियो सुन रहे हैं।
- स्पीड को बढ़ाना रेडियो कार को तेज़ी से चलाने जैसा है; आप संगीत को ज़ोर से सुनते हैं, लेकिन आप हवा के शोर और स्टैटिक को भी अधिक सुनते हैं।
- वॉल्यूम को बढ़ाना एक बेहतर एम्पलीफायर का उपयोग करने जैसा है; यह संगीत को एकदम स्पष्ट बनाता है जबकि स्टैटिक को अपेक्षाकृत शांत रखता है।
परिणाम: वॉल्यूम नॉब एक "प्योरिटी-प्रिजर्विंग एक्सीलेटर" (शुद्धता बनाए रखने वाला त्वरक) है। यह रोबोट को भ्रमित हुए बिना तेज़ी से सीखने में मदद करता है।

3. "स्क्वायर रूट" नियम (The "Square Root" Rule)

समस्या: लंबे समय तक, लोगों ने वॉल्यूम नॉब को एक सरल नियम के आधार पर सेट किया: "वॉल्यूम = रैंक" (जहाँ रैंक अडैप्टर का आकार है)।
पेपर की अंतर्दृष्टि: यह नियम बहुत ही धीमा है! पेपर ने पाया कि सबसे अच्छा वॉल्यूम एक स्क्वायर रूट लॉ (Square Root Law) का पालन करता है जिसमें एक बहुत बड़ा मल्टीप्लायर है।

उपमा: यदि पुराने नियम ने कहा था, "यदि आपके पास 10-इंच का एंटीना है, तो वॉल्यूम को 10 पर सेट करें," तो नया नियम कहता है, "यदि आपके पास 10-इंच का एंटीना है, तो वॉल्यूम को 256 गुना $\sqrt{10}$ पर सेट करें।" यह एक विशाल अंतर है।
परिणाम: पुराने सेटिंग्स रोबोट की क्षमता का पूरा लाभ नहीं उठा पा रही थीं। इन नए, उच्च स्तरों तक वॉल्यूम बढ़ाकर, रोबोट उतना ही अच्छा सीख सकता है जितना कि यदि आपने इसके पूरे मस्तिष्क को फिर से प्रशिक्षित किया होता, लेकिन बहुत कम लागत पर।

समाधान: "LoRA- $\alpha$ "

इन निष्कर्षों के आधार पर, लेखक एक नई, सरल विधि प्रस्तावित करते हैं जिसे LoRA- $\alpha$ कहा जाता है।

यह क्या करता है: यह उपयोगकर्ताओं को एक आदर्श "स्पीड लिमिट" (लर्निंग रेट) खोजने की चिंता छोड़ देने के लिए कहता है। इसके बजाय, बस मानक, सुरक्षित गति का उपयोग करें जो पूर्ण प्रशिक्षण के लिए उपयोग की जाती है।
ट्रिक: बस उनके नए फॉर्मूले (लगभग $256 \times \sqrt{\text{Rank}}$ ) का उपयोग करके वॉल्यूम नॉब ( $\alpha$ ) को काफी ऊपर ले जाएँ।
परिणाम: अपने परीक्षणों में, इस साधारण बदलाव ने इस रोबोट को लगभग हर अन्य विधि की तुलना में बेहतर प्रदर्शन कराया। यह निम्नलिखित के लिए काम कर गया:
- भाषा समझना (GLUE बेंचमार्क)।
- कोड लिखना और गणित हल करना (Llama 2, Qwen)।
- चित्र बनाना (Flux)।
- यहाँ तक कि जटिल तर्क (reasoning) और सुदृढीकरण शिक्षण (reinforcement learning) कार्य।

सारांश

पेपर का तर्क है कि लंबे समय से हम एक खराब कार को ठीक करने की कोशिश कर रहे थे जिसके लिए हम गैस पेडल को और ज़ोर से दबा रहे थे (लर्निंग रेट बढ़ा रहे थे), जिससे वह दुर्घटनाग्रस्त हो रही थी। इसके बजाय, हमें इंजन की ट्यूनिंग (स्केलिंग फैक्टर) को समायोजित करना चाहिए था। अडैप्टर के "वॉल्यूम" को सही ढंग से बढ़ाकर, हम इन कुशल, छोटे अपडेट्स को भारी, महंगे पूर्ण पुन: प्रशिक्षण (full retraining) के समान प्रभावी बना सकते हैं, बिना किसी अस्थिरता के।

तकनीकी सारांश: LoRA अनुकूलन में स्केलिंग फैक्टर की छिपी हुई शक्ति

1. समस्या विवरण (Problem Statement)

लो-रैंक अडैप्टेशन (LoRA) बड़े प्रीट्रेन्ड मॉडल्स को कुशलतापूर्वक फाइन-ट्यून करने के लिए एक प्रमुख विधि बन गया है। हालाँकि, इसके अंतर्निहित द्विपद (bilinear) आर्किटेक्चर और जटिल हाइपरपैरामीटर इंटरैक्शन के कारण इसका अनुकूलन व्यवहार (optimization behavior) अभी भी कम समझ में आया है। विशेष रूप से, स्केलिंग फैक्टर $\alpha$ (जहाँ $\Delta W = \frac{\alpha}{r} BA$ ) को अक्सर केवल लर्निंग रेट $\eta$ के पूरक के रूप में माना जाता है, जो आमतौर पर सरल रैंक-आधारित ह्यूरिस्टिक्स (जैसे $\alpha = r$ या $\alpha = 2r$ ) से बंधा होता है।

पेपर एक महत्वपूर्ण अनुकूलन अंतराल (optimization gap) की पहचान करता है: मानक LoRA प्रथाओं को प्रतिस्पर्धी प्रदर्शन प्राप्त करने के लिए फुल फाइन-ट्यूनिंग (FFT) की तुलना में 10 $\times$ बड़े लर्निंग रेट की आवश्यकता होती है। लेखक यह परिकल्पना करते हैं कि अत्यधिक लर्निंग रेट पर यह निर्भरता $\alpha$ के अपर्याप्त स्केलिंग का लक्षण है, न कि LoRA का कोई अंतर्निहित गुण। इसके अलावा, अनुकूलन परिदृश्य (optimization landscape) को आकार देने में $\alpha$ की भूमिका और लर्निंग रेट $\eta$ के साथ इसके संबंध को व्यवस्थित रूप से कम खोजा गया है।

2. कार्यप्रणाली (Methodology)

लेखक व्यापक अनुभवजन्य हाइपरपैरामीटर स्वीप्स (empirical hyperparameter sweeps) और एक नवीन सैद्धांतिक ढांचे को संयोजित करते हुए एक दोहरी पद्धति का उपयोग करते हैं।

अनुभवजन्य विश्लेषण (Empirical Analysis)

अध्ययन विविध मॉडल स्केल (184M से 12B), कार्यों (नेचुरल लैंग्वेज अंडरस्टैंडिंग, जनरेशन, रीजनिंग, मल्टीमॉडल) और प्रशिक्षण प्रतिमानों (सुपरवाइज्ड फाइन-ट्यूनिंग, कॉन्ट्रास्टिव लर्निंग, रीइन्फोर्समेंट लर्निंग) में व्यवस्थित हाइपरपैरामीटर स्वीप्स आयोजित करता है। मुख्य प्रयोगात्मक सेटअपों में शामिल हैं:

हाइपरपैरामीटर स्वीप्स: उनके परस्पर प्रभाव को समझने के लिए $\alpha$ , $\eta$ , और रैंक $r$ को बदलना, जिसमें फिटिंग व्यवहार के लिए प्रिमरी मेट्रिक के रूप में एक्सपेक्टेड नेगेटिव लॉग-लाइक्लीहुड (NLL) का उपयोग किया गया है।
स्केलिंग पाथ विश्लेषण: स्वतंत्र स्केलिंग पाथ की तुलना करना जहाँ या तो $\alpha$ या $\eta$ को बेसलाइन से बढ़ाया जाता है, जिससे अभिसरण (convergence) और लॉस मिनिमा पर उनके विशिष्ट प्रभावों को अलग किया जा सके।
बेंचमार्किंग: GLUE, GSM8K, MATH, और MMEB जैसे बेंचमार्क पर वैनिला LoRA और अत्याधुनिक वेरिएंट्स (जैसे PiSSA, LoRA+, LoRAM) के विरुद्ध प्रदर्शन का मूल्यांकन करना।

सैद्धांतिक ढांचा: सिग्नल-ड्रिफ्ट डिकम्पोजिशन (Signal-Drift Decomposition)

अनुभवजन्य अवलोकनों की व्याख्या करने के लिए, लेखक एक सिग्नल-ड्रिफ्ट फ्रेमवर्क पेश करते हैं। वे LoRA वेट अपडेट और हेसियन (Hessian) को दो घटकों में विभाजित करते हैं:

टास्क-अलाइन्ड सिग्नल ( $\Delta w_{Signal}$ ): जैकोबियन (Jacobian) से प्राप्त रैखिक घटक, जो टास्क ग्रेडिएंट के साथ संरेखित होता है और स्थानीय उत्तलता (local convexity) को बनाए रखता है।
स्ट्रक्चरल ड्रिफ्ट ( $\Delta w_{Drift}$ ): $\Delta B \Delta A$ टर्म से उत्पन्न द्विपद-प्रेरित घटक, जो टास्क-अज्ञेय (task-agnostic) अस्थिरता और अनिश्चित वक्रता (indefinite curvature) पेश करता है।

फ्रेमवर्क विश्लेषण करता है कि $\alpha$ और $\eta$ इन घटकों को अलग-अलग कैसे स्केल करते हैं। सैद्धांतिक प्रमाण दर्शाते हैं कि LoRA टास्क हेसियन के स्पेक्ट्रल सप्रेशन (spectral suppression) को प्रेरित करता है, जो अनुकूलन परिदृश्य को सुचारू बनाता है लेकिन मानक हाइपरपैरामीटर्स को अत्यधिक रूढ़िवादी बना देता है।

3. मुख्य निष्कर्ष (Key Findings)

पेपर LoRA के स्केलिंग तंत्र के संबंध में तीन प्राथमिक निष्कर्ष स्थापित करता है:

स्पेक्ट्रल सप्रेशन स्केलिंग मिसअलाइनमेंट का कारण बनता है: LoRA का लो-रैंक पैरामीट्राइजेशन टास्क हेसियन की स्पेक्ट्रल वक्रता को दबा देता है। जबकि यह स्थिरता में सुधार करता है, यह एक ऐसा अनुकूलन अंतराल बनाता है जहाँ मानक हाइपरपैरामीटर उप-इष्टतम (suboptimal) होते हैं। यह पिछले कार्यों में आक्रामक लर्निंग रेट की ऐतिहासिक आवश्यकता की व्याख्या करता है।
$\alpha$ और $\eta$ की विषम भूमिकाएँ (Asymmetric Roles):
- $\alpha$ (स्केलिंग फैक्टर): टास्क-अलाइन्ड सिग्नल ( $\Theta(\alpha^2)$ वक्रता में) को बढ़ाता है बिना स्ट्रक्चरल ड्रिफ्ट को आनुपातिक रूप से बढ़ाए ( $\Theta(\alpha)$ )। यह एक "प्योरिटी-प्रिजर्विंग एक्सेलेरेटर" के रूप में कार्य करता है।
- $\eta$ (लर्निंग रेट): सिग्नल और स्ट्रक्चरल ड्रिफ्ट दोनों को बढ़ाता है। $\eta$ को बढ़ाने से सिग्नल-टू-ड्रिफ्ट अनुपात खराब हो जाता है, जिससे अस्थिरता और समयपूर्व संतृप्ति (premature saturation) होती है।
- निष्कर्ष: $\eta$ को बढ़ाने के बजाय $\alpha$ को बढ़ाने से बेहतर अभिसरण और गहरा फिटिंग प्राप्त होता है।
सबलीनियर स्केलिंग लॉ (Sublinear Scaling Law): इष्टतम स्केलिंग फैक्टर $\alpha^*$ रैंक $r$ के साथ एक सबलीनियर संबंध का पालन करता है, जो वर्ग-मूल नियम (square-root law) द्वारा अभिलक्षित है: $\alpha^* \approx C\sqrt{r}$ , जहाँ $C$ एक बड़ा गुणांक है (अनुभवजन्य रूप से $\approx 256$ पाया गया है)। यह प्रकट करता है कि पारंपरिक रैखिक ह्यूरिस्टिक्स ( $\alpha=r$ ) एक गंभीर रूप से अंडर-स्केल्ड रिजीम में काम करते हैं।

4. प्रस्तावित समाधान: LoRA- $\alpha$

इन अंतर्दृष्टियों के आधार पर, लेखक LoRA- $\alpha$ का प्रस्ताव करते हैं, जो एक मिनिमलिस्ट फ्रेमवर्क है जो $\alpha$ को एक सिद्धांतपूर्ण रिजीम में वापस लाता है:

फॉर्मूलेशन: $\Delta W = \alpha \cdot \frac{\alpha_{base}}{r} BA$ , जहाँ $\alpha_{base}$ को स्क्वायर-रूट स्केलिंग लॉ ( $\alpha_{base} = 256\sqrt{r}$ व्यावहारिक उपयोग के लिए या सैद्धांतिक रूप से व्युत्पन्न) द्वारा निर्धारित किया जाता है।
मैकेनिज्म: यह स्केलिंग को ऑप्टिमाइजेशन से अलग करता है। $\alpha_{base}$ दबाई गई वक्रता को FFT रिजीम से मेल खाने के लिए बहाल करता है, जबकि $\alpha$ एक हल्का ट्यूनिंग नॉब (डिफ़ॉल्ट 1) के रूप में कार्य करता है।
लाभ: यह अभ्यासकर्ताओं को मानक, छोटे लर्निंग रेट (जो आमतौर पर FFT में उपयोग किए जाते हैं) का उपयोग करने की अनुमति देता है, जिससे बड़े लर्निंग रेट के लिए खर्चीले हाइपरपैरामीटर सर्च की आवश्यकता समाप्त हो जाती है।

5. प्रयोगात्मक परिणाम (Experimental Results)

व्यापक मूल्यांकन प्रदर्शित करते हैं कि LoRA- $\alpha$ लगातार वैनिला LoRA और अन्य वेरिएंट्स से बेहतर प्रदर्शन करता है:

NLU (GLUE बेंचमार्क): LoRA- $\alpha$ 89.09 का औसत स्कोर प्राप्त करता है, जो FFT (86.69) और अन्य LoRA वेरिएंट्स से आगे है।
NLG (Llama 2-7B): रीजनिंग और कोड जनरेशन कार्यों पर, LoRA- $\alpha$ मानक LoRA की तुलना में काफी बेहतर प्रदर्शन करता है, विशेष रूप से उच्च रैंक (जैसे, $r=128$ ) पर, जो FFT के तुलनीय या उससे अधिक प्रदर्शन तक पहुँचता है।
मल्टीमॉडल (Flux.1-12B & Qwen 2-VL): इमेज सिंथेसिस और डेंस रिट्रीवल कार्यों में, LoRA- $\alpha$ उच्च फिडेलिटी वाली छवियां बनाता है और FFT एवं अन्य PEFT विधियों की तुलना में बेहतर रिट्रीवल स्कोर (MMEB) प्राप्त करता है।
रीइन्फोर्समेंट लर्निंग (GRPO): RL सेटिंग्स (DeepSeek-R1) में, LoRA- $\alpha$ प्रशिक्षण स्थिरता बनाए रखता है जहाँ लर्निंग रेट बढ़ाने से विचलन (divergence) होता है, और सर्वश्रेष्ठ समग्र Pass@1 सटीकता प्राप्त करता है।

6. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि स्केलिंग फैक्टर $\alpha$ प्रभावी LoRA अनुकूलन का प्रमुख चालक है, एक ऐसी भूमिका जो लर्निंग रेट ट्यूनिंग पर ध्यान केंद्रित करने के कारण पहले अस्पष्ट थी।

सैद्धांतिक योगदान: सिग्नल-ड्रिफ्ट फ्रेमवर्क यह समझाने के लिए एक सिद्धांत प्रदान करता है कि LoRA, FFT से अलग व्यवहार क्यों करता है, जो $\alpha$ को ड्रिफ्ट-प्रेरित शोर को दबाते हुए टास्क सिग्नल को बढ़ाने वाले तंत्र के रूप में पहचानता है।
व्यावहारिक प्रभाव: LoRA- $\alpha$ फाइन-ट्यूनिंग प्रक्रिया को सरल बनाता है, जिससे सीधे FFT लर्निंग रेट का उपयोग संभव होता है, जिससे आक्रामक लर्निंग रेट स्केलिंग और व्यापक हाइपरपैरामीटर स्वीप की आवश्यकता समाप्त हो जाती है।
प्रदर्शन: यह विधि LoRA की पूर्ण फिटिंग क्षमता को अनलॉक करती है, जो अक्सर विविध आर्किटेक्चर और कार्यों में फुल फाइन-ट्यूनिंग प्रदर्शन से मेल खाती है या उससे अधिक होती है।

लेखक निष्कर्ष निकालते हैं कि ऐसे एडेप्टर आर्किटेक्चर विकसित करना जो सिग्नल इंटीग्रिटी से समझौता किए बिना संरचनात्मक रूप से ड्रिफ्ट को कम करते हैं, भविष्य की दिशा बनी हुई है, लेकिन उनका वर्तमान कार्य LoRA के लिए स्केलिंग का एक नया मानक स्थापित करता है।