💬 NLP

Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment

यह शोध पत्र GOAT का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो Mixture-of-Experts आर्किटेक्चर के माध्यम से SVD-संरचित प्रायर्स (priors) को अनुकूल रूप से एकीकृत करके Low-Rank Adaptation (LoRA) को उन्नत करता है और एक सैद्धांतिक स्केलिंग कारक व्युत्पन्न करता है ताकि अनुकूलन को Full Fine-Tuning के साथ संरेखित किया जा सके, जिससे विविध कार्यों में अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Chenghao Fan, Zhenyi Lu, Sichen Liu, Chengfeng Gu, Xiaoye Qu, Wei Wei, Yu Cheng

प्रकाशित 2026-03-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenghao Fan, Zhenyi Lu, Sichen Liu, Chengfeng Gu, Xiaoye Qu, Wei Wei, Yu Cheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Make LoRA Great Again" (GOAT) पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी तस्वीर: "रिमॉडलिंग" की समस्या

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से महंगा हवेली (एक लार्ज लैंग्वेज मॉडल या LLM) है जिसे विशेषज्ञों द्वारा कई वर्षों में सजाया और सुसज्जित किया गया है। यह हवेली दुनिया के बारे में सब कुछ जानती है।

अब, आप किसी विशिष्ट कार्य के लिए केवल एक कमरे को "होम ऑफिस" के रूप में पुनर्गठित (redecorate) करना चाहते हैं।

फुल फाइन-ट्यूनिंग (Full FT): यह पूरी हवेली की दीवारें गिराने, फर्श बदलने, सब कुछ फिर से पेंट करने और पूरे घर के लिए नया फर्नीचर खरीदने के लिए एक टीम को काम पर रखने जैसा है। यह पूरी तरह से काम करता है, लेकिन इसमें बहुत अधिक पैसा खर्च होता है और बहुत समय लगता है।
LoRA (लो-रैंक अडैप्टेशन): यह एक लोकप्रिय, बजट-अनुकूल विकल्प है। पूरे घर को फिर से बनाने के बजाय, आप मौजूदा कमरे में कुछ हल्के, अस्थायी शेल्फ और एक डेस्क (लो-रैंक अडैप्टर्स) जोड़ देते हैं। यह सस्ता और तेज़ है, लेकिन कभी-कभी इसका परिणाम पूर्ण नवीनीकरण (full renovation) की तुलना में थोड़ा "अजीब" महसूस होता है।

समस्या यह है कि वर्तमान "बजट रिमॉडलिंग" (LoRA) अक्सर "पूर्ण नवीनीकरण" जैसी गुणवत्ता के स्तर तक नहीं पहुँच पाती है। यह पेपर GOAT (ग्रेट लो-रा मिक्सचर-ऑफ-एक्सपर्ट्स) पेश करता है, जो एक नई विधि है ताकि वह बजट रिमॉडलिंग, पूर्ण नवीनीकरण जितनी ही अच्छी बन सके।

दो समस्याएँ जिन्हें GOAT हल करता है

लेखकों ने पहचान की कि "बजट रिमॉडलिंग" आमतौर पर क्यों विफल हो जाती है:

1. "औजारों का रैंडम बॉक्स" वाली समस्या (इनिशियलाइजेशन/Initialization)

समस्या: जब आप एक मानक LoRA रिमॉडल शुरू करते हैं, तो आप आमतौर पर औजारों का एक रैंडम बॉक्स (रैंडम नंबर) उठाते हैं और हथौड़े चलाना शुरू कर देते हैं। आपको यह नहीं पता होता कि वास्तव में उस विशिष्ट काम के लिए कौन से औजार उपयोगी हैं।
पेपर का अंतर्दृष्टि (Insight): मूल हवेली (प्री-ट्रेंड मॉडल) के अंदर उसकी दीवारों में ब्लूप्रिंट का एक विशिष्ट सेट छिपा होता है (जिसे सिंगुलर वैल्यूज कहा जाता है)।

कुछ ब्लूप्रिंट "नींव" (foundation) के लिए हैं (बहुत महत्वपूर्ण, बड़े नंबर)।
कुछ "सजावट" (decor) के लिए हैं (कम महत्वपूर्ण, छोटे नंबर)।
कुछ "बीच के" (middle) हैं (विशिष्ट कार्यों के लिए उपयोगी)।

पिछले तरीकों ने या तो केवल नींव के ब्लूप्रिंट का उपयोग करने की कोशिश की या केवल सजावट के ब्लूप्रिंट का। लेकिन इस पेपर ने पाया कि अलग-अलग कार्यों के लिए अलग-अलग ब्लूप्रिंट की आवश्यकता होती है। एक गणित के कार्य के लिए नींव की आवश्यकता होती है; एक रचनात्मक लेखन कार्य के लिए सजावट की आवश्यकता हो सकती है।

GOAT का समाधान: एक बड़े टूलबॉक्स के बजाय, GOAT विशेषज्ञों की एक टीम (मिक्सचर-ऑफ-एक्सपर्ट्स, या MoE) लेकर आता है।

विशेषज्ञ 1 के पास "नींव" के ब्लूप्रिंट हैं।
विशेषज्ञ 2 के पास "सजावट" के ब्लूप्रिंट हैं।
विशेषज्ञ 3 के पास "बीच के" ब्लूप्रिंट हैं।

जब आप मॉडल को कोई कार्य करने के लिए कहते हैं, तो एक स्मार्ट राउटर (एक फोरमैन या सुपरवाइजर की तरह) काम को देखता है और तुरंत सही विशेषज्ञ को चुन लेता है। यदि आपको गणित की आवश्यकता है, तो राउटर 'फाउंडेशन विशेषज्ञ' को चुनता है। यदि आपको कला की आवश्यकता है, तो वह 'डेकोर विशेषज्ञ' को चुनता है। इस तरह, मॉडल विशिष्ट इनपुट के लिए पूरी तरह से अनुकूलित हो जाता है।

2. "स्पीड मिसमैच" की समस्या (स्केलिंग)

समस्या: भले ही आपके पास सही औजार हों, लेकिन हो सकता है कि आप बहुत धीरे चल रहे हों। गणितीय शब्दों में, "ग्रेडिएंट" (वह बल जो मॉडल को सीखने के लिए प्रेरित करता है) बजट विधि में पूर्ण नवीनीकरण की तुलना में बहुत कमजोर है। यह एक भारी सोफे को ज़ोर से धक्का देने के बजाय उसे हल्के से धकेलने जैसा है।
GOAT का समाधान: लेखकों ने महसूस किया कि यदि आप केवल सीखने की प्रक्रिया पर आवाज़ बढ़ा दें (एक विशिष्ट गणितीय स्केलिंग फैक्टर लागू करें), तो बजट विधि पूर्ण नवीनीकरण जितनी ही तेज़ी और प्रभावी ढंग से सीख सकती है। उन्होंने गणना की कि आवाज़ का वॉल्यूम नॉब (volume knob) ठीक कितना सेट करना चाहिए ताकि "हल्का धक्का" एक "ज़ोरदार धक्के" जैसा महसूस हो, बिना कुछ तोड़े।

GOAT कैसे काम करता है (चरण-दर-चरण)

टीम का गठन (एडेप्टिव प्रायर्स/Adaptive Priors):
एक सामान्य अडैप्टर के बजाय, GOAT काम को कई "विशेषज्ञों" के बीच विभाजित करता है। प्रत्येक विशेषज्ञ को मूल मॉडल के ज्ञान के एक अलग हिस्से (SVD ब्लूप्रिंट के विभिन्न भाग) के साथ शुरू किया जाता है।

उपमा: एक रेस्टोरेंट की कल्पना करें। एक शेफ द्वारा सब कुछ पकाने के बजाय, आपके पास एक सुशी शेफ, एक स्टेक शेफ और एक पेस्ट्री शेफ है। वेटर (राउटर) पूछता है, "आप क्या चाहते हैं?" और ऑर्डर को सही शेफ के पास भेज देता है।

वॉल्यूम नॉब (थ्योरिटिकल स्केलिंग):
लेखकों ने गणितीय रूप से सिद्ध किया कि यदि आप लर्निंग रेट को सही ढंग से स्केल करते हैं, तो "बजट" विशेषज्ञ पूर्ण नवीनीकरण विशेषज्ञों की तरह प्रभावी ढंग से सीख सकते हैं। उन्होंने इस नॉब को सटीक रूप से सेट करने के लिए एक फॉर्मूला निकाला है।

उपमा: यह समझने जैसा है कि एक भारी बॉक्स को हिलाने के लिए, आपको बड़े बॉक्स की आवश्यकता नहीं है; आपको बस ज़ोर से धक्का देने की आवश्यकता है। GOAT आपको बताता है कि कितनी ज़ोर से धक्का देना है।

परिणाम:
"काम के लिए सही विशेषज्ञ" और "सही धक्का देने की शक्ति" को जोड़कर, GOAT के परिणाम महंगे पूर्ण नवीनीकरण के लगभग समान प्राप्त होते हैं, लेकिन बहुत कम लागत और समय में।

यह क्यों महत्वपूर्ण है (इसका महत्व क्या है?)

सस्ता और तेज़: अब आपको विशाल AI मॉडल को फाइन-ट्यून करने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है। आप इसे एक सिंगल शक्तिशाली GPU पर कर सकते हैं।
बेहतर प्रदर्शन: यह "सस्ते" और "महंगे" के बीच के अंतर को कम करता है। AI भारी कीमत चुकाए बिना अधिक स्मार्ट और सटीक बनता है।
बहुमुखी प्रतिभा: पेपर ने 25 अलग-अलग कार्यों पर इसका परीक्षण किया, जिसमें छवियों में ट्रैफिक संकेतों को पहचानने से लेकर जटिल गणित समस्याओं को हल करना और कोड लिखना शामिल है। यह हर जगह बहुत अच्छा रहा।

एक वाक्य में सारांश

GOAT एक विशेषज्ञ टीम को काम पर रखने जैसा है जिनके पास मूल ब्लूप्रिंट का अलग-अलग हिस्सा है, और फिर उन्हें एक सटीक रूप से कैलिब्रेटेड मेगाफोन दिया जाता है ताकि वे नए कार्य को उतनी ही तेज़ी और प्रभावशीलता से सीख सकें जितना कि पूरे घर को फिर से बनाने में लगता।

यहाँ शोध पत्र "Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment" (GOAT) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि Low-Rank Adaptation (LoRA), लार्ज लैंग्वेज मॉडल्स (LLMs) के पैरामीटर-कुशल फाइन-ट्यूनिंग (PEFT) के लिए एक मानक है, यह अक्सर Full Fine-Tuning (Full FT) की तुलना में कम प्रदर्शन करता है। लेखक दो प्राथमिक बाधाओं की पहचान करते हैं जो LoRA के प्रदर्शन को सीमित करती हैं, विशेष रूप से Mixture-of-Experts (MoE) आर्किटेक्चर के साथ जुड़ने पर:

उप-इष्टतम इनिशियलाइजेशन (Suboptimal Initialization):
- मानक LoRA रैंडम या ज़ीरो इनिशियलाइजेशन का उपयोग करता है, जो गैर-सूचनात्मक प्रायर्स (non-informative priors) प्रदान करता है।
- मौजूदा SVD-आधारित विधियाँ (जैसे, PiSSA, MiLoRA) प्री-ट्रेंड वेट्स के स्थिर (static) उपसमुच्चयों (या तो केवल प्रमुख या केवल गौण सिंगुलर वैल्यूज) पर निर्भर करती हैं।
- समस्या: विभिन्न कार्यों और इनपुटों को प्री-ट्रेंड ज्ञान के विभिन्न खंडों की आवश्यकता होती है। एक स्थिर चयन अनुकूल रूप से प्रासंगिक जानकारी के पूर्ण विस्तार को कैप्चर करने में विफल रहता है।
असंरेखित अनुकूलन (Unaligned Optimization):
- लो-रैंक प्रतिबंध Full FT की तुलना में ग्रेडिएंट डायनेमिक्स में एक महत्वपूर्ण अंतर पैदा करता है, जिससे अभिसरण (convergence) धीमा हो जाता है और प्रदर्शन उप-इष्टतम हो जाता है।
- LoRA MoE परिदृश्यों में, कुल रैंक विशेषज्ञों (experts) के बीच विभाजित होती है, जिससे व्यक्तिगत रैंक और भी कम हो जाती है और अनुकूलन अंतराल (optimization gap) और बढ़ जाता है।
- समस्या: मौजूदा विधियाँ LoRA MoE के अनुकूलन प्रक्षेपवक्र (optimization trajectory) को Full FT MoE के साथ संरेखित करने में विफल रहती हैं, विशेष रूप से SVD इनिशियलाइजेशन का उपयोग करते समय, जिससे वेट मिसअलाइनमेंट और जटिल ग्रेडिएंट डायनेमिक्स उत्पन्न होते हैं।

2. कार्यप्रणाली: GOAT (Great LoRA Mixture-of-Experts)

लेखक GOAT का प्रस्ताव करते हैं, जो एक SVD-स्ट्रक्चर्ड MoE को थ्योरेटिकल स्केलिंग के साथ एकीकृत करता है ताकि LoRA और Full FT के बीच के अंतर को पाटा जा सके।

A. एडेप्टिव प्रायर्स इनिशियलाइजेशन (SVD-Structured MoE)

एक स्थिर सिंगुलर वैल्यू सबसेट को फ्रीज करने के बजाय, GOAT सिंगुलर वैल्यू डीकंपोजिशन (SVD) का उपयोग करके प्री-ट्रेंड वेट मैट्रिक्स $W_0$ को कई रैंक- $r$ ब्लॉक्स में विभाजित करता है:
$W_0 = \sum_{i=0}^{l} U_i \Sigma_i V_i^\top$

एक्सपर्ट इनिशियलाइजेशन: MoE लेयर में प्रत्येक विशेषज्ञ को SVD डीकंपोजिशन के एक विशिष्ट खंड (distinct segment) के साथ इनिशियलाइज किया जाता है (उदाहरण के लिए, एक्सपर्ट 1 को सिंगुलर वैल्यूज का पहला ब्लॉक मिलता है, एक्सपर्ट 2 को दूसरा, आदि)।
एडेप्टिव सिलेक्शन: MoE राउटर इनपुट के आधार पर सबसे प्रासंगिक विशेषज्ञों (और इस प्रकार सबसे प्रासंगिक सिंगुलर वैल्यू सेगमेंट्स) को गतिशील रूप से चुनता है। यह मॉडल को एक निश्चित प्रायर पर निर्भर रहने के बजाय प्रासंगिक प्री-ट्रेंड ज्ञान को अनुकूल रूप से एकीकृत करने की अनुमति देता है।

B. थ्योरेटिकल ऑप्टिमाइज़ेशन अलाइनमेंट

प्रदर्शन अंतराल को संबोधित करने के लिए, लेखक LoRA MoE के ग्रेडिएंट्स को Full FT MoE के साथ संरेखित करने के लिए एक थ्योरेटिकल स्केलिंग फैक्टर निकालते हैं।

इक्विवेलेंट वेट और ग्रेडिएंट: वे LoRA के लिए एक समकक्ष वेट $\tilde{W}$ और ग्रेडिएंट $\tilde{g}$ को परिभाषित करते हैं। वे सिद्ध करते हैं कि LoRA को Full FT के साथ संरेखित करने के लिए, इनिशियलाइजेशन के समय समकक्ष वेट को प्री-ट्रेंड वेट के समान होना चाहिए, और अनुकूलन के दौरान समकक्ष ग्रेडिएंट्स को Full FT के ग्रेडिएंट्स के समान होना चाहिए।
वेट अलाइनमेंट: यह सुनिश्चित करने के लिए कि SVD-इनिशियलाइज्ड विशेषज्ञों को जोड़ने पर $\tilde{W}_0 \approx W_0$ हो, फ्रीज़्ड वेट्स से एक रेसिडुअल टर्म $W_{res}$ घटाया जाता है।
$\tilde{W}_0 = W_0 - W_{res} + \sum w_i(x) s B_i A_i \approx W_0$
इष्टतम $W_{res}$ अपेक्षित रूटिंग वेट्स के आधार पर क्लोज्ड फॉर्म में निकाला गया है।
ग्रेडिएंट स्केलिंग: लेखक एक इष्टतम स्केलिंग फैक्टर $s$ निकालते हैं ताकि यह सुनिश्चित हो सके कि LoRA ग्रेडिएंट्स का परिमाण Full FT ग्रेडिएंट्स के बराबर हो।
$s = \sqrt{\frac{3n\eta}{r}}$
जहाँ $n$ इनपुट डाइमेंशन है, $r$ रैंक है, और $\eta$ लर्निंग रेट रेश्यो है। यह स्केलिंग MoE विशेषज्ञों में कम रैंक की भरपाई करती है, जिससे ग्रेडिएंट नॉर्म्स और कन्वर्जेंस स्पीड में उल्लेखनीय वृद्धि होती है।

3. मुख्य योगदान

एडेप्टिव प्रायर्स इनिशियलाइजेशन: एक नवीन SVD-स्ट्रक्चर्ड MoE फ्रेमवर्क जो स्थिर प्रायर्स को एक एडेप्टिव मैकेनिज्म से बदल देता है जहाँ राउटर इनपुट के प्रासंगिक विशिष्ट सिंगुलर वैल्यू सेगमेंट्स का चयन करता है।
थ्योरेटिकल ऑप्टिमाइज़ेशन अलाइनमेंट: LoRA MoE और Full FT MoE के बीच के संबंध का एक कठोर व्युत्पन्न (derivation), जिसके परिणामस्वरूप एक विशिष्ट वेट अलाइनमेंट रणनीति और एक थ्योरेटिकल स्केलिंग स्कीम ( $s$ ) प्राप्त होती है जो आर्किटेक्चर को बदले बिना प्रदर्शन अंतराल को पाट देती है।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: यह विधि विविध कार्यों पर बेहतर परिणाम प्राप्त करती है, जो प्रभावी रूप से Full Fine-Tuning के साथ प्रदर्शन अंतराल को कम करती है या उससे आगे निकल जाती है, जबकि PEFT की दक्षता बनाए रखती है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार डोमेन में 25 डेटासेट्स पर GOAT का मूल्यांकन किया: इमेज क्लासिफिकेशन (IC), नेचुरल लैंग्वेज जनरेशन (NLG), कॉमन सेंस रीजनिंग (CR), और नेचुरल लैंग्वेज अंडरस्टैंडिंग (NLU)।

इमेज क्लासिफिकेशन (ViT-B/32): GOAT ने Full FT प्रदर्शन का 99.07% प्राप्त किया। इसने सर्वश्रेष्ठ LoRA वेरिएंट (PiSSA) से 6.0% और सर्वश्रेष्ठ LoRA MoE (HydraLoRA) से 2.4% बेहतर प्रदर्शन किया।
नेचुरल लैंग्वेज जनरेशन (LLaMA-2-7B): GOAT ने Full FT के साथ सबसे कम अंतर दिखाया, जिसने MT-Bench पर MoLoRA से 0.25, GSM8K पर 6.30%, और HumanEval पर 3.14% बेहतर प्रदर्शन किया।
कॉमन सेंस रीजनिंग: GOAT ने सर्वश्रेष्ठ सिंगल LoRA मेथड (KaSA) से 1.47% और सर्वश्रेष्ठ LoRA MoE (HydraLoRA) से 1.98% अधिक प्रदर्शन किया।
नेचुरल लैंग्वेज अंडरस्टैंडिंग (RoBERTa-large): GOAT ने Full FT (89.76 बनाम 89.47) को पीछे छोड़ दिया और Full FT MoE के साथ अंतर को मात्र 0.1% तक कम कर दिया।
दक्षता (Efficiency): GOAT Full FT के लगभग 2.24% (ViT के लिए) और 0.96% (LLaMA के लिए) पैरामीटर काउंट बनाए रखता है, जिसमें ट्रेनिंग टाइम और मेमोरी लागत अन्य LoRA MoE विधियों के समान है लेकिन Full FT MoE से काफी कम है।

5. महत्व

अंतराल को पाटना (Bridging the Gap): GOAT यह प्रदर्शित करता है कि बेहतर इनिशियलाइजेशन और थ्योरेटिकल स्केलिंग के माध्यम से, कंप्यूटेशनल लागत बढ़ाए बिना, पैरामीटर-कुशल विधियों और Full Fine-Tuning के बीच के प्रदर्शन अंतर को लगभग समाप्त किया जा सकता है।
डायनेमिक नॉलेज यूटिलाइजेशन: सिंगुलर वैल्यू सेगमेंट्स को "एक्सपर्ट्स" के रूप में मानकर, यह विधि मॉडल को इनपुट की जटिलता के आधार पर प्री-ट्रेंड ज्ञान के विभिन्न हिस्सों तक गतिशील रूप से पहुँचने की अनुमति देती है, जो एक ऐसी क्षमता है जो स्थिर SVD विधियों में अनुपस्थित है।
स्केलेबिलिटी: यह विधि विभिन्न रैंक और एक्सपर्ट कॉन्फ़िगरेशन के लिए अत्यधिक स्केलेबल है, जो लो-रिसोर्स (लो रैंक) और हाई-कैपेसिटी दोनों सेटिंग्स में मजबूत साबित होती है।
व्यावहारिक प्रभाव: पैरामीटर और कंप्यूट लागत को कम करते हुए Full FT प्रदर्शन के करीब पहुँचकर, GOAT उन्नत AI फाइन-ट्यूनिंग को सीमित संसाधनों वाले शोधकर्ताओं और चिकित्सकों के लिए सुलभ बनाता है, जिससे NLP, CV और मल्टी-मोडल अनुप्रयोगों में नवाचार को बढ़ावा मिलता है।

संक्षेप में, GOAT एडेप्टिव SVD इनिशियलाइजेशन को थ्योरेटिकल रूप से व्युत्पन्न स्केलिंग के साथ जोड़कर LoRA MoE को पुनर्व्याख्यायित करता है, जो कुशल लार्ज मॉडल एडैप्टेशन के लिए एक नया स्टेट-ऑफ-द-आर्ट मानक प्रदान करता है।