💬 NLP

Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation

यह शोध पत्र MoLF को प्रस्तुत करता है, जो एक एकीकृत फाइन-ट्यूनिंग फ्रेमवर्क है जो स्थिर दृष्टिकोणों की संरचनात्मक सीमाओं को दूर करने के लिए ऑप्टिमाइज़र स्तर पर फुल फाइन-ट्यूनिंग और लो-रैंक अडैप्टेशन के बीच ग्रेडिएंट अपडेट को गतिशील रूप से रूट करता है, जिससे विविध कार्यों और मॉडल आकारों में बेहतर या तुलनीय प्रदर्शन प्राप्त होता है और साथ ही एक मेमोरी-कुशल संस्करण भी प्रदान किया जाता है।

मूल लेखक: Haozhan Tang, Xiuqi Zhu, Xinyin Zhang, Boxun Li, Virginia Smith, Kevin Kuo

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haozhan Tang, Xiuqi Zhu, Xinyin Zhang, Boxun Li, Virginia Smith, Kevin Kuo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान विश्वकोश (एक लार्ज लैंग्वेज मॉडल) है जो सब कुछ थोड़ा-बहुत जानता है। अब, आप इसे एक नया, विशिष्ट कौशल सिखाना चाहते हैं, जैसे चिकित्सा संबंधी प्रश्नों के उत्तर देना या कंप्यूटर कोड लिखना। इस प्रक्रिया को "फाइन-ट्यूनिंग" (fine-tuning) कहा जाता है।

यह शोध पत्र एआई (AI) शोधकर्ताओं के बीच एक लंबे समय से चले आ रहे विवाद पर चर्चा करता है: हमें इस विश्वकोश को कैसे सिखाना चाहिए?

दो पुराने तरीके

"पूर्ण पुनलेखन" (Full Fine-Tuning): कल्पना कीजिए कि आप पूरे विश्वकोश को ले रहे हैं और नए विषय के अनुकूल बनाने के लिए उसके हर एक पन्ने को फिर से लिख रहे हैं।
- अच्छाई: यह जटिल और बिखरे हुए नए तथ्यों को बहुत अच्छी तरह सीख सकता है।
- बुराई: यह महंगा और धीमा है, और कभी-कभी नई चीज़ों को सीखने के उत्साह में, यह तर्क करने की अपनी क्षमता भूल जाता है या अपना मूल "सामान्य ज्ञान" खो देता है।
"स्टिकी नोट्स" (LoRA): पूरे पन्नों को फिर से लिखने के बजाय, आप बस पन्नों पर कुछ छोटे, लो-रैंक "स्टिकी नोट्स" (LoRA एडैप्टर्स) जोड़ देते हैं।
- अच्छाई: यह सस्ता और तेज़ है, और स्टिकी नोट्स एक सुरक्षा कवच (सेफ्टी नेट) के रूप में कार्य करते हैं, जिससे यह सुनिश्चित होता है कि पुस्तक अपनी मूल तर्कशक्ति न भूले।
- बुराई: यदि नया विषय बहुत बड़ा और जटिल है (जैसे कि लाखों नए तथ्यों को याद करना), तो स्टिकी नोट्स इतनी सारी जानकारी रखने के लिए पर्याप्त नहीं होते। यहाँ पुस्तक एक "क्षमता की सीमा" (capacity ceiling) से टकरा जाती है।

समस्या: एक ही आकार सबके लिए सही नहीं होता

शोधकर्ताओं ने इन दोनों तरीकों का परीक्षण तीन बहुत अलग प्रकार के कार्यों पर किया:

तथ्य इंजेक्शन (नया डेटा याद करना): "पूर्ण पुनलेखन" विजेता रहा। "स्टिकी नोट्स" इतने सारे नए तथ्यों को रखने के लिए बहुत छोटे थे।
चिकित्सा तर्क (जटिल तर्क): "स्टिकी नोट्स" विजेता रहे। "पूर्ण पुनलेखन" बहुत अव्यवस्थित हो गया और इसने तार्किक रूप से सोचने की अपनी क्षमता खोनी शुरू कर दी।
SQL (कोडिंग संरचना): वे लगभग बराबर थे। कार्य इतना सरल था कि छोटे स्टिकी नोट्स ने काम बखूबी कर दिया।

निष्कर्ष? केवल एक तरीके पर निर्भर रहना ऐसा है जैसे अपने घर की हर समस्या को या तो केवल हथौड़े से या केवल पेचकस से ठीक करने की कोशिश करना। कभी-कभी आपको हथौड़े की आवश्यकता होती है; कभी-कभी पेचकस की।

समाधान: "स्मार्ट स्विच" (MoLF)

लेखक एक नया फ्रेमवर्क प्रस्तावित करते हैं जिसे MoLF (Mixture of LoRA and Full Fine-Tuning) कहा जाता है।

MoLF को विश्वकोश पर काम करने वाले एक स्मार्ट निर्माण दल (construction crew) के रूप में सोचें। केवल हथौड़े या पेचकस चुनने के बजाय, इस दल के पास दोनों उपकरण तैयार हैं।

यह कैसे काम करता है: जब भी AI जानकारी का एक नया टुकड़ा सीखने की कोशिश करता है, MoLF "ग्रेडिएंट" (एक संकेत जो इसे बदलाव करने के लिए बताता है) को देखता है। यह पूछता है: "क्या यह एक जटिल, उच्च-क्षमता वाला तथ्य है जिसके लिए पूर्ण पुनलेखन की आवश्यकता है? या यह एक नाजुक तार्किक चरण है जिसके लिए एक सूक्ष्म, छोटे समायोजन की आवश्यकता है?"
रूटिंग (Routing): उस उत्तर के आधार पर, MoLF अपडेट को गतिशील रूप से निर्देशित (route) करता है।
- यदि यह एक भारी तथ्य है, तो यह पूर्ण पुनलेखन वाले मार्ग का उपयोग करता है।
- यदि यह एक नाजुक तार्किक चरण है, तो यह स्टिकी नोट वाले मार्ग का उपयोग करता है।
जादू: महत्वपूर्ण बात यह है कि प्रशिक्षण प्रक्रिया के दौरान दोनों मार्ग हमेशा सक्रिय और सीख रहे होते हैं। "पूर्ण पुनलेखन" विशेषज्ञ और "स्टिकी नोट" विशेषज्ञ दोनों मौजूद हैं, लेकिन केवल वही विशेषज्ञ बदलाव करता है जो उस विशिष्ट क्षण के लिए सबसे उपयुक्त है। यह "पूर्ण पुनलेखन" को अव्यवस्थित होने से और "स्टिकी नोट्स" को बहुत छोटा होने से रोकता है।

"बजट-अनुकूल" संस्करण (MoLF-Efficient)

कम मेमोरी वाले कंप्यूटरों के लिए (जैसे सुपरकंप्यूटर के बजाय लैपटॉप), लेखकों ने MoLF-Efficient बनाया है।

यह संस्करण "पूर्ण पुनलेखन" वाले मार्ग को पूरी तरह से हटा देता है क्योंकि इसमें बहुत अधिक मेमोरी लगती है।
इसके बजाय, यह दो अलग-अलग आकार के "स्टिकी नोट्स" (एक छोटा, एक बड़ा) का उपयोग करता है।
यह एक स्मार्ट मैनेजर की तरह काम करता है जो निर्णय लेता है: "क्या हमें इस काम के लिए छोटा नोट चाहिए, या बड़ा नोट?"
आश्चर्यजनक रूप से, यह बजट संस्करण अन्य मौजूदा "अनुकूली" (adaptive) तरीकों की तुलना में बहुत बड़े अंतर से बेहतर प्रदर्शन करता है (कुछ कार्यों पर 20% तक बेहतर), क्योंकि यह इस बारे में अधिक स्मार्ट है कि कौन सा नोट उपयोग करना है।

परिणाम

यह शोध पत्र दिखाता है कि MoLF दोनों दुनियाओं का सर्वश्रेष्ठ संगम है:

यह "पूर्ण पुनलेखन" की तरह नए तथ्य सीखता है।
यह "स्टिकी नोट्स" की तरह तर्क को सुरक्षित रखता है।
यह यह सब स्वचालित रूप से करता है, बिना किसी मनुष्य द्वारा यह अनुमान लगाए कि किस कार्य के लिए कौन सा तरीका चुनना है।

संक्षेप में, MoLF AI को एक शक्तिशाली याद रखने वाली मशीन या एक सावधान विचारक में से किसी एक को चुनने के बजाय, दोनों होने से रोकता है। यह उसे दोनों बनने में सक्षम बनाता है, और कार्य की आवश्यकता के अनुसार तुरंत गियर बदल लेता है।

तकनीकी सारांश: LLM अनुकूलन के लिए ग्रेडिएंट-निर्देशित ऑप्टिमाइज़र रूटिंग (MoLF)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) की फाइन-ट्यूनिंग एक मौलिक संरचनात्मक ट्रेड-ऑफ का सामना करती है जो फुल फाइन-ट्यूनिंग (FFT) और लो-रैंक अडैप्टेशन (LoRA) के बीच है।

FFT उच्च प्रतिनिधित्व क्षमता (high representational plasticity) प्रदान करता है, जो उच्च-एन्ट्रॉपी ज्ञान (जैसे, तथ्यात्मक अपडेट) को इंजेक्ट करने के लिए आवश्यक है, लेकिन आक्रामक अनुकूलन के कारण प्री-ट्रेन्ड रीजनिंग क्षमताओं के विनाशकारी विस्मरण (catastrophic forgetting) का जोखिम उठाता है।
LoRA एक अंतर्निहित रेगुलराइज़र के रूप में कार्य करता है, जो प्री-ट्रेन्ड लॉजिक को सुरक्षित रखता है और ओवरफिटिंग को रोकता है, लेकिन यह एक क्षमता बाधा (capacity bottleneck) से ग्रस्त होता है जब कार्यों के लिए उच्च-रैंक अपडेट की आवश्यकता होती है (जैसे, जटिल तथ्यात्मक संबंधों को याद रखना)।

अनुभवजन्य साक्ष्य बताते हैं कि कोई भी स्थिर आर्किटेक्चर सार्वभौमिक रूप से इष्टतम नहीं है; सर्वोत्तम विकल्प कार्य की आंतरिक विमा (intrinsic dimensionality) और विशिष्ट मॉडल पर निर्भर करता है। मौजूदा समाधान, जैसे कि अडैप्टिव-रैंक LoRA या टोकन को रूट करने वाले Mixture-of-Experts (MoE), इस तनाव को हल करने में विफल रहते हैं क्योंकि वे या तो खोज स्थान (search space) को लो-रैंक सबस्पेस तक सीमित कर देते हैं या इनपुट को रूट करके ग्रेडिएंट सांख्यिकी को खंडित कर देते हैं, जिससे अस्थिर प्रशिक्षण गतिशीलता और कोल्ड-स्टार्ट की समस्याएं उत्पन्न होती हैं।

2. कार्यप्रणाली: MoLF और MoLF-Efficient

लेखक Mixture of LoRA and Full (MoLF) फाइन-ट्यूनिंग का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो फॉरवर्ड पास संरचना को बदले बिना एक ही प्रशिक्षण शासन (training regime) के भीतर FFT और LoRA को एकीकृत करता है।

मुख्य आर्किटेक्चर

MoLF बेस मॉडल वेट्स ( $W_{base}$ ) को एक "FFT एक्सपर्ट" के रूप में मानता है और कई स्वतंत्र LoRA अडैप्टर्स को "LoRA एक्सपर्ट्स" के रूप में इंजेक्ट करता है। पारंपरिक MoE के विपरीत, सभी एक्सपर्ट्स हर फॉरवर्ड और बैकवर्ड पास में भाग लेते हैं। फॉरवर्ड पास एक अनकंडीशनल सुपरपोजिशन है:
$y = W_{base}x + \sum_{i=1}^{N} \alpha_i \frac{1}{\sqrt{r_i}} B_i(A_i(\text{Dropout}(x)))$
जहाँ $\alpha_i$ एक रैंक-स्टेबलाइज्ड LoRA (RS-LoRA) स्केलिंग फैक्टर है।

ग्रेडिएंट-निर्देशित ऑप्टिमाइज़र रूटिंग

MoLF की नवीनता फॉरवर्ड पास के बजाय पैरामीटर अपडेट स्टेप को स्पार्सिफाई (sparsify) करने में निहित है। यह ढांचा एक कस्टम Sparse AdamW ऑप्टिमाइज़र का उपयोग करता है जिसमें तीन-चरणीय रूटिंग तंत्र है:

यूनिवर्सल मोमेंटम ट्रैकिंग: सभी एक्सपर्ट्स (FFT और LoRA) पूर्ण-बैच ग्रेडिएंट प्राप्त करते हैं और अपने Adam पहले ( $m_t$ ) और दूसरे ( $v_t$ ) मोमेंट अनुमानों को अपडेट करते हैं। यह सुनिश्चित करता है कि प्रत्येक एक्सपर्ट एक परिपक्व, डिबायस्ड मोमेंटम स्टेट बनाए रखे, जिससे अडैप्टिव-रैंक विधियों में देखी जाने वाली "कोल्ड-स्टार्ट" विफलता मोड से बचा जा सके।
एक्सपर्ट स्कोरिंग (Expected Preconditioned Descent - EPD): कच्चे ग्रेडिएंट नॉर्म्स के आधार पर रूट करने के बजाय, MoLF प्रत्येक एक्सपर्ट के लिए एक EPD स्कोर ( $S_t^{(i)}$ ) की गणना करता है। यह स्कोर इस बात का अनुमान लगाता है कि यदि उस एक्सपर्ट को अपडेट किया जाए तो प्रति पैरामीटर अपेक्षित लॉस रिडक्शन क्या होगा, जिसे पैरामीटर्स की संख्या ( $N_{params}^{(i)}$ ) द्वारा सामान्यीकृत किया गया है:
$S_t^{(i)} = \frac{\eta_t^{(i)}}{N_{params}^{(i)}} \sum_{\theta \in \Theta_i} \frac{(m_t^{(i)})^2}{\sqrt{v_t^{(i)} + \epsilon}}$
यह मीट्रिक ऑप्टिमाइज़र के इच्छित स्टेप साइज और स्थानीय लॉस टोपोलॉजी दोनों को ध्यान में रखता है, जिससे विशाल FFT बैकबोन और हल्के LoRA अडैप्टर्स के बीच निष्पक्ष तुलना संभव होती है।
Top-K स्पार्स अपडेट: केवल उच्चतम EPD स्कोर वाले शीर्ष- $K$ एक्सपर्ट्स (आमतौर पर $K=1$ ) ही मानक AdamW स्टेप के माध्यम से भौतिक वेट अपडेट प्राप्त करते हैं। हारने वाले एक्सपर्ट्स अपने पिछले वेट बनाए रखते हैं लेकिन ग्रेडिएंट सांख्यिकी को संचित करना जारी रखते हैं।

MoLF-Efficient (MoLF-E)

मेमोरी-बाधित वातावरण के लिए, MoLF-E FFT एक्सपर्ट को पूरी तरह हटा देता है। यह अलग-अलग रैंक (जैसे, $r$ और $128$) वाले LoRA एक्सपर्ट्स के जोड़े के बीच अपडेट को रूट करता है। यह वेरिएंट बेस वेट्स और नॉन-लीनियर पैरामीटर्स को फ्रीज कर देता है, जिससे डायनेमिक सबस्पेस सर्च के लाभ को बनाए रखते हुए मेमोरी ओवरहेड कम हो जाता है।

इन्फरेंस (Inference)

पोस्ट-ट्रेनिंग के बाद, MoLF जीरो-ओवरहेड इन्फरेंस की अनुमति देता है। सभी प्रशिक्षित LoRA एक्सपर्ट्स को सीधे बेस वेट्स में गणितीय रूप से प्रोजेक्ट किया जा सकता है ( $W_{final} = W_{base} + \sum \Delta W_i$ ), जिससे मल्टी-एक्सपर्ट ग्राफ को एक मानक डेंस मॉडल में समेट दिया जाता है जो बेस LLM आर्किटेक्चर के समान होता है।

3. प्रमुख योगदान

फाइन-ट्यूनिंग रेजिम्स का अनुभवजन्य लक्षण वर्णन: लेखक तीन डेटासेट्स (CounterFact, MedMCQA, Text-to-SQL) और तीन मॉडल्स (Gemma-3-1B, Qwen2.5-1.5B, Qwen2.5-3B) के माध्यम से FFT और LoRA का व्यवस्थित मूल्यांकन करते हैं। वे तीन अलग-अलग रेजिम्स की पहचान करते हैं:
- फैक्ट (क्षमता बाधा - Capacity Bottleneck): FFT हावी रहता है; LoRA उच्च-एन्ट्रॉपी, हेवी-टेल्ड सिंगुलर वैल्यू स्पेक्ट्रा को कैप्चर करने में विफल रहता है।
- मेड (स्पेक्ट्रल रेगुलराइजेशन - Spectral Regularization): हाई-रैंक LoRA, FFT से बेहतर प्रदर्शन करता है; लो-रैंक बाधा एक रेगुलराइज़र के रूप में कार्य करती है जो रीजनिंग के विनाशकारी विस्मरण को रोकती है।
- SQL (लो इंट्रिन्सिक डायमेंशन): दोनों समान प्रदर्शन करते हैं; LoRA केंद्रित सिंगुलर स्पेक्ट्रम को कुशलतापूर्वक कैप्चर करता है।
MoLF फ्रेमवर्क: एक एकीकृत विधि जो ऑप्टिमाइज़र स्तर पर डायनेमिक रूप से FFT और LoRA के बीच नेविगेट करती है, जो सभी एक्सपर्ट्स को ग्रेडिएंट एक्यूमुलेशन में सक्रिय रखकर स्थिर प्रशिक्षण गतिशीलता सुनिश्चित करती है।
MoLF-E: एक मेमोरी-कुशल वेरिएंट जो मौजूदा अडैप्टिव PEFT (जैसे, AdaLoRA, AdaMix) से बेहतर प्रदर्शन करता है, जो FFT पाथ के बिना विभिन्न रैंक के समानांतर LoRA एक्सपर्ट्स को बनाए रखता है।

4. प्रयोगात्मक परिणाम

MoTF बनाम स्टैटिक बेसलाइन्स: 9 सेटिंग्स (3 मॉडल्स $\times$ 3 टास्क) में, MoLF लगातार सर्वश्रेष्ठ स्टैटिक बेसलाइन (FFT या इष्टतम-रैंक LoRA) के बराबर या उससे बेहतर प्रदर्शन करता है। यह सभी मामलों में सर्वश्रेष्ठ बेसलाइन के 1.5% के भीतर रहता है और 3 कॉन्फ़िगरेशन में स्पष्ट रूप से सर्वश्रेष्ठ स्कोर प्राप्त करता है। विशेष रूप से, यह फैक्ट टास्क पर FFT-स्तर की क्षमता को पुनः प्राप्त करता है जबकि मेड टास्क पर FFT से 3.25% तक बेहतर प्रदर्शन करता है।
MoLF-E बनाम अडैप्टिव PEFT: MoLF-E, 9 में से 8 सेटिंग्स में AdaLoRA और AdaMix से बेहतर प्रदर्शन करता है। सुधार सबसे अधिक फैक्ट टास्क पर महत्वपूर्ण है, जहाँ MoLF-E सबसे खराब प्रदर्शन करने वाले बेसलाइन (AdaMix) की तुलना में 20% तक अधिक सटीकता प्राप्त करता है, क्योंकि यह क्षमता की कमी होने पर उच्च-रैंक सबस्पेस को प्रभावी ढंग से आवंटित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- स्पार्स अपडेट्स: सभी एक्सपर्ट्स को एक साथ अपडेट करना (डेंस अपडेट) मेड टास्क पर प्रदर्शन में भारी गिरावट का कारण बनता है, क्योंकि इससे प्रतिस्पर्धी प्रतिनिधित्व क्षमताओं के बीच ऑप्टिमाइज़ेशन दोलन (oscillations) होता है।
- रूटिंग ह्यूरिस्टिक: EPD स्कोर मेड टास्क पर प्रीकंडीशन्ड फ्रोबेनियस नॉर्म (PFN) से बेहतर प्रदर्शन करता है, जो दर्शाता है कि एक्सपर्ट्स के विभिन्न स्केल को संतुलित करने के लिए लर्निंग रेट और स्टेप साइज को शामिल करना महत्वपूर्ण है।
- रूटर स्थिरता: राउटर लगभग 500 स्टेप्स के भीतर एक स्थिर स्ट्रक्चरल असाइनमेंट की ओर तेजी से अभिसरित (converge) होता है, जहाँ विशिष्ट मॉड्यूल FFT या LoRA पथों में से किसी एक के लिए निश्चित रूप से प्रतिबद्ध होते हैं।

5. महत्व और दावे

पेपर का दावा है कि LLM अनुकूलन के लिए एकल स्थिर आर्किटेक्चर पर निर्भर रहना संरचनात्मक रूप से सीमित है। MoLF फॉरवर्ड पास को अपडेट मैकेनिज्म से अलग करके प्रतिनिधित्व क्षमता (representational plasticity) और अंतर्निहित रेगुलराइजेशन (implicit regularization) के बीच के तनाव को हल करता है।

लेखक का तर्क है कि MoLF प्रशिक्षण रेजिम्स के बीच "निरंतर नेविगेशन" प्रदान करता है, जिससे मॉडल को मैन्युअल हाइपरपैरामीटर ट्यूनिंग या व्यापक रैंक खोज के बिना ज्ञान इंजेक्शन के लिए FFT की उच्च क्षमता और रीजनिंग संरक्षण के लिए LoRA के रेगुलराइजेशन का लाभ उठाने की अनुमति मिलती है। इसके अलावा, पोस्ट-ट्रेनिंग के बाद मॉडल को कोलैप्स करने की क्षमता यह सुनिश्चित करती है कि ये लाभ इन्फरेंस लेटेंसी पेनल्टी का भार नहीं लाते हैं, जिससे यह दृष्टिकोण तैनाती के लिए व्यावहारिक बन जाता है। यह कार्य सुझाव देता है कि विविध एक्सपर्ट प्रकारों के लाभों को कैप्चर करने के लिए एक अभिव्यंजक (expressive) ट्रेन करने योग्य आर्किटेक्चर को बनाए रखते हुए केवल एक्सपर्ट-स्तरीय अपडेट को स्पार्सिफाई करना एक प्रभावी रणनीति है।