Queryable LoRA: Instruction-Regularized Routing Over Shared Low-Rank Update Atoms

तकनीकी सारांश: क्वेयरेबल लोरा (Queryable LoRA): साझा लो-रैंक अपडेट परमाणुओं पर निर्देश-नियमित रूटिंग

समस्या विवरण

मानक लो-रैंक एडेप्टेशन (LoRA) एक निश्चित, लेयर-स्थानीय निम्न-आयामी उप-स्थान ($\Delta W_\ell = \frac{\alpha}{r} B_\ell A_\ell$) तक अपडेट को सीमित करके पैरामीटर दक्षता प्राप्त करता है। हालांकि यह स्केलेबल है, लेकिन यह स्थिर संरचनात्मक सीमाएँ पेश करता है:

1. कठोरता (Rigidity): प्रत्येक इनपुट के लिए एक ही एडेप्टर का पुन: उपयोग किया जाता है, भले ही इष्टतम सुधार उदाहरणों या कम्प्यूटेशनल गहराई के अनुसार भिन्न हों।
2. विखंडन (Fragmentation): प्रशिक्षित क्षमता स्वतंत्र परतों में विभाजित होती है, जिससे मॉडल को विभिन्न गहराइयों पर आवर्ती अनुकूलन पैटर्न को फिर से सीखने के लिए मजबूर होना पड़ता है।
3. संदर्भ का अभाव (Lack of Context): मानक LoRA गहरी परतों में अपडेट को सूचित करने के लिए पिछली परतों से संचित जानकारी का उपयोग नहीं करता है।

मौजूदा विकल्प, जैसे कि हाइपरनेटवर्क्स जो टेक्स्ट निर्देशों से सघन भार (dense weights) उत्पन्न करते हैं, लचीलापन तो प्रदान करते हैं लेकिन द्विघातीय पैरामीटर स्केलिंग और अस्थिरता से ग्रस्त होते हैं। इसके विपरीत, स्थिर साझाकरण विधियाँ (जैसे, ShareLoRA) रेडंडेंसी को कम करती हैं लेकिन स्थिर रहती हैं और वर्तमान हिडन स्टेट के अनुसार अनुकूलित नहीं होती हैं।

कार्यप्रणाली (Methodology)

लेखक क्वेयरेबल लोरा (Queryable LoRA) का प्रस्ताव करते हैं, जो एक डेटा-अनुकूल विधि है जो स्थिर लेयर-स्थानीय एडेप्टर को लो-रैंक अपडेट परमाणुओं (low-rank update atoms) की एक वैश्विक रूप से साझा मेमोरी और एक ब्लॉकवाइज राउटर से बदल देती है।

मुख्य आर्किटेक्चर

एक निश्चित रूपांतरण के बजाय, लो-रैंक बॉटलनेक के भीतर अपडेट को गतिशील रूप से असेंबल किया जाता है:
$$\Delta W_\ell(h_\ell; c) = \frac{\alpha}{r} B_\ell \left( I_r + g_\ell S_b(c) \right) A_\ell$$
जहाँ:

• $S_b(c)$ एक रूटेड ऑपरेटर है जो साझा रैंक-स्पेस परमाणुओं $\{C_m\}_{m=1}^M$ के एक स्पार्स कॉनवेक्स कॉम्बिनेशन द्वारा निर्मित होता है।
• $g_\ell = \sigma(\eta_\ell)$ एक सीखा गया स्केलर गेट है।
• राउटर वर्तमान रैंक-स्पेस स्टेट और पिछले ब्लॉक्स के रनिंग समरी के आधार पर परमाणुओं का चयन करता है।

रूटिंग तंत्र (Routing Mechanism)

परतों को ब्लॉक्स $\{B_b\}$ में विभाजित किया गया है। प्रत्येक ब्लॉक के लिए, उपयुक्त अपडेट को पुनः प्राप्त करने के लिए एक क्वेरी $q_b$ निर्मित की जाती है:

1. क्वेरी निर्माण: क्वेरी एक स्थिर लेयर प्रायर, वर्तमान रैंक-स्पेस स्टेट ($s_{\ell_b}$), और एक वैकल्पिक बाहरी निर्देश एम्बेडिंग $e(c)$ को संयोजित करती है।
2. डेप्थ समरी (Depth Summary): गहराई-वार गणना को कैप्चर करने के लिए, राउटर वर्तमान क्वेरी और पिछले ब्लॉक सारांशों से प्राप्त अटेंशन वेट्स का उपयोग करके पिछले ब्लॉक्स के रनिंग समरी ($u_{b-1}^{att}$) पर ध्यान केंद्रित (attend) करता है।
3. निर्देश नियमितीकरण (Instruction Regularization): निर्देश के आधार पर परमाणुओं पर एक भाषा-प्रेरित प्रायर $p_m(c)$ की गणना की जाती है। इस प्रायर को रूटिंग लॉजिट्स में एक रेगुलराइज़र के रूप में जोड़ा जाता है:
   $$\tilde{\zeta}_{b,m}(c) = \zeta_{b,m} + \tau_{\text{lang}} \log p_m(c)$$
   यह अनियंत्रित भार उत्पन्न करने के बजाय, सिमेंटिक रूप से प्रासंगिक परमाणुओं की ओर रिट्रीवल को बायस (bias) करता है।
4. चयन: एक स्पार्स टॉप-$k$ सॉफ्टमैक्स अंतिम मिश्रण $S_b(c) = \sum \alpha_{b,m} C_m$ का चयन करता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर तीन प्रमुख सैद्धांतिक परिणाम प्रदान करता है:

1. वैरिएशनल लक्षण वर्णन (Variational Characterization): दिखाया गया है कि रूटिंग वेट्स एक वैरिएशनल समस्या का अद्वितीय समाधान हैं जो निर्देश प्रायर के प्रति KL पेनल्टी के साथ स्टेट यूटिलिटी को संतुलित करता है।
2. नॉर्म कंट्रोल (Norm Control): प्रभावी अपडेट बाध्य (bounded) रहता है क्योंकि यह बाध्य साझा परमाणुओं का एक कॉनवेक्स कॉम्बिनेशन है। यह मानक LoRA फाइन-ट्यूनिंग की स्थिरता को बनाए रखता है।
3. ग्रेडिएंट फैक्टराइजेशन (Gradient Factorization): साझा परमाणुओं के संबंध में ग्रेडिएंट सभी परतों के लो-रैंक योगदान का योग है, जो यह सुनिश्चित करता है कि मेमोरी को नेटवर्क की पूरी गहराई से स्ट्रक्चर्ड सुपरविजन प्राप्त हो।

मुख्य योगदान

1. क्वेयरेबल अपडेट मेमोरी: लो-रैंक परमाणुओं का एक वैश्विक रूप से साझा बैंक जो मॉडल को वर्तमान संदर्भ और गहराई के आधार पर पैरामीटर स्पेस को कॉन्फ़िगर करने की अनुमति देता है, जो स्थिर लेयर संशोधनों को प्रतिस्थापित करता है।
2. निर्देश नियमितीकरण: एक ऐसा तंत्र जो परमाणुओं के चयन को निर्देशित करने के लिए एक सिमेंटिक प्रायर के रूप में भाषा निर्देशों का उपयोग करता है, जिससे यह सुनिश्चित होता है कि अपडेट सिमेंटिक रूप से प्रासंगिक हों जबकि लो-रैंक बॉटलनेक की दक्षता बनी रहे।
3. अनुभवजन्य लाभ (Empirical Gains): साक्ष्य कि यह फॉर्मूलेशन शोर वाले नॉन-लीनियर रिग्रेशन और LLM फाइन-ट्यूनिंग बेंचमार्क पर टेस्ट परफॉरमेंस और ऑप्टिमाइज़ेशन स्थिरता में सुधार करता है, जो मानक LoRA के समान पैरामीटर काउंट का उपयोग करता है।
4. सैद्धांतिक स्थिरता: प्रमाण कि डायनेमिक अपडेट्स नॉर्म-नियंत्रित रहते हैं और रूटिंग तंत्र एक सिद्धांत-आधारित ऑप्टिमाइज़ेशन समस्या को हल करता है।

प्रयोगात्मक परिणाम

सिंथेटिक नॉन-कॉन्वेक्स रिग्रेशन

नौ स्टोकेस्टिक नॉन-कॉन्वेक्स बेंचमार्क फंक्शन (जैसे, Ackley, Dropwave, Levy) पर मूल्यांकन किया गया।

• निष्कर्ष: क्वेयरेबल दृष्टिकोण ने उन फंक्शनों पर स्थिर LoRA और अन्य PEFT बेसलाइन्स (DoRA, HyRA, RepLoRA) की तुलना में काफी बेहतर प्रदर्शन किया, जिनमें स्पष्ट स्थानीय विषमता (local heterogeneity) थी (जैसे, Dropwave, जहाँ स्थिर सुधार बहुत कठोर होते हैं)।
• स्थिरता: गहरे, संकीर्ण आर्किटेक्चर (32 लेयर्स) में, क्वेयरेबल विधि ने हाइपरनेटवर्क-आधारित और स्थिर विधियों में देखी गई विनाशकारी अस्थिरता और उच्च-लॉस प्लेटो (high-loss plateaus) से बचने में सफलता प्राप्त की।

LLM फाइन-ट्यूनिंग

Qwen0.5B और Mistral7B जैसे मॉडल्स का उपयोग करके सामान्य कार्यों (GPQA-Diamond, MBPP, ARC, Super-GLUE) और गणितीय तर्क कार्यों (GSM8K, MATH, Numina-Math) पर मूल्यांकन किया गया।

• सामान्य कार्य: इंस्ट्रक्शन-क्वेरेबल LoRA ने हर बेंचमार्क पर स्टैंडर्ड LoRA को पछाड़ दिया और सात में से छह कार्यों पर सबसे मजबूत विधि रहा, जो केवल मेमोराइजेशन के बजाय बेहतर जनरलाइजेशन का सुझाव देता है।
• गणितीय तर्क (Math Reasoning): विधि ने मल्टी-स्टेप रीजनिंग कार्यों पर सबसे मजबूत बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन किया, जो इस परिकल्पना का समर्थन करता है कि साझा रूटेड परमाणु डेप्थ-वाइज अनुकूलन में लाभ पहुंचाते हैं।
• निरंतर सीखना (Continual Learning): अनुक्रमिक प्रशिक्षण (MBPP $\to$ GSM8K $\to$ GPQA) में, मॉडल ने नए कार्यों के अनुकूल होने के साथ-साथ पुराने कार्यों पर प्रदर्शन बनाए रखा, जो स्पार्स, नॉन-यूनिफॉर्म मेमोरी एक्सेस और नियंत्रित रूट ड्रिफ्ट को प्रदर्शित करता है।
• दक्षता: स्टैटिक LoRA की तुलना में थोड़ा धीमा होने के बावजूद, क्वेयरेबल वेरिएंट्स RepLoRA और HyRA जैसे एक्सप्रेसिव डायनेमिक बेसलाइन्स की तुलना में काफी तेज़ थे, जिसमें नगण्य अरिथमेटिक ओवरहेड था।

महत्व और दावे

पेपर दावा करता है कि यह "स्टैटिक LoRA-शैली के अपडेट और पूर्ण रूप से जनरेटेड पैरामीटर अपडेट के बीच एक सिद्धांत-आधारित मध्य मार्ग" प्रदान करता है।

• दक्षता बनाम लचीलापन: यह LoRA की पैरामीटर दक्षता और स्केलेबिलिटी को बनाए रखता है जबकि इनपुट और गहराई के साथ प्रभावी अपडेट को बदलने की अनुमति देता है।
• स्थिरता: भार उत्पन्न करने के बजाय एक निश्चित मेमोरी से रिट्रीव करके, यह विधि टेक्स्ट-टू-वेट हाइपरनेटवर्क्स की अस्थिरता और द्विघातीय स्केलिंग से बचती है।
• व्याख्यात्मकता (Interpretability): आंतरिक स्टेट सिग्नल को ओवरराइड किए बिना अनुकूलन को निर्देशित करने के लिए एक सिमेंटिक प्रायर के रूप में भाषा का उपयोग एक व्याख्यात्मक तंत्र प्रदान करता है।
• सीमाएं: लेखक नोट करते हैं कि इसका लाभ सभी बेंचमार्क पर समान नहीं है, और ब्लॉकवाइज़ रूटिंग फॉरवर्ड-पास कम्प्यूटेशनल जटिलता को बढ़ाता है, हालांकि यह अन्य डायनेमिक विधियों के साथ प्रतिस्पर्धी बना रहता है। वे यह भी चेतावनी देते हैं कि प्रभावी फाइन-ट्यूनिंग की बाधा को कम करना हानिकारक मॉडल अनुकूलन को सुगम बना सकता है, जिसके लिए सावधानीपूर्वक रिलीज प्रथाओं की आवश्यकता है।