🤖 machine learning

Tight Sample Complexity for Low-Rank Adaptation: Matching Bounds and Rank Selection

यह शोध पत्र $\tilde{\Theta}(rd/n)$ के मिलान वाले ऊपरी और निचले दरों को सिद्ध करके लो-रैंक एडेप्टेशन (LoRA) के लिए सटीक सांख्यिकीय सीमाएँ स्थापित करता है, यह प्रदर्शित करते हुए कि जहाँ अनरेगुलराइज्ड एम्पिरिकल रिस्क मिनिमाइजेशन ओवर-रैंकिंग से ग्रस्त होता है, वहीं एडेप्टिव एस्टिमेटर्स सुदृढ़ बने रहते हैं, जिससे बड़े मॉडलों की फाइन-ट्यूनिंग के लिए रैंक चयन में अंतर्निहित ट्रेड-ऑफ स्पष्ट होता है।

मूल लेखक: Arunan J

प्रकाशित 2026-07-31

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arunan J

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अविश्वसनीय रूप से बुद्धिमान रोबोट को एक नया, विशिष्ट काम करना सिखाने की कोशिश कर रहे हैं, जैसे कि मज़ेदार चुटकुले लिखना या स्पैम ईमेल पहचानना। रोबोट पहले से ही बहुत सारा सामान्य ज्ञान जानता है, लेकिन उसे शुरू से फिर से प्रशिक्षित करना बहुत भारी और महंगा है। इसलिए, पूरे रोबोट के मस्तिष्क को फिर से लिखने के बजाय, आप एक छोटा, हल्का "एडैप्टर" (adapter) उससे जोड़ते हैं। यह एडैप्टर एक 'ट्रेनिंग व्हील्स' या एक विशेष टूलकिट की तरह है जो रोबोट को वह जो पहले से जानता है उसे बिगाड़े बिना नया कार्य सीखने में मदद करता है। यह लो-रैंक अडैप्टेशन (Low-Rank Adaptation - LoRA) नामक तकनीक के पीछे का मूल विचार है।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, "रैंक" (rank) एक फैंसी शब्द है जो यह बताता है कि आपके एडैप्टर में कितने अलग-अलग दिशाओं या "नॉब्स" (knobs/नियंत्रणों) को घुमाया जा सकता है। यदि आपके पास एक बहुत छोटा एडैप्टर है जिसमें बहुत कम नॉब्स हैं, तो यह एक कठिन कार्य सीखने के लिए बहुत सरल हो सकता है। लेकिन यदि आप इसे बहुत अधिक नॉब्स दे देते हैं, तो यह भ्रमित हो सकता है और वास्तव में नियमों को सीखने के बजाय प्रशिक्षण के उदाहरणों को रटने लग सकता है—यह थोड़ा वैसा ही है जैसे कोई छात्र अभ्यास परीक्षा के उत्तर रट लेता है लेकिन वास्तविक परीक्षा में विफल हो जाता है क्योंकि उसने अवधारणाओं को नहीं समझा। लंबे समय तक, वैज्ञानिकों को पता था कि कुछ नॉब्स होना अच्छा है, लेकिन उनके पास कोई स्पष्ट गणितीय नियम नहीं था कि ठीक कितने नॉब्स "बिल्गी सही" (just right) थे। उन्हें यह भी नहीं पता था कि बहुत अधिक नॉब्स होना वास्तव में खतरनाक था या केवल हानिरहित।

यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ लेखकों ने अंततः "गोल्डिलॉक्स" (Goldilocks - न बहुत कम, न बहुत ज्यादा, बल्कि बिल्कुल सही) रैंक के रहस्य को सुलझा लिया है। वे सख्त गणितीय प्रमाणों का उपयोग करके यह सिद्ध करते हैं कि इस विशिष्ट प्रकार के एडैप्टर के लिए, बहुत अधिक नॉब्स होना हानिरहित नहीं है; बल्कि यह रोबोट को उसके काम में और खराब कर देता है। वे सिद्ध करते हैं कि प्रत्येक कार्य के लिए नॉब्स की एक सटीक, विशिष्ट संख्या होती है, और यदि आप विशेष सुरक्षा उपायों के बिना उस संख्या से ऊपर जाते हैं, तो रोबोट का प्रदर्शन गिरना शुरू हो जाएगा। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इस सिद्धांत को सिद्ध करने के लिए एक गणितीय मॉडल बनाया और फिर यह देखने के लिए कि क्या सिद्धांत वास्तविक दुनिया में टिकता है, इसे वास्तविक कंप्यूटर मॉडलों पर परखा।

"बिल्कुल सही" एडैप्टर का रहस्य

तो, आपके पास एक विशाल, प्री-ट्रेंड एआई मॉडल है, और आप इसे एक नए काम के लिए ट्यून करना चाहते हैं। आप LoRA का उपयोग करते हैं, जो मॉडल में एक छोटा, लो-रैंक मैट्रिक्स (मान लीजिए कि एक "करेक्शन लेयर") जोड़ता है। इस उपकरण का उपयोग करने वाले किसी भी व्यक्ति के लिए बड़ा सवाल यह है: इस करेक्शन लेयर को कितना बड़ा होना चाहिए?

यदि आप इसे बहुत छोटा बनाते हैं (बहुत कम "नॉब्स"), तो लेयर नए कार्य को पकड़ने के लिए बहुत सरल होती है। यह एक जटिल इंजन को ठीक करने के लिए एक छोटे पेचकस का उपयोग करने जैसा है; आप बस काम पूरा नहीं कर सकते। इसे अंडर-रैंकिंग (under-ranking) कहा जाता है। शोध पत्र पुष्टि करता है कि यदि आप ऐसा करते हैं, तो आपकी त्रुटि दर एक "फ्लोर" (floor) पर पहुँच जाती है—एक ऐसी सीमा जिसे आप चाहे कितना भी डेटा दे दें, आप तोड़ नहीं सकते।

लेकिन यहाँ वह मोड़ है जिसे यह शोध पत्र खोजता है: यदि आप लेयर को बहुत बड़ा बनाते हैं (बहुत अधिक "नॉब्स"), तो यह केवल स्थिर नहीं रहता; यह सक्रिय रूप से बदतर हो जाता है। इसे ओवर-रैंकिंग (over-ranking) कहा जाता है।

"वैरिएंस लीक" (Variance Leak) का सादृश्य

यह समझने के लिए कि बहुत अधिक नॉब्स होना क्यों बुरा है, कल्पना करें कि आप एक पाइप से पानी की बाल्टी भरने की कोशिश कर रहे हैं।

लक्ष्य (The Target): आप बाल्टी को ठीक 10 लीटर पानी से भरना चाहते हैं (सही उत्तर)।
शोर (The Noise): पाइप से आने वाला पानी थोड़ा अस्थिर है और इधर-उधर छलक रहा है (यह आपके डेटा में मौजूद यादृच्छिक शोर/random noise है)।
नॉब्स (The Knobs): आपके पाइप में 10 सेटिंग्स वाला एक डायल है (रैंक)।

यदि सही उत्तर के लिए केवल 4 सेटिंग्स की आवश्यकता है, लेकिन आप डायल को 10 तक घुमा देते हैं, तो कुछ अजीब होता है। अतिरिक्त 6 सेटिंग्स आपको अधिक पानी पाने में मदद नहीं करतीं; इसके बजाय, वे पाइप से आने वाले सभी छपाकों और यादृच्छिक शोर को पकड़ना शुरू कर देती हैं। आपके पास जितने अधिक अतिरिक्त सेटिंग्स होंगे, आप उतना ही अधिक शोर अपनी बाल्टी में आने देंगे।

शोध पत्र गणितीय रूप से सिद्ध करता है कि इन एडैप्टर्स को प्रशिक्षित करने के मानक तरीके (जिसे एम्पीरिकल रिस्क मिनिमाइजेशन या ERM कहा जाता है) के लिए, प्रत्येक अतिरिक्त नॉब जो आप आवश्यक मात्रा से अधिक जोड़ते हैं, वह आपके अंतिम परिणाम में एक रैखिक (linear) मात्रा में "शोर" जोड़ता है। यह एक कोमल वक्र (curve) नहीं है; यह ऊपर जाता हुआ एक सीधा रेखा है। यदि आप अतिरिक्त नॉब्स की संख्या को दोगुना करते हैं, तो आप त्रुटि को भी दोगुना कर देते हैं।

दो मार्ग: "नाइव" (Naive) बनाम "स्मार्ट" (Smart)

लेखकों ने पाया कि परिणाम पूरी तरह से इस बात पर निर्भर करता है कि आप एडैप्टर को कैसे प्रशिक्षित करते हैं। उन्होंने दो अलग-अलग पथों की पहचान की:

नाइव पथ (Constrained ERM): यह वह मानक तरीका है जिसे अधिकांश लोग LoRA के रूप में उपयोग करते हैं। आप एक रैंक $r$ चुनते हैं और बस मॉडल को डेटा के अनुरूप ढलने के लिए प्रशिक्षित करते हैं।
- परिणाम: यदि आप सटीक रैंक ( $r^*$ ) चुनते हैं, तो आपको सबसे अच्छा परिणाम मिलता है। यदि आप बहुत कम रैंक चुनते हैं, तो आप क्षमता की कमी के कारण विफल हो जाते हैं। यदि आप बहुत अधिक रैंक चुनते हैं, तो आप बहुत अधिक शोर सोख लेते हैं और विफल हो जाते हैं। शोध पत्र दिखाता है कि इस पद्धति के लिए, ओवर-रैंकिंग स्पष्ट रूप से हानिकारक है। त्रुटि रैंक के साथ रैखिक रूप से बढ़ती है।
स्मार्ट पथ (Adaptive Estimators): यह एक अधिक परिष्कृत विधि है जहाँ आप एक विशेष गणितीय ट्रिक (जिसे न्यूक्लियर-नॉर्म रेगुलराइजेशन कहा जाता है) का उपयोग करते हैं जो स्वचालित रूप से यह पता लगा लेती है कि वास्तव में कितने नॉब्स की आवश्यकता है।
- परिणाम: यदि आप इस "स्मार्ट" तरीके का उपयोग करते हैं, तो इससे कोई फर्क नहीं पड़ता कि आप मॉडल को 100 नॉब्स देते हैं या 1,000 नॉब्स। गणित उन अतिरिक्त नॉब्स को बंद करने के लिए मजबूर करता है। त्रुटि कम और स्थिर रहती है, चाहे आपने रैंक को कितना भी बड़ा क्यों न रखा हो।

"U-शेप" की खोज

शोध पत्र का सबसे रोमांचक हिस्सा यह है कि उन्होंने केवल कागज पर गणित नहीं किया; उन्होंने इसका परीक्षण भी किया। उन्होंने वास्तविक AI मॉडल (जैसे DistilBERT और RoBERTa) लिए और उन्हें वास्तविक कार्यों (जैसे टेक्स्ट में भावना विश्लेषण) पर चलाया।

उन्होंने विभिन्न रैंकों के साथ (बहुत छोटे से लेकर बहुत बड़े तक) अपने मॉडलों को चलाया और परिणामों को प्लॉट किया। ग्राफ एक पूर्ण U-आकार (U-shape) जैसा दिखता था:

बायां हिस्सा (Low Rank): उच्च त्रुटि क्योंकि मॉडल बहुत सरल है।
नीचे का हिस्सा (Just Right): सबसे कम त्रुटि बिंदु। यह कार्य की "इंट्रिन्सिक रैंक" (intrinsic rank) है।
दायां हिस्सा (High Rank): त्रुटि वापस ऊपर चढ़ने लगती है।

दो मामलों में, जब उन्होंने रैंक को बहुत अधिक बढ़ाया, तो प्रदर्शन काफी खराब हो गया, जिसकी सांख्यिकीय निश्चितता 99% (p-value 0.016) थी। इसने उनके सिद्धांत की पुष्टि की: वास्तविक दुनिया में, उनके गणित की तरह ही, बिना विशेष रेगुलराइजेशन के बहुत अधिक पैरामीटर जोड़ने से मॉडल को नुकसान पहुँचता है।

इसका आपके लिए क्या अर्थ है

शोध पत्र एक बहुत ही व्यावहारिक सलाह के साथ समाप्त होता है। यदि आप LoRA के मानक तरीके ( "नाइव पथ") का उपयोग कर रहे हैं, तो आपको सुरक्षित रहने के लिए केवल उच्च रैंक का अनुमान नहीं लगाना चाहिए। वास्तव में, "सुरक्षित" होने के लिए ओवर-पैरामीटराइजेशन करना ही समस्या का कारण बनता है।

इसके बजाय, आपको:

कुछ अलग-अलग रैंक आज़मानी चाहिए।
उस बिंदु की तलाश करनी चाहिए जहाँ प्रदर्शन बेहतर होना बंद हो जाता है और बदतर होना शुरू हो जाता है (U का निचला हिस्सा)।
उस विशिष्ट रैंक को चुनना चाहिए।

या, यदि आप थोड़ा सहज रहना चाहते हैं, तो "स्मार्ट पथ" (न्यूक्लियर-नॉर्म विधि) का उपयोग करें जो स्वचालित रूप से आपके लिए सही संख्या का पता लगा लेता है, ताकि आपको रैंक की चिंता न करनी पड़े।

लेखक इन निष्कर्षों के बारे में बहुत आश्वस्त हैं क्योंकि उन्होंने इन्हें कठोर गणित (Fano's inequality और local Rademacher complexity जैसे उपकरणों का उपयोग करके) के साथ सिद्ध किया है और फिर वास्तविक दुनिया के प्रयोगों के माध्यम से सत्यापित किया है। उन्होंने इस अंतर को पाट दिया है कि हम क्या सोचते थे और अब हम क्या जानते हैं: मानक LoRA के लिए, अधिक होना बेहतर नहीं है; यह स्पष्ट रूप से बदतर है।

तकनीकी सारांश: लो-रैंक एडेप्टेशन के लिए टाइट सैंपल कॉम्प्लेक्सिटी

समस्या विवरण

लो-रैंक एडेप्टेशन (LoRA) प्रीट्रेंड मॉडल्स को फाइन-ट्यून करने के लिए एक मानक तंत्र बन गया है, फिर भी इसके सांख्यिकीय गुणों को केवल आंशिक रूप से ही समझा जा सका है। जबकि अनुभवजन्य प्रमाण (empirical evidence) यह सुझाव देते हैं कि एक निश्चित कार्य-निर्भर थ्रेशोल्ड के बाद LoRA रैंक $r$ को बढ़ाने से सामान्यीकरण (generalization) में गिरावट आती है, मौजूदा सैद्धांतिक कार्य इस घटना की व्याख्या करने या रैंक चयन के लिए औपचारिक मार्गदर्शन प्रदान करने में विफल रहते हैं।

पूर्ववर्ती सैद्धांतिक परिणामों ने $\tilde{O}(\sqrt{rd/n})$ या $\tilde{O}(rd/n)$ के रूप में LoRA की सैंपल कॉम्प्लेक्सिटी पर ऊपरी सीमाएं स्थापित की हैं, लेकिन एक मिलान करने वाला निचला बाउंड (lower bound) गायब है। फलस्वरूप, यह स्पष्ट नहीं है कि देखे गए अभिसरण दरें (convergence rates) मौलिक हैं या प्रमाण तकनीकों के आर्टिफैक्ट्स। इसके अलावा, अनुकूलतम रैंक $r$ को कैसे चुना जाए, यह प्रश्न एक औपचारिक उत्तर के बिना रह गया है, जिससे अभ्यासकर्ताओं (practitioners) के पास उच्च रैंकों पर वैलिडेशन लॉस में देखे जाने वाले "U-आकार" के लिए कोई सैद्धांतिक औचित्य नहीं है।

कार्यप्रणाली

यह शोध पत्र एक सुस्पष्ट, स्थानीय रूप से क्वाड्रेटिक रिजीम (locally quadratic regime) के भीतर Lo-RA फाइन-ट्यूनिंग की सांख्यिकीय जटिलता का विश्लेषण करता है। यह सेटिंग सुपर्वाइज्ड लर्निंग की है जहाँ एक प्रीट्रेंड मॉडल $f_0$ को एक लो-रैंक करेक्शन $\Delta = BA$ के माध्यम से अनुकूलित किया जाता है, जहाँ $A \in \mathbb{R}^{r \times d}$ और $B \in \mathbb{R}^{d \times r}$ है। विश्लेषण चार प्रमुख धारणाओं पर आधारित है:

बाउंडेड लॉस (Bounded Loss): लॉस फंक्शन बाउंडेड और लिप्सचिट्ज़ (Lipschitz) है।
बाउंडेड इनपुट्स/मॉडल (Bounded Inputs/Model): इनपुट्स और प्रीट्रेंड नॉन-लिनियैरिटी बाउंडेड हैं।
रियलाइजेबिलिटी (Realizability): लक्षित एडेप्टेशन $\Delta^*$ रैंक- $r^*$ LoRA क्लास के भीतर है।
लोकल क्वाड्रेटिक एक्सीस रिस्क (Local Quadratic Excess Risk): पॉपुलेशन रिस्क लक्ष्य के आसपास स्ट्रॉन्गली कॉन्वेक्स है, जो एक स्थानीय क्वाड्रेटिक स्थिति को संतुष्ट करता है।

कार्यप्रणाली तीन प्राथमिक तकनीकी उपकरणों का उपयोग करती है:

लोकल रेडमेकर कॉम्प्लेक्सिटी (Local Rademacher Complexity): एम्पेरिकल रिस्क मिनिमाइज़र (ERM) के एक्सीस रिस्क पर ऊपरी बाउंड प्राप्त करने के लिए इसका उपयोग किया जाता है। प्रमाण रैंक- $r$ मैनिफोल्ड के कवरिंग नंबर और डडली के एंट्रॉपी इंटीग्रल का उपयोग करता है, साथ ही स्लो रेट्स ( $\sqrt{rd/n}$ ) को फास्ट रेट्स ($rd/n$) में बदलने के लिए लोकलाइजेशन का उपयोग करता है।
फैनो की असमानता और पैकिंग तर्क (Fano's Inequality and Packing Arguments): मिनिमैक्स लोअर बाउंड स्थापित करने के लिए इनका उपयोग किया जाता है। LoRA समस्या को एक ट्रेस रिग्रेशन मॉडल में बदल दिया जाता है, और $\mathbb{R}^{d \times d}$ के रैंक- $r$ सबस्पेस के लिए एक गिलबर्ट-वरशामो (Gilbert-Varshamov) पैकिंग का निर्माण किया जाता है ताकि यह सिद्ध किया जा सके कि कोई भी एस्टिमेटर $\Omega(rd/n)$ से बेहतर दर प्राप्त नहीं कर सकता है।
बायस-वैरिएंस डिकंपोजिशन (Bias-Variance Decomposition): अंडर-रैंकिंग (एप्रोक्सिमेशन एरर) और ओवर-रैंकिंग (एस्टिमेशन एरर) के बीच के ट्रेड-ऑफ का विश्लेषण करने के लिए इसका उपयोग किया जाता है।

मुख्य योगदान

यह शोध पत्र तीन मुख्य प्रमेय प्रदान करता है जो सामूहिक रूप से LoRA की सांख्यिकीय जटिलता को परिभाषित करते हैं:

टाइट अपर बाउंड (Theorem 1):
निर्धारित धारणाओं के तहत, रैंक- $r$ LoRA क्लास पर ERM का एक्सीस रिस्क $\tilde{O}(rd/n)$ द्वारा सीमित है, बशर्ते कि लक्षित एडेप्टेशन का रैंक $r$ या उससे कम हो। यह परिणाम लोकल रेडमेकर कॉम्प्लेक्सिटी और लोकल क्वाड्रेटिक कर्वेचर से प्राप्त बर्नस्टीन कंडीशन का उपयोग करके पूर्ववर्ती स्लो-रेट बाउंड्स ( $\tilde{O}(\sqrt{rd/n})$ ) में सुधार करता है।
मैचिंग मिनिमैक्स लोअर बाउंड (Theorem 2):
किसी भी एस्टिमेटर के लिए, जिसका आउटपुट रैंक- $r$ LoRA क्लास में होता है, एक लोअर बाउंड $\Omega(rd/n)$ सिद्ध किया गया है। यह रैंक- $r$ सबस्पेस के फानो-टाइप पैकिंग के माध्यम से प्राप्त किया गया है। मिलान करने वाले ऊपरी और निचले बाउंड (लॉगारिदमिक फैक्टर्स तक) यह पुष्टि करते हैं कि $rd/n$ की दर समस्या के लिए मौलिक है, न कि प्रमाण तकनीक का कोई आर्टिफैक्ट।
रैंक सिलेक्शन डिकोटॉमी (Theorem 3 & 4):
यह शोध पत्र $r^*$ के सापेक्ष रैंक $r$ के चुनाव के आधार पर एस्टिमेटर्स के व्यवहार में एक स्पष्ट द्वैत (dichotomy) स्थापित करता है:

अंडर-रैंकिंग ( $r < r^*$ ): एक्सीस रिस्क एक स्थिर एप्रोक्सिमेशन फ्लोर द्वारा डोमिनेट होता है जो लक्ष्य के टेल सिंगुलर वैल्यूज ( $\sum_{i>r} \sigma_i(\Delta^*)^2$ ) द्वारा निर्धारित होता है।
ओवर-रैंकिंग ( $r > r^*$ ) कंस्ट्रेंड ERM के साथ: एस्टिमेशन एरर $r$ के साथ रैखिक रूप से बढ़ता है, जो $\tilde{\Theta}(rd/n)$ के रूप में स्केल करता है। ERM उपलब्ध रैंक को "सैचुरेट" कर देता है, जिससे शोर (noise) के साथ सभी $r$ सिंगुलर दिशाओं को भर दिया जाता है, जिससे रिप्रेजेंटेशनल गेन के बिना वेरिएंस पेनल्टी उत्पन्न होती है।
ओवर-रैंकिंग एडेप्टिव एस्टिमेटर्स के साथ: उन एस्टिमेटर्स के लिए जो अपने इंट्रिंसिक रैंक के अनुकूल होते हैं (जैसे, न्यूक्लियर-नॉर्म-रेगुलराइज्ड एस्टिमेटर्स जिन्हें बाद में ट्रंकेट किया जाता है), ओवर-रैंकिंग पेनल्टी समाप्त हो जाती है। दर $r$ के लिए $\tilde{\Theta}(r^*d/n)$ पर सैचुरेट हो जाती है, चाहे चुना गया $r$ कुछ भी हो।

परिणाम और अनुभवजन्य सत्यापन

सैद्धांतिक भविष्यवाणियों को दो प्रकार के प्रयोगों के माध्यम से सत्यापित किया गया है:

सिंथेटिक ट्रेस रिग्रेशन:
एक पूर्णतः कंप्यूट योग्य ट्रेस रिग्रेशन बेंचमार्क ( $d=64, n=2000$ ) सैद्धांतिक U-आकार की पुष्टि करता है। कंस्ट्रेंड ERM इंट्रिंसिक रैंक $r^*=4$ पर एक न्यूनतम बिंदु प्रदर्शित करता है, जिसके बाद $r$ के बढ़ने पर एक्सीस रिस्क रैखिक रूप से बढ़ता है। इसके विपरीत, एक एडेप्टिव न्यूक्लियर-नॉर्म एस्टिमेटर सभी $r \geq r^*$ के लिए एक फ्लैट एरर रेट बनाए रखता है।
वास्तविक LoRA फाइन-ट्यूनिंग:
तीन कॉन्फ़िगरेशन पर प्रयोग किए गए: SST-2 पर DistilBERT, MRPC पर DistilBERT, और SST-2 पर RoBERTa। सभी कॉन्फ़िगरेशन में एक सुस्पष्ट इष्टतम रैंक और बड़े रैंक पर गिरावट देखी गई।

DistilBERT/SST-2: इष्टतम रैंक $r=8$ ; $r=128$ पर महत्वपूर्ण लॉस इन्फ्लेशन ( $p=0.016$ )।
RoBERTa/SST-2: इष्टतम रैंक $r=32$ ; $r=128$ पर महत्वपूर्ण लॉस इन्फ्लेशन ( $p=0.016$ ), जिसमें सटीकता लगभग चांस लेवल तक गिर जाती है।
DistilBERT/MRPC: इष्टतम रैंक $r=32$ ; $r=128$ पर एक सकारात्मक लेकिन सांख्यिकीय रूप से कमजोर प्रभाव ( $p=0.29$ ), जो सिद्धांत के अनुरूप है कि कठिन कार्य (उच्च इंट्रिंसिक रैंक) बड़े रैंक को अधिक समय तक सहन कर सकते हैं।

महत्व और दावे

यह शोध पत्र LoRA की समझ में दो महत्वपूर्ण अंतराल को भरने का दावा करता है:

सांख्यिकीय जटिलता: यह LoRA के लिए पहला मैचिंग मिनिमैक्स बाउंड प्रदान करता है, यह स्थापित करता है कि सुस्पष्ट रिजीम में सैंपल कॉम्प्लेक्सिटी मौलिक रूप से $\Theta(rd/n)$ है।
रैंक चयन: यह इस अनुभवजन्य अवलोकन की एक औपचारिक व्याख्या प्रदान करता है कि अनरेगुलराइज्ड ERM का उपयोग करते समय LoRA में ओवर-पैरामीट्राइजेशन हानिकारक होता है। फुल-पैरामीटर फाइन-ट्यूनिंग के विपरीत, जहाँ ओवर-पैरामीट्राइजेशन इम्प्लिसिट रेगुलराइजेशन के कारण सौम्य हो सकता है, LoRA का कंस्ट्रेंट सेट एक लो-डायमेंशनल नॉन-कॉन्वेक्स मैनिफोल्ड है। फलस्वरूप, क्लासिकल बायस-वैरेंस ट्रेड-ऑफ हावी हो जाता है: $r^*$ से अधिक $r$ बढ़ाने से बायस कम हुए बिना वेरिएंस बढ़ जाता है।

लेखक निष्कर्ष निकालते हैं कि LoRA क्लास पर अनरेगुलराइज्ड एम्पिरिकल रिस्क मिनिमाइजेशन पर देखा गया "ओवर-पैरामीट्राइजेशन पेनल्टी" LoRA आर्किटेक्चर की अपनी खामी नहीं, बल्कि एक गुण है। शोध पत्र सुझाव देता है कि अभ्यासकर्ताओं को या तो उस न्यूनतम रैंक का चयन करना चाहिए जो वैलिडेशन एरर को कम करता है, या ऑटोमैटिक रूप से इंट्रिंसिक रैंक के अनुकूल होने के लिए एडेप्टिव रेगुलराइजेशन (जैसे, न्यूक्लियर-नॉर्म पेनल्टी) का उपयोग करना चाहिए।

इन परिणामों का दायरा सुस्पष्ट, स्थानीय रूप से क्वाड्रेटिक रिजीम तक सीमित है। लेखक नोट करते हैं कि मिसस्पेसिफाइड टारगेट्स, गैर-क्वाड्रेटिक लॉस लैंडस्केप्स, और ऑप्टिमाइजेशन डायनेमिक्स (SGD/Adam) एवं सांख्यिकीय सीमाओं के बीच परस्पर क्रिया जैसे विषयों पर विस्तार अभी भी खुले प्रश्न हैं।