तकनीकी सारांश: LoRA रैंकों के माध्यम से लर्निंग रेट स्केलिंग और फुल फाइनट्यूनिंग में स्थानांतरण

समस्या विवरण (Problem Statement)

लो-रैंक अडैप्टेशन (LoRA) बड़े मॉडलों के पैरामीटर-कुशल फाइनट्यूनिंग (PEFT) के लिए एक मानक विधि है, जो फ्रीज्ड प्री-ट्रेन्ड वेट्स में एक लो-रैंक फैक्टराइजेशन $\alpha BA$ जोड़ता है। हालाँकि, LoRA की ट्रेनिंग डायनेमिक्स हाइपरपैरामीटर इंटरैक्शन के प्रति अत्यधिक संवेदनशील है, विशेष रूप से इनिशियलाइज़ेशन स्कीम (कौन सा फैक्टर रैंडमाइज्ड बनाम ज़ीरो किया गया है), रैंक-डिपेंडेंट स्केलिंग मल्टीप्लायर $\alpha$, और लर्निंग रेट $\eta$ के संदर्भ में।

अभ्यासकर्ताओं (Practitioners) के सामने एक महत्वपूर्ण चुनौती है: अनुकूलतम लर्निंग रेट (optimal learning rate) LoRA रैंक $r$ के परिवर्तनों के प्रति अपरिवर्तनीय (invariant) नहीं है। रैंक बदलना या मानक डिज़ाइन विकल्पों (जैसे, $Init[A]$बनाम$Init[B]$, या$\alpha=1$बनाम$\alpha=r^{-1}$) के बीच स्विच करना अक्सर एक पूर्व-अनुकूलतम लर्निंग रेट को उप-अनुकूलतम (suboptimal) बना देता है, जिससे महंगी री-ट्यूनिंग की आवश्यकता होती है। इसके अलावा, यह स्पष्ट नहीं है कि लर्निंग रेट को LoRA कॉन्फ़िगरेशन से फुल फाइनट्यूनिंग (FFT) में कैसे स्थानांतरित किया जाए, जो एक कम्प्यूटेशनल रूप से महंगी प्रक्रिया है। मुख्य प्रश्न जिसका समाधान किया गया है: विभिन्न LoRA कॉन्फ़िगरेशन के तहत अनुकूलतम लर्निंग रेट $\eta$, एडेप्टर रैंक $r$ और मॉडल विड्थ $n$ पर कैसे निर्भर करता है?

कार्यप्रणाली (Methodology)

लेखक मैक्सिमल-अपडेट अडैप्टेशन ($\mu A$) पेश करते हैं, जो प्रीट्रेनिंग में उपयोग किए जाने वाले मैक्सिमल-अपडेट पैरामीट्राइजेशन ($\mu P$) से प्रेरित एक सैद्धांतिक ढांचा है। विश्लेषण संयुक्त सीमा (joint limit) में किया गया है जहाँ मॉडल विड्थ $n$ और LoRA रैंक $r$ दोनों अनंत की ओर बढ़ते हैं ($n, r \to \infty$)।

सैद्धांतिक ढांचा (Theoretical Framework)

1. स्थिरता और गैर-लुप्त होते अपडेट (Stability and Non-Vanishing Updates): फ्रेमवर्क "स्थिर फीचर लर्निंग" को परिभाषित करता है, जो एक ऐसी स्थिति है जहाँ फीचर अपडेट सीमित ($O(1)$) रहते हैं ताकि विस्फोट (explosion) को रोका जा सके, फिर भी गैर-लुप्त ($\Theta(1)$) होते हैं ताकि सीखना रुक न जाए।
2. अपडेट का अपघटन (Decomposition of Updates): फीचर अपडेट $\Delta Z_B$ को तीन टर्म्स ($\delta_1, \delta_2, \delta_3$) में विभाजित किया गया है, जो एक फैक्टर के फिक्स्ड होने पर दूसरे के लीनियर अपडेट और दोनों के मल्टीप्लिकेटिव अपडेट का प्रतिनिधित्व करते हैं। सिद्धांत विभिन्न इनिशियलाइज़ेशन स्कीम्स के तहत इन टर्म्स के एसिम्प्टोटिक स्केलिंग का विश्लेषण करता है।
3. मान्यताएं (Assumptions): विश्लेषण बाउंडेड फॉरवर्ड/बैकवर्ड सिग्नल्स को मानता है और क्लोज्ड-फॉर्म स्केलिंग रूल्स प्राप्त करने के लिए साइन-एसजीडी (SignSGD) ऑप्टिमाइज़र एब्स्ट्रैक्शन (जो एडम (Adam) का एक सुलभ प्रॉक्सी है) का उपयोग करता है।
4. इनिशियलाइज़ेशन स्कीम्स:
   • Init[A]: $A$ को रैंडमली इनिशियलाइज़ किया जाता है ($A \sim \mathcal{N}(0, 1/n)$), $B=0$।
   • Init[B]: $B$ को रैंडमली इनिशियलाइज़ किया जाता है ($B \sim \mathcal{N}(0, 1/r)$), $A=0$।
5. स्केलिंग मल्टीप्लायर्स: अध्ययन $\alpha$ के लिए सामान्य विकल्पों का परीक्षण करता है, जिसमें कांस्टेंट वैल्यूज़ ($\alpha=1$) और रैंक-डिपेंडेंट वैल्यूज़ ($\alpha=r^{-1}$) शामिल हैं।

स्केलिंग रूल्स का व्युत्पत्ति (Derivation of Scaling Rules)

$\Delta Z_B = \Theta(1)$ की शर्त को लागू करके, लेखक $n$ और $r$ के फलन (function) के रूप में $\eta$ के लिए स्पष्ट स्केलिंग प्रिस्क्रिप्शन निकालते हैं:

• Init[A] के लिए: अनुकूलतम लर्निंग रेट $n$ और $r$ दोनों पर निर्भर करता है। विशेष रूप से, यदि $\alpha=1$, तो $\eta \propto n^{-1/2}r^{-1/2}$। यदि $\alpha=r^{-1}$, तो $\eta \propto n^{-1/2}$ (रैंक-इनवेरिएंट)।
• Init[B] के लिए: $\alpha=1$ के साथ, अनुकूलतम लर्निंग रेट $\eta \propto n^{-1}$ के रूप में स्केल होता है और रैंक $r$ से स्वतंत्र है। महत्वपूर्ण रूप से, यह स्केलिंग समान मान्यताओं के तहत एक लीनियर लेयर के फुल फाइनट्यूनिंग (FFT) के लिए सैद्धांतिक आवश्यकता से मेल खाती है।

मुख्य योगदान (Key Contributions)

1. $\mu A$ फ्रेमवर्क: $n, r \to \infty$ की संयुक्त सीमा में LoRA फाइनट्यूनिंग डायनेमिक्स को चित्रित करने वाला एक सैद्धांतिक ढांचा, जो मैक्सिमल (स्टेबल) अडैप्टेशन की स्थितियों को परिभाषित करता है।
2. दो रेजीमों की पहचान:
   • रैंक-डिपेंडेंट रेजीम: कांस्टेंट $\alpha$ के साथ $Init[A]$ के तहत, अनुकूलतम लर्निंग रेट रैंक के व्युत्क्रमानुपाती (inversely proportional) होता है (जैसे, $\eta \propto r^{-1/2}$)।
   • रैंक-इनवेरिएंट रेजीम: $\alpha=1$ के साथ $Init[B]$ के तहत, अनुकूलतम लर्निंग रेट रैंक परिवर्तनों के प्रति अपरिवर्तनीय होता है।
3. LoRA-to-FFT ट्रांसफर: एक विशिष्ट कॉन्फ़िगरेशन ($Init[B]$के साथ$\alpha=1$) की पहचान जहाँ अनुकूलतम लर्निंग रेट स्केलिंग ($\eta \propto n^{-1}$) फुल फाइनट्यूनिंग (FFT) के साथ मेल खाती है। यह बिना री-ट्यूनिंग के LoRA कॉन्फ़िगरेशन से लर्निंग रेट को FFT में स्थानांतरित करने के लिए एक आवश्यक शर्त प्रदान करता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): विविध कार्यों (भाषा, दृष्टि, विजन-लैंग्वेज, इमेज जनरेशन, रिइन्फोर्समेंट लर्निंग) और आर्किटेक्चर (Llama, Qwen, RoBERTA, ViT, Stable Diffusion) में व्यापक प्रयोगों द्वारा व्युत्पन्न स्केलिंग नियमों का सत्यापन।

परिणाम (Results)

प्रायोगिक परिणाम लगातार सैद्धांतिक भविष्यवाणियों के अनुरूप हैं:

• $\alpha=1$ के साथ Init[A]: जैसे-जैसे रैंक $r$ बढ़ता है, अनुकूलतम लर्निंग रेट घटता है। रैंक में $4\times$ वृद्धि के लिए, अनुकूलतम लर्निंग रेट लगभग $2\times$ कम हो जाता है (जो $\eta \propto r^{-1/2}$ के अनुरूप है)।
• $\alpha=r^{-1}$ के साथ Init[A]: अनुकूलतम लर्निंग रेट लगभग रैंक-इनवेरिएंट है, हालांकि स्थिर रेंज संकीर्ण है।
• $\alpha=1$ के साथ Init[B]: अनुकूलतम लर्निंग रेट रैंक-इनवेरिएंट है और अधिकांश मॉडलों के लिए फुल फाइनट्यूनिंग के अनुकूलतम लर्निंग रेट के करीब संरेखित है।
• ट्रांसफरेबिलिटी (Transferability): $Init[B], \alpha=1$ कॉन्फ़िगरेशन का उपयोग करके LoRA पर ट्यून किए गए लर्निंग रेट्स विश्वसनीय रूप से फुल फाइनट्यूनिंग में स्थानांतरित होते हैं, जिससे FFT के लिए हाइपरपैरामीटर सर्च की लागत काफी कम हो जाती है।
• RLVR संवेदनशीलता: वेरीफिएबल रिवार्ड्स के साथ रिइन्फोर्समेंट लर्निंग (RLVR) में, सब-ऑप्टिमल लर्निंग रेट न केवल प्रदर्शन को कम करते हैं बल्कि मॉडल्स के एक्सप्लोरेटरी फेज में फंस जाने के कारण ट्रेनिंग समय को भी काफी बढ़ा देते हैं (2–4$\times$ तक)। $\mu A$ नियम स्थिर क्षेत्रों की पहचान करने में मदद करते हैं ताकि इसे टाला जा सके।

महत्व और दावे (Significance and Claims)

यह पेपर LoRA में लर्निंग रेट चयन के लिए एक सिद्धांतिक दृष्टिकोण प्रदान करने का दावा करता है, जो ह्यूरिस्टिक नियमों से आगे जाता है। विड्थ और रैंक की संयुक्त सीमा को चित्रित करके, लेखक समझाते हैं कि क्यों कुछ कॉन्फ़िगरेशन को रैंक-डिपेंडेंट लर्निंग रेट की आवश्यकता होती है जबकि अन्य को नहीं।

प्राथमिक महत्व हाइपरपैरामीटर की हस्तांतरणीयता (transferability) में निहित है। लेखक यह प्रदर्शित करते हैं कि सही इनिशियलाइज़ेशन ($Init[B]$) और स्केलिंग ($\alpha=1$) चुनकर, अभ्यासकर्ता निम्नलिखित कार्य कर सकते हैं:

1. LoRA रैंक बदलते समय लर्निंग रेट को री-ट्यून करने से बचना।
2. एक लो-रैंक LoRA प्रयोग से एक फुल फाइनट्यूनिंग सेटअप में अनुकूलतम लर्निंग रेट को सीधे स्थानांतरित करना, जिससे महत्वपूर्ण कम्प्यूटेशनल संसाधन बचते हैं।

लेखक विनम्रतापूर्वक सीमाओं को नोट करते हैं: सिद्धांत एसिम्प्टोटिक है और परिमित $(n, r)$ सेटिंग्स में शोर (noise) के प्रति संवेदनशील हो सकता है, और व्युत्पन्न मिलान स्थिति सभी ट्रांसफर परिदृश्यों के लिए आवश्यक है लेकिन पर्याप्त (sufficient) सिद्ध नहीं की गई है। हालाँकि, विविध डोमेन में मजबूत सहमति के लिए अनुभवजन्य साक्ष्य दृढ़ समर्थन देते हैं।