तकनीकी सारांश: CORA: SVD-आधारित लो-रैंक एडेप्टेशन के लिए प्रति-स्लाइस कोहेरेंट ऑर्थोगोनल रोटेशन

1. समस्या विवरण (Problem Statement)

पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT), बड़े भाषा मॉडलों (LLMs) को भारी लागत के बिना डाउनस्ट्रीम कार्यों के लिए अनुकूलित करने हेतु आवश्यक है। जबकि लो-रैंक एडेप्टेशन (LoRA) एक प्रमुख विधि है, यह एक एडिटिव अपडेट $\Delta W = BA$ सीखता है जो ज्यामितीय डिग्री ऑफ फ्रीडम (बेसिस रोटेशन और स्पेक्ट्रल शिफ्ट्स) को एक एकल लो-रैंक मैट्रिक्स में समूहित करता है। हालिया SVD-आधारित विधियाँ (जैसे PiSSA, MiLoRA) प्री-ट्रेंड वेट्स ($W_0 = U_0 \Sigma_0 V_0^\top$) के सिंगुलर वैल्यू डीकंपोजिशन (SVD) का उपयोग प्रारंभिक अवस्था या सबस्पेस चयन के लिए करती हैं, लेकिन वे बाएं ($U_0$) और दाएं ($V_0$) सिंगुलर बेसिस के बीच जुड़े हुए ज्यामिति (coupled geometry) को स्पष्ट रूप से संरक्षित नहीं करती हैं।

हालिया सैद्धांतिक कार्य [8] सुझाव देते हैं कि स्थिर फाइन-ट्यूनिंग एक "कोहेरेंट SVD रोटेशन" रूप का अनुसरण करती है, जहाँ एक एकल ऑर्थोगोनल मैट्रिक्स $Q$ दोनों बाएं और दाएं सिंगुलर बेसिस पर एक साथ कार्य करता है, जिसके साथ सिंगुलर वैल्यूज में एक डायगोनल शिफ्ट ($\Delta \Sigma$) होता है। मौजूदा विधियाँ इसे केवल आंशिक रूप से साकार करती हैं: एडिटिव LoRA-शैली की विधियाँ रोटेशन और स्पेक्ट्रम को उलझा देती हैं, जबकि ऑर्थोगोनल फाइन-ट्यूनिंग विधियाँ रोटेशन को लागू तो करती हैं लेकिन अक्सर स्पेक्ट्रल लचीलेपन (spectral flexibility) की कमी होती है। इसके अतिरिक्त, ग्लोबल कोहेरेंट रोटेशन थ्योरम यह निर्दिष्ट नहीं करता है कि व्यावहारिक एडेप्टर्स के स्ट्रक्चर्ड, लो-रंक बाधाओं के भीतर इसे कुशलतापूर्वक कैसे लागू किया जाए।

2. कार्यप्रणाली: CORA

लेखक CORA (Coherent Orthogonal Rotation Adaptation) प्रस्तावित करते हैं, जो कोहेरेंट रोटेशन थ्योरम को प्रति-स्लाइस (per-slice) सूक्ष्मता तक विस्तारित करता है।

2.1 सैद्धांतिक आधार (Theoretical Foundation)

यह पेपर कोहेरेंट रोटेशन थ्योरम के प्रति-स्लाइस एनालॉग (थ्योरम 2) को सिद्ध करता है। एक वेट मैट्रिक्स $W_0$ को रो स्लाइस $W_i \in \mathbb{R}^{r \times k}$ में विभाजित करके, लेखक दिखाते हैं कि हल्के रेगुलैरिटी अनुमानों के तहत, प्रत्येक स्लाइस का इष्टतम फाइन-ट्यून्ड रूप है:
$$W_i^* = U_i Q_i (\Sigma_i + \Delta \Sigma_i) Q_i^\top V_i^\top$$
जहाँ $Q_i$ एक एकल ऑर्थोगोनल मैट्रिक्स है जो स्लाइस के बाएं बेसिस $U_i$ और दाएं बेसिस $V_i$ दोनों पर कार्य करता है। यह स्थापित करता है कि बाएं और दाएं इन-बेसिस रोटेशन को समान ($Q_{U,i} = Q_{V,i} = Q_i$) होना चाहिए ताकि फ्रोबेनियस पर्सर्बेशन (Frobenius perturbation) को न्यूनतम किया जा सके।

2.2 पैरामीट्राइजेशन और कार्यान्वयन (Parameterization and Implementation)

महंगे मैनिफोल्ड कंस्ट्रेंट्स के बिना इसे कुशलतापूर्वक साकार करने के लिए, CORA एक विशिष्ट री-पैरामीट्राइजेशन का उपयोग करता है:

1. सोर्स मैट्रिक्स: विधि प्री-ट्रेंड वेट के रैंक-$r$ SVD ट्रंकेशन, $W_{lr} = U_{0,r} \Sigma_{0,r} V_{0,r}^\top$ पर कार्य करती है, और रेसिडुअल $W_0 - W_{lr}$ को फ्रीज कर देती है।
2. स्लाइस पार्टीशनिंग: $W_{lr}$ को $s = m/r$ रो स्लाइस में विभाजित किया जाता है।
3. रोटेशन लर्निंग: सीधे ऑर्थोगोनल मैनिफोल्ड पर $Q_i$ सीखने के बजाय, CORA प्रति स्लाइस एक एकल अनकन्स्ट्रेंड ऑर्थोगोनल मैट्रिक्स $R_i$ सीखता है और रोटेशन को $Q_i = U_i^\top R_i U_i$ के रूप में परिभाषित करता है। यह सिमिलरिटी ट्रांसफॉर्म सुनिश्चित करता है कि कोहेरेंट रोटेशन की स्थिति ($Q_{U,i} = Q_{V,i}$) को बिना किसी स्पष्ट बाधा या दंड के समान रूप से (identically) संतुष्ट किया जा सके।
4. स्पेक्ट्रल स्केलिंग: सिंगुलर वैल्यूज पर एक वैकल्पिक प्रति-लेयर डायगोनल स्केल वेक्टर $\delta$ लागू किया जाता है ($\Sigma_i \to \Sigma_i \text{diag}(1+\delta)$)।
5. केली मैप (Cayley Map): यह सुनिश्चित करने के लिए कि $R_i$ ऑर्थोगोनल बना रहे, इसे एक सीखने योग्य स्क्यू-सिमेट्रिक मैट्रिक्स के क्लोज्ड-फॉर्म केली मैप के माध्यम से पैरामीटराइज किया जाता है, जिससे कन्वर्जेंस रेडियस बाधाओं से बचा जा सके।

2.3 पैरामीटर एफिशिएंसी (Parameter Efficiency)

CORA प्रति लीनियर लेयर $\frac{1}{2}m(r-1)$ ट्रेन करने योग्य पैरामीटर (प्लस $\delta$ के लिए वैकल्पिक $r$ स्केलर) का उपयोग करता है। यह समान रैंक $r$ पर LoRA (जो $r(m+k)$ का उपयोग करता है) की तुलना में लगभग 4 गुणा कम पैरामीटर है, और प्रदर्शन-समान कॉन्फ़िगरेशन की तुलना करने पर LoRA से लगभग 8 गुणा कम है।

3. मुख्य योगदान (Key Contributions)

1. सैद्धांतिक विस्तार: सिद्ध किया कि कोहेरेंट रोटेशन थ्योरम वेट मैट्रिक्स के व्यक्तिगत रो स्लाइस पर लागू होता है, जो ग्लोबल थ्योरी को व्यावहारिक एडेप्टर्स की सूक्ष्मता तक विस्तारित करता है।
2. नया पैरामीट्राइजेशन: एक नया पैरामीट्राइजेशन ($Q_i = U_i^\top R_i U_i$) पेश किया जो कोहेरेंट रोटेशन की स्थिति ($Q_{U,i} = Q_{V,i}$) को एक बीजगणितीय पहचान (algebraic identity) के रूप में लागू करता है, जिससे ऑप्टिमाइजेशन के दौरान ऑर्थोगोनैलिटी बाधाओं की आवश्यकता समाप्त हो जाती है।
3. कुशल एडेप्टर डिज़ाइन: CORA को प्रति-स्लाइस ऑर्थोगोनल रोटेशन और प्रति-लेयर डायगोनल स्केलिंग का उपयोग करके एक कॉम्पैक्ट एडेप्टर के रूप में लागू किया गया, जो मौजूदा SVD-आधारित और सामान्य PEFT विधियों की तुलना में काफी कम पैरामीटर के साथ उच्च प्रदर्शन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

CORA का मूल्यांकन LLaMA-2-7B, LLaMA-3-8B, और Mistral-7B को तीन टास्क फैमिली (कॉमन सेंस रीजनिंग, कोड जनरेशन, और मैथेमैटिकल रीजनिंग) पर किया गया।

• कॉमन सेंस रीजनिंग (Commonsense Reasoning): LLaMA-2-7B पर, $r=16$ (6.6M पैरामीटर्स) के साथ CORA ने 82.16% औसत सटीकता प्राप्त की। इसने PiSSA और MiLoRA (दोनों $r=32$, ~56M पैरामीटर्स पर) को क्रमशः 8.4 और 3.0 अंकों से पीछे छोड़ा, और DoRA ($r=32$) को 2.5 अंकों से पछाड़ा।
• कोड जनरेशन (Code Generation): LLaMA-3-8B पर, CORA ($r=16$, 10.3M पैरामीटर्स) ने 48.2 HumanEval Pass@1 प्राप्त किया, जो DiaBlo ($N=64$, 121M पैरामीटर्स) और LoRI ($r=32$, 45M पैरामीटर्स) को महत्वपूर्ण अंतर से आगे निकल गया। Mistral-7B पर, CORA ने केवल 10.3M पैरामीटर्स के साथ मजबूत प्रदर्शन (40.2 Pass@1) बनाए रखा।
• मैथेमैटिकल रीजनिंग (Mathematical Reasoning): CORA ने GSM8K पर प्रतिस्पर्धी प्रदर्शन किया लेकिन MATH पर MiLoRA की तुलना में पीछे रह गया। लेखक इसे गणितीय ज्ञान की स्पेक्ट्रल लोकैलिटी (spectral locality) के रूप में देखते हैं; MiLoRA का फोकस माइनर कंपोनेंट्स (रेसिड्यूअल दिशाओं) पर है जो उन कार्यों के लिए बेहतर प्रतीत होता है जहाँ प्रिंसिपल कंपोनेंट्स कम टास्क-संबंधित संरचना को एनकोड करते हैं।
• एब्लेशन (Ablations):
  • शेयर्ड स्केल ($\delta$): शेयर्ड स्पेक्ट्रम स्केल को सक्षम करना महत्वपूर्ण था, जिससे प्रदर्शन में 0.8–2.4 अंक का सुधार हुआ और लो रैंक ($r=8$) पर कोलैप्स को रोका जा सका।
  • टू-साइडेड रोटेशन (Two-Sided Rotation): $V$-साइड रोटेशन को हटाने (केवल U-साइड) से प्रदर्शन में भारी गिरावट (9.8 अंक तक) आई, जो कोहेरेंट रोटेशन फॉर्म की आवश्यकता की पुष्टि करता है।
  • सोर्स मैट्रिक्स: $W_{lr}$ के बजाय पूर्ण $W_0$ का उपयोग करने से MATH प्रदर्शन में सुधार हुआ, जो इस परिकल्पना की पुष्टि करता है कि टेल सिंगुलर दिशाओं (tail singular directions) में गणित-विशिष्ट सिग्नल होते हैं।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि CORA सफलतापूर्वक एडिटिव SVD-इनिशियलाइज्ड विधियों और ऑर्थोगोनल रोटेशन परिवारों को एक एकल, सैद्धांतिक रूप से सुदृढ़ रूप के तहत एकीकृत करता है। न्यूनतम-परिवर्तन सिद्धांत (minimum-perturbation theory) से प्राप्त कोहेरेंट रोटेशन की स्थिति को स्पष्ट रूप से लागू करके, CORA बेहतर पैरामीटर-सटीकता ट्रेड-ऑफ प्राप्त करता है।

लेखक कहते हैं कि CORA, LoRA, DoRA, PiSSA और MiLoRA जैसे प्रतिस्पर्धी तरीकों की तुलना में लगभग 8$\times$ कम पैरामीटर्स के साथ स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है। यह कार्य प्रदर्शित करता है कि स्पष्ट ज्यामितीय बाधाओं (कोहेरेंट रोटेशन) को बीजगणितीय री-पैरामीट्राइजेशन के माध्यम से कुशलतापूर्वक लागू किया जा सकता है, जो प्री-ट्रेंड वेट्स की अंतर्निहित ज्यामिति का सम्मान करने वाले पैरामीटर-एफिशिएंट एडेप्टेशन के लिए एक नया दिशा प्रदान करता है।

लेखकों द्वारा नोट की गई सीमाएँ (Limitations):

• ट्रेनिंग से पहले ऑफलाइन SVD गणना और प्रति-स्लाइस फैक्टर्स को कैश करने की आवश्यकता होती है।
• स्टैंडर्ड LoRA की तुलना में फॉरवर्ड पास के दौरान अतिरिक्त मैट्रिक्स गुणन (matrix multiplications) पेश करता है।
• 8B पैरामीटर मॉडल तक ही मूल्यांकित किया गया है; 30B+ मॉडल्स के लिए स्केलेबिलिटी अनवेरिफाइड है।
• गणितीय कार्यों पर प्रदर्शन, सोर्स स्पेक्ट्रम (प्रिंसिपल बनाम रेसिड्यूअल कंपोनेंट्स) के चुनाव के प्रति संवेदनशील है।