🤖 machine learning

Low-Rank Adapters Initialization via Gradient Surgery for Continual Learning

यह शोध पत्र SLICE का प्रस्ताव करता है, जो निरंतर शिक्षण (continual learning) में लो-रैंक एडेप्टर्स (LoRA) के लिए एक नवीन इनिशियलाइजेशन विधि है, जो विरोधाभासी कार्य ग्रेडिएंट्स को सुलझाने के लिए ग्रेडिएंट सर्जरी और ट्रंकेटेड SVD का लाभ उठाता है, जिससे मौजूदा दृष्टिकोणों की तुलना में कैटास्ट्रोफिक फॉरगेटिंग को काफी हद तक कम किया जाता है और स्थिरता-प्लास्टिसिटी ट्रेड-ऑफ में सुधार किया जाता है।

मूल लेखक: Joana Pasquali, Ramiro N. Barros, Arthur S. Bianchessi, Vinícius Conte Turani, João Vitor Boer Abitante, Rafaela Cappelari Ravazio, Christian Mattjie, Otávio Parraga, Lucas S. Kupssinskü, Rodrigo C. B

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joana Pasquali, Ramiro N. Barros, Arthur S. Bianchessi, Vinícius Conte Turani, João Vitor Boer Abitante, Rafaela Cappelari Ravazio, Christian Mattjie, Otávio Parraga, Lucas S. Kupssinskü, Rodrigo C. Barros

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Low-Rank Adapters Initialization via Gradient Surgery for Continual Learning" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: "भुलक्कड़ छात्र" (The "Forgetful Student")

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (एक Large Language Model) है जिसने पहले से ही इतिहास, गणित और खाना पकाने के बारे में बहुत कुछ सीखा है। अब, आप उसे एक नया विषय सिखाना चाहते हैं: क्वांटम फिजिक्स (Quantum Physics)।

AI की दुनिया में, जब आप इस छात्र को एक नया कौशल सिखाते हैं, तो वे अक्सर "कैटैस्ट्रोफिक फॉरगेटिंग" (Catastrophic Forgetting) का शिकार हो जाते हैं। यह ऐसा है जैसे नई जानकारी उनके दिमाग में पुरानी नोट्स को मिटा देती है। जैसे ही वे क्वांटम फिजिक्स सीखते हैं, वे खाना बनाना या बुनियादी गणित करना भूल जाते हैं। वे नई चीज़ में तो माहिर हो जाते हैं, लेकिन जो वे पहले से जानते थे, उसमें बहुत खराब हो जाते हैं।

वर्तमान टूल: LoRA (द "स्टीकी नोट" विधि)

छात्र के पूरे दिमाग को फिर से लिखे बिना (जो बहुत महंगा और धीमा है) इसे ठीक करने के लिए, शोधकर्ता LoRA (Low-Rank Adaptation) नामक तकनीक का उपयोग करते हैं।

LoRA को छात्र को स्टीकी नोट्स (sticky notes) का एक ढेर देने के रूप में समझें।

पाठ्यपुस्तक को फिर से लिखने के बजाय, छात्र स्टीकी नोट्स पर नए नियम लिखता है और उन्हें पुराने पन्नों के ऊपर चिपका देता है।
यह सस्ता, तेज़ और मॉड्यूलर है।
समस्या: जब आप किसी नए विषय को शुरू करते हैं, तो आप बस एक नया, खाली स्टीकी नोट उठा लेते हैं। आप पुराने स्टीकी नोट्स को पहले नहीं देखते हैं। इसलिए, नया नोट गलती से एक महत्वपूर्ण गणितीय सूत्र (formula) को ढक सकता है, जिससे भौतिकी सीखते समय छात्र गणित भूल सकता है।

पेपर का समाधान: "Slice" (द "ग्रेडिएंट सर्जन")

लेखक Slice नामक एक नई विधि प्रस्तावित करते हैं। केवल एक खाली स्टीकी नोट उठाने के बजाय, Slice एक सर्जन की तरह काम करता है जो नोट को चिपकाने से पहले उसे सावधानी से तैयार करता है।

यहाँ "सर्जरी" कैसे काम करती है, चरण-दर-चरण:

1. "रिहर्सल" (पुराने नोट्स देखना)

नया कार्य सीखने से पहले, Slice पुराने कार्यों (इतिहास, गणित, खाना पकाना) पर एक त्वरित नज़र डालता है। वह पूछता है: "छात्र का मस्तिष्क इन चीज़ों को सीखने के लिए किन दिशाओं में आगे बढ़ा था?"

2. "संघर्ष की जाँच" (Gradient Surgery)

Slice नए कार्य के लिए आवश्यक "मूवमेंट डायरेक्शन" की तुलना पुराने कार्यों के विरुद्ध करता है।

संघर्ष (The Conflict): कभी-कभी, नई चीज़ सीखने के लिए, मस्तिष्क को "बाएँ" (Left) मुड़ने की आवश्यकता होती है। लेकिन पुराने ज्ञान को बनाए रखने के लिए, उसे "दाएँ" (Right) रहने की आवश्यकता होती है। यदि आप मस्तिष्क को "बाएँ" जाने के लिए मजबूर करते हैं, तो आप पुराने ज्ञान को तोड़ देते हैं।
सर्जरी (The Surgery): Slice एक गणितीय उपकरण (जिसे प्रोजेक्शन ऑपरेटर कहा जाता है) का उपयोग करके नए निर्देश के उस हिस्से को काट देता है जो पुराने ज्ञान को नुकसान पहुँचा सकता है। यह एक "सुरक्षित पथ" (safe path) खोजता है जो छात्र को पुराने नोट्स पर पैर रखे बिना नए कार्य पर आगे बढ़ाता है।

3. "परफेक्ट स्टीकी नोट" (Initialization)

एक बार संघर्ष हल हो जाने के बाद, Slice केवल एक रैंडम खाली स्टीकी नोट का उपयोग नहीं करता है। यह उस सुरक्षित पथ के आधार पर एक कस्टमाइज़्ड स्टीकी नोट बनाता है।

पुराना तरीका: खाली नोट पर रैंडम टेढ़ी-मेढ़ी लकीरें।
Slice का तरीका: एक पहले से लिखा हुआ नोट जो कहता है, "यहाँ बताया गया है कि गणित को भूले बिना भौतिकी कैसे सीखें।"

"एडवर्सरियल" टेस्ट: अंतिम स्ट्रेस टेस्ट

यह साबित करने के लिए कि उनकी विधि काम करती है, शोधकर्ताओं ने केवल आसान कार्यों पर परीक्षण नहीं किया। उन्होंने एक विशेष, क्रूर परीक्षण बनाया जिसे NI-Seq-Opposite कहा जाता है।

एक ऐसे टेस्ट की कल्पना करें जहाँ नए सबक विशेष रूप से छात्र को भ्रमित करने के लिए डिज़ाइन किए गए हैं।

कार्य 1: कविता लिखना सीखें।
कार्य 2: गणित का प्रमाण (math proof) लिखना सीखें (जिसके लिए ऐसी तर्कशक्ति चाहिए जो काव्य प्रवाह के विपरीत हो सकती है)।
कार्य 3: कानूनी अनुबंध (legal contract) लिखना सीखें (जो दोनों के विपरीत है)।

उन्होंने ये अनुक्रम (sequences) उन कार्यों को ढूंढकर बनाए जो एक-दूसरे के अधिकतम विपरीत (maximally opposite) हैं। यह किसी को रेस कार चलाना सिखाने और फिर तुरंत ट्रैक्टर चलाना सिखाने जैसा है, जहाँ नियंत्रण पूरी तरह से विपरीत होते हैं।

परिणाम: स्थिरता बनाम लचीलापन (Stability vs. Plasticity)

पेपर दो चीज़ों को मापता है:

प्लास्टिसिटी (Plasticity): छात्र नया चीज़ कितनी अच्छी तरह सीखता है।
स्टेबिलिटी (Stability): छात्र पुराने चीज़ों को कितनी अच्छी तरह याद रखता है।

Slice ने क्या हासिल किया:

Vanilla LoRA (पुराना तरीका): छात्र ने नया कार्य अच्छी तरह सीखा लेकिन बाकी सब कुछ भूल गया। "अपोजिट" टेस्ट में, वे अपने पिछले ज्ञान में से लगभग 20% तक भूल गए।
Slice: छात्र ने नया कार्य उतना ही अच्छा सीखा, लेकिन लगभग सब कुछ याद रखा।
- सबसे कठिन परीक्षणों पर, Slice ने मानक विधि की तुलना में पुराने ज्ञान के प्रतिधारण (retention) में 20 अंकों से अधिक का सुधार किया।
- इसने छात्र की सामान्य बुद्धिमत्ता (जैसे चैट करने या तर्क करने की क्षमता) को बहुत अधिक नुकसान नहीं पहुँचाया।

"मैजिक नॉब" (Alpha)

पेपर में Alpha नामक एक सेटिंग का भी उल्लेख है। इसे एक वॉल्यूम नॉब (volume knob) के रूप में समझें।

यदि आप इसे एक तरफ घुमाते हैं, तो छात्र थोड़ा भुलक्कड़ हो जाता है लेकिन अपनी सामान्य "कॉमन सेंस" को अधिक तीक्ष्ण रखता है।
यदि आप इसे दूसरी ओर घुमाते हैं, तो वे पुराने कौशल को कसकर पकड़ते हैं लेकिन अपनी सामान्य चमक (flair) थोड़ी खो सकते हैं।
लेखक दिखाते हैं कि आप अपनी ज़रूरतों के लिए सही संतुलन पाने के लिए इसे ट्यून कर सकते हैं।

सारांश

Slice एक AI को नया कौशल सिखाने का एक स्मार्ट तरीका है। केवल नई जानकारी को अंधाधुंध जोड़ने के बजाय जो पुराने को मिटा सकती है, यह पहले निर्देशों पर एक त्वरित "सर्जरी" करता है। यह एक ऐसा रास्ता खोजता है जो AI को नए कार्य सीखने में मदद करता है और साथ ही पुराने कार्यों की रक्षा भी करता है, यह सुनिश्चित करता है कि AI बढ़ने के साथ स्मृति हानि (memory loss) का शिकार न हो।

तकनीकी सारांश: Slice – निरंतर शिक्षण (Continual Learning) के लिए ग्रेडिएंट सर्जरी के माध्यम से लो-रैंक एडेप्टर इनिशियलाइज़ेशन

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र लो-रैंक एडेप्टेशन (LoRA) का उपयोग करते हुए लार्ज लैंग्वेज मॉडल्स (LLMs) के निरंतर शिक्षण (CL) में कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) की चुनौती को संबोधित करता है। जबकि LoRA फाइन-ट्यूनिंग के लिए कुशल है, मानक इनिशियलाइज़ेशन स्कीमें (जैसे मैट्रिक्स $A$ के लिए रैंडम गॉसियन और $B$ के लिए ज़ीरो) कार्यों के बीच संघर्ष की संरचना (conflict structure) के प्रति "अंधी" होती हैं।

एक निरंतर सेटिंग में, जब नए कार्य का ग्रेडिएंट ( $G_{cur}$ ), पिछले सीखे गए कार्यों के ग्रेडिएंट्स ( $G_{prev}$ ) के साथ संघर्ष करता है—जिसे एक नकारात्मक फ्रोबेनियस आंतरिक उत्पाद (negative Frobenius inner product) द्वारा दर्शाया जाता है—तो मानक अनुकूलन चरण जो वर्तमान कार्य में सुधार करते हैं, अनिवार्य रूप से पिछले कार्यों के प्रदर्शन को कम कर देते हैं। मौजूदा इनिशियलाइज़ेशन विधियाँ जैसे LoRA-GA (जो वर्तमान कार्य के ग्रेडिएंट का उपयोग करती है) या स्पेक्ट्रल विधियाँ (जैसे PiSTA या MiLoRA) इनिशियलाइज़ेशन चरण के दौरान पूर्व ज्ञान के संरक्षण (preservation) पर ध्यान केंद्रित करने में विफल रहती हैं। फलस्वरूप, एडेप्टर को एक ऐसे सबस्पेस में इनिशियलाइज़ किया जाता है जो तुरंत पिछले सीखे गए दिशाओं को ओवरराइट कर सकता है।

2. कार्यप्रणाली: Slice

लेखक Slice (Gradient-Surgery-based Low-rank Initialization for Continual lEarning) प्रस्तावित करते हैं, जो एक ऐसी विधि है जो LoRA एडेप्टर्स को वर्तमान कार्य के अनुरूप सबस्पेस में इनिशियलाइज़ करती है और साथ ही पिछले कार्यों के साथ विनाशकारी हस्तक्षेप (destructive interference) को न्यूनतम करती है। यह विधि प्रशिक्षण शुरू होने से पहले चार चरणों में कार्य करती है:

ग्रेडिएंट अनुमान (Gradient Estimation): मॉडल छोटे मिनी-बैचेस पर ग्रेडिएंट्स को संचित करके वर्तमान कार्य ( $G_{cur}$ ) और पिछले कार्यों के नमूने ( $G_{prev}$ ) के लिए ग्रेडिएंट मैट्रिसेस की गणना करता है। इसके लिए केवल एक हल्का फॉरवर्ड-बैकवर्ड पास आवश्यक है।
ग्रेडिएंट सुलह (Gradient Reconciliation/Surgery): एक प्रोजेक्शन ऑपरेटर $\psi$ एक संघर्ष-मुक्त दिशा $\tilde{G}_{cur}$ उत्पन्न करने के लिए $G_{cur}$ और $G_{prev}$ को सुसंगत बनाता है। लेखक PCGrad (Yu et al., 2020) का एक सामान्यीकरण नियोजित करते हैं:
$\psi(G_{cur}, G_{prev}, c) = G_{cur} - c \cdot \min(\langle G_{cur}, G_{prev} \rangle_F, 0) \frac{G_{prev}}{\|G_{prev}\|_F^2}$
यहाँ, $c \in [0, 1]$ एक हाइपरपैरामीटर है। यदि ग्रेडिएंट्स संघर्ष करते हैं (नकारात्मक आंतरिक उत्पाद), तो $G_{prev}$ के समानांतर $G_{cur}$ के घटक को हटा दिया जाता है; अन्यथा, $G_{cur}$ अपरिवर्तित रहता है।
लो-रैंक अपघटन (Low-Rank Decomposition): सुसंगत ग्रेडिएंट $\tilde{G}_{cur}$ $\tilde{G}_{c u r}$ का ट्रंकेटेड सिंगुलर वैल्यू डिकम्पोजिशन (SVD) किया जाता है। एडेप्टर मैट्रिसेस को इस प्रकार इनिशियलाइज़ किया जाता है:
- $B = U_{:, :r}$ (प्रथम $r$ लेफ्ट सिंगुलर वेक्टर्स)।
- $A = (V_{:, r:2r})^\top$ (राइट सिंगुलर वेक्टर्स $r+1$ से $2r$ तक)।
- नोट: लेखक LoRA-GA में उपयोग किए जाने वाले विशिष्ट गुणनखंड (factorization) को अपनाते हैं (अर्थात $A$ के लिए $(r+1)$ -वें से $2r$ -वें राइट सिंगुलर वेक्टर्स का उपयोग करना), यह देखते हुए कि हालांकि यह सैद्धांतिक रूप से स्पष्ट नहीं है, लेकिन इसे पिछले कार्यों में प्रभावी इनिशियलाइज़ेशन देने के लिए अनुभवजन्य रूप से मान्य किया गया है।
मैग्निट्यूड रीस्केलिंग (Magnitude Rescaling): अपडेट मैग्नीट्यूड से संबंधित कन्फाउंडिंग कारकों को नियंत्रित करने के लिए (जैसा कि Zhang et al., 2026 द्वारा पहचाना गया है), इनिशियलाइज़ किए गए वेट्स को प्री-ट्रेन्ड वेट्स के वेरिएंस से मेल खाने के लिए रीस्केल किया जाता है, जिससे यह सुनिश्चित होता है कि प्रदर्शन में सुधार सबस्पेस चयन के कारण है न कि निहित मैग्नीट्यूड एम्प्लीफिकेशन के कारण।

3. मुख्य योगदान

Slice इनिशियलाइज़ेशन: एक नवीन इनिशियलाइज़ेशन रणनीति जो LoRA सेटअप चरण में ग्रेडिएंट सर्जरी को एकीकृत करती है, जो प्रशिक्षण शुरू होने से पहले वर्तमान और पिछले कार्य ग्रेडिएंट्स को स्पष्ट रूप से सुसंगत बनाती है।
NI-Seq-Opposite बेंचमार्क: लेखक NI-Seq-Opposite पेश करते हैं, जो Super-NI पूल से निकाले गए तीन एडवर्सरियल 5-टास्क सीक्वेंस का एक सेट है। ये सीक्वेंस मीन पेयरवाइज ग्रेडिएंट कोसाइन सिमिलरिटी को न्यूनतम करने के लिए विस्तृत कॉम्बिनेटरियल सर्च के माध्यम से बनाए गए हैं, जो एक "कठिन" निरंतर शिक्षण परिदृश्य बनाता है जहाँ क्रमिक कार्यों के ग्रेडिएंट्स अधिकतम रूप से विपरीत होते हैं।
कठोर मूल्यांकन प्रोटोकॉल: शोध पत्र TRACE बेंचमार्क और मानक/एडवर्सरियल Super-NI सीक्वेंस पर Vanilla LoRA, LoRAM, और LoRA-GA के विरुद्ध Slice का मूल्यांकन करता है। महत्वपूर्ण रूप से, सभी तुलनाएँ सबस्पेस चयन के प्रभावों को मैग्नीट्यूड आर्टिफैक्ट्स से अलग करने के लिए वेरिएंस-मैच्ड मैग्नीट्यूड रीस्केलिंग का उपयोग करती हैं।

4. प्रयोगात्मक परिणाम

Llama-3.2-3B-Instruct पर LoRA रैंक $r=64$ (और $r=128$ पर सत्यापित) के साथ मूल्यांकन करने पर, परिणाम दर्शाते हैं:

स्टेबिलिटी-प्लास्टिसिटी ट्रेड-ऑफ (Stability-Plasticity Trade-off): Slice लगातार बेसलाइन्स की तुलना में बेहतर ट्रेड-ऑफ प्राप्त करता है। एडवर्सरियल NI-Seq-Opposite सीक्वेंस पर, Slice (c=1.0 के साथ) ने Vanilla LoRA की तुलना में फाइनल परफॉरमेंस (FP) में क्रमशः +22.55 पॉइंट्स (G2 पर) और +16.97 पॉइंट्स (Opp1 पर) का सुधार किया, जबकि फॉरगेटिंग (Fgt) को 20.75 पॉइंट्स तक कम किया।
LoRA-GA के साथ तुलना: जबकि LoRA-GA पहले से ही Vanilla LoRA से बेहतर प्रदर्शन करता है, Slice इन लाभों को और बढ़ाता है, विशेष रूप से उच्च इंटर-टास्क इंटरफेरेंस वाले सीक्वेंस में फॉरगेटिंग को कम करने में।
जनरलाइजेशन (GP/IP): Slice, Vanilla LoRA के सापेक्ष जनरल परफॉरमेंस (GP) और इन-कॉन्टेक्स्ट परफॉरमेंस (IP) में केवल मामूली कमी लाता है। लेखक नोट करते हैं कि ट्रेड-ऑफ एसिमेट्रिक (asymmetric) है: सामान्य क्षमता में छोटी लागत, कार्य प्रतिधारण (task retention) में पर्याप्त लाभ देती है।
हाइपरपैरामीटर संवेदनशीलता: $\alpha$ (स्केलिंग फैक्टर) को GP/IP नुकसान की भरपाई करने के लिए ट्यून किया जा सकता है, बिना टास्क रिटेंशन मेट्रिक्स को महत्वपूर्ण रूप से प्रभावित किए, जो जनरलाइजेशन-रिटेंशन बैलेंस के लिए एक कंट्रोल नॉब के रूप में कार्य करता है।

5. महत्व और दावे

शोध पत्र का दावा है कि इनिशियलाइज़ेशन एक परिणामी लेकिन कम उपयोग किया जाने वाला हस्तक्षेप बिंदु (intervention point) है निरंतर शिक्षण के लिए। प्रशिक्षण से पहले एक एकल, हल्के ग्रेडिएंट-सर्जरी स्टेप को करके, Slice एडेप्टर सबस्पेस को उन दिशाओं से दूर मोड़ देता है जो पहले सीखे गए कार्य के ज्ञान को ओवरराइट कर सकती हैं।

लेखक इस बात पर जोर देते हैं कि Slice कंपोजेबल (composable) है: यह ट्रेनिंग-टाइम रणनीतियों (जैसे ऑर्थोगोनैलिटी कंस्ट्रेंट्स या रिप्ले बफ़र्स) को प्रतिस्थापित नहीं करता है, बल्कि इनिशियलाइज़ेशन चरण के लिए एक ड्रॉप-इन रिप्लेसमेंट के रूप में कार्य करता है जिसे किसी भी डाउनस्ट्रीम CL एल्गोरिदम के साथ जोड़ा जा सकता है। NI-Seq-Opposite का परिचय इंटर-टास्क इंटरफेरेंस के प्रति मजबूती का मूल्यांकन करने के लिए एक नियंत्रित स्ट्रेस टेस्ट प्रदान करता है, जो मानक बेंचमार्क में मौजूद अंतराल को संबोधित करता है जहाँ टास्क सीक्वेंस अक्सर ग्रेडिएंट संघर्ष पर स्पष्ट विचार किए बिना बनाए जाते हैं।

कार्य निष्कर्ष निकालता है कि हालांकि विधि सेटअप के दौरान गैर-मामूली कंप्यूटेशनल ओवरहेड (ग्रेडिएंट एक्यूमुलेशन और SVD) लेती है, लेकिन परिणामी स्थिरता लाभ इसे अधिक संसाधन-कुशल बनाते हैं, क्योंकि यह फॉरगेटिंग को कम करने के लिए पूर्ण रिट्रेनिंग या जटिल रिप्ले तंत्र की आवश्यकता को कम करता है।