💻 computer science

Take Only What You Need: Rank Minimization as an Implicit Forgetting Regularizer in Continual Learning

यह शोधपत्र CoDyRA का प्रस्ताव करता है, जो एक निरंतर सीखने (continual learning) की विधि है जो लोरा (LoRA) अपडेट के भीतर एक अंतर्निहित विस्मृति नियमितकर्ता (forgetting regularizer) के रूप में रैंक न्यूनीकरण (rank minimization) का उपयोग करती है ताकि प्लास्टिसिटी और स्थिरता को गतिशील रूप से संतुलित किया जा सके, जिससे यह कई बेंचमार्क पर मौजूदा दृष्टिकोणों से बेहतर प्रदर्शन करता है।

मूल लेखक: Haodong Lu, Chongyang Zhao, Jason Xue, Lina Yao, Kristen Moore, Dong Gong

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haodong Lu, Chongyang Zhao, Jason Xue, Lina Yao, Kristen Moore, Dong Gong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Take Only What You Need: Rank Minimization as an Implicit Forgetting Regularizer in Continual Learning" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: सीखने की "लीकी बकेट" (Leaky Bucket)

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान और विद्वान मित्र है (जिसे Pre-trained Model कहा जाता है) जिसे दुनिया के बारे में बहुत कुछ पता है। आप उन्हें हर दिन नई चीज़ें सिखाना चाहते हैं, जैसे कि कुत्तों की एक विशिष्ट नस्ल को पहचानना या एक नई भाषा में कोड लिखना। इसे Continual Learning कहा जाता है।

समस्या "प्लास्टिसिटी-स्टेबिलिटी ट्रेड-ऑफ" (Plasticity-Stability Trade-off) की है:

प्लास्टिसिटी (Plasticity): आप चाहते हैं कि आपका मित्र नए कुत्ते की नस्ल को आसानी से सीखने के लिए पर्याप्त लचीला हो।
स्टेबिलिटी (Stability): आप नहीं चाहते कि कुत्तों के बारे में सीखते समय वे बिल्लियों को पहचानना या फ्रेंच बोलना भूल जाएँ।

यदि आप उन्हें बहुत ज़ोर से सिखाने की कोशिश करते हैं, तो वे अपनी पुरानी यादों को "ओवरराइट" (मिटा) सकते हैं (Catastrophic Forgetting)। यदि आप उनकी पुरानी यादों को बहुत सख्ती से सुरक्षित रखने की कोशिश करते हैं, तो वे कुछ भी नया नहीं सीख पाएंगे।

पुराने तरीके: एड-ऑन बनाना या लाइब्रेरी का उपयोग करना

यह शोध पत्र देखता है कि अब तक लोगों ने इसे हल करने के लिए कैसे प्रयास किए हैं:

"एड-ऑन" विधि (Model Complementation): अपने मित्र को नई चीज़ें सिखाने के बजाय, आप उन्हें हर नए विषय के लिए एक नया नोटबुक देते हैं। उनका मूल मस्तिष्क अछूता रहता है, लेकिन अब उन्हें एक बैग भरकर नोटबुक ढोना पड़ता है और यह तय करना पड़ता है कि कौन सी खोलनी है। यह भारी है और इसके लिए अतिरिक्त उपकरणों की आवश्यकता होती है।
"लाइब्रेरी" विधि (Reference-Constrained): आप कमरे में पुराने किताबों की एक विशाल लाइब्रेरी रखते हैं। जब भी आप उन्हें कुछ नया सिखाते हैं, तो आप उन्हें मजबूर करते हैं कि वे पुरानी किताबों को देखें ताकि वे भूल न जाएँ। यह धीमा है, महंगा है, और इसके लिए सारा पुराना डेटा स्टोर करने की आवश्यकता होती है।

नया विचार: CoDyRA (एक "मिनिमलिस्ट" दृष्टिकोण)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे CoDyRA कहा जाता है। एड-ऑन या लाइब्रेरी रखने के बजाय, वे अपने मित्र को सीधे अपने मस्तिष्क को अपडेट करने का तरीका सिखाते हैं, लेकिन एक बहुत ही विशिष्ट नियम के साथ: "केवल उतना ही लें जितनी आपको आवश्यकता है।"

वे एक तकनीक का उपयोग करते हैं जिसे LoRA (Low-Rank Adaptation) कहा जाता है। LoRA को अपने मित्र के मस्तिष्क के ऊपर रखे जाने वाले पारदर्शी ओवरले (transparent overlays) के रूप में समझें। ये ओवरले पतले और हल्के होते हैं।

असली मंत्र: "रैंक मिनिमाइजेशन" (Rank Minimization)

इस शोध पत्र की मुख्य खोज इन ओवरले के आकार (या "रैंक") के बारे में है।

बड़े ओवरले (High Rank): यदि आप एक मोटा, भारी ओवरले उपयोग करते हैं, तो आपका मित्र नए कार्य को बहुत तेज़ी से सीखता है (शानदार प्लास्टिसिटी)। लेकिन, क्योंकि ओवरले बहुत मोटा है, यह नीचे की पुरानी यादों को कुचल देता है और विकृत कर देता है (उच्च भूलने की दर/forgetting)।
छोटे ओवरले (Low Rank): यदि आप एक बहुत ही पतला ओवरले उपयोग करते हैं, तो पुरानी यादें सुरक्षित रहती हैं (शानदार स्टेबिलिटी)। लेकिन मित्र नया कार्य सीखने में संघर्ष कर सकता है क्योंकि ओवरले नई जानकारी ले जाने के लिए पर्याप्त "मोटा" नहीं है।

सही संतुलन (The Sweet Spot): लेखकों ने पाया कि एक "गोल्डिलॉक्स" ज़ोन (Goldilocks zone) है—एक मध्यम छोटा आकार—जो पुरानी यादों को नष्ट किए बिना सीखने की अनुमति देता है।

नवाचार (Innovation): सही आकार का अनुमान लगाने के बजाय, CoDyRA एक विशेष गणितीय "श्रिंक रे" (shrink ray) का उपयोग करता है (जिसे Rank Minimization कहा जाता है)।

यह एक मानक ओवरले के साथ शुरू होता है।
जैसे-जैसे मित्र सीखता है, सिस्टम स्वचालित रूप से ओवरले के उन हिस्सों को "प्रून" (छंटाई) या काट देता है जो सख्त रूप से आवश्यक नहीं हैं।
यह अपडेट को जितना संभव हो उतना छोटा और सरल होने के लिए मजबूर करता है।

उदाहरण: घर का नवीनीकरण (Renovating a House)

कल्पना कीजिए कि आपके मित्र का मस्तिष्क एक घर है जो फर्नीचर (ज्ञान) से भरा है।

पुराने तरीके: या तो आप हर नए शौक के लिए एक नया विंग (wing) बनाते हैं (Add-ons) या आप हर बार नया फर्नीचर जोड़ने पर पुराने फर्नीचर की लगातार जाँच करने के लिए एक मूविंग क्रू (moving crew) को काम पर रखते हैं (Library/Replay)।
CoDyRA: आप एक नई कुर्सी (नया ज्ञान) जोड़ना चाहते हैं। एक विशाल, भारी कुर्सी खरीदने के बजाय जो गलियारे को ब्लॉक कर दे, आप एक फोल्डिंग चेयर (folding chair) खरीदते हैं।
- यदि कुर्सी बहुत बड़ी है, तो यह रसोई तक जाने वाले रास्ते को रोक देती है (पुरानी चीज़ों को भूलना)।
- यदि कुर्सी बहुत छोटी है, तो यह बेकार है।
- CoDyRA एक स्मार्ट बढ़ई की तरह है जो एक ऐसी कुर्सी बनाता है जो नए कार्य के लिए बिल्कुल उतनी ही बड़ी है जितनी ज़रूरत है और उससे अधिक नहीं। यदि कार्य को केवल कुर्सी के 3 पैरों की आवश्यकता है, तो बढ़ई अन्य 2 पैरों को हटा देता है। यह पुराने फर्नीचर के लिए रास्ता साफ़ रखता है।

यह क्यों काम करता है (The "Why")

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि अपडेट जितना छोटा होगा (रैंक जितनी कम होगी), भूलने की संभावना उतनी ही कम होगी।

"रैंक" (परिवर्तन की जटिलता) को कम करके, सिस्टम स्वाभाविक रूप से अतीत की रक्षा करता है।
इसे पुराने डेटा को याद रखने या अतिरिक्त मॉड्यूल का उपयोग करने की आवश्यकता नहीं है। यह मुख्य मस्तिष्क को अपडेट करता है, लेकिन केवल न्यूनतम परिवर्तन के साथ जिसकी आवश्यकता है।

परिणाम

लेखकों ने इसका परीक्षण किया:

विज़न मॉडल्स (CLIP): मॉडल को विभिन्न प्रकार के विमानों, फूलों और पालतू जानवरों को पहचानना सिखाना।
लैंग्वेज मॉडल्स (LLaMA, Gemma): चैटबॉट को कोडिंग या गणित जैसी नई कौशल सिखाना।

परिणाम:

बेहतर सीखना: मॉडल ने नए कार्यों को अच्छी तरह से सीखा।
कम भूलना: यह पिछले तरीकों की तुलना में बहुत कम भूला।
कोई अतिरिक्त लागत नहीं: इसे पुराने डेटा को स्टोर करने या अतिरिक्त "नोटबुक" ले जाने की आवश्यकता नहीं थी। इसने बस मुख्य मॉडल को अपडेट किया और परिवर्तनों को उसमें मिला दिया, जिससे सिस्टम साफ और कुशल रहा।

सारांश

CoDyRA AI को नई चीज़ें सिखाने का एक स्मार्ट तरीका है। AI को सब कुछ याद रखने के लिए मजबूर करने या भारी अतिरिक्त भाग जोड़ने के बजाय, यह AI को छोटे, सटीक बदलाव करने की शिक्षा देता है। यह सख्ती से सीमित करके कि बदलाव कितना "बड़ा" हो सकता है, AI अपनी पुरानी यादों को गलती से डिलीट किए बिना नए कौशल सीख लेता है। यह एक पूरी दीवार को लाल रंग से पेंट करने (जो पुराने आर्ट को छिपा देता है) और सावधानी से एक छोटा सा स्टिकर लगाने (जो पुराने को ढके बिना नई जानकारी जोड़ता है) के बीच का अंतर है।

तकनीकी सारांश: केवल उतना ही लें जितनी आवश्यकता हो: निरंतर शिक्षण में एक अंतर्निहित विस्मरण नियमितकर्ता (Implicit Forgetting Regularizer) के रूप में रैंक न्यूनीकरण

समस्या की परिभाषा

निरंतर शिक्षण (Continual Learning - CL) प्लास्टिसिटी (नया ज्ञान प्राप्त करने की क्षमता) और स्थिरता (पूर्व ज्ञान को बनाए रखने की क्षमता) के बीच एक मौलिक तनाव का सामना करता है। प्री-ट्रेंड मॉडल्स (PTMs) के संदर्भ में, मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं:

मॉडल पूरकता (Model Complementation): PTM को फ्रीज करना और बाहरी मॉड्यूल (जैसे एडैप्टर, प्रॉम्प्ट्स) जोड़ना या ऑर्थोगोनल सबस्पेस बनाए रखना। हालांकि ये स्थिर हैं, लेकिन ये बैकबोन की वास्तविक क्षमताओं में सुधार नहीं करते हैं और अक्सर इनके लिए कार्य-विशिष्ट रूटिंग या इन्फरेंस-टाइम चयनकर्ताओं की आवश्यकता होती है।
संदर्भ-प्रतिबंधित शिक्षण (Reference-Constrained Learning): PTM वेट्स को सीधे अपडेट करना लेकिन संग्रहीत डेटा (रीप्ले बफ़र्स) या मेमोरी का उपयोग करके अपडेट को नियंत्रित करना। इसमें उच्च प्रशिक्षण लागत आती है, पिछले डेटा को संग्रहीत करने की आवश्यकता होती है, और फिर भी अक्सर विनाशकारी विस्मरण (catastrophic forgetting) की समस्या बनी रहती है।

इस शोध पत्र द्वारा संबोधित केंद्रीय चुनौती यह है: हम एक प्री-ट्रेंड बैकबोन को नया ज्ञान आत्मसात करने के लिए कैसे निरंतर अपडेट कर सकते हैं, जबकि मौजूदा क्षमताओं को सुरक्षित रखा जा सके, और इसके लिए पिछले डेटा, टास्क आइडेंटिफायर या बाहरी मॉड्यूल पर निर्भर न रहना पड़े?

कार्यप्रणाली: CoDyRA

लेखक कंटीन्यूअल डायनेमिक रैंक-सिलेक्टिव लोरा (CoDyRA) का प्रस्ताव करते हैं, जो एक क्षमता-नियंत्रित दृष्टिकोण है। यह प्लास्टिसिटी और स्थिरता के बीच संतुलन बनाने के लिए प्रत्येक पैरामीटर अपडेट के प्रभावी रैंक (effective rank) को प्राथमिक डिज़ाइन नॉब के रूप में मानता है।

मुख्य अंतर्दृष्टि

रैंक एक नियंत्रण नॉब के रूप में: CLIP पर अनुभवजन्य विश्लेषण के माध्यम से, लेखक प्रदर्शित करते हैं कि लोरा (LoRA) रैंक सीधे प्लास्टिसिटी-स्थिरता ट्रेड-ऑफ को नियंत्रित करती है। उच्च रैंक नए कार्यों को सीखने में सुविधा (प्लास्टिसिटी) प्रदान करती है लेकिन विस्मरण को बढ़ाती है, जबकि निम्न रैंक विस्मरण को कम करती है (स्थिरता) लेकिन अनुकूलन को सीमित करती है। एक मध्यम रैंक पर एक "स्वीट स्पॉट" मौजूद है जो मॉड्यूल और कार्य के अनुसार बदलता रहता है।
सैद्धांतिक सीमा (Theoretical Bound): शोध पत्र एक विस्मरण सीमा (forgetting bound) व्युत्पन्न करता है जो यह दर्शाता है कि एक संदर्भ वितरण पर विस्मरण $F(\theta_t)$ , अपडेट $\Delta W$ के फ्रोबेनियस नॉर्म (Frobenius norm) से संबंधित पदों द्वारा ऊपरी रूप से सीमित है। महत्वपूर्ण रूप से, $\|\Delta W\|_F \leq \sqrt{\rho} \|B\|_2 \|A\|_2$ , जहाँ $\rho$ प्रभावी रैंक है। यह स्थापित करता है कि प्रभावी रैंक $\rho$ को कम करने से विस्मरण की सीमा सख्त हो जाती है, जो विशिष्ट संदर्भ डेटा वितरण की परवाह किए बिना विस्मरण को नियमित करती है।

एल्गोरिदम डिज़ाइन

CoDyRA रैंक न्यूनीकरण को सीधे लोरा (LoRA) प्रशिक्षण प्रक्रिया में एकीकृत करता है:

आर्किटेक्चर: विजन और टेक्स्ट दोनों एनकोडर के सभी अटेंशन और MLP मॉड्यूल में लोरा (LoRA) एडैप्टर डाले गए हैं।
डायनेमिक रैंक चयन: एक निश्चित रैंक $r$ के बजाय, अपडेट को रैंक-एक घटकों के भारित योग के रूप में तैयार किया गया है:
$\Delta W = \sum_{i=1}^r w_i B_{:,i} A_{i,:}$
जहाँ $w_i$ सीखने योग्य महत्व भार (importance weights) हैं।
नियमितीकरण उद्देश्य (Regularization Objective): प्रशिक्षण उद्देश्य वर्तमान कार्य के लिए सुपरवाइज्ड लॉस ( $L_{sup}$ ) को महत्व भार $w$ पर एक $\ell_1$ रेगुलराइजेशन टर्म के साथ जोड़ता है:
$L_{train} = L_{sup} + \lambda \sum_{m} \|w_m\|_1$
यह $\ell_1$ पेनल्टी $w$ में स्पर्सिटी (sparsity) को बढ़ावा देती है। जैसे-जैसे $w_i$ शून्य के करीब पहुँचता है, संगत रैंक-वन घटक प्रभावी रूप से हटा (pruned) दिया जाता है, जिससे प्रभावी रैंक $\rho$ कम हो जाती है।
अनुकूलन (Optimization): गैर-डिफरेंशिएबल $\ell_1$ नॉर्म को सॉफ्ट-थ्रेशोल्डिंग का उपयोग करके एक प्रॉक्सिमल ग्रेडिएंट विधि के माध्यम से संभाला जाता है। एक थ्रेशोल्ड $\kappa$ को शून्य से $\kappa_{max}$ तक बढ़ने के लिए शेड्यूल किया गया है, जो शुरुआत में घने (dense) अपडेट की अनुमति देता है और फिर स्पर्सिटी लागू करता है।

मुख्य तंत्र

न्यूनतम प्रभावी रैंक को कम करके, CoDyRA एक अंतर्निहित विस्मरण नियमितकर्ता (implicit forgetting regularizer) के रूप में कार्य करता है। यह मॉडल को वर्तमान कार्य के लिए केवल आवश्यक न्यूनतम क्षमता बनाए रखने के लिए मजबूर करता है, जिससे पैरामीटर शिफ्ट को एक छोटे सबस्पेस में सीमित किया जाता है और PTM में एनकोडेड सामान्य क्षमताओं और पिछले कार्यों के ज्ञान के साथ हस्तक्षेप को रोका जा जाता है।

मुख्य योगदान

रैंक के माध्यम से क्षमता नियंत्रण: शोध पत्र पहचानता है कि पैरामीटर अपडेट की प्रभावी रैंक प्लास्टिसिटी-स्थिरता ट्रेड-ऑफ के लिए एक सीधा, नियंत्रणीय लीवर है, जो मॉडल-स्तरीय क्षमता (पैरामीटर काउंट) से भिन्न है।
सैद्धांतिक संबंध: यह प्रभावी रैंक और विस्मरण को जोड़ने वाला एक औपचारिक बाउंड प्रदान करता है, यह सिद्ध करता है कि रैंक न्यूनीकरण अपडेट के परिमाण और आयामी विस्तार को सीमित करता है, जिससे पिछले डेटा तक पहुँच के बिना पूर्व ज्ञान सुरक्षित रहता है।
CoDyRA फ्रेमवर्क: एक ऐसी विधि का प्रस्ताव जो रैंक न्यूनीकरण के साथ लोरा (LoRA) अपडेट को संयुक्त रूप से प्रशिक्षित करती है, जो रीप्ले बफ़र्स, टास्क आईडी, या बाहरी मॉड्यूल के बिना नए कार्यों को सीखने और पूर्व-प्रशिक्षित क्षमताओं को बनाए रखने के बीच एक मजबूत संतुलन प्राप्त करती है।
अनुभवजन्य सत्यापन: CLIP (MTIL, X-TAIL) और LLMs (TRACE) पर व्यापक प्रयोगों से पता चलता है कि CoDyRA सटीकता और विस्मरण मेट्रिक्स दोनों में अत्याधुनिक (state-of-the-art) विधियों से बेहतर प्रदर्शन करता है या उनके समकक्ष रहता है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन किया गया:

CLIP: मल्टी-डोमेन टास्क-इन्क्रीमेंटल लर्निंग (MTIL) और क्रॉस-डोमेन टास्क-एग्नोस्टिक इन्क्रीमेंटल लर्निंग (X-TAIL) पर।
LLMs: LLaMA और Gemma मॉडल्स का उपयोग करके TRACE बेंचमार्क पर।

मुख्य निष्कर्ष:

बेहतर प्लास्टिसिटी-स्थिरता संतुलन: CoDyRA ने अधिकांश सेटिंग्स में उच्चतम "ट्रांसफर" सटीकता (अनदेखे कार्यों पर प्री-ट्रेंड ज़ीरो-शॉट क्षमताओं का प्रतिधारण) और "लास्ट" सटीकता (स्ट्रीम के बाद सभी कार्यों पर प्रदर्शन) प्राप्त की। उदाहरण के लिए, MTIL पर, CoDyRA ने ज़ीरो-शॉट रेफरेंस बेसलाइन (70.1 बनाम 69.4) को पार कर लिया, जबकि अन्य विधियाँ या तो इससे नीचे गिर गईं या इससे सीमित थीं।
न्यूनतम विस्मरण: CoDyRA ने सबसे कम बैकवर्ड ट्रांसफर (BWT) स्कोर प्राप्त किया (जैसे, फिक्स्ड-रैंक लोरा के लिए >5% और ऑर्थोगोनल विधियों के लिए >8% के मुकाबले CLIP पर 1.87%), जो काफी कम विनाशकारी विस्मरण को दर्शाता है।
दक्षता: मॉडल कॉम्प्लीमेंटेशन विधियों के विपरीत, CoDyRA अपडेट को बैकबोन में मर्ज करता है, जिससे कोई इन्फरेंस ओवरहेड नहीं होता है और किसी भी संग्रहीत पिछले डेटा या टास्क आइडेंटिफायर की आवश्यकता नहीं होती है। यह कई बेसलाइनों की तुलना में कम प्रशिक्षण योग्य पैरामीटर भी उपयोग करता है।
रचनात्मक बदलाव (Constructive Shift): संचयी पैरामीटर शिफ्ट के विश्लेषण से पता चला कि CoDyRA के अपडेट समय के साथ उप-रैखिक (sublinearly) रूप से बढ़ते हैं, जबकि फिक्स्ड-रैंक लोरा लगभग रैखिक रूप से बढ़ता है। इसके अलावा, यह पाया गया कि संचित शिफ्ट रचनात्मक था, जो होल्ड-आउट डेटासेट पर ज़ीरो-शॉट प्रदर्शन को कम करने के बजाय उसे थोड़ा बेहतर बनाता है।

महत्व और दावे

शोध पत्र का दावा है कि रैंक न्यूनीकरण निरंतर शिक्षण शासन में एक सार्वभौमिक विस्मरण नियमितकर्ता (universal forgetting regularizer) के रूप में कार्य करता है। अपडेट के प्रभावी रैंक को नियंत्रित करके, CoDyRA एक एकल, अपडेट-आधारित मानदंड के तहत पूर्व-प्रशिक्षित क्षमताओं और पिछले-कार्य ज्ञान दोनों की रक्षा करता है।

लेखक इस दृष्टिकोण पर जोर देते हैं कि यह निम्नलिखित की आवश्यकता को समाप्त करता है:

रीप्ले बफ़र्स या संग्रहीत संदर्भ डेटा।
इन्फरेंस के समय टास्क आइडेंटिफिकेशन या रूटिंग तंत्र।
बाहरी सहायक मॉड्यूल जो इन्फरेंस लागत बढ़ाते हैं।

यह कार्य सुझाव देता है कि "केवल उतना ही लेना जितना आपको चाहिए" (न्यूनतम रैंक) प्री-ट्रेंड मॉडल्स को निरंतर अपडेट करने का एक सिद्धांत आधारित तरीका है, जो एक मजबूत समाधान प्रदान करता है जो दृश्य और भाषा मॉडलों में सैद्धांतिक रूप से पुष्ट और अनुभवजन्य रूप से प्रभावी है।