Turning Back Without Forgetting: Selective Backward Refinement for Parameter-Efficient Continual Learning

तकनीकी सारांश: पैरामीटर-कुशल निरंतर शिक्षण के लिए चयनात्मक पश्च सुधार (SABER)

1. समस्या की परिभाषा और प्रेरणा

निरंतर शिक्षण (Continual Learning - CL) का लक्ष्य पिछले कार्यों पर प्रदर्शन बनाए रखते हुए अनुक्रमिक कार्यों पर मॉडल को प्रशिक्षित करना है, ताकि "विनाशकारी विस्मृति" (catastrophic forgetting) को कम किया जा सके। विशाल पूर्व-प्रशिक्षित मॉडलों के युग में, पैरामीटर-कुशल फाइन-ट्यूनिंग (PEFT), विशेष रूप से प्रॉम्प्ट-आधारित विधियाँ, एक प्रमुख प्रतिमान के रूप में उभरी हैं। ये विधियाँ बैकबोन को स्थिर (frozen) रखते हुए कार्य-विशिष्ट 'सॉफ्ट प्रॉम्प्ट्स' सीखती हैं, जो पूर्ण पुन: प्रशिक्षण या अडैप्टर-आधारित दृष्टिकोणों की तुलना में कम्प्यूटेशनल लागत और पैरामीटर गणना को काफी कम कर देती हैं।

हालाँकि, वर्तमान प्रॉम्प्ट-आधारित CL विधियों में एक महत्वपूर्ण सीमा मौजूद है: वे सख्त कार्य अलगाव (task isolation) को लागू करती हैं। एक बार जब कार्य-विशिष्ट प्रॉम्प्ट सीख लिया जाता है, तो उसे बाद के कार्यों के हस्तक्षेप को रोकने के लिए स्थिर कर दिया जाता है। जबकि यह पिछले प्रदर्शन को सुरक्षित रखता है, यह ज्ञान हस्तांतरण के लिए एकतरफा मार्ग बना देता है। बाद के कार्य पहले के कार्यों के निरूपण (representations) में सुधार नहीं कर सकते, जिससे पश्च ज्ञान हस्तांतरण (backward knowledge transfer - BWT) अल्प-अन्वेषित रह जाता है।

यह शोध इस सेटिंग में सकारात्मक BWT को सक्षम करने में दो प्राथमिक चुनौतियों की पहचान करता है:

1. चयनात्मकता (Selectivity): सभी कार्य युग्म (task pairs) पश्च हस्तांतरण से लाभान्वित नहीं होते हैं। असंबंधित कार्य (जैसे, entailment बनाम sentiment analysis) यदि उनके प्रॉम्प्ट को नए कार्य के ग्रेडिएंट का उपयोग करके अपडेट किया जाता है, तो वे पहले के प्रदर्शन को खराब कर सकते हैं।
2. सुरक्षा (Safety): संबंधित कार्यों के लिए भी, अनियंत्रित अपडेट उस महत्वपूर्ण दिशाओं को ओवरराइट कर सकते हैं जो मूल कार्य के लिए प्रॉम्प्ट पैरामीटर स्पेस में आवश्यक थीं, जिससे नकारात्मक हस्तांतरण हो सकता है।

मौजूदा दृष्टिकोण जो BWT का प्रयास करते हैं, अक्सर डेटा रिप्ले या वैश्विक अपडेट पर निर्भर करते हैं, जो कम्प्यूटेशनल रूप से महंगे हैं या पैरामीटर-दक्षता के सिद्धांत का उल्लंघन करते हैं। लेखक एक रिप्ले-मुक्त (replay-free) ढांचे का प्रस्ताव करते हैं जो यह निर्धारित करके इन चुनौतियों का समाधान करता है कि कब पिछले प्रॉम्प्ट को परिष्कृत (refine) करना है और कैसे इसे सुरक्षित रूप से करना है।

2. कार्यप्रणाली: SABER ढांचा

लेखक SABER (Selective bAckward refinement for positive Backward knowledge transfER) का प्रस्ताव करते हैं, जो दो मुख्य तंत्रों के माध्यम से नियंत्रित पश्च हस्तांतरण को सक्षम करता है: कार्य सहसंबंध अनुमान (Task Correlation Estimation) और प्रतिबंधित पश्च अपडेट (Constrained Backward Updates)।

A. कार्य सहसंबंध अनुमान (कब परिष्कृत करें)
SABER यह निर्धारित करने के लिए दो पूरक मानदंडों का उपयोग करता है कि क्या एक पूर्व कार्य $T_i$ पश्च सुधार के लिए वर्तमान कार्य $T_t$ के साथ संगत है:

1. प्रोजेक्शन-आधारित सहसंबंध (अपडेट-स्तर):

   • यह विधि प्रॉम्प्ट ग्रेडिएंट की ज्यामिति का विश्लेषण करती है। यह पूर्व कार्य $T_i$ के ग्रेडिएंट सबस्पेस के लिए एक ऑर्थोनॉर्मल बेसिस $U_i$ का निर्माण करती है।
   • यह एक प्रोजेक्शन स्कोर ($s_i$) की गणना करती है जो यह मापता है कि वर्तमान कार्य का ग्रेडिएंट ($g_{t \to i}$) $T_i$ के ग्रेडिएंट सबस्पेस में कितना स्थित है।
   • यह $T_i$ के औसत ग्रेडिएंट और $T_i$ पर प्रोजेक्ट किए गए वर्तमान कार्य के ग्रेडिएंट के बीच कोसाइन समानता (cosine similarity) के आधार पर एक ग्रेडिएंट अनुकूलता स्कोर ($c_i$) भी कंप्यूट करता है।
   • एक पूर्व कार्य को केवल तभी सुधार के लिए चुना जाता है यदि $s_i$ पर्याप्त रूप से उच्च हो और $c_i > 0$ हो, जो संरेखित अपडेट दिशाओं को दर्शाता है।

2. लॉस-डिस्ट्रीब्यूशन-आधारित सहसंबंध (रिस्पॉन्स-स्तर):

   • यह विधि रिस्पॉन्स स्तर पर कार्य करती है, प्रति-बैच लॉस के वितरण की तुलना करती है।
   • यह फ्रोजन बैकबोन ($d^{(0)}$) और विशिष्ट प्रॉम्प्ट $u_i$ ($d^{(i)}$) के तहत लॉस डिस्ट्रीब्यूशन के बीच वॉसरस्टीन दूरी (Wasserstein distance) की गणना करती है।
   • वॉसरस्टीन समानता स्कोर (WSS) को $WSS_i = d^{(0)}_i - d^{(i)}_i$ के रूप में परिभाषित किया गया है। एक सकारात्मक $WSS_i$ का अर्थ है कि $T_t$ पर $u_i$ को लागू करने से फ्रोजन बैकबोन की तुलना में कार्यों के लॉस रिस्पॉन्स के बीच विसंगति कम हो जाती है, जो अर्थ संबंधी समानता (semantic similarity) का सुझाव देता है।

B. प्रतिबंधित पश्च प्रॉम्प्ट अपडेट (कैसे सुरक्षित रूप से परिष्कृत करें)
एक बार जब सुधार के लिए चयनित पूर्व प्रॉम्प्टों का एक उपसमूह मिल जाता है, तो SABER सुनिश्चित करता है कि अपडेट पहले से सीखे गए ज्ञान में हस्तक्षेप न करें:

• संरक्षित सबस्पेस (Protected Subspace): पूर्व कार्य $T_i$ के ग्रेडिएंट सबस्पेस (जो $U_i$ द्वारा स्पैन किया गया है) को एक "संरक्षित सबस्पेस" माना जाता है जिसमें $T_i$ के लिए महत्वपूर्ण दिशाएं होती हैं।
• ऑर्थोगोनल अपडेट: अपडेट दिशा को संरक्षित सबस्पेस के ऑर्थोगोनल कॉम्प्लीमेंट (orthogonal complement) तक सीमित किया जाता है। अपडेट $\Delta u_i$ को इस प्रकार कंप्यूट किया जाता है:
  $$\Delta u_i = (I - \tilde{U}^{(t-1)}_i \tilde{U}^{(t-1)\top}_i) \nabla_{u_i} L_t(u_i)$$
  जहाँ $\tilde{U}^{(t-1)}_i$ संचयी संरक्षित सबस्पेस (मूल प्रशिक्षण और पिछले सुधारों से दिशाओं सहित) है।
• संचयी सुरक्षा (Cumulative Protection): प्रत्येक सुधार चरण के बाद, नया अपडेट दिशा ऑर्थोनॉर्मलाइज किया जाता है और संरक्षित सबस्पेस में जोड़ा जाता है। यह सुनिश्चित करता है कि भविष्य के सुधार कभी भी उन दिशाओं पर वापस नहीं जाते या उन्हें ओवरराइट नहीं करते जो पिछले चरणों में खोजी गई थीं, जिससे समय के साथ गैर-हस्तक्षेप (non-interference) की गारंटी मिलती है।

सैद्धांतिक गारंटी:
पेपर में प्रमाण दिए गए हैं जो दिखाते हैं कि मामूली शर्तों (लॉस फंक्शन की स्मूथनेस) के तहत, ये सुरक्षित सुधार चरण वर्तमान-कार्य लॉस पर गैर-बढ़ने वाले (non-increasing) होने की गारंटी देते हैं। इसके अलावा, अपडेट संरक्षित सबस्पेस के प्रति पूरी तरह से ऑर्थोगोनल हैं, जो यह सुनिश्चित करता है कि पूर्व कार्य के लिए महत्वपूर्ण दिशाएं सुरक्षित रहें।

3. मुख्य योगदान

1. प्रॉम्प्ट-आधारित CL में प्रथम रिप्ले-मुक्त सकारात्मक BWT: SABER डेटा रिप्ले बफर पर निर्भर किए बिना प्रॉम्प्ट-आधारित निरंतर शिक्षण में सकारात्मक पश्च ज्ञान हस्तांतरण को सक्षम करने वाला पहला ढांचा है।
2. दोहरा-मानदंड चयन तंत्र: यह ग्रेडिएंट ज्योमेट्री (प्रोजेक्शन-आधारित) और रिस्पॉन्स-लेवल सांख्यिकी (लॉस-डिस्ट्रीब्यूशन-आधारित) दोनों का उपयोग करके संगत कार्यों की पहचान करने के लिए एक सिद्धांत-आधारित दृष्टिकोण पेश करता है, जो सूक्ष्मता और मेमोरी दक्षता के बीच संतुलन प्रदान करता है।
3. सुरक्षित अपडेट तंत्र: संचयी संरक्षित सबस्पेस के ऑर्थोगोनल कॉम्प्लीमेंट में अपडेट को सीमित करके, SABER नकारात्मक हस्तक्षेप को रोकता है जबकि प्रॉम्प्ट पैरामीटर स्पेस में अप्रयुक्त क्षमता का लाभ उठाता है।
4. मॉड्यूलरिटी: यह ढांचा मॉडल-अज्ञेइक (model-agnostic) है और इसे मौजूदा प्रॉम्प्ट-आधारित CL फ्रेमवर्क, जैसे कि फ्रोजन प्रॉम्प्ट पूल्स (FPP) और शेयर्ड प्रॉम्प्ट ऑग्मेंटेशन (SPA) में एकीकृत किया जा सकता है।

4. प्रयोगात्मक परिणाम

लेखकों ने विविध पूर्व-प्रशिक्षित बैकबोन (T5-Large, LLaMA-2-7B, और Qwen-3-4B) का उपयोग करके दो मानक बेंचमार्क (Long Sequence और SuperNI) पर SABER का मूल्यांकन किया।

• बैकवर्ड ट्रांसफर (BWT): सभी प्रतिस्पर्धी बेसलाइनों (L2P, LFPT5, ProgPrompt, CODA, SHLPT, और SAPT सहित) के विपरीत, जिन्होंने नकारात्मक BWT (पहले के कार्यों में गिरावट) प्रदर्शित किया, SABER लगातार सकारात्मक BWT प्राप्त करने में सफल रहा।
  • T5-Large (Long Sequence) पर, SABER ने BWT में लगभग +1.76 से +3.12 का सुधार किया, जबकि बेसलाइन -0.12 से -17.18 के बीच रहीं।
  • LLaMA-2-7B और Qwen-3-4B पर भी समान सकारात्मक रुझान देखे गए।
• औसत प्रदर्शन (AP): SABER ने सभी कार्यों में समग्र औसत प्रदर्शन को बनाए रखा या बेहतर किया, जो अधिकांश कॉन्फ़िगरेशन में मजबूत बेसलाइनों से बेहतर रहा।
• दक्षता: हालांकि SABER मध्यम कम्प्यूटेशनल ओवरहेड (सहसंबंध अनुमान और सुधार चरणों के कारण T5-Large के लिए लगभग 34% और LLaMA-2-7B के लिए 44%) पेश करता है, फिर भी यह रिप्ले-आधारित विधियों की तुलना में काफी अधिक कुशल है। लॉस-डिस्ट्रीब्यूशन वेरिएंट (SABRA-L), प्रोजेक्शन-आधारित वेरिएंट (SABER-P) की तुलना में एक मेमोरी-कुशल विकल्प प्रदान करता है, जो प्रति टास्क सीक्वेंस 2,340 KB तक मेमोरी बचाता है।
• एब्लेशन अध्ययन (Ablation Studies): कार्य सहसंबंध मानदंड या प्रतिबंधित अपडेट तंत्र में से किसी एक को हटाने से BWT का पतन (नकारात्मक होना) हो गया, जिससे पुष्टि हुई कि सफल पश्च हस्तांतरण के लिए चयनात्मकता और सुरक्षा दोनों आवश्यक हैं।

5. महत्व और दावे

पेपर का दावा है कि SABER प्रॉम्प्ट-आधारित निरंतर शिक्षण के प्रतिमान को सख्त अलगाव से नियंत्रित, चयनात्मक सहयोग की ओर मौलिक रूप से बदल देता है। यह प्रदर्शित करके कि पहले के कार्यों को विनाशकारी विस्मृति या डेटा रिप्ले के बिना बाद के कार्यों द्वारा सुधारा जा सकता है, SABER क्षेत्र की एक लंबे समय से चली आ रही सीमा को संबोधित करता है।

लेखक SABER को एक मजबूत, मॉड्यूलर समाधान के रूप में देखते हैं जो विविध मॉडल स्केल और आर्किटेक्चर पर काम करता है। वे इस बात पर जोर देते हैं कि उनका दृष्टिकोण गैर-हस्तक्षेप की सैद्धांतिक गारंटी प्रदान करता है, जो इसे उन ह्यूरिस्टिक (heuristic) विधियों से अलग करता है जिनमें सीखे गए निरूपणों को अस्थिर करने का जोखिम होता है। यह कार्य सुझाव देता है कि भविष्य के निरंतर शिक्षण सिस्टम कार्य सहसंबंधों का लाभ उठाकर पिछले ज्ञान को लगातार परिष्कृत और बेहतर बना सकते हैं, जो आजीवन शिक्षण (lifelong learning) के आदर्श के करीब ले जाता है।