तकनीकी सारांश: CRAFT – निरंतर शिक्षण के लिए विस्मरण-जागरूक हस्तक्षेप-आधारित अनुकूलन (Forgetting-Aware Intervention-Based Adaptation for Continual Learning)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) फाइन-ट्यूनिंग के माध्यम से नए कार्यों के अनुकूल होने पर कैटास्ट्रोफिक फॉरगेटिंग (विनाशकारी विस्मरण) का शिकार होते हैं। यह तब होता है जब मानक फाइन-ट्यूनिंग उन्हीं मापदंडों (parameters) को अपडेट करती है जो पूर्व ज्ञान को समाहित करते हैं, जिससे प्लास्टिसिटी (नया सीखने की क्षमता) और स्थिरता (पुराने ज्ञान को बनाए रखने की क्षमता) के बीच एक अंतर्निहित द्वंद्व उत्पन्न होता है। मौजूदा समाधान—जैसे कि रेगुलाइजेशन (उदा. EWC), रिप्ले मैकेनिज्म, या आर्किटेक्चरल बाधाएं जैसे LoRA पूल्स—पैरामीटर स्पेस के भीतर कार्य करते हैं, जहाँ यह संघर्ष उत्पन्न होता है। इन विधियों को अक्सर सीखे गए गेटिंग मैकेनिज्म (जो स्वयं विस्मरण के प्रति संवेदनशील होते हैं) या निश्चित संदर्भों की आवश्यकता होती है जो विकसित होते साझा ज्ञान को पकड़ने में विफल रहते हैं।

यह शोध पत्र प्रतिपादित करता है कि निरंतर शिक्षण (continual learning) को पैरामीटर प्रतिस्पर्धा के रूप में नहीं, बल्कि रिप्रेजेंटेशन-स्तर के हस्तक्षेपों (representation-level interventions) के संगठन और नियंत्रण के रूप में पुनर्गठित किया जाना चाहिए। बैकबोन वेट्स को फ्रीज रखकर और लो-रैंक सबस्पेस में हिडन रिप्रेजेंटेशन को एडिट करके, वेट-स्तर के हस्तक्षेप के स्रोत को हटाया जा सकता है। हालाँकि, रिप्रेजेंटेशन-आधारित शिक्षण में चुनौतियाँ बनी हुई हैं: समान कार्यों के बीच क्षमता को कैसे साझा किया जाए बिना असंबंधित कार्यों को प्रतिस्पर्धा करने के लिए मजबूर किए, बिना सीखे गए गेट के कार्यों को कैसे रूट किया जाए, और दक्षता को सीमित किए बिना अनुकूलन के दौरान विस्मरण को कैसे नियंत्रित किया जाए।

2. कार्यप्रणाली: CRAFT

CRAFT (कंटीन्यूअल रिप्रेजेंटेशन-एंकोर्ड फाइन-ट्यूनिंग) एक ऐसा फ्रेमवर्क है जो मॉडल वेट्स को संशोधित किए बिना पूरी तरह से रिप्रेजेंटेशन स्पेस में रूटिंग, अनुकूलन और विलय (merging) करता है। यह LoReFT (लो-रैंक लीनियर सबस्पेस रीफ़्ट) का लाभ उठाता है, जो विशिष्ट टोकन स्थितियों पर हिडन स्टेट्स $h^{(l)}$ को एक लो-रैंक इंटरवेंशन फंक्शन $\Phi(h^{(l)}; \phi) = h^{(l)} + R^\top(W h^{(l)} + b - R h^{(l)})$ का उपयोग करके एडिट करता है।

यह फ्रेमवर्क एक एकल कुलबैक–लीब्लर (KL) डाइवर्जेंस सिग्नल द्वारा संचालित तीन एकीकृत चरणों में कार्य करता है:

A. हस्तक्षेप आर्किटेक्चर (Intervention Architecture)

CRAFT रेसिडुअल स्ट्रीम के भीतर दो प्रॉम्प्ट स्ट्रीम्स में हस्तक्षेपों को विभाजित करता है:

1. f-stream: पहले $t_{pos}$ टोकन (प्रिफिक्स) पर लागू किया जाता है, जो निर्देशों को एनकोड करता है।
2. l-stream: अंतिम $t_{pos}$ टोकन (सफिक्स) पर लागू किया जाता है, जहाँ आउटपुट कमिट किया जाता है।
   एक समान-कार्य समूह $S_k$ के भीतर के कार्य एक सामान्य हस्तक्षेप अवस्था $\phi_{S_k}$ साझा करते हैं, जबकि विभिन्न समूहों के कार्य अलग-तट रहते हैं।

B. नियतात्मक रूटिंग (कोई सीखा गया गेट नहीं)

एक ट्रेन करने योग्य राउटर के बजाय, CRAFT कार्यों को असाइन करने के लिए आउटपुट-डिस्ट्रीब्यूशन डाइवर्जेंस का उपयोग करता है:

1. वॉर्म-अप (Warm-up): एक नया कार्य $\tau_t$ एक साझा रैंडम सीड से एक संक्षिप्त वॉर्म-अप ($S_{wu}$ स्टेप्स) से गुजरता है ताकि एक प्रोविजनल इंटरवेंशन $\tilde{\phi}^{(t)}$ उत्पन्न हो सके।
2. दूरी गणना (Distance Calculation): मौजूदा समूहों $S_k$ के संग्रहीत वितरणों के विरुद्ध आउटपुट वितरण $\pi_{\tilde{\phi}^{(t)}}$ की तुलना एक नॉर्मलाइज्ड सिमेट्रिक KL दूरी का उपयोग करके की जाती है:
   $$d(t, k) = \frac{D_{KG_k}}{\max(\min(D_K, D_{G_k}), \epsilon)}$$
   जहाँ $D_K$ बेसलाइन से कार्य की दूरी है, $D_{G_k}$ बेसलाइन से समूह की दूरी है, और $D_{KG_k}$ कार्य और समूह के बीच की दूरी है।
3. असाइनमेंट (Assignment): यदि $d(t, k) \le \delta$, तो कार्य समूह $S_k$ में शामिल हो जाता है। इसके लिए किसी भी ट्रेन करने योग्य रूटिंग पैरामीटर या टास्क आइडेंटिफायर की आवश्यकता नहीं होती है।

C. KL-रेगुलराइज्ड एडाप्टेशन और मर्जिंग

एक बार समूह $S_k$ में असाइन होने के बाद:

1. एंकरिंग (Anchoring): समूह की वर्तमान अवस्था $\phi_{S_k}$ को एक एंकर $\phi_{anchor}$ के रूप में फ्रीज कर दिया जाता है।
2. प्रशिक्षण (Training): कार्य का इंटरवेंशन $\phi^{(t)}$ निम्नलिखित लॉस फंक्शन के साथ नए कार्य पर प्रशिक्षित किया जाता है:
   $$L_{total} = L_{\tau}(\phi^{(t)}) + \beta \cdot KL(\pi_{\phi_{anchor}} \parallel \pi_{\phi^{(t)}})$$
   KL टर्म एक एकीकृत सिग्नल के रूप में कार्य करता है जो:
   • समूह के पूर्व ज्ञान से विचलन (drift) को रोकने के लिए प्रशिक्षण को रेगुलराइज करता है।
   • विस्मरण की भविष्यवाणी करता है: अनुभवजन्य नियमों (Shenfeld et al., 2025) के आधार पर, उच्च KL डाइवर्जेंस विस्मरण से सह-संबंधित है। यदि प्रारंभिक एपोक का माध्य KL थ्रेशोल्ड $\eta$ से अधिक हो जाता है, तो कार्य को एक नए समूह में हटा दिया जाता है।
3. विलय (Merging): अभिसरण (convergence) होने पर, प्रशिक्षित $\phi^{(t)}$, साझा अवस्था $\phi_{S_k}$ को ओवरराइट कर देता है।

3. मुख्य योगदान

1. इंटरवेंशन-लेवल कंटीन्यूअल लर्निंग: CRAF पहला ऐसा फ्रेमवर्क है जो मॉडल वेट्स को संशोधित किए बिना पूरी तरह से रिप्रेजेंटेशन स्पेस में रूटिंग, अनुकूलन और विलय को संयुक्त रूप से करता है।
2. सीखे गए गेट के बिना नियतात्मक रूटिंग: यह एक संक्षिप्त वॉर्म-अप और आउटपुट-डिस्ट्रीब्यूशन KL दूरी का उपयोग करके कार्यों को असाइन करने के लिए ट्रेन करने योग्य रूटिंग पैरामीटर्स की आवश्यकता को समाप्त करता है, जिससे राउटर विस्मरण के प्रति मजबूत बनता है।
3. एकीकृत विस्मरण नियंत्रण: यह एक एकल KL-आधारित सिग्नल पेश करता है जो प्रशिक्षण ड्रिफ्ट को नियंत्रित करने, विस्मरण की भविष्यवाणी करने और नए ज्ञान के एकीकरण को संचालित करने के कार्य को एक साथ करता है, जो अलग-थलग ह्यूरिस्टिक्स (heuristics) का स्थान लेता है।
4. अनुभवजन्य सत्यापन: इस दृष्टिकोण को तीन अलग-अलग LLMs (Llama-3.2-1B, Gemma-2B, Llama-2-7B) और विविध बेंचमार्क (TRACE, Math-LLM, O-LoRA sequences) में सत्यापित किया गया है।

4. प्रायोगिक परिणाम

CRAFT का मूल्यांकन SeqLoRA, GEM, EWC, L2P, DualPrompt, HiDeLoRA, O-LoRA, TreeLoRA और हालिया विधियों जैसे SAPT और TASL सहित मजबूत बेसलाइन्स के विरुद्ध किया गया था।

• प्रदर्शन लाभ: CRAF सर्वश्रेष्ठ स्टेट-ऑफ-द-आर्ट विधियों की तुलना में ओवरऑल परफॉर्मेंस (OP) में 8.03% तक सुधार करता है (Llama-3.2-1B पर)।
• विस्मरण में कमी: यह बैकवर्ड ट्रांसफर (BWT) विस्मरण दर को 6.49% तक कम करता है। Llama-3.2-1B पर 15-टास्क स्ट्रीम पर, CRAF ने TreeLoRA (6.41%) और O-LoRA (10.99%) की तुलना में 2.60% का BWT प्राप्त किया।
• पैरामीटर दक्षता: CRAF, मजबूत LoRA-आधारित बेसलाइन्स की तुलना में 3.75 गुना कम ट्रेन करने योग्य इंटरवेंशन पैरामीटर्स का उपयोग करता है। उदाहरण के लिए, 15 कार्यों के साथ Llama-3.2-1B पर, CRAF को केवल 4.20M पैरामीटर्स की आवश्यकता थी, जबकि मानक LoRA को 15.73M की आवश्यकता थी।
• मजबूती (Robustness): विधि विभिन्न कार्य क्रमों (task orderings) में मजबूत रहती है और रूटिंग थ्रेशोल्ड $\delta$ तथा वॉर्म-अप लंबाई $S_{wu}$ के विविध बदलावों के प्रति असंवेदनशील है।
• क्रॉस-ग्रुप इनवेरिएंस: सैद्धांतिक और अनुभवजन्य विश्लेषण पुष्टि करता है कि एक क्लस्टर में कार्य को प्रशिक्षित करने से अन्य क्लस्टरों के कार्यों के इन्फरेंस आउटपुट पर कोई प्रभाव नहीं पड़ता है, क्योंकि ऑप्टिमाइज़र का दायरा केवल विशिष्ट समूह के इंटरवेंशन तक ही सीमित रहता है।

5. महत्व और दावे

शोध पत्र का दावा है कि आउटपुट-स्पेस डाइवर्जेंस द्वारा निर्देशित, रिप्रेजेंटेशन स्पेस में अनुकूलन को नियंत्रित करना, निरंतर शिक्षण के लिए एक स्केलेबल और सिद्धांत-आधारित दृष्टिकोण प्रदान करता है।

• ट्रेड-ऑफ का पुनर्निर्धारण: वेट अपडेट को हटाकर, CRAF स्थिरता-प्लास्टिसिटी द्वंद्व को पैरामीटर-स्पेस के खींचतान से बदलकर रिप्रेजेंटेशन एडिट्स के संगठन की समस्या में बदल देता है।
• सिद्धांत-आधारित विस्मरण नियंत्रण: आउटपुट-स्पेस डाइवर्जेंस के रूप में KL डाइवर्जेंस का उपयोग करने से सिस्टम को प्रॉक्सी पर निर्भर रहने के बजाय सीधे विस्मरण को मापने और नियंत्रित करने की अनुमति मिलती है।
• स्केलेबिलिटी: फ्रेमवर्क कुल कार्यों ($T$) के बजाय खोजे गए कार्य समूहों ($K$) की संख्या के साथ स्केल करता है, जो लंबे कार्य स्ट्रीम के लिए अधिक कुशल समाधान प्रदान करता है।
• सीमाएँ: लेखक स्वीकार करते हैं कि रूटिंग मैकेनिज्म 'नियर-सीलिंग' कार्यों या उन स्ट्रीम्स के लिए संघर्ष कर सकता है जहाँ कार्य लगभग-डुप्लिकेट हैं लेकिन क्रमिक रूप से प्रस्तुत किए गए हैं (जैसे, एक ही डेटासेट के दो हिस्से), क्योंकि सिमेट्रिक KL दूरी संतृप्त (saturate) हो सकती है। वे सुझाव देते हैं कि ऐसे मामलों को संभालने के लिए भविष्य के कार्य में मौजूदा क्लस्टर्स से वॉर्म-अप सीड करना शामिल हो सकता है।

अनिवार्य रूप से, CRAF प्रदर्शित करता है कि संरचनात्मक रिप्रेजेंटेशन एडिटिंग के माध्यम से मॉडल आउटपुट्स के स्तर पर कैटास्ट्रोफिक फॉरगेटिंग को प्रभावी ढंग से नियंत्रित किया जा सकता है, बिना अंतर्निहित बेस वेट्स को बाधित या संशोधित किए।