तकनीकी सारांश: ProCL – प्रोग्राम मेमोरी के माध्यम से बड़े भाषा मॉडलों का निरंतर फाइन-ट्यूनिंग (Continual Fine-Tuning)

1. समस्या विवरण (Problem Statement)

बड़े भाषा मॉडल (LLMs) निरंतर शिक्षण (Continual Learning - CL) परिदृश्यों में एक महत्वपूर्ण चुनौती का सामना करते हैं, जहाँ उन्हें छोटे डेटासेट का उपयोग करके नए कार्यों के अनुकूल होने के लिए क्रमिक रूप से (sequentially) अनुकूलित होना पड़ता है बिना पहले से प्राप्त ज्ञान को भूले। इसे स्थिरता-प्लास्टिसिटी द्वंद्व (stability–plasticity dilemma) के रूप में जाना जाता है।

जबकि पैरामीटर-कुशल फाइन-ट्यूनिंग (Parameter-Efficient Fine-Tuning - PEFT), विशेष रूप से लो-रैंक एडेप्टेशन (Low-Rank Adaptation - LoRA), सीमित कंप्यूट के तहत LLMs को अनुकूलित करने के लिए एक मानक बन गया है, पारंपरिक क्रमिक LoRA अपडेट निरंतर सेटिंग्स में संघर्ष करते हैं। मानक दृष्टिकोण लो-रैंक सबस्पेस को एक सजातीय (homogeneous) अपडेट क्षेत्र के रूप में मानते हैं। फलस्वरूप, क्रमिक फाइन-ट्यूनिंग कार्यों के बीच हस्तक्षेप (interference) पैदा करती है, जिससे विनाशकारी विस्मृति (catastrophic forgetting) और प्रतिधारण (retention) में कमी आती है। मौजूदा विधियाँ इसे निम्नलिखित माध्यमों से कम करने का प्रयास करती हैं:

• एडेप्टर-मॉड्यूलर आर्किटेक्चर (Adapter-Modular Architectures): कार्य-विशिष्ट मॉड्यूल या गेटिंग तंत्र (जैसे LoraHub, MOLE) जोड़ना। अलगाव (isolation) में प्रभावी होने के बावजूद, ये आर्किटेक्चरल जटिलता, मेमोरी फुटप्रिंट और इन्फरेंस लेटेंसी (inference latency) को बढ़ाते हैं, जिससे ये लंबे कार्य अनुक्रमों (task sequences) के लिए अव्यावहारिक हो जाते हैं।
• नियमितीकरण-आधारित विधियाँ (Regularization-Based Methods): ऑर्थोगोनैलिटी (orthogonality) या सबस्पेस बाधाओं (जैसे O-LoRA, DEAL) को लागू करना। हालांकि ये हस्तक्षेप को कम करते हैं, लेकिन ये अक्सर मॉडल की प्रभावी प्लास्टिसिटी को सीमित कर देते हैं, जिससे बाद के कार्यों पर नई जानकारी सीखने की क्षमता बाधित होती है।

इसके अलावा, मौजूदा निरंतर LoRA रणनीतियों में अक्सर इस बात को नियंत्रित करने के लिए एक व्यवस्थित तंत्र की कमी होती है कि नए ज्ञान को लो-रैंक स्पेस के भीतर कैसे लिखा, विभाजित या समेकित किया जाए, जिससे वे ग्रेडिएंट इंटरफेरेंस के प्रति संवेदनशील हो जाते हैं।

2. कार्यप्रणाली: ProCL

लेखक ProCL (प्रोग्राम मेमोरी कॉन्टिनुअल लोरा) प्रस्तावित करते हैं, जो तंत्रिका विज्ञान (neuroscience) में पूरक शिक्षण प्रणालियों (Complementary Learning Systems - CLS) से प्रेरित एक ढांचा है। CLS का तर्क है कि मस्तिष्क तीव्र एपिसोडिक इंडेक्सिंग के लिए एक तेज़ शिक्षण प्रणाली (हिप्पोकैम्पस) और वितरित प्रतिनिधित्व के क्रमिक समेकन के लिए एक धीमी शिक्षण प्रणाली (कोर्टेक्स) का उपयोग करता है।

ProCL इस जैविक सिद्धांत को एक संरचित LoRA अनुकूलन तंत्र में अनुवादित करता है:

2.1 प्रोग्राम मेमोरी संरचना (Program Memory Structure)

एक मोनोलिथिक LoRA एडेप्टर के बजाय, ProCL लो-रैंक एडेप्टर वेट मैट्रिक्स $W$ को $N$ विशिष्ट प्रोग्राम्स (या मेमोरी स्लॉट्स) में विभाजित करता है।

• विभाजन (Partitioning): $W$ को $N$ उप-मैट्रिक्स $W^{(1)}, \dots, W^{(N)}$ में विभाजित किया गया है, जहाँ प्रत्येक $W^{(n)}$ एक विशिष्ट मेमोरी स्लॉट के रूप में कार्य करता है।
• निष्पादन अमूर्तन (Execution Abstraction): यह उसी एडेप्टर टेंसर पर एक निष्पादन-समय अमूर्तन (execution-time abstraction) है, जो बिना किसी बाहरी पैरामीटर को जोड़े मौजूदा LoRA कार्यान्वयन के साथ पूर्ण अनुकूलता सुनिश्चित करता है।

2.2 इनपुट-कंडीशनड प्रोग्राम चयन (Input-Conditioned Program Selection)

प्रशिक्षण के दौरान, मॉडल इनपुट के आधार पर इन प्रोग्राम्स को गतिशील रूप से पुनर्प्राप्त (retrieve) और संयोजित करता है:

1. फिंगरप्रिंटिंग (Fingerprinting): मीन पूलिंग (mean pooling) के माध्यम से एक इनपुट $x$ को एक सारांश वेक्टर $z$ में संकुचित किया जाता है और एक टास्क क्वेरी $Q$ उत्पन्न करने के लिए एक हल्के एन्कोडर के माध्यम से पारित किया जाता है।
2. अटेंशन रूटिंग (Attention Routing): एक मल्टी-हेड अटेंशन तंत्र $Q$ की तुलना $N$ प्रोग्राम्स से जुड़े सीखे जाने योग्य 'कीज़' (keys) से करता है। यह सॉफ्ट रूटिंग वेट $\alpha$ उत्पन्न करता है।
3. संरचना (Composition): अंतिम निष्पादित एडेप्टर $\hat{W}(x)$ चयनित प्रोग्राम्स का एक सॉफ्ट कंपोजिशन है:
   $$\hat{W} = \sum_{n=1}^{N} \bar{\alpha}_n \cdot \sigma(s_n) \cdot W^{(n)}$$
   यह समान इनपुट्स को साझा एडेप्टर क्षेत्रों का पुन: उपयोग करने की अनुमति देता है जबकि असंबंधित इनपुट्स को पैरामीटर स्पेस के विभिन्न हिस्सों में रूट करता है, जिससे अपडेट स्थानीयकृत होते हैं और क्रॉस-टास्क ग्रेडिएंट इंटरफेरेंस कम होता है।

2.3 स्थिर-अनुकूलनशील वेट संरचना (Stable–Adaptive Weight Composition)

निष्पादित एडेप्टर को गतिशील रूप से रूट किए गए प्रोग्राम्स को मूल एडेप्टर ($W_{orig}$) की एक फ्रीज की गई कॉपी के साथ जोड़कर बनाया जाता है:
$$W_{exec} = \gamma W_{orig} + \hat{W}(x)$$

• $W_{orig}$: एक स्थिर बेसलाइन प्रदान करता है जो पहले से सीखे गए ज्ञान का प्रतिनिधित्व करता है, जिससे विनाशकारी अपडेट को रोका जा सके।
• $\gamma$: एक सीखने योग्य स्केलिंग पैरामीटर है जो स्थिर बेसलाइन बनाम नए अनुकूलन के योगदान को संतुलित करता है।
• ग्रेडिएंट फ्लो (Gradient Flow): ग्रेडिएंट केवल प्रोग्राम्स $\hat{W}$ के माध्यम से प्रवाहित होते हैं, जबकि बैकप्रोपैगेशन के दौरान $W_{orig}$ फ्रीज रहता है।

2.4 समेकन (Consolidation)

स्थिर प्रतिधारण और इन्फरेंस दक्षता सुनिश्चित करने के लिए, ProCL एक समेकन चरण (consolidation step) नियोजित करता है जो निरंतर वेट $W$ को समय-समय पर अपडेट करता है:
$$W \leftarrow (1 - \lambda)W + \lambda W_{exec}$$
यह चरण इनपुट-निर्भर अनुकूलन को निरंतर वेट में संकलित (distill) करता है, जो तेज़ एपिसोडिक मेमोरी से धीमी वितरित मेमोरी में सूचना के हस्तांतरण की जैविक प्रक्रिया की नकल करता है।

2.5 कुशल इन्फरेंस (Efficient Inference)

इन्फरेंस के समय, रूटिंग तंत्र को हटा दिया जाता है। मॉडल सीधे समेकित एडेप्टर $W$ का उपयोग करता है। यह सुनिश्चित करता है कि मानक LoRA की तुलना में शून्य अतिरिक्त इन्फरेंस लागत हो, क्योंकि जटिल प्रोग्राम चयन और संरचना केवल प्रशिक्षण के दौरान होती है।

3. मुख्य योगदान (Key Contributions)

• प्रोग्राम मेमोरी फ्रेमवर्क: LoRA एडेप्टर्स को "प्रोग्राम स्लॉट्स" में संरचित करने का एक नया तरीका पेश करता है जिन्हें इनपुट-कंडीशनड अटेंशन के माध्यम से गतिशील रूप से पुनर्प्राप्त किया जाता है, जो तीव्र, स्थानीयकृत अनुकूलन को सक्षम बनाता है।
• स्थिरता-प्लास्टिसिटी के लिए तंत्र: स्थिर बेसलाइन ($W_{orig}$) को गतिशील प्रोग्राम्स से अलग करके और एक समेकन चरण का उपयोग करके, ProCL पुराने ज्ञान के प्रतिधारण और नए ज्ञान के अधिग्रहण के बीच स्पष्ट रूप से संतुलन बनाता है।
• सैद्धांतिक गारंटी: लेखक एक सैद्धांतिक विश्लेषण (Remark 1) प्रदान करते हैं जो दिखाता है कि रूटिंग विशेषज्ञता के तहत, क्रॉस-टास्क ग्रेडिएंट इंटरेक्शन सीमित है और शून्य के करीब पहुँच जाता है, जो हस्तक्षेप में कमी को औपचारिक रूप से न्यायसंगत ठहराता है।
• शून्य इन्फरेंस ओवरहेड: मॉड्यूलर या गेटिंग-आधारित दृष्टिकोणों के विपरीत, ProCL तैनाती के लिए सभी सीखे गए ज्ञान को एक एकल स्टैटिक एडेप्टर में समेकित करता है, जिससे कोई अतिरिक्त लेटेंसी या मेमोरी लागत नहीं आती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई LLM बैकबोन (Llama-3, Qwen3, Flan-T5) और कार्यों (प्रश्न उत्तर और टेक्स्ट वर्गीकरण) का उपयोग करके विविध बेंचमार्क पर ProCL का मूल्यांकन किया।

• प्रश्न उत्तर (QA): एक अनुक्रमिक QA बेंचमार्क (BoolQ $\to$ SQuAD $\to$ AdversarialQA) पर, ProCL ने सभी मॉडलों में उच्चतम औसत सटीकता (69.1%) प्राप्त की, जो DEAL (66.2%) और Seq-LoRA (61.2%) जैसे मजबूत बेसलाइन्स से बेहतर है। महत्वपूर्ण रूप से, ProCL ने न्यूनतम विनाशकारी विस्मृति प्रदर्शित की, जिसमें पिछले कार्यों (जैसे BoolQ) पर प्रदर्शन में न्यूनतम गिरावट आई, जबकि अन्य विधियों में 20-45 अंक की गिरावट देखी गई।
• टेक्स्ट वर्गीकरण (TC): 3, 4 और 15 कार्यों वाले सेटिंग्स में, ProCL ने लगातार औसत सटीकता (AA) और ROUGE-1 मेट्रिक्स में सर्वश्रेष्ठ या दूसरा सर्वश्रेष्ठ परिणाम प्राप्त किया। इसने लंबे कार्य अनुक्रमों (15 कार्य) में विशेष शक्ति दिखाई, जो DEAL की तुलना में लगभग 0.9–1.3% सुधार करता है।
• दक्षता: हालांकि प्रशिक्षण में रूटिंग शामिल है, ProCL प्रशिक्षण के दौरान DEAL की तुलना में 1.7–2.0$\times$ तेज़ चलता है और रूटिंग तंत्र को पूरी तरह से हटाकर इन्फरेंस के समय 6–8$\times$ की गति वृद्धि प्राप्त करता है।
• एब्लेशन अध्ययन (Ablation Studies): स्थिर बेसलाइन ($W_{orig}$) या समेकन चरण को हटाने से प्रदर्शन में काफी गिरावट आई, जो स्थिरता और प्लास्टिसिटी को संतुलित करने के लिए दोनों घटकों की आवश्यकता की पुष्टि करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ProCL लो-रा पैरामीट्रिज़ेशन के भीतर कुशल और मजबूत निरंतर शिक्षण के लिए एक सिद्धांतिक तंत्र प्रदान करता है। प्रोग्राम-स्तर की मेमोरी के साथ लो-रैंक स्पेस को संरचित करके, ProCL मौजूदा विधियों की सीमाओं को संबोधित करता है जो या तो आर्किटेक्चरल जटिलता बढ़ाती हैं या प्लास्टिसिटी को कम करती हैं।

लेखक दावा करते हैं कि ProCL:

1. विनाशकारी विस्मृति को कम करता है: यह अत्याधुनिक निरंतर LoRA रणनीतियों की तुलना में पहले से सीखे गए कार्यों पर प्रदर्शन में गिरावट को काफी कम करता है।
2. तैनाती दक्षता बनाए रखता है: यह अतिरिक्त इन्फरेंस ओवरहेड के बिना ये लाभ प्राप्त करता है, जो इसे वास्तविक दुनिया की तैनाती के लिए उपयुक्त बनाता है।
3. प्रभावी ढंग से स्केल करता है: यह 3B से 8B पैरामीटर्स तक विभिन्न मॉडल आकारों और आर्किटेक्चर में मजबूती प्रदर्शित करता है।

पेपर निष्कर्ष निकालता है कि प्रोग्राम मेमोरी के माध्यम से अनुकूलन को व्यवस्थित करना और समेकन करना LLMs के स्केलेबल निरंतर अनुकूलन के लिए एक आशाजनक दिशा है, हालांकि यह अत्यधिक समान कार्यों में रूटिंग कोलैप्स (routing collapse) और बढ़ती कार्य विविधता के कारण निश्चित क्षमता बाधाओं के संबंध में सीमाओं को स्वीकार करता है।