तकनीकी सारांश: मल्टी-टास्क लर्निंग में क्षमता और अतिरेक (Redundancy) के बीच ट्रेड-ऑफ

1. समस्या विवरण

मल्टी-टास्क लर्निंग (MTL) का लक्ष्य एक ही मॉडल को कई भविष्यवाणात्मक कार्यों (prediction tasks) पर एक साथ प्रशिक्षित करके दक्षता और सामान्यीकरण (generalization) में सुधार करना है। हालाँकि, एक निरंतर चुनौती नेगेटिव ट्रांसफर (negative transfer) की है, जहाँ अतिरिक्त कार्यों पर प्रशिक्षण से प्रदर्शन में सुधार होने के बजाय गिरावट आती है। जबकि इसे अक्सर एक ऑप्टिमाइज़ेशन आर्टिफैक्ट के रूप में देखा जाता है, यह शोध पत्र तर्क देता है कि नेगेटिव ट्रांसफर मौलिक रूप से सीमित साझा क्षमता (limited shared capacity) और कमजोर कार्य अतिरेक (weak task redundancy) का परिणाम है।

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) के संदर्भ में, विशेष रूप से लो-रैंक एडेप्टेशन (LoRA) जैसी विधियों का उपयोग करते हुए, एक महत्वपूर्ण डिज़ाइन विकल्प उत्पन्न होता है: क्या कई कार्यों को ट्रांसफर को प्रोत्साहित करने के लिए एक एकल हल्के मॉड्यूल (lightweight module) को साझा करना चाहिए, या प्रत्येक कार्य को हस्तक्षेप (interference) से बचने के लिए एक निजी मॉड्यूल मिलना चाहिए? मौजूदा हाइब्रिड दृष्टिकोण (जैसे, टास्क क्लस्टरिंग, मिक्सचर-ऑफ-एडेप्टर्स) यह निर्धारित करने के लिए एक एकीकृत सैद्धांतिक ढांचे की कमी रखते हैं कि कब साझा करना फायदेमंद है और कब विशेषज्ञता (specialization) आवश्यक है।

2. कार्यप्रणाली और सैद्धांतिक ढांचा

यह शोध पत्र एक क्षमता-अतिरेक (Capacity–Redundancy - CR) पहचान (identity) पेश करता है जो प्रति-कार्य भविष्यवाणात्मक सूचनाओं (predictive informations) के योग को संयुक्त भविष्यवाणात्मक सूचना, लेबल अतिरेक और एक अवशिष्ट युग्मन (residual coupling) पद में विभाजित करता है।

2.1 क्षमता-अतिरेक (CR) असमानता

लेखक MTL में साझा एनकोडर को एक सीमित-क्षमता वाले चैनल के रूप में मॉडल करते हैं जिसका बजट $I(X; Z_s) \leq C_s$ है, जहाँ $Z_s$ साझा लेटेंट रिप्रजेंटेशन (latent representation) है। वे निम्नलिखित असमानता व्युत्पन्न करते हैं:
$$\sum_{t=1}^T I(Z_s; Y^{(t)}) \leq C_s + TC(Y^{(1:T)})$$
जहाँ:

• $I(Z_s; Y^{(t)})$ कार्य $t$ के लिए भविष्यवाणात्मक सूचना है।
• $C_s$ साझा क्षमता है।
• $TC(Y^{(1:T)})$ लेबलों के बीच टोटल कोरिलेशन (Total Correlation) है, जो लेबल अतिरेक के माप के रूप में कार्य करता है।

यह असमानता एक सटीक पहचान से व्युत्पन्न है:
$$\sum_{t=1}^T I(Z_s; Y^{(t)}) = I(Z_s; Y^{(1:T)}) + \left( TC(Y^{(1:T)}) - TC(Y^{(1:T)} | Z_s) \right)$$
पद $\Delta = TC(Y^{(1:T)} | Z_s)$ अवशिष्ट युग्मन (residual coupling) (हस्तक्षेप) को दर्शाता है जो साझा रिप्रजेंटेशन पर कंडीशनिंग के बाद शेष रहता है। यदि $\Delta > 0$ है, तो साझा रिप्रजेंटेशन ने संयुक्त कार्य वितरण (joint task distribution) को पूरी तरह से फैक्टराइज़ (factorize) नहीं किया है।

2.2 मुख्य सैद्धांतिक परिणाम

• स्केलिंग के बिना सिग्नल बनाए रखने की असंभवता: कमजोर रूप से निर्भर कार्यों (कम $TC$) के लिए, एक निश्चित-क्षमता वाले बॉटलनेक में कार्य जोड़ने से प्रति-कार्य औसत सूचना$O(1/T)$ के रूप में घट जाती है। प्रति-कार्य सिग्नल स्तर को स्थिर बनाए रखने के लिए, जब तक कि अतिरेक अधिक न हो, क्षमता को कार्यों की संख्या के साथ रैखिक रूप से स्केल करना होगा।
• ग्रेडिएंट–TC ब्रिज: एक गॉसियन मल्टी-टास्क मॉडल में, यह शोध पत्र सिद्ध करता है कि ग्रेडिएंट कोसाइन सिमिलरिटी (gradient cosine similarity) लेबल सहसंबंधों के चिह्न और क्रम को सुरक्षित रखती है (मैच्ड नॉइज़ के तहत)। यह औपचारिक रूप से रेडंडेंसी ऑर्डरिंग के प्रॉक्सी के रूप में ग्रेडिएंट सिमिलरिटी का उपयोग करने के लिए आधार प्रदान करता है ताकि टास्क क्लस्टरिंग को निर्देशित किया जा सके।
• क्लस्टरिंग गैप अपघटन (Clustering Gap Decomposition): लेखक एक आवश्यक और पर्याप्त शर्त व्युत्पन्न करते हैं कि कब क्लस्टर्ड शेयरिंग (समूहों के भीतर साझा करना, वैश्विक रूप से नहीं) ग्लोबल शेयरिंग से बेहतर प्रदर्शन करती है। लाभ को इस प्रकार विभाजित किया गया है:
  $$\text{Gain} = (\text{Interference Reduction}) - (\text{Redundancy Loss})$$
  क्लस्टर्ड शेयरिंग केवल तभी फायदेमंद है यदि अवशिष्ट युग्मन (interference) में कमी, क्लस्टर सीमाओं के पार साझा अतिरेक (shared redundancy) के नुकसान से अधिक हो।
• साझा-निजी विस्तार (Shared–Private Extension): इस ढांचे को टास्क-प्राइवेट फीचर्स ($Z_t$) को शामिल करने के लिए विस्तारित किया गया है। कुल सूचना सीमा $C_s + \sum C_t + TC(Y^{(1:T)})$ हो जाती है। दिखाया गया है कि प्राइवेट फीचर्स उस विषमता (heterogeneity) को अवशोषित करके $\Delta$ को कम करते हैं जिसे साझा बॉटलनेक एनकोड नहीं कर सकता।

2.3 LoRA पर अनुप्रयोग

यह शोध पत्र LoRA को एक क्षमता-बाधित चैनल के रूप में मॉडल करता है जहाँ रैंक $r$ प्रभावी क्षमता $C_s$ को सीमित करता है। यह भविष्यवाणी करता है कि विषम (heterogeneous) कार्यों के लिए, एक एकल वैश्विक रूप से साझा LoRA रैंक बढ़ने के साथ जल्दी संतृप्त (saturate) हो जाएगा, जबकि हस्तक्षेप को रोकने के लिए क्लस्टर्ड या प्राइवेट एडेप्टर आवश्यक होंगे।

3. अनुभवजन्य परिणाम (Empirical Results)

लेखक सिंथेटिक डेटा और एक फ्रोजन bert-base-uncased एनकोडर के साथ LoRA एडेप्टर का उपयोग करके वास्तविक दुनिया के NLP बेंचमार्क के माध्यम से अपने सिद्धांत को सत्यापित करते हैं।

3.1 सिंथेटिक सत्यापन

• CR असमानता की सटीकता: एक लीनियर-गॉसियन मॉडल में, यह दिखाया गया है कि बाउंड तब सटीक (tight) होता है जब एनकोडर टास्क सबस्पेस को स्पैन करता है।
• अवशिष्ट युग्मन अनुमान ($\hat{\Delta}$): लेखक वैलिडेशन रेजिडुअल कोरिलेशन का उपयोग करके अवशिष्ट युग्मन $\Delta$ का अनुमान लगाने का प्रस्ताव देते हैं। वे प्रदर्शित करते हैं कि उनका एस्टीमेटर लॉग-डे टर्मिनेंट गणना में रेगुलराइजेशन पैरामीटर $\epsilon$ के प्रति संवेदनशील है, जिससे एक इष्टतम रेंज ($\epsilon = 10^{-5}$) की पहचान होती है जो बायस (bias) को कम करती है।

3.2 वास्तविक दुनिया के बेंचमार्क

प्रयोग GoEmotions डेटासेट (12 इमोशन लेबल्स) और GLUE8 बेंचमार्क (8 विविध NLP कार्य) पर किए गए।

• GoEmotions: क्लस्टर्ड रूटिंग (ग्रेडिएंट सिमिलरिटी द्वारा कार्यों को समूहित करना) समान रैंक बजट (जैसे, रैंक 8 पर, क्लस्टर्ड AUROC: 0.821 बनाम शेयर्ड: 0.708) के तहत ग्लोबल शेयरिंग और प्राइवेट-ओनली बेसलाइन्स से लगातार बेहतर रहा। महत्वपूर्ण रूप से, क्लस्टर्ड रूटिंग ने व्यवस्थित रूप से कम अनुमानित अवशिष्ट युग्मन $\hat{\Delta}$ दिखाया, जो कम हस्तक्षेप की पुष्टि करता है।
• GLUE8: समान रुझान देखे गए, हालांकि विषम प्रकृति (सिंटैक्स बनाम सेंटीमेंट) के कारण सुधार मामूली थे।
• निष्कर्ष: समानता-निर्देशित रूटिंग (similarity-guided routing) प्रभावी रूप से अवशिष्ट हस्तक्षेप को कम करती है और प्रदर्शन में सुधार करती है जब एडेप्टर क्षमता सीमित होती है।

4. मुख्य योगदान

1. स्लैक टर्म का अलगाव (Isolation of the Slack Term): यह शोध पत्र $\Delta = TC(Y^{(1:T)} | Z_s)$ को साझा रिप्रजेंटेशन द्वारा अनसुलझे हस्तक्षेप के विशिष्ट माप के रूप में पहचानता है।
2. क्लस्टरिंग गैप अपघटन: यह एक आवश्यक और पर्याप्त शर्त (थ्योरम 5.3) प्रदान करता है कि कब क्लस्टर्ड शेयरिंग ग्लोबल शेयरिंग से बेहतर है, इसे हस्तक्षेप में कमी बनाम रेडंडेंसी लॉस के रूप में फ्रेम करता है।
3. ग्रेडिएंट–TC ब्रिज: गॉसियन मॉडल में रेडंडेंसी ऑर्डरिंग के प्रॉक्सी के रूप में ग्रेडिएंट कोसाइन सिमिलरिटी को औपचारिक रूप से न्यायसंगत बनाता है, जो ऑप्टिमाइज़ेशन डायनेमिक्स को सूचना-सैद्धांतिक रेडंडेंसी से जोड़ता है।
4. PEFT के लिए परिचालन सीमाएँ: एडेप्टर रैंक (क्षमता) और टास्क सबस्पेस डाइमेंशन के बीच के ट्रेड-ऑफ को मात्रात्मक रूप से परिभाषित करता है, जो LoRA-आधारित फाइन-ट्यूनिंग में पैरामीटर साझा करने या विशेषज्ञता हासिल करने के लिए एक सैद्धांतिक आधार प्रदान करता है।

5. महत्व और दावे

शोध पत्र का दावा है कि यह विशिष्ट प्रशिक्षण एल्गोरिदम या एस्टीमेटर से स्वतंत्र होकर, एक साझा लेटेंट के माध्यम से प्राप्त होने वाली भविष्यवाणात्मक सूचना पर एक डिस्ट्रीब्यूशन-लेवल कॉनवर्स (distribution-level converse) प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

• नेगेटिव ट्रांसफर को नया रूप देना: व्याख्या को ऑप्टिमाइज़ेशन आर्टिफैक्ट्स से हटाकर क्षमता और रेडंडेंसी की मौलिक सीमाओं की ओर ले जाना।
• निर्देशक डिज़ाइन नियम (Prescriptive Design Rules): कार्य समानता और अतिरेक के आधार पर पैरामीटर साझा करने के लिए एक "इफ-एंड-ओनली-इफ" नियम प्रदान करना।
• PEFT के लिए व्यावहारिक मार्गदर्शन: यह प्रदर्शित करना कि सख्त क्षमता बजट (कम रैंक) के तहत, समानता-आधारित क्लस्टरिंग हस्तक्षेप को कम करने का एक सिद्धांतपूर्ण तरीका है, जबकि नेइव (naive) ग्लोबल शेयरिंग नेगेटिव ट्रांसफर को बढ़ा सकती है।

लेखक नोट करते हैं कि CR बाउंड रेडंडेंसी पर ध्यान केंद्रित करता है और कार्यों के बीच पूरक सूचना (complementary information/synergy) को कैप्चर नहीं करता है, जो सुझाव देता है कि भविष्य के कार्य 'पार्शियल इंफॉर्मेशन डिकम्पोजिशन' का उपयोग करके इस ढांचे को विस्तारित कर सकते हैं।