AdaRank: Adaptive Rank Pruning for Enhanced Model Merging

यहाँ शोध पत्र "AdaRank: Enhanced Model Merging के लिए Adaptive Rank Pruning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मॉडल मर्जिंग (Model merging) का लक्ष्य कई स्वतंत्र रूप से फाइन-ट्यून किए गए मॉडलों को एक एकल एकीकृत ढांचे में एकीकृत करना है ताकि बिना पुन: प्रशिक्षण (retraining) के कुशल मल्टी-टास्क लर्निंग को सक्षम बनाया जा सके। जबकि Task Arithmetic (टास्क वेक्टर्स का सरल वेट एवरेजिंग) एक बेसलाइन है, यह inter-task interference (अंतर-कार्य हस्तक्षेप) से ग्रस्त है, जहाँ एक कार्य के लिए ज्ञान जोड़ने से अन्य कार्यों के प्रदर्शन में गिरावट आती है।

हालिया समाधान टास्क वेक्टर्स को लो-रैंक सबस्पेस (केवल शीर्ष-$k$ सिंगुलर घटकों को रखकर) में ट्रंकेट करने के लिए Singular Value Decomposition (SVD) का उपयोग करते हैं, यह मानते हुए कि इससे हस्तक्षेप कम होता है। हालाँकि, लेखक मौजूदा SVD-आधारित विधियों में दो महत्वपूर्ण सीमाओं की पहचान करते हैं:

1. Suboptimal Top-$k$ Selection: शीर्ष सिंगुलर घटक (वे जिनमें सबसे बड़े सिंगुलर मान होते हैं), हालांकि एक एकल कार्य के पुनर्निर्माण के लिए सबसे अच्छे होते हैं, लेकिन अन्य कार्यों के साथ मर्ज होने पर अक्सर महत्वपूर्ण inter-task interference उत्पन्न करते हैं। वे लक्षित कार्य को लाभ पहुँचाने के बजाय असतत (dissimilar) कार्यों के प्रदर्शन को खराब कर सकते हैं।
2. Fixed Rank Inflexibility: मौजूदा विधियाँ सभी कार्यों और सभी परतों के लिए एक निश्चित रैंक ($k$) लागू करती हैं। हालाँकि, टास्क वेक्टर्स की अंतर्निहित जटिलता (intrinsic rank) कार्य की कठिनाई और विशिष्ट परत (जैसे, शुरुआती परतें साझा विशेषताओं को कैप्चर करती हैं जिन्हें उच्च रैंक की आवश्यकता होती है, जबकि बाद की परतें कार्य-विशिष्ट होती हैं) के आधार पर काफी भिन्न होती है। एक निश्चित $k$ या तो जटिल कार्यों के लिए महत्वपूर्ण जानकारी को हटा देता है या सरल कार्यों के लिए शोर वाले, हस्तक्षेप करने वाले घटकों को बनाए रखता है।

2. कार्यप्रणाली: AdaRank

लेखक AdaRank (Adaptive Rank Pruning) प्रस्तावित करते हैं, जो कठोर top-$k$ ह्यूरिस्टिक्स के स्थान पर सिंगुलर घटकों के गतिशील, डेटा-संचालित चयन को प्रतिस्थापित करता है।

मुख्य तंत्र (Core Mechanism)

• Binary Masking: केवल top-$k$ घटकों को रखने के बजाय, AdaRank प्रत्येक परत में प्रत्येक टास्क वेक्टर के प्रत्येक सिंगुलर घटक के लिए एक सीख योग्य (learnable) बाइनरी मास्क $B \in \{0, 1\}$ पेश करता है।
  • $B_{ir} = 1$: टास्क $i$ के $r$-वें सिंगुलर घटक को सुरक्षित रखें।
  • $B_{ir} = 0$: घटक को काटें (prune/remove)।
• Flexible Subspace: यह मॉडल को केवल शीर्ष घटकों के बजाय, सिंगुलर घटकों के किसी भी संयोजन को चुनने की अनुमति देता है। यह मॉडल को उन उच्च-मूल्य वाले घटकों को काटने में सक्षम बनाता है जो हस्तक्षेप पैदा करते हैं और उन निम्न-मूल्य वाले घटकों को संरक्षित करने में सक्षम बनाता है जो फायदेमंद होते हैं।

Test-Time Adaptation (TTA) के माध्यम से अनुकूलन

चूँकि मर्ज किए गए मॉडल के पास मर्जिंग चरण के दौरान ग्राउंड-ट्रुथ लेबल तक पहुँच नहीं होती है, AdaRank अनलेबल टेस्ट डेटा पर Shannon Entropy Minimization का उपयोग करके बाइनरी मास्क को अनुकूलित करता है।

• उद्देश्य (Objective): सभी कार्यों में आउटपुट एंट्रॉपी के योग को कम करना:
  $$\arg\min_{B} \sum_{i=1}^{T} \sum_{x_i \in D_i} H(f(\theta(B), x_i))$$
  कम एंट्रॉपी उच्च आत्मविश्वास (confidence) को दर्शाती है, जो कम inter-task interference से सह-संबंधित है।
• Optimization Algorithm: बाइनरी मास्क को Straight-Through Estimator (STE) का उपयोग करके अनुकूलित किया जाता है।
  • Forward Pass: निरंतर मास्क पैरामीटर्स को सिग्मॉइड फंक्शन के माध्यम से पास किया जाता है और $\{0, 1\}$ में राउंड किया जाता है।
  • Backward Pass: मास्क चयन को अपडेट करने के लिए ग्रेडिएंट्स निरंतर पैरामीटर्स के माध्यम से प्रवाहित होते हैं।

3. मुख्य योगदान (Key Contributions)

1. SVD की सीमाओं का अनुभवजन्य विश्लेषण: शोध पत्र प्रमाणिक साक्ष्य प्रदान करता है कि:
   • शीर्ष सिंगुलर घटक अक्सर असतत कार्यों के साथ हस्तक्षेप के कारण मल्टी-टास्क लॉस में शुद्ध वृद्धि का कारण बनते हैं।
   • अंतर्निहित रैंक (intrinsic ranks) विभिन्न कार्यों और परतों में व्यापक रूप से भिन्न होती है, जिससे फिक्स्ड-रैंक ट्रंकेशन उप-इष्टतम (suboptimal) हो जाता है।
2. Adaptive Rank Pruning Framework: AdaRank पहले ऐसा तरीका है जो सीख योग्य बाइनरी मास्क का उपयोग करके प्रति-टास्क और प्रति-लेयर डायनामिक रूप से सिंगुलर घटकों का चयन करता है, जो प्रभावी रूप से प्रत्येक टास्क वेक्टर के लिए एक "कस्टम" लो-रंक सबस्पेस बनाता है।
3. Unsupervised Optimization: यह अनलेबल डेटा पर एंट्रॉपी मिनिमाइजेशन का सफलतापूर्वक उपयोग करता है ताकि लाभकारी घटकों के चयन को निर्देशित किया जा सके, जिससे लेबल वाले टेस्ट डेटा या पुन: प्रशिक्षण की आवश्यकता नहीं होती है।
4. दक्षता (Efficiency): राउटर-आधारित विधियों (जैसे, MoErging) के विपरीत जो प्रत्येक कार्य के लिए अलग पैरामीटर स्टोर करते हैं, AdaRank एक एकल मर्ज किया गया मॉडल बनाता है जिसका आकार एक मानक फाइन-ट्यून किए गए मॉडल के समान होता है, जिसमें कार्य-विशिष्ट पैरामीटर के लिए कोई अतिरिक्त स्टोरेज की आवश्यकता नहीं होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विविध बैकबोन (ViT-B/32, ViT-L/14 विजन के लिए; RoBERTa, GPT-2 NLP के लिए) पर 8, 14 और 20 कार्यों पर AdaRank का मूल्यांकन किया।

• प्रदर्शन लाभ (Performance Gains):
  • Vision: AdaRank, स्टैटिक विधियों (Task Arithmetic, TIES-Merging) और एडेप्टिव विधियों (AdaMerging) से काफी बेहतर प्रदर्शन करता है। उदाहरण के लिए, 8 कार्यों के साथ ViT-B/32 पर, CART+AdaRank ने 89.2% सटीकता प्राप्त की, जो सर्वश्रेष्ठ स्टैटिक बेसलाइन (TSV-M 83.8% पर) और सर्वश्रेष्ठ एडेप्टिव बेसलाइन (AdaMerging 80.1% पर) से अधिक है।
  • NLP: GLUE बेंचमार्क पर भी इसी तरह के सुधार देखे गए, जहाँ AdaRank ने लगातार मर्ज किए गए मॉडलों और व्यक्तिगत रूप से फाइन-ट्यून किए गए मॉडलों के बीच के अंतर को कम किया।
• Router-Based विधियों के साथ तुलना:
  • राउटर-आधारित विधियाँ (जैसे, Twin-Merging, WEMoE) कार्यों की संख्या के साथ रैखिक रूप से स्केल करती हैं, जिसके लिए काफी अधिक पैरामीटर (20 कार्यों के लिए 10 गुना तक बड़े) की आवश्यकता होती है।
  • AdaRank एक स्थिर मॉडल आकार (1x) बनाए रखता है और समान या बेहतर प्रदर्शन प्राप्त करता है, विशेष रूप से तब जब कार्यों की संख्या बढ़ती है।
• Ablation Studies:
  • Bottom Components: यह विधि अक्सर top-$k$ रेंज के बाहर के घटकों (bottom components सहित) को चुनती है, जो पुष्टि करती है कि केवल लो-रंक ट्रंकेशन पर्याप्त नहीं है।
  • Adaptive Ranks: सीखे गए रैंक डेटा के अंतर्निहित रैंक (intrinsic rank) से निकटता से मेल खाते हैं, जो विधि की अनुकूलन क्षमता की पुष्टि करते हैं।
  • Data Efficiency: AdaRank TTA के लिए केवल 1% टेस्ट डेटा उपलब्ध होने पर भी मजबूत रहता है, जो 100% डेटा पर प्रशिक्षित बेसलाइन्स से बेहतर प्रदर्शन करता है।

5. महत्व (Significance)

AdaRank मॉडल मर्जिंग में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है, जो ह्यूरिस्टिक, स्टैटिक ट्रंकेशन से एडेप्टिव, डेटा-ड्रिवन सिलेक्शन की ओर बढ़ता है।

• सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह इस धारणा को चुनौती देता है कि "बड़े सिंगुलर मान = बेहतर," यह प्रदर्शित करते हुए कि मल्टी-टास्क सेटिंग्स में, घटक का लॉस लैंडस्केप के सापेक्ष निर्देश (direction) उसके परिमाण (magnitude) से अधिक महत्वपूर्ण होता है।
• व्यावहारिक प्रभाव: यह संसाधन-बाधित वातावरण में मल्टी-टास्क मॉडलों को तैनात करने के लिए एक अत्यधिक कुशल समाधान प्रदान करता है। राउटर-आधारित MoE के विपरीत कार्य-विशिष्ट पैरामीटर की आवश्यकता को समाप्त करके और नैव एवरेजिंग के प्रदर्शन ह्रास से बचकर, AdaRank एक एकल, कॉम्पैक्ट मॉडल के साथ स्केलेबल, उच्च-प्रदर्शन मल्टी-टास्क इन्फरेंस को सक्षम बनाता है।
• सामान्यीकरण (Generalizability): यह विधि मॉडल-अज्ञेय (model-agnostic) और मोडैलिटी-अज्ञेय (modality-agnostic) है, जो विजन ट्रांसफॉर्मर, CNN और लैंग्वेज मॉडल्स (दोनों बायडायरेक्शनल और ऑटोरेग्रेसिव) में प्रभावी ढंग से काम करती है।