💬 NLP

Dynamic Model Merging Made Slim

यह शोध पत्र DiDi-Merging को प्रस्तुत करता है, जो एक कॉम्पैक्ट डायनेमिक मॉडल मर्जिंग फ्रेमवर्क है जो विजन, लैंग्वेज और मल्टीमॉडल कार्यों में मौजूदा तरीकों की तुलना में काफी कम मापदंडों के साथ बेहतर सटीकता-दक्षता ट्रेड-ऑफ प्राप्त करने के लिए डिफरेंशिएबल रैंक एलोकेशन और डेटा-फ्री रिफाइनमेंट का उपयोग करता है।

मूल लेखक: Guodong Du, Wanyu Lin

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guodong Du, Wanyu Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ है जो खाना पकाने में अविश्वसनीय रूप से प्रतिभाशाली है। आप उनसे दस अलग-अलग व्यंजन सीखने के लिए कहते हैं: इतालवी, जापानी, मैक्सिकन, भारतीय, इत्यादि। ऐसा करने के लिए, आप प्रत्येक व्यंजन के लिए शेफ का एक अलग "स्पेशलिस्ट" (विशेषज्ञ) संस्करण तैयार करते हैं। अब, आपके पास दस अलग-अलग शेफ हैं, जिनमें से प्रत्येक के पास अपने स्वयं के अद्वितीय नोट्स और तकनीकें हैं।

समस्या:
यदि आप एक ऐसा रेस्तरां चलाना चाहते हैं जो सभी दस व्यंजनों परोसता है, तो आप दस अलग-अलग शेफ को काम पर नहीं रख सकते; यह बहुत महंगा है और इसमें बहुत जगह लगती है।

पुराना तरीका (Static Merging): आप सभी दस शेफ के नोट्स को मिलाकर एक विशाल किताब बनाने की कोशिश करते हैं। लेकिन नोट्स अक्सर एक-दूसरे का विरोध करते हैं (जैसे, "नमक डालें" बनाम "नमक न डालें"); और अंतिम किताब एक भ्रमित करने वाला ढेर बन जाती है जहाँ शेफ विशिष्ट व्यंजन अच्छी तरह से बनाना भूल जाता है।
वर्तमान "डायनामिक" तरीका: आप मास्टर शेफ के मूल ज्ञान को रखते हैं और प्रत्येक व्यंजन के लिए एक छोटा "चीट शीट" (शॉर्टकट नोट) जोड़ते हैं। जब कोई ग्राहक इतालवी ऑर्डर करता है, तो आप उन्हें इतालवी चीट शीट थमा देते हैं। यह अच्छी तरह से काम करता है, लेकिन यदि आपके पास 50 व्यंजन हैं, तो आपको 50 चीट शीट की आवश्यकता होगी। यदि मास्टर शेफ का मूल ज्ञान बहुत बड़ा है, और आप इसे हर एक व्यंजन के लिए अलग रखते हैं, तो आपका "किचन" (स्टोरेज) बहुत भारी और महंगा हो जाता है।

नया समाधान: DiDi-Merging
इस पेपर के लेखक, गुोडोंग डु और वान्यू लिन, इन शेफों को व्यवस्थित करने का एक स्मार्ट तरीका प्रस्तावित करते हैं जिसे DiDi-Merging कहा जाता है। इसे एक "स्लिम डायनामिक किचन" के रूप में समझें।

यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "साझा ज्ञान" बनाम "विशेषज्ञों की तरकीबें" (Shared Knowledge vs. Specialist Tricks)

हर कार्य के लिए पूरे मास्टर शेफ के मस्तिष्क को अलग रखने (जो भारी है) या मास्टर शेफ को पूरी तरह त्याग कर केवल छोटे नोट्स रखने (जिससे गुणवत्ता खो जाती है) के बजाय, DiDi-Merging एक संतुलन बनाता है।

यह एक छोटा, साझा "कोर" (मूल) बुक बनाता है जिसमें वे सामान्य कौशल होते हैं जो सभी व्यंजनों में समान हैं (जैसे सब्जियां काटना या पानी उबालना)।
फिर यह प्रत्येक व्यंजन के अनूठे हिस्सों के लिए छोटे, विशिष्ट "पॉकेट गाइड्स" बनाता है (जैसे भारतीय करी के लिए विशिष्ट मसाला मिश्रण)।

2. "स्मार्ट डिमर स्विच" (Differentiable Rank Allocation)

यही इस पेपर का असली जादू है। आमतौर पर, जब आप जानकारी को कंप्रेस (संक्षिप्त) करते हैं, तो आप डेटा के शीर्ष 10% या 20% को बस काट देते हैं, जैसे केक का ऊपरी हिस्सा काट देना। यह एक "वन-साइज़-फिट्स-ऑल" दृष्टिकोण है।

DiDi-Merging एक स्मार्ट डिमर स्विच का उपयोग करता है। यह जानकारी के हर एक टुकड़े को देखता है और पूछता है: "इस विशिष्ट कार्य के लिए यह कितना महत्वपूर्ण है?"

यदि जानकारी का एक टुकड़ा सभी कार्यों के लिए उपयोगी है, तो डिमर स्विच उसे Shared Core में चमकदार बनाए रखता है।
यदि जानकारी का एक टुकड़ा केवल एक कार्य के लिए उपयोगी है, तो डिमर स्विच उसे कोर में धीमा (dim) कर देता है और उसे Specialist Pocket Guide में स्थानांतरित कर देता है।
महत्वपूर्ण बात यह है कि यह सिस्टम स्वचालित रूप से सीखता है कि प्रत्येक भाग को कितनी "चमक" (या रैंक) देनी है, बिना मूल प्रशिक्षण डेटा को दोबारा देखे। यह एक स्मार्ट थर्मोस्टेट की तरह है जो बिना ऊर्जा बर्बाद किए यह सीख जाता है कि प्रत्येक कमरे को आरामदायक बनाए रखने के लिए कितने ताप की आवश्यकता है।

3. "पॉलिश" (Data-Free Refinement)

जब आप जानकारी को कंप्रेस करते हैं, तो आप आमतौर पर थोड़ा स्वाद खो देते हैं। इसे ठीक करने के लिए, DiDi-Merging एक अंतिम "पॉलिश" करता है।

यह संकुचित, स्लिम संस्करण को लेता है और इसे पहले से मौजूद "नोट्स" (टास्क वेक्टर्स) का उपयोग करके थोड़ा सा ट्यून करता है।
यह इसे बिना मूल सामग्रियों (कच्चे प्रशिक्षण डेटा) के करता है। यह एक शेफ की तरह है जो कम की हुई सॉस को चखता है और उसमें नमक का एक चुटकी डाल देता है ताकि स्वाद वापस आ सके, भले ही उसके पास मूल सूप का बर्तन अब न हो।

यह एक बड़ी बात क्यों है?
पेपर का दावा है कि DiDi-Merging अब तक का सबसे कुशल तरीका है:

छोटा फुटप्रिंट: यह एक अकेले शेफ के नोट्स के स्थान का केवल लगभग 1.24 गुना ही लेता है। पिछले तरीकों को 2 गुना या उससे अधिक स्थान की आवश्यकता थी।
उच्च गुणवत्ता: हालांकि यह बहुत छोटा है, फिर भी यह मूल खाना पकाने के कौशल का 98% या उससे अधिक बनाए रखता है। यह स्वाद को कम नहीं होने देता।
बहुमुखी: यह विजन (इमेज देखना), भाषा (चैट करना), और यहाँ तक कि मिश्रित कार्यों (जैसे वीडियो का वर्णन करना) के लिए भी काम करता है।

सारांश में:
DiDi-Merging एक मॉड्यूलर किचन बनाने जैसा है जहाँ आपके पास एक छोटा, उच्च-गुणवत्ता वाला बेस स्टेशन और प्रत्येक विशिष्ट कार्य के लिए छोटे, कस्टम अटैचमेंट होते हैं। यह यह तय करने के लिए एक स्मार्ट लर्निंग सिस्टम का उपयोग करता है कि प्रत्येक भाग कितना बड़ा होना चाहिए, जिससे यह सुनिश्चित होता है कि आपको न्यूनतम स्टोरेज स्पेस के साथ सर्वोत्तम प्रदर्शन मिले, और वह भी मूल प्रशिक्षण डेटा पर वापस जाए बिना।

तकनीकी सारांश: DiDi-Merging

समस्या विवरण (Problem Statement)
मॉडल मर्जिंग (Model merging) मूल डेटा या संयुक्त प्रशिक्षण (joint training) तक पहुँच के बिना फाइन-ट्यून्ड मॉडल्स के पुन: उपयोग की अनुमति देती है, जो कई कार्य-विशिष्ट (task-specific) मॉडल्स को तैनात करने की उच्च लागत और गोपनीयता या कंप्यूट बाधाओं के कारण मल्टी-टास्क ट्रेनिंग की अव्यवहारिकता को संबोधित करती है। जबकि स्टैटिक मर्जिंग मॉडल्स को एक एकल चेकपॉइंट में फ्यूज करती है, यह 'टास्क इंटरफेरेंस' (task interference) से ग्रस्त होती है। डायनेमिक मर्जिंग, इनपुट्स को कार्य-प्रासंगिक विशेषज्ञ घटकों (expert components) तक रूट करके लचीलेपन में सुधार करती है, लेकिन मौजूदा तरीके एक गंभीर स्टोरेज बाधा का सामना करते हैं। वर्तमान डायनेमिक दृष्टिकोण दो उप-इष्टतम (suboptimal) चरम सीमाओं में आते हैं:

हैवी शेयर्ड (Heavy Shared): एक पूर्ण-आकार के साझा मॉडल को बनाए रखना जिसमें छोटे प्रति-कार्य विशेषज्ञ (जैसे, TALL-Mask, EMR-Merging) हों, जिसके परिणामस्वरूप पैरामीटर संख्या मूल मॉडल से कम नहीं होती है।
हैवी एक्सपर्ट (Heavy Expert): साझा घटक को हटा देना और सारा ज्ञान प्रति-कार्य विशेषज्ञ वेक्टर्स (जैसे, TSV-C, SMILE) में संग्रहीत करना, जिससे स्टोरेज कार्यों की संख्या के साथ रैखिक रूप से (linearly) बढ़ता है।
कोई भी दृष्टिकोण साझा ज्ञान और कार्य-विशिष्ट क्षमता के बीच संतुलन को प्रभावी ढंग से नहीं बनाता है, जिससे अत्यधिक स्टोरेज ओवरहेड (आमतौर पर एक सिंगल फाइन-ट्यून्ड मॉडल के आकार का $\ge 2\times$ ) होता है।

कार्यप्रणाली: DiDi-Merging
लेखक DiDi-Merging (डिफरेंशिएबल रैंक के साथ डायनेमिक मर्जिंग) प्रस्तावित करते हैं, जो एक स्लिम डायनेमिक मर्जिंग फ्रेमवर्क है जो डिफरेंशिएबल रैंक एलोकेशन के माध्यम से साझा और कार्य-विशिष्ट विशेषज्ञों के बीच पैरामीटर्स को संतुलित करता है। यह विधि तीन चरणों में कार्य करती है:

लो-रैंक डिकंपोजिशन (Low-Rank Decomposition): टास्क वेक्टर्स ( $\tau_t = \theta_t - \theta_0$ ) को एक साझा ज्ञान मैट्रिक्स ( $M_s$ ) जो स्टैटिक एवरेजिंग से प्राप्त किया गया है, और प्रति-कार्य विशेषज्ञ अवशेषों ( $M_t = \tau_t - M_s$ ) में विभाजित किया जाता है। दोनों मैट्रिसेस को सिंगुलर वैल्यू डिकंपोजिशन (SVD) के माध्यम से डिकंपोज़ किया जाता है।
डिफरेंशिएबल रैंक ऑप्टिमाइजेशन (Differentiable Rank Optimization): फिक्स्ड रैंक एलोकेशन के बजाय, यह विधि पैरामीटर बजटिंग को एक डिफरेंशिएबल ऑप्टिमाइजेशन समस्या के रूप में तैयार करती है। एक स्मूथ ट्रंकेशन फंक्शन एक सीखे जाने योग्य निरंतर रैंक पैरामीटर $r$ के आधार पर सिंगुलर वैल्यूज को रीवेट करता है। इसका उद्देश्य एक टास्क रिकंस्ट्रक्शन लॉस (रिकंस्ट्रक्टेड और ओरिजिनल टास्क वेक्टर्स के बीच MSE) को कम करना है, जबकि एक लक्षित कंप्रेशन रेशियो से विचलन को दंडित (penalize) करना है। यह मॉडल को साझा और विशेषज्ञ घटकों के रैंक को संयुक्त रूप से अनुकूलित करने की अनुमति देता है, जिससे मूल प्रशिक्षण डेटा तक पहुँच के बिना विविध कार्यों को अधिक क्षमता और समान कार्यों को कम क्षमता आवंटित की जा सकती है।
डेटा-फ्री रिफाइनमेंट (Data-Free Refinement): इष्टतम रैंक निर्धारित करने के बाद, ट्रंकेटेड लो-रैंक पैरामीटर्स को डेटा-फ्री ऑप्टिमाइजेशन स्टेप का उपयोग करके रिफाइन किया जाता है। ट्रंकेटेड SVD से लो-रैंक LoRA-स्टाइल मॉड्यूल ( $A, B$ ) को इनिशियलाइज़ किया जाता है और स्टोर किए गए टास्क वेक्टर्स के विरुद्ध रिकंस्ट्रक्शन लॉस को कम करने के लिए अपडेट किया जाता है, जिससे ट्रंकेशन के दौरान खोई हुई परफॉरमेंस को पुनः प्राप्त किया जा सके।

प्रमुख योगदान (Key Contributions)

विफलता मोड की पहचान: पेपर मौजूदा डायनेमिक मर्जिंग विधियों को "हैवी शेर्ड" या "हैवी एक्सपर्ट" एलोकेशन की चरम सीमाओं के रूप में वर्णित करता है, जो दोनों ही उप-इष्टतम सटीकता-दक्षता ट्रेड-ऑफ की ओर ले जाते हैं।
डिफरेंशिएबल रैंक एलोकेशन: DiDi-Merging एक डिफरेंशिएबल SVD ट्रंकेशन ऑब्जेक्टिव के माध्यम से साझा और प्रति-कार्य विशेषज्ञ रैंक को संयुक्त रूप से अनुकूलित करने के लिए एक तंत्र पेश करता है, जिससे मैनुअल रैंक ट्यूनिंग या डेटा एक्सेस की आवश्यकता समाप्त हो जाती है।
स्लिम डायनेमिक मर्जिंग: यह फ्रेमवर्क काफी कम स्टोरेज के साथ लगभग लॉसलेस परफॉरमेंस प्राप्त करता है। यह सिंगल फाइन-ट्यून्ड मॉडल के 1.24 $\times$ पैरामीटर काउंट पर पिछले डायनेमिक बेसलाइन्स से मेल खाता है और 1.4 $\times$ पर उन्हें पछाड़ देता है, जो $\ge 2\times$ स्टोरेज की आवश्यकता वाले तरीकों से काफी बेहतर है।

प्रायोगिक परिणाम (Experimental Results)
DiDi-Merging का मूल्यांकन विजन, लार्ज लैंग्वेज मॉडल्स (LLMs), और मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) में किया गया:

विजन: 8-टास्क ViT-B/32 बेंचमार्क पर, DiDi-Merging-S (1.24 $\times$ बजट) ने सबसे मजबूत डायनेमिक बेसलाइन (TSV-C 2.08 $\times$ पर) को 89.3% सटीकता के साथ मैच किया, जबकि इसने उनके स्टोरेज के 60% से कम का उपयोग किया। 1.4 $\times$ पर, इसने उच्चतम समग्र स्कोर (89.8%) प्राप्त किया।
LLMs: चार डोमेन में Llama-3.1-8B-Instruct और Qwen-2.5-7B-Instruct को मर्ज करते हुए, DiDi-Merging-L (2.0 $\times$ बजट) ने Llama-3.1-8B पर औसतन +5.4% के साथ पिछले डायनेमिक तरीकों को पछाड़ दिया, और AlpacaEval-2 जैसे इंस्ट्रक्शन-फॉलोइंग बेंचमार्क पर महत्वपूर्ण लाभ दिखाया।
MLLMs: मल्टीमॉडल सेटिंग्स (विजन, ऑडियो, वीडियो, पॉइंट क्लाउड) में, Di-Di-Merging ने स्लिम पैरामीटर फुटप्रिंट बनाए रखते हुए डेटा-फ्री डायनेमिक बेसलाइन्स (NaiveMC, MMER) को लगातार पछाड़ा। विशेष रूप से, इसने साझा क्रॉस-मोडल ज्ञान का लाभ उठाकर कुछ कार्यों पर 100% से अधिक परफॉरमेंस रिटेंशन हासिल किया।
दक्षता (Efficiency): इस विधि के लिए मामूली कंप्यूटेशनल संसाधनों (लगभग 1.1 GB GPU मेमोरी) की आवश्यकता होती है और ViT-B/32 पर ऑप्टिमाइजेशन स्टेज के लिए यह लगभग 14 मिनट में चलता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि DiDi-Merging बड़े पैमाने पर डिप्लॉयमेंट के लिए डायनेमिक मॉडल मर्जिंग को व्यावहारिक बनाने की दिशा में एक महत्वपूर्ण कदम है। "हैवी शेयर्ड" या "हैवी एक्सपर्ट" द्वैत (dichotomy) से दूर जाकर, यह पैरामीटर दक्षता और सटीकता के बीच एक पारेटो-ऑप्टिमल ट्रेड-ऑफ (Pareto-optimal trade-off) प्राप्त करता है। लेखक इस बात पर जोर देते हैं कि यह विधि पूरी तरह से डेटा-फ्री है, जो केवल स्टोर किए गए टास्क वेक्टर्स पर निर्भर करती है, जो गोपनीयता बनाए रखती है और स्पेशलाइज्ड मॉडल्स को मर्ज करने की बाधा को कम करती है। इस फ्रेमवर्क को विजन, भाषा और मल्टीमॉडल डोमेन में लागू होने योग्य एक सामान्य समाधान के रूप में प्रस्तुत किया गया है, जो कई फुल मॉडल्स को बनाए रखने के स्टोरेज ओवरहेड या स्टैटिक मर्जिंग के प्रदर्शन ह्रास के बिना विशेषज्ञ एन्सेम्बल्स (expert ensembles) की तैनाती को सक्षम बनाता है।

1. "साझा ज्ञान" बनाम "विशेषज्ञों की तरकीबें" (Shared Knowledge vs. Specialist Tricks)

2. "स्मार्ट डिमर स्विच" (Differentiable Rank Allocation)

3. "पॉलिश" (Data-Free Refinement)

इसी तरह के और पेपर