💬 NLP

ACE-Merging: Data-Free Model Merging with Adaptive Covariance Estimation

यह शोध पत्र ACE-Merging को प्रस्तुत करता है, जो एक डेटा-मुक्त मॉडल मर्जिंग फ्रेमवर्क है जो एक सैद्धांतिक अंतर्दृष्टि का लाभ उठाकर पैरामीटर अंतर से टास्क इनपुट कोवेरियेंस (task input covariance) का अंतर्निहित रूप से अनुमान लगाता है, जिससे एक सिद्धांत-आधारित क्लोज्ड-फॉर्म समाधान सक्षम होता है जो विजन और लैंग्वेज बेंचमार्क में इंटर-टास्क इंटरफेरेंस (inter-task interference) को कम करने के मामले में मौजूदा विधियों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Bo Xu, Haotian Wu, Hehai Lin, Weiquan Huang, Beier Zhu, Yao Shu, Chengwei Qin

प्रकाशित 2026-03-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bo Xu, Haotian Wu, Hehai Lin, Weiquan Huang, Beier Zhu, Yao Shu, Chengwei Qin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास पाँच प्रतिभाशाली शेफ की एक टीम है।

शेफ A इतालवी पास्ता बनाने में माहिर है।
शेफ B फ्रेंच पेस्ट्री बनाने में जीनियस है।
शेफ C तीखी भारतीय करी में विशेषज्ञता रखता है।
शेफ D दुनिया का सर्वश्रेष्ठ सुशी शेफ है।
शेफ E अविश्वसनीय वीगन डेसर्ट बनाता है।

आप एक "सुपर शेफ" बनाना चाहते हैं जो इन सभी व्यंजनों को पूरी तरह से बना सके।

समस्या: "किचन क्लैश" (रसोई का टकराव)

यदि आप बस इन शेफों को रसोई के बीच में खड़ा करके एक साथ अपनी रेसिपी चिल्लाने के लिए कहते हैं, तो अराजकता फैल जाती है। इतालवी शेफ कहेगा "जैतून का तेल डालें!" जबकि सुशी शेफ चिल्लाएगा "इसे कच्चा रखें!" परिणाम? एक भयानक, भ्रमित करने वाला कचरा। AI की दुनिया में, इसे इंटरफेरेंस (interference) कहा जाता है। जब आप विभिन्न AI मॉडलों (विशेषज्ञों) को एक में मिलाने की कोशिश करते हैं, तो वे अक्सर एक-दूसरे को काट देते हैं, और अंतिम मॉडल हर चीज़ में खराब हो जाता है।

आमतौर पर, इसे ठीक करने के लिए, आपको एक "हेड शेफ" (एक मानव) को नियुक्त करना होगा जो हर व्यंजन को चखे, रेसिपी को एडजस्ट करे और टीम को फिर से प्रशिक्षित (retrain) करे। लेकिन वास्तविक दुनिया में, हमारे पास अक्सर मूल सामग्री (ट्रेनिंग डेटा) नहीं होती या उसे फिर से प्रशिक्षित करने का समय नहीं होता। हमारे पास केवल कागज पर लिखी हुई अंतिम रेसिपी (मॉडल वेट्स) होती है।

पुराना तरीका: अनुमान लगाना और औसत निकालना

पिछले तरीकों ने केवल रेसिपी को औसत (averaging) निकालने की कोशिश की।

शेफ A कहता है: "2 कप मैदा डालें।"
शेफ B कहता है: "1 कप मैदा डालें।"
औसत: "1.5 कप मैदा डालें।"

यह सरल चीजों के लिए ठीक काम करता है, लेकिन यह तब विफल हो जाता है जब कार्य बहुत अलग होते हैं। यह एक केक की रेसिपी को स्टेक डिनर की रेसिपी के साथ औसत निकालने जैसा है। परिणाम एक गीला, नमकीन केक होगा। अन्य तरीकों ने "सामग्री" को देखकर स्मार्ट होने की कोशिश की, लेकिन उन्हें यह जानने के लिए अभी भी वास्तविक भोजन (डेटा) देखने की आवश्यकता थी कि क्या महत्वपूर्ण है।

नया समाधान: ACE-Merging (द मेमोरी डिटेक्टिव)

इस पेपर के लेखकों ने एक शानदार विचार निकाला है: आपको यह जानने के लिए सामग्री की आवश्यकता नहीं है कि शेफ क्या सोच रहा था।

उन्होंने महसूस किया कि एक नई डिश सीखने के लिए एक शेफ ने अपनी मूल रेसिपी में जो बदलाव किए हैं, उनमें उनके द्वारा उपयोग की गई सामग्री का एक छिपा हुआ "फिंगरप्रिंट" होता है।

यदि किसी शेफ ने तीखी करी बनाना सीखने के लिए अपनी रेसिपी में बहुत बड़े बदलाव किए, तो उन बदलावों का पैटर्न हमें बताता है कि वह बहुत अधिक गर्मी और मसालों के साथ काम कर रहा था।
यदि उन्होंने एक नाजुक सूफ़ले (soufflé) के लिए बहुत सूक्ष्म बदलाव किए, तो पैटर्न अलग होता है।

ACE-Merging एक जासूस की तरह काम करता है। यह प्रत्येक विशेषज्ञ की रेसिपी (मॉडल वेट्स) के "पहले और बाद" को देखता है और पूछता है: "किस तरह की सामग्री रसोई में रही होगी जिससे ये विशिष्ट बदलाव आए होंगे?"

यह कैसे काम करता है (3-चरणीय जादू)

मन पढ़ना (Covariance Estimation):
डेटा मांगने के बजाय, ACE-Merging प्रत्येक विशेषज्ञ की "वेट डिस्प्लेसमेंट" (विशेषज्ञ के अंतिम रेसिपी और मूल बेस रेसिपी के बीच का अंतर) को देखता है। यह एक "कोवेरिएंस" (Covariance) मैप की गणना करता है। इसे एक हीट मैप के रूप में सोचें जो दिखाता है कि रेसिपी का कौन सा हिस्सा सबसे अधिक सक्रिय था। यह सिस्टम को बताता है: "यह विशेषज्ञ 'तीखेपन' और 'गर्मी' पर बहुत केंद्रित था, जबकि वह 'मिठास' और 'बनावट' पर केंद्रित था।"
तराजू को संतुलित करना (Adaptive Normalization):
कल्पना कीजिए कि शेफ A बहुत ज़ोर से चिल्ला रहा है (एक बहुत जटिल कार्य) और शेफ B फुसफुसा रहा है (एक सरल कार्य)। यदि आप केवल आवाज़ के स्तर को सुनते हैं, तो आप केवल शेफ A को ही सुन पाएंगे।
ACE-Merging के पास एक विशेष "वॉल्यूम नॉब" है। यदि वे कार्य बहुत अलग (heterogeneous) हैं, तो यह उन्हें पहचान लेता है। यदि वे बहुत अलग हैं, तो यह शोर मचाने वाले शेफ की आवाज़ को कम कर देता है और शांत शेफ की आवाज़ को बढ़ा देता है, जिससे यह सुनिश्चित होता है कि अंतिम रेसिपी में सभी की उचित भागीदारी हो।
व्यंजन को पॉलिश करना (Spectral Refinement):
कभी-कभी, संतुलित करने के बाद भी, अंतिम रेसिपी थोड़ी "असंतुलित" हो सकती है (जैसे कि एक केक जो 99% चीनी और 1% मैदा है)। ACE-Merging SVD (सिंगुलर वैल्यू डिकंपोजिशन) नामक गणितीय तकनीक का उपयोग करके एक अंतिम "टेस्ट टेस्ट" करता है। यह चरम सीमाओं को सुचारू बनाता है, यह सुनिश्चित करता है कि अंतिम मॉडल स्थिर, मजबूत हो और किसी एक निर्देश पर अत्यधिक प्रतिक्रिया न दे।

यह एक बड़ी बात क्यों है

डेटा की आवश्यकता नहीं: आपको मूल ट्रेनिंग डेटा (सामग्री) की आवश्यकता नहीं है। आपको केवल अंतिम मॉडलों की आवश्यकता है। यह गोपनीयता और सुरक्षा के लिए बहुत बड़ा है।
तत्काल परिणाम: अन्य तरीकों के विपरीत जिनमें घंटों तक "री-ट्रेनिंग" (चखना और एडजस्ट करना) की आवश्यकता होती है, यह एक क्लोज्ड-फॉर्म सॉल्यूशन है। यह एक कैलकुलेटर होने जैसा है जो आपको तुरंत सटीक रेसिपी देता है, बजाय इसके कि आप यह देखने के लिए इसे 100 बार पकाएं कि क्या काम करता है।
बेहतर प्रदर्शन: अपने परीक्षणों में, इस पद्धति ने ऐसे "सुपर शेफ" बनाए जो किसी भी पिछले तरीके की तुलना में सभी प्रकार के व्यंजन बनाने में काफी बेहतर थे। लैंग्वेज मॉडल्स (जैसे GPT-2) पर, इसने औसतन लगभग 4% का सुधार किया—जो AI की दुनिया में एक बहुत बड़ी छलांग है।

निचोड़ (The Bottom Line)

ACE-Merging विभिन्न AI विशेषज्ञों को संयोजित करने का एक स्मार्ट, डेटा-मुक्त तरीका है। यह महसूस करता है कि किसी कार्य को सीखने के लिए एक मॉडल जो बदलाव करता है, उसमें उन्हें सुरक्षित रूप से मर्ज करने का रहस्य छिपा होता है। इन "बदलाव पैटर्न" को पढ़कर, यह बिना मूल डेटा देखे, बिना री-ट्रेनिंग के, और बिना मॉडलों को आपस में लड़ने दिए, विभिन्न AI दिमागों को एक सुपर-ब्रेन में मिला सकता है।

यह रंगों को अंधेरे में मिलाने और एक मास्टरपीस बनाने के लिए कलर व्हील का उपयोग करने के बीच का अंतर है।

यहाँ शोध पत्र "ACE-Merging: Adaptive Covariance Estimation के साथ Data-Free Model Merging" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मॉडल मर्जिंग (Model Merging) का लक्ष्य कई कार्य-विशिष्ट विशेषज्ञ मॉडलों (जो एक साझा प्री-ट्रेंड बेस से फाइन-ट्यून किए गए हैं) को एक एकल एकीकृत मॉडल में संयोजित करना है, जिसके लिए मूल प्रशिक्षण डेटा तक पहुँच की आवश्यकता नहीं होती है। यह उन परिदृश्यों में अत्यंत महत्वपूर्ण है जहाँ डेटा निजी, अनुपलब्ध या पुन: प्रशिक्षण के लिए बहुत बड़ा होता है।

मुख्य चुनौती:

इंटर-टास्क इंटरफेरेंस (Inter-Task Interference): जब अलग-अलग उद्देश्यों पर प्रशिक्षित मॉडलों को मर्ज किया जाता है, तो उनके पैरामीटर अपडेट अक्सर आपस में टकराते हैं, जिससे प्रदर्शन में भारी गिरावट आती है।
डेटा-फ्री की सीमा (The Data-Free Limitation): मौजूदा समाधान दो श्रेणियों में आते हैं:
- डेटा-निर्भर विधियाँ (Data-dependent methods): सांख्यिकी (जैसे फिशर इंफॉर्मेशन) का अनुमान लगाने के लिए कार्य डेटा तक पहुँच की आवश्यकता होती है, जो गोपनीयता या भंडारण संबंधी बाधाओं के कारण अक्सर अव्यावहारिक है।
- अनुमानी/पुनरावृत्ति विधियाँ (Heuristic/Iterative methods): ये केवल वेट्स (weights) पर कार्य करती हैं (जैसे Task Arithmetic, Ties-Merging) लेकिन सरल औसत या जटिल पुनरावृत्ति अनुकूलन (ग्रेडिएंट डिसेंट) पर निर्भर करती हैं, जिनमें इष्टतमता (optimality) का कोई सैद्धांतिक आश्वासन नहीं होता। वे अक्सर मूल कारण—डेटा वितरण के बेमेल होने—को संबोधित करने में विफल रहती हैं।

अंतराल (The Gap): एक सिद्धांत आधारित, क्लोज्ड-फॉर्म (closed-form) समाधान का अभाव है जो केवल मॉडल वेट्स से आवश्यक सांख्यिकीय संरचना का सैद्धांतिक रूप से अनुमान लगा सके।

2. कार्यप्रणाली: ACE-Merging

लेखक ACE-Merging (Adaptive Covariance Estimation) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो सैद्धांतिक रूप से पैरामीटर-स्पेस अपडेट और डेटा-स्तरीय सांख्यिकी के बीच के अंतर को पाटता है।

A. सैद्धांतिक आधार (Theoretical Foundation)

यह शोध पत्र एक प्रमुख सैद्धांतिक अंतर्दृष्टि स्थापित करता है: एक कार्य का इनपुट कोवेरिएंस ( $\Sigma_t$ ) उसके फाइन-ट्यून किए गए मॉडल के पैरामीटर विस्थापन ( $\Delta W_t$ ) में अंतर्निहित होता है।

ट्रांसफार्मर लेयर्स ( $f(W, x) \approx Wx$ ) के रैखिक सन्निकटन (linear approximation) के तहत, सभी विशेषज्ञों के साथ विसंगति को कम करने वाले इष्टतम मर्ज किए गए वेट्स $\bar{W}$ का क्लोज्ड-फॉर्म समाधान इस प्रकार है:
$\bar{W} = \left( \sum_{t} W_t \Sigma_t \right) \left( \sum_{t} \Sigma_t \right)^{-1}$
थ्योरम 1: लेखक सिद्ध करते हैं कि $\Sigma_t \propto \text{Cov}(\Delta W_t)$ । इसका अर्थ है कि इनपुट कोवेरिएंस का अनुमान बिना किसी डेटा के सीधे फाइन-ट्यूनिंग अपडेट्स ( $\Delta W_t = W_t - W_0$ ) से लगाया जा सकता है।

B. तीन-चरणीय एल्गोरिदम (The Three-Stage Algorithm)

ACE-Merging वास्तविक दुनिया की विषमता (heterogeneity) को संभालने के लिए इस सिद्धांत को तीन विशिष्ट घटकों के माध्यम से लागू करता है:

एडेप्टिव कोवेरिएंस नॉर्मलाइजेशन (Adaptive Covariance Normalization):
- समस्या: कार्यों में अक्सर बहुत अलग "एनर्जी स्केल" (वेट अपडेट का परिमाण) होता है। उच्च-ऊर्जा वाले कार्य मर्जिंग पर हावी हो जाते हैं, जिससे कम-ऊर्जा वाले कार्यों का प्रभाव दब जाता है।
- समाधान: यह विधि टास्क वेक्टर्स के लॉग-फ्रोबेनियस नॉर्म्स के वेरिएंस के आधार पर एक विषमता मीट्रिक ( $\gamma$ ) की गणना करती है।
- यदि $\gamma$ एक थ्रेशोल्ड से अधिक है (उच्च विषमता का संकेत), तो यह प्रत्येक कार्य के कोवेरिएंस मैट्रिक्स को उसके ट्रेस ( $\text{Tr}(\hat{\Sigma}_t)$ ) द्वारा नॉर्मलाइज़ करता है ताकि ऊर्जा स्तरों को समान किया जा सके। यह मैट्रिक्स इन्वर्जन के दौरान संख्यात्मक स्थिरता सुनिश्चित करने के लिए ट्रेस द्वारा स्केल किए गए टिखोनोव रेगुलराइजेशन (Tikhonov regularization) को भी लागू करता है।
कलेक्टिव स्ट्रक्चरल प्रायोर (Collective Structural Prior - CSP):
- समस्या: मानक रेगुलराइजेशन (जैसे $+\epsilon I$ ) आइसोट्रोपिक (isotropic) होता है और फीचर स्पेस की ज्यामिति को अनदेखा करता है।
- समाधान: यह विधि सभी स्केल्ड कोवेरिएंस मैट्रिसेस के कॉलम-वाइज स्टैटिस्टिक्स को एकत्रित करके एक कलेक्टिव स्ट्रक्चरल प्रायोर ( $C_{agg}$ ) का निर्माण करती है। यह एक अनिसोट्रोपिक (anisotropic) रेगुलराइज़र के रूप में कार्य करता है जो कार्यों के बीच साझा महत्व वाले आयामों को बढ़ाता है, जिससे अनुकूलन में इंटर-टास्क स्ट्रक्चरल कंसेंसस को प्रभावी ढंग से एकीकृत किया जाता है।
स्पेक्ट्रल रिफाइनमेंट (Spectral Refinement):
- समस्या: नॉर्मलाइजेशन के बावजूद, प्रारंभिक क्लोज्ड-फॉर्म समाधान अक्सर स्पेक्ट्रल इल-कंडीशनिंग (शीर्ष सिंगुलर वैल्यूज में ऊर्जा का अत्यधिक संकेंद्रण) से ग्रस्त होता है, जिससे मॉडल शोर (noise) के प्रति संवेदनशील हो जाता है।
- अवलोकन: प्रारंभिक समाधान की मुख्य दिशाएँ (eigenvectors) आमतौर पर सही होती हैं, लेकिन सिंगुलर वैल्यू वितरण असंतुलित होता है।
- समाधान: यह विधि एक स्ट्रक्चरल रेसिड्यूल की गणना करती है और लो-रैंक SVD का उपयोग करती है। यह सही स्ट्रक्चरल सबस्पेस को बनाए रखते हुए, एक स्थिर और अभिव्यंजक ऊर्जा प्रोफाइल बहाल करने के लिए शीर्ष- $k$ मुख्य दिशाओं को उनके माध्य सिंगुलर वैल्यू का उपयोग करके पुनः भारित (re-weight) करती है।

3. मुख्य योगदान (Key Contributions)

मौलिक सिद्धांत: यह शोध पत्र फाइन-ट्यूनिंग पैरामीटर परिवर्तनों को इनपुट कोवेरिएंस मैट्रिसेस से सीधे जोड़ने वाला पहला औपचारिक प्रमाण प्रदान करता है, जिससे शुद्ध डेटा-फ्री मॉडल मर्जिंग के लिए एक सैद्धांतिक आधार मिलता है।
एकीकृत ढांचा: यह पूर्ववर्ती विधियों (जैसे सरल औसत या WUDI-Merging) को इनपुट कोवेरिएंस के निहित, अक्सर मोटे (coarse) एस्टिमेटर्स के रूप में पुनर्व्याख्या करता है, जिससे स्पष्ट होता है कि वे क्यों काम करती हैं और कहाँ विफल होती हैं।
क्लोज्ड-फॉर्म समाधान: ग्रेडिएंट-आधारित मर्जिंग विधियों के विपरीत, ACE-Merging एक सिद्धांतिक, गैर-पुनरावृत्ति, क्लोज्ड-फॉर्म समाधान प्रदान करता है, जो कम्प्यूटेशनल दक्षता और स्थिरता सुनिश्चित करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: व्यापक प्रयोग दर्शाते हैं कि ACE-Merging सभी मौजूदा डेटा-फ्री बेसलाइन्स से बेहतर प्रदर्शन करता है और यहाँ तक कि कुछ डेटा-डिपेंडेंट और टेस्ट-टाइम अडैप्टेशन विधियों से भी आगे निकल जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विविध विजन और लैंग्वेज बेंचमार्क पर ACE-Merging का मूल्यांकन किया:

विजन बेंचमार्क (ViT):
- ViT-B/32, ViT-B/16, और ViT-L/14 को 8, 14, और 20-टास्क सेट पर परखा गया।
- परिणाम: ACE-Merging ने सभी 9 सेटिंग्स में स्टेट-ऑफ-द-आर्ट (SOTA) प्राप्त किया। सबसे चुनौतीपूर्ण 20-टास्क ViT-L/14 सेटिंग में, इसने 89.5% सटीकता प्राप्त की, जो अगले सर्वश्रेष्ठ मेथड (TSV-M) से लगभग 2 एब्सोल्यूट पॉइंट्स अधिक है।
लैंग्वेज बेंचमार्क:
- GPT-2: GLUE बेंचमार्क पर औसतन 74.1% स्कोर प्राप्त किया, जो पिछले SOTA (Ties-Merging) से 4.1% और TSV-M से 3.9% बेहतर है।
- RoBERTa: RoBERTa-Base पर, इसने 90.4% (नॉर्मलाइज्ड) प्राप्त किया, जो WUDI-Merging से 5.1% बेहतर है। RoBERTa-Large पर, यह 91.7% तक पहुँचा, जो WUDI-Merging से 2.9% बेहतर है।
- LLaMA-3: मल्टीलिंगुअल और कोडिंग कार्यों पर मजबूत आउट-ऑफ-डोमेन जनरलाइजेशन प्रदर्शित किया, जहाँ सरल औसत विफल रहा था।
दक्षता (Efficiency):
- इस विधि की कम्प्यूटेशनल जटिलता $O(L \cdot T \cdot n^3)$ है, जो SVD-आधारित विधियों के बराबर है, लेकिन यह WUDI-Merging जैसी ग्रेडिएंट-आधारित विधियों के पुनरावृत्ति ओवरहेड ( $K$ स्टेप्स) से बचती है।

5. महत्व (Significance)

व्यावहारिकता: ACE-Merging "डेटा-फ्री" दुविधा को हल करता है, जिससे संगठन मूल डेटासेट तक पहुँच के बिना अपने निजी मॉडलों को मर्ज कर सकते हैं।
स्केलेबिलिटी: क्लोज्ड-फॉर्म प्रकृति इसे बड़े मॉडलों (जैसे LLaMA-3, ViT-L) और बड़ी संख्या में कार्यों के लिए अत्यधिक स्केलेबल बनाती है, जहाँ पुनरावृत्ति अनुकूलन (iterative optimization) अत्यधिक महंगा हो जाता है।
सैद्धांतिक प्रगति: वेट डिस्प्लेसमेंट्स और इनपुट कोवेरिएंस के बीच संबंध स्थापित करके, यह शोध पत्र मॉडल मर्जिंग को अनुमानी इंजीनियरिंग (heuristic engineering) से एक सिद्धांत आधारित अनुकूलन समस्या की ओर ले जाता है।
मजबूती (Robustness): इसके एडेप्टिव मैकेनिज्म (नॉर्मलाइजेशन और स्पेक्ट्रल रिफाइनमेंट) यह सुनिश्चित करते हैं कि यह विधि विविध आर्किटेक्चर (Transformers, ViTs) और कार्यों की विभिन्न डिग्री की विषमता में मजबूती से कार्य करे।

निष्कर्षतः, ACE-Merging मॉडल मर्जिंग के क्षेत्र में एक महत्वपूर्ण छलांग है, जो डेटा तक पहुँच के बिना विशिष्ट AI मॉडलों को संयोजित करने के लिए एक सैद्धांतिक रूप से सुदृढ़, कुशल और उच्च-प्रदर्शन वाला समाधान प्रदान करता है।