🤖 machine learning

Model Merging by Output-Space Projection

यह शोध पत्र एक नवीन मॉडल मर्जिंग फ्रेमवर्क प्रस्तावित करता है जो फाइन-ट्यून्ड चेकपॉइंट्स के संयोजन को रेसिडुअल अपडेट्स पर एक उत्तल द्विघातीय प्रोग्राम (convex quadratic program) के रूप में सूत्रबद्ध करता है, जो मर्ज की गुणवत्ता का पूर्वानुमान लगाने के लिए एक सैद्धांतिक रूप से आधारित, क्लोज्ड-फॉर्म डायग्नोस्टिक प्रदान करता है और भाषा एवं विजन बेंचमार्क पर मौजूदा ह्यूरिस्टिक विधियों से अनुभवजन्य रूप से बेहतर प्रदर्शन करता है।

मूल लेखक: Bethan Evans, Benjamin Etheridge, Stephen Roberts, Jared Tanner

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bethan Evans, Benjamin Etheridge, Stephen Roberts, Jared Tanner

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास पाँच विशेषज्ञ शेफ की एक टीम है। प्रत्येक ने एक विशिष्ट व्यंजन को महीनों तक निखारने में समय बिताया है: एक पिज्जा का उस्ताद है, दूसरा सुशी का, तीसरा पास्ता का, और इसी तरह। अब, आप एक एकल "सुपर शेफ" बनाना चाहते हैं जो इन पाँचों व्यंजनों को पूरी तरह से बना सके, लेकिन आपके पास एक नए व्यक्ति को शुरू से प्रशिक्षित करने का समय नहीं है।

वर्तमान विधियों के साथ समस्या
अभी, इन शेफ को संयोजित करने का मानक तरीका एक समिति के वोट की तरह है।

टास्क अरिथमेटिक (Task Arithmetic): आप बस उनके व्यंजनों का औसत लेते हैं।
मॉडल सूप्स (Model Soups): आप उनके अवयवों को एक बड़े बर्तन में मिला देते हैं और उम्मीद करते हैं कि स्वाद अच्छा होगा।
TIES/DARE: आप उन अवयवों को हटाने की कोशिश करते हैं जिन पर वे असहमत हैं या यादृच्छिक रूप से कुछ फेंक देते हैं।

ये विधियाँ ठीक काम करती हैं, लेकिन ये केवल अनुमान लगाने जैसा है। वे सरल नियमों (जैसे "हर किसी को समान वोट मिलता है") पर निर्भर करती हैं बजाय इसके कि वे सुपर शेफ के लिए सटीक रेसिपी की गणना करें। उन्हें यह नहीं पता कि पिज्जा शेफ के ज्ञान में से कितना और सुशी शेफ के ज्ञान में से कितना रखना है।

पेपर का नया विचार: "आउटपुट-स्पेस प्रोजेक्शन" (Output-Space Projection)
लेखक इस तरह से मॉडलों को मिलाने का एक स्मार्ट तरीका प्रस्तावित करते हैं। वजन (सामग्री) को औसत निकालने के बजाय, वे परिणामों (तैयार व्यंजनों) को देखते हैं।

यहाँ इसका सादृश्य (Analogy) दिया गया है:
कल्पना कीजिए कि आपके पास एक "कैलिब्रेशन किचन" है जहाँ आप शेफ का परीक्षण करते हैं। आप उन्हें एक विशिष्ट सामग्री (इनपुट) देते हैं और एक विशिष्ट व्यंजन (आउटपुट) मांगते हैं।

बेस मॉडल (The Base Model): यह आपका "कोरा स्लेट" वाला शेफ है जिसे कुछ नहीं पता।
रेसिडुअल्स (The Residuals): यह बेस शेफ द्वारा बनाए गए व्यंजन और विशेषज्ञ शेफ द्वारा बनाए गए व्यंजन के बीच का अंतर है। यह वह "अतिरिक्त स्वाद" है जो प्रत्येक विशेषज्ञ जोड़ता है।
लक्ष्य (The Goal): आप हर इनपुट के लिए सही व्यंजन प्राप्त करने के लिए इन "अतिरिक्त स्वादों" को मिलाना चाहते हैं।

पेपर कहता है: "आइए इसे एक गणितीय पहेली की तरह मानें।"

वे इसे एक क्वाड्रैटिक प्रोग्राम (QP) के रूप में फ्रेम करते हैं। सरल अंग्रेजी में, यह एक फैंसी तरीका है यह कहने का कि: "हम एक सटीक गणितीय समीकरण लिख सकते हैं जो हमें ठीक से बताता है कि प्रत्येक विशेषज्ञ के 'अतिरिक्त स्वाद' को कितना मिलाना है ताकि गलतियों को कम किया जा सके।"

यह कैसे काम करता है (प्रोजेक्शन का रूपक)
सोचिए कि "परफेक्ट डिश" डार्टबोर्ड पर एक लक्ष्य की तरह है।

प्रत्येक विशेषज्ञ शेफ एक डार्ट फेंकता (उनका अपडेट) जो लक्ष्य के पास कहीं गिरता है।
"रेसिड्यूल" वह दूरी है जहाँ वे गिरे और बुल्सआई (केंद्र) के बीच की।
वर्तमान विधियाँ बस इन डार्ट्स का औसत लगाने का अनुमान लगाती हैं।
यह पेपर की विधि पूछती है: "यदि मैं इन सभी डार्ट्स को एक विशिष्ट रेखा या तल (सबस्पेस) पर प्रोजेक्ट करूँ, तो कौन सा संयोजन हमें बुल्सआई के सबसे करीब ले जाएगा?"

उन्होंने पाया कि यदि आप गलतियों की "ऊर्जा" (डार्ट्स कितनी दूर हैं) को देखते हैं, तो आप गणितीय रूप से मिश्रण के लिए इष्टतम दिशा (optimal direction) की गणना कर सकते हैं।

डायगोनल मेथड (The Diagonal Method - सस्ता संस्करण): यह मानता है कि विशेषज्ञों के कौशल स्वतंत्र हैं। यह कहने जैसा है कि, "पिज्जा शेफ केवल पिज्जा को प्रभावित करता है, और सुशी शेफ केवल सुशी को।" यह तेज़ और गणना में आसान है।
ऑप्टिमल बेसिस मेथड (The Optimal Basis Method - महंगा संस्करण): यह महसूस करता है कि कौशल ओवरलैप हो सकते हैं। शायद पिज्जा शेफ की सॉस बनाने की तकनीक वास्तव में पास्ता में भी मदद करती है। यह सभी उपयोगी "ऊर्जा" को कैप्चर करने के लिए दिशाओं का सबसे अच्छा संभव मिश्रण ढूंढता है।

मुख्य निष्कर्ष

यह एक एकीकृत सिद्धांत है: पेपर दिखाता है कि वर्तमान में लोग उपयोग करने वाले सभी लोकप्रिय तरीके (टास्क अरिथमेटिक, मॉडल सूप्स, TIES) वास्तव में इस नए गणितीय पहेली के विशेष, सरलीकृत संस्करण हैं। वे "ह्यूरिस्टिक" (नियम-आधारित अनुमान) हैं, जबकि यह नया तरीका वास्तविक गणितीय समाधान ढूंढता है।
यह सफलता की भविष्यवाणी करता है: मॉडलों को मिलाने से पहले ही, लेखकों ने एक "नैदानिक उपकरण" (diagnostic tool) बनाया। कैलिब्रेशन डेटा को देखकर, वे एक स्कोर (कैप्चर की गई रेसिड्यूल एनर्जी का अंश) की गणना कर सकते हैं जो यह भविष्यवाणी करता है कि मर्ज किया गया मॉडल कैसा प्रदर्शन करेगा। यह खाना पकाने से पहले सामग्रियों की जांच करने जैसा है ताकि यह जाना जा सके कि व्यंजन कैसा होगा।
यह बेहतर काम करता है: जब उन्होंने इमेज रिकग्निशन (जैसे कारों या जानवरों की पहचान करना) और लैंग्वेज मॉडल्स (जैसे LLMs) पर इसका परीक्षण किया, तो उनका गणित-आधारित तरीका मौजूदा "अनुमान लगाने वाली" विधियों के बराबर रहा या उनसे बेहतर रहा।
- "सस्ता" डायगोनल संस्करण अक्सर पर्याप्त था और बहुत तेज़ था।
- "महंगा" ऑप्टिमल संस्करण तब और भी बेहतर था जब विशेषज्ञों के कौशल जटिल और ओवरलैपिंग थे।

निष्कर्ष (The Bottom Line)
यह पेपर केवल यह नहीं कहता कि "मॉडलों को मिलाएं।" यह मॉडलों को पूरी तरह से मिलाने के लिए एक गणितीय ब्लूप्रिंट प्रदान करता है। यह मॉडल मर्जिंग की कला को एक हल करने योग्य ज्यामितीय समस्या में बदल देता है, यह दिखाते हुए कि त्रुटियों को सही गणितीय स्थान पर प्रोजेक्ट करके, आप बिना दोबारा प्रशिक्षण के एक एकल, सुपर-परफॉर्मिंग मॉडल बना सकते हैं।

वे यह भी नोट करते हैं कि जबकि पूर्ण समाधान के लिए भारी गणित (आइजनवेक्टर्स को हल करना) की आवश्यकता होती है, सरल संस्करण (डायगोनल मास्किंग) अक्सर एक बेहतरीन, तेज़ शॉर्टकट है जो अभी भी पुराने तरीकों की तुलना में बेहतर प्रदर्शन करता है।

तकनीकी सारांश: आउटपुट-स्पेस प्रोजेक्शन द्वारा मॉडल मर्जिंग (Model Merging by Output-Space Projection)

समस्या विवरण (Problem Statement)

विशिष्ट कार्यों के लिए फाइन-ट्यून किए गए भाषा और विजन मॉडल्स की बढ़ती संख्या ने मॉडल मर्जिंग (model merging) की मांग पैदा कर दी है—जो कई फाइन-ट्यून किए गए चेकपॉइंट्स को बिना पुन: प्रशिक्षण (retraining) के एक एकल मल्टी-टास्क मॉडल में संयोजित करने की प्रक्रिया है। जबकि मौजूदा व्यावहारिक दृष्टिकोण जैसे कि टास्क अरिथमेटिक (Task Arithmetic), मॉडल सूप्स (Model Soups), TIES, और DARE ने अनुभवजन्य सफलता (empirical success) प्रदर्शित की है, वे हयुरिस्टिक डिज़ाइन विकल्पों (जैसे कि फिक्स्ड स्केलर वेट्स, स्टोकेस्टिक मास्किंग, या साइन-आधारित प्रूनिंग) पर निर्भर करते हैं। महत्वपूर्ण रूप से, इन विधियों में इष्टतम संयोजन भार (optimal combination weights) का कोई औपचारिक गणितीय लक्षण वर्णन नहीं है और न ही उनके पास कोई सटीक लॉस फंक्शन (loss function) है जिसके लिए वे सिद्ध रूप से इष्टतम (provably optimal) हों।

कार्यप्रणाली (Methodology)

लेखक एक ऐसा फ्रेमवर्क प्रस्तावित करते हैं जो मॉडल मर्जिंग को आउटपुट-स्पेस प्रोजेक्शन परिप्रेक्ष्य पर आधारित, रेसिडुअल अपडेट्स (residual updates) पर एक कॉन्वेक्स क्वाड्रेटिक प्रोग्राम (convex quadratic programme - QP) के रूप में स्वरूपित करता है।

1. कॉन्वेक्स QP के रूप में स्वरूपण (Formulation as a Convex QP)

पेपर यह अवलोकन करते हुए शुरू होता है कि फाइन-ट्यून किए गए रेसिडुअल्स पर डायगोनल मास्क लगाने के माध्यम से मर्जिंग को एक कॉन्वेक्स QP के रूप में प्रस्तुत किया जा सकता है।

सेटअप: एक बेस मॉडल $\theta$ और $K$ फाइन-ट्यून किए गए मॉडल्स के रेसिडुअल अपडेट्स $\{\delta^{(k)}_N\}$ को देखते हुए, जो एक विशिष्ट लेयर $N$ पर हैं, लक्ष्य एक मर्ज किया गया रेसिडुअल $\delta_{merge}$ खोजना है।
डायगोनल मास्किंग: विधि प्रत्येक रेसिडुअल पर एक डायगोनल मास्क $D_k = \text{diag}(d^{(k)})$ लागू करती है: $\delta_{merge}(d) = \sum_{k=1}^K D_k \delta^{(k)}_N$ ।
उद्देश्य: विधि एक कैलिब्रेशन सेट $\mathcal{K}$ पर एक स्क्वेर्ड-आउटपुट कैलिब्रेशन ऑब्जेक्टिव $J(d) = \sum_{j \in \mathcal{K}} \|A_j d + b_j\|^2$ को कम करती है। यहाँ, $b_j$ इनपुट $x_j$ पर बेस मॉडल की त्रुटि (error) को दर्शाता है, और $A_j$ आउटपुट पर रेसिडुअल्स के रैखिकीकृत प्रभाव (linearized effect) को एनकोड करता है।
इष्टतमता (Optimality): इस QP को हल करने से ऐसे वेट्स प्राप्त होते हैं जो स्क्वेर्ड-आउटपुट लॉस को कम करते हैं। मौजूदा विधियाँ (Task Arithmetic, Model Soups, TIES, DARE) इस QP के विशिष्ट फेज़िबल पॉइंट्स या विशेष मामलों के रूप में दिखाई देती हैं (जैसे फिक्स्ड स्केलर या विशिष्ट स्टोकेस्टिक मास्क), जो यह संकेत देता है कि QP समाधान समान उद्देश्य के तहत सैद्धांतिक रूप से बेहतर या बराबर है।

2. सामान्य आधार और अपरिहार्य त्रुटि (General Basis and Irreducible Error)

लेखक एक्सिस-अलाइन्ड (diagonal) मर्जिंग की सीमाओं को दूर करने के लिए डायगोनल मास्क दृष्टिकोण को एक सामान्य आधार (general basis) स्वरूपण तक विस्तारित करते हैं।

प्रोजेक्शन परिप्रेक्ष्य: मर्जिंग को उम्मीदवार सुधारों (candidate corrections) के एक सबस्पेस का उपयोग करके बेस-मॉडल रेसिडुअल्स के सन्निकटन (approximation) के रूप में देखा जाता है। इष्टतम समाधान आउटपुट स्पेस में उम्मीदवार अपडेट्स द्वारा स्पैन किए गए सबस्पेस पर बेस-मॉडल रेसिडुअल्स को प्रोजेक्ट करने के अनुरूप है।
अपरिहार्य त्रुटि (Irreducible Error): पेपर किसी भी चुने गए आधार (basis) के लिए अपरिहार्य त्रुटि का एक क्लोज्ड-फॉर्म डायग्नोस्टिक व्युत्पन्न करता है। यह त्रुटि द्वारा कैप्चर की गई रेसिडुअल एनर्जी के अंश द्वारा निर्धारित होती है।
इष्टतम आधार (Optimal Basis): विश्लेषण से पता चलता है कि रिलैक्स्ड प्रोजेक्शन समस्या के लिए इष्टतम आधार रेसिडुअल एनर्जी मैट्रिक्स $S = \sum_{j} b_j b_j^\top$ के लीडिंग आइजनवेक्टर्स (leading eigenvectors) द्वारा दिया गया है।
ट्रेड-ऑफ लक्षण वर्णन: फ्रेमवर्क डायगोनल QP की कम्प्यूटेशनल दक्षता और इष्टतम आधार के प्रदर्शन लाभों के बीच के ट्रेड-ऑफ को मात्रात्मक रूप से निर्धारित करता है। यह स्थापित करता है कि डायगोनल मर्जिंग तब इष्टतम होती है जब मॉडल अपडेट्स एक साझा आधार में स्वतंत्र मोड में डिकंपोज़ होते हैं; अन्यथा, "सबऑप्टिमलिटी गैप" को कैप्चर की गई एनर्जी फ्रैक्शन के माध्यम से मापा जा सकता है।

3. मल्टी-लेयर एक्सटेंशन (Multi-Layer Extension)

मल्टी-लेयर मर्जिंग के लिए, लेखक एक क्रमिक लेयर-वाइज एल्गोरिदम (sequential layer-wise algorithm) प्रस्तावित करते हैं। चूंकि नॉन-लीनियर इंटरैक्शन के कारण लेयर्स के बीच संयुक्त अनुकूलन (joint optimization) नॉन-कॉन्वेक्स है, इसलिए विधि एकल-लेयर QP को क्रमिक रूप से लागू करती है। प्रत्येक चरण में, रेसिडुअल को वर्तमान मर्ज किए गए मॉडल का उपयोग करके अपडेट किया जाता है, और अगले लेयर के लिए QP को हल किया जाता है, जिसमें आवश्यक जैकोबियन्स (Jacobians) को पुनः गणना (recompute) किया जाता है।

मुख्य योगदान (Key Contributions)

एकीकृत फ्रेमवर्क (Unified Framework): यह पेपर मौजूदा हयुरिस्टिक मर्जिंग विधियों (Task Arithmetic, Model Soups, TIES, DARE) को एक डायगोनल-मास्क QP के विशेष मामलों के रूप में समाहित करता है, जिससे एक एकीकृत गणितीय परिप्रेक्ष्य मिलता है।
कॉन्वेक्स फॉर्मुलेशन: यह स्थापित करता है कि मॉडल मर्जिंग को रेसिडुअल अपडेट्स पर एक कॉन्वेक्स क्वाड्रेटिक प्रोग्राम के रूप में स्वरूपित किया जा सकता है, जो चुने गए आधार के लिए ग्लोबल मिनिममम की गारंटी देता है।
क्लोज्ड-फॉर्म डायग्नोस्टिक: लेखक एक गणना योग्य डायग्नोस्टिक पेश करते हैं—एक चुने गए आधार द्वारा कैप्चर की गई रेसिडुअल एनर्जी का अंश—जो पूर्ण डाउनस्ट्रीम मूल्यांकन की आवश्यकता के बिना केवल कैलिब्रेशन सेट का उपयोग करके डाउनस्ट्रीम मर्ज क्वालिटी की भविष्यवाणी करता है।
इष्टतम आधार लक्षण वर्णन: यह कार्य रेसिडुअल एक्टिवेशन्स के आउटपुट-वेटेड प्रिंसिपल कंपोनेंट्स को स्क्वेर्ड-आउटपुट लॉस को कम करने के लिए इष्टतम आधार के रूप में पहचानता है, जिससे स्पष्ट होता है कि कब डायगोनल मर्जिंग पर्याप्त है और कब अधिक जटिल आधार की आवश्यकता होती है।
अनुभवजन्य सत्यापन (Empirical Validation): इस फ्रेमवर्क को भाषा (LLaMA 3.1) और विजन (ViT-B/32, MNIST) बेंचमार्क पर मान्य किया गया है, जो मौजूदा हयुरिस्टिक्स की तुलना में निरंतर लाभ प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

सिंगल-लेयर प्रदर्शन: ViT-B/32 (CIFAR-10, STL-10, Imagenette, EuroSAT पर फाइन-ट्यून किया गया) और LLaMA 3.1 पर सिंगल-लेयर मर्जिंग प्रयोगों में, QP समाधान सभी डेटासेट्स पर न्यूनतम मीन स्क्वेर्ड एरर (MSE) प्राप्त करता है और Task Arithmetic, Model Soups, TIES, DARE, और Fisher-weighted merging की तुलना में सर्वश्रेष्ठ औसत सटीकता प्राप्त करता है।
बेसिस विश्लेषण: MNIST डिजिट क्लासिफिकेशन टास्क पर प्रयोगों से पता चलता है कि इष्टतम आधार (रेसिडुअल मैट्रिक्स के टॉप आइजनवेक्टर्स) लगातार सबसे कम MSE प्राप्त करता है। मानक डायगोनल आधार, हालांकि इष्टतम आधार की तुलना में कम प्रभावी है, फिर भी प्रतिस्पर्धी बना हुआ है और बेंचमार्क हयुरिस्टिक्स से बेहतर प्रदर्शन करता है, जो इसके एक कुशल प्रॉक्सी के रूप में उपयोग को मान्य करता है।
मल्टी-लेयर लाभ: LLaMA 3.1 पर क्रमिक मल्टी-लेयर एक्सटेंशन, बेसलाइन विधियों की तुलना में कोड, इंस्ट्रक्शन-फॉलोइंग और मैथ टास्क में MSE और सटीकता दोनों में निरंतर सुधार दिखाता है।
डायग्नोस्टिक उपयोगिता: "कैप्चर्ड एनर्जी" मेट्रिक विभिन्न आधार विकल्पों के प्रदर्शन रैंकिंग की सफलतापूर्वक भविष्यवाणी करता है, जो रेसिडुअल एनर्जी कैप्चर और डाउनस्ट्रीम लॉस के बीच सैद्धांतिक संबंध की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह एक एकीकृत सैद्धांतिक ढांचा प्रदान करता है जो मौजूदा हयुरिस्टिक्स की सफलता की व्याख्या करता है और उन्हें सुधारने के लिए एक सिद्धांत आधारित विधि प्रदान करता है।

सैद्धांतिक कठोरता (Theoretical Rigor): एड-हॉक नियमों पर निर्भर रहने वाली पिछली विधियों के विपरीत, यह दृष्टिकोण एक सटीक गणितीय धारणा (स्क्वेर्ड-आउटपुट लॉस को मिनिमाइज करना वाया प्रोजेक्शन) प्रदान करता है जिसके लिए यह विधि इष्टतम है।
व्यावहारिक उपयोगिता: फ्रेमवर्क एक गणना योग्य डायग्नोस्टिक प्रदान करता है ताकि यह निर्धारित किया जा सके कि कब महंगा इष्टतम आधार आवश्यक है बनाम कब सस्ता डायगोनल QP पर्याप्त है।
विनम्रता (Modesty): लेखक अपनी सीमाओं को स्वीकार करते हुए नोट करते हैं कि यह फ्रेमवर्क एक रैखिक (linearized) स्क्वेर्ड-आउटपुट लॉस के लिए व्युत्पन्न है। वे स्पष्ट रूप से कहते हैं कि नॉन-क्वाड्रेटिक लॉस (जैसे क्रॉस-एन्ट्रॉपी) के लिए फ्रेमवर्क का विस्तार करना और उच्च-आयामी सेटिंग्स में स्केलेबल एप्रोक्सिमेशन विकसित करना भविष्य के कार्य के लिए महत्वपूर्ण दिशाएं हैं। वे यह भी नोट करते हैं कि कम MSE हमेशा उच्च टास्क सटीकता के साथ पूरी तरह से सह-संबंधित (correlate) नहीं होता है, जो उनके LLM प्रयोगों में देखी गई एक सीमा है।

संक्षेप में, यह पेपर मॉडल मर्जिंग को वेट्स के हयुरिस्टिक कॉम्बिनेशन से बदलकर आउटपुट स्पेस में एक कॉन्वेक्स ऑप्टिमाइजेशन समस्या के रूप में पुनर्परिभाषित करता है, जो मौजूदा विधियों के लिए एक सैद्धांतिक औचित्य और अधिक इष्टतम मर्जिंग रणनीतियों की ओर एक मार्ग प्रदान करता है।