💬 NLP

MeRoTune: RoPE-Safe Merging with a Tunable Dial

MeRoTune एक मॉडल मर्ज़िंग तकनीक पेश करता है जो RoPE-युक्त मॉडल्स में अटेंशन सबस्पेस मिसअलाइनमेंट को हल करने के लिए सीमित, RoPE-कम्यूटिंग करेक्शन मैट्रिसेस को सीखता है, जिससे बेस वेट्स को संशोधित किए बिना फाइन-ट्यून्ड मॉडल्स के पोस्ट-हॉक ट्यूनेबल ब्लेंडिंग को सक्षम बनाया जा सके।

मूल लेखक: Salman Faroz

प्रकाशित 2026-09-09✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Salman Faroz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता अक्सर एक दुविधा का सामना करते हैं: उनके पास एक शक्तिशाली, सामान्य उद्देश्य वाला कंप्यूटर मस्तिष्क है, और उन्होंने इसके अलग-अलग, विशिष्ट संस्करणों को विशिष्ट कार्यों में उत्कृष्ट होने के लिए प्रशिक्षित किया है, जैसे कि एक भाषा में कोड लिखना या दूसरी भाषा में प्रश्नों के उत्तर देना। लक्ष्य इन विशेषज्ञों को एक ही, बहुमुखी मॉडल में संयोजित करना है, बिना एक साथ कई प्रोग्राम चलाने की लागत के। इसे करने का मानक तरीका बस दोनों मॉडलों के गणितीय भार (weights) को आपस में मिला देना है, जैसे दो रंगों के बैचों को मिलाना। हालाँकि, यह सरल मिश्रण यह मान लेता है कि दोनों मॉडलों का आंतरिक तर्क पूरी तरह से संरेखित (aligned) है। यदि एक मॉडल किसी अवधारणा के बारे में एक थोड़े अलग आंतरिक समन्वय प्रणाली (coordinate system) का उपयोग करता है, तो उन्हें सीधे मिलाने से एक भ्रमित परिणाम उत्पन्न हो सकता है जो मूल मॉडलों में से किसी के भी परिणाम से बदतर होता है। यह आधुनिक मॉडलों में विशेष रूप से कठिन है जो शब्दों के क्रम को समझने के लिए एक विशिष्ट तंत्र का उपयोग करते हैं, एक ऐसी प्रणाली जो स्थिति के आधार पर सूचना को घुमाती (rotate) है। यदि मिश्रण प्रक्रिया इस रोटेशन की अनदेखी करती है, तो यह मॉडल की संदर्भ समझने की क्षमता को चुपचाप तोड़ देती है, जो अक्सर प्रशिक्षण के दौरान अदृश्य रहता है।

एक शोधकर्ता ने इस समस्या को हल करने के लिए 'MeRoTune' नामक एक नई विधि विकसित की है। दोनों मॉडलों को अंधाधुंध औसत निकालने के बजाय, वे पहले प्रत्येक मॉडल को अपने स्वयं के आंतरिक समन्वय तंत्र को समायोजित करने के लिए सिखाते हैं ताकि वे आपस में मिलने से पहले शब्द क्रम को संभालने के तरीके पर सहमत हो सकें। उन्होंने पाया कि इस समायोजन को मॉडल को तोड़े बिना काम करने के लिए, परिवर्तन बहुत ही विशिष्ट, संकीर्ण नियमों का पालन करने चाहिए। उन्होंने गणितीय रूप से सिद्ध किया कि मॉडलों को ठीक करने का एकमात्र सुरक्षित तरीका एक विशिष्ट प्रकार का रोटेशन लागू करना है जो स्थिति को संभालने के मॉडल के अनूठे तरीके का सम्मान करता है। उन्होंने एक ऐसी प्रणाली बनाई जहाँ दो विशिष्ट मॉडल स्वयं इन सटीक समायोजनों को सीखते हैं, और फिर उन्हें उपयोगकर्ता की इच्छा के अनुसार किसी भी अनुपात में संयोजित किया जा सकता है, जो एक निश्चित मिश्रण के बजाय एक ट्यूनेबल डायल की तरह कार्य करता है।

उन्होंने इस दृष्टिकोण का परीक्षण एक भाषा मॉडल के दो अलग-अलग संस्करणों पर किया: एक जिसे इंडोनेशियाई और कोडिंग में विशेषज्ञ होने के लिए प्रशिक्षित किया गया था, और दूसरा जो जापानी में विशेषज्ञ होने के लिए प्रशिक्षित किया गया था। उन्हें मर्ज करने से पहले, उन्होंने एक सख्त गणितीय जांच लागू की ताकि यह सुनिश्चित किया जा सके कि दोनों मॉडल वास्तव में इतने भिन्न हैं कि जटिल प्रक्रिया की आवश्यकता हो। उन्होंने सत्यापित किया कि प्रत्येक मॉडल वास्तव में अपनी विशेषज्ञता में बेहतर था और दूसरी विशेषज्ञता में कमतर था, जिससे पुष्टि हुई कि एक वास्तविक संघर्ष मौजूद था जिसे हल करने की आवश्यकता थी। उन्होंने अन्य कई संभावित जोड़ों को खारिज कर दिया जो इस मानदंड को पूरा नहीं करते थे, जिससे यह सुनिश्चित हुआ कि वे केवल एक वास्तविक समस्या पर काम कर रहे हैं। एक बार जब उन्होंने उपयुक्त जोड़ा सुनिश्चित कर लिया, तो उन्होंने मॉडलों को अपने अनूठे सुधार कारकों (correction factors) को सीखने के लिए प्रशिक्षित किया। ये कारक सरल रोटेशन के रूप में डिज़ाइन किए गए थे, यह सुनिश्चित करने के लिए कि मॉडल स्थिर रहें और इस प्रक्रिया के दौरान विकृत न हों।

जब उन्होंने अपने नए तरीके का उपयोग करके मॉडलों को संयोजित किया, तो परिणाम मौजूदा तकनीकों की तुलना में बेहतर थे। उन्होंने मिश्रित मॉडल का विभिन्न मिश्रण अनुपातों (blending ratios) के माध्यम से परीक्षण किया, जिसमें ज्यादातर इंडोनेशियाई से लेकर ज्यादातर जापानी तक शामिल था, और पाया कि उनका दृष्टिकोण कभी भी अन्य शोधकर्ताओं द्वारा उपयोग की जाने वाली मानक विधियों से खराब प्रदर्शन नहीं करता है। वास्तव में, अधिकांश परीक्षणों में, उनकी विधि ने सांख्यिकीय विश्वसनीयता के उच्च स्तर को पार किया, जबकि एक प्रतिस्पर्धी विधि ने कम से कम एक कार्य पर मूल, बिना मर्ज किए गए बेस मॉडल से भी खराब प्रदर्शन किया। उन्होंने यह भी पता लगाया कि क्या मिश्रण अनुपात को दो स्वतंत्र नियंत्रणों में विभाजित किया जा सकता है, जिससे प्रत्येक मॉडल अधिक स्वतंत्र रूप से योगदान दे सके। उन्होंने पाया कि ऐसा करने से प्रदर्शन ढह गया, जिससे यह सिद्ध हुआ कि मिश्रण अनुपात को एक साथ रखना इस पद्धति के काम करने के लिए आवश्यक था।

अध्ययन ने यह भी खुलासा किया कि मॉडलों ने वास्तव में इस प्रक्रिया के दौरान क्या सीखा। अधिकांश समायोजन बहुत छोटे थे, केवल कुछ डिग्री के सूक्ष्म रोटेशन, जो यह सुझाव देते हैं कि मॉडल शुरू से ही काफी हद तक संरेखित थे। हालाँकि, मॉडलों के कुछ विशिष्ट हिस्सों को बहुत बड़े बदलावों की आवश्यकता थी, जो अस्सी-छह डिग्री तक थे, और इन हिस्सों का परिमाण भी सिकुड़ गया। यह इंगित करता है कि जबकि सामान्य संरचना समान थी, कुछ विशिष्ट, गहरे मतभेद थे कि कैसे मॉडलों ने कुछ अवधारणाओं को संभाला, जिसके लिए महत्वपूर्ण पुनर्संरेखण की आवश्यकता थी। उन्होंने उल्लेख किया कि यह विधि हर संभावित जोड़ी के लिए जादुई समाधान नहीं है; यह केवल तभी काम करती है जब मॉडल वास्तव में परस्पर विरोधी तरीकों से विशिष्ट हों और जब मॉडल की आंतरिक संरचना में वह विशिष्ट स्थिति-संभालने वाला तंत्र शामिल हो जिसे उन्होंने संबोधित किया है।

अंततः, यह कार्य यह प्रदर्शित करता है कि एआई मॉडलों को मर्ज करना केवल संख्याओं का औसत निकालना नहीं है। इसके लिए इस बात की समझ की आवश्यकता है कि मॉडल सूचना को कैसे संसाधित करता है, इसकी छिपी हुई ज्यामिति (geometry) क्या है। शब्द क्रम को संभालने के इन मॉडलों के विशिष्ट नियमों का सम्मान करके, उन्होंने एक ऐसा उपकरण बनाया है जो उपयोगकर्ताओं को किसी भी विशेषज्ञ क्षमता को खोए बिना, दोनों के बीच सुचारू रूप से डायल करने की अनुमति देता है। यह विधि विशिष्ट एआई मस्तिष्क को संयोजित करने का एक विश्वसनीय तरीका प्रदान करती है, यह सुनिश्चित करती है कि अंतिम परिणाम एक सुसंगत, उच्च-प्रदर्शन वाला मॉडल हो, न कि एक भ्रमित मिश्रण। इस कार्य का कोड और डेटा सार्वजनिक रूप से उपलब्ध है, जिससे अन्य लोग अपने निष्कर्षों को सत्यापित कर सकते हैं और अपने स्वयं के मॉडल संयोजनों पर वही सावधानीपूर्वक, गणितीय रूप से आधारित दृष्टिकोण लागू कर सकते हैं।

तकनीकी सारांश: MEROTUNE: एक ट्यूनेबल डायल के साथ ROPE-सेफ मर्जिंग

1. समस्या विवरण (Problem Statement)

मॉडल मर्जिंग का लक्ष्य कई फाइन-ट्यून किए गए मॉडलों को एकल वेट्स (weights) के सेट में संयोजित करना है, जिससे प्रत्येक की विशिष्ट क्षमताओं को संरक्षित किया जा सके बिना कई मॉडल चलाने की लागत के। मानक विधियाँ (जैसे, वेट एवरेजिंग, TIES, DARE) सीधे रॉ वेट टेंसरों पर कार्य करती हैं, जो अंतर्निहित रूप से यह मान लेती हैं कि विलय किए जा रहे मॉडलों के आंतरिक समन्वय तंत्र (विशेष रूप से अटेंशन सबस्पेस) पहले से ही संरेखित (aligned) हैं।

हाल के कार्य [13] ने क्वेरी ( $W_q$ ) और की ( $W_k$ ) प्रोजेक्शन के लिए एक व्युत्क्रमणीय सुधार मैट्रिक्स, $M$ , सीखकर मिसअलाइनमेंट को ठीक करने का प्रयास किया। सैद्धांतिक रूप से, $W_q$ पर $M$ और $W_k$ पर $M^{-\top}$ लागू करना अकेले में एक "नो-ऑप" (no-op) है क्योंकि $(Mq)^\top (M^{-\top}k) = q^\top k$ । हालांकि, यह निरसन (cancellation) इस धारणा पर निर्भर करता है कि प्रोजेक्शन और डॉट प्रोडक्ट के बीच कुछ भी हस्तक्षेप नहीं करता है।

मुख्य संघर्ष (The Core Conflict): लगभग सभी आधुनिक ओपन-वेट लैंग्वेज मॉडल्स (जैसे, Qwen, Llama 3) रोटरी पोजीशन एम्बेडिंग्स (RoPE) का उपयोग करते हैं जो ठीक इसी मध्यवर्ती स्थान में स्थित है। RoPE, क्वेरी और की वेक्टर्स पर एक स्थिति-निर्भर रोटेशन लागू करता है। यदि सीखा गया सुधार मैट्रिक्स $M$ , RoPE रोटेशन $R(\Delta\theta)$ के साथ कम्यूट (commute) नहीं करता है, तो "नो-ऑप" गुण टूट जाता है। सुधार अनजाने में उन सापेक्ष-स्थिति निर्भरताओं को विकृत कर देता है जिन्हें RoPE एनकोड करने के लिए डिज़ाइन किया गया है, एक ऐसा विरूपण जो मानक प्रशिक्षण लॉस (losses) के लिए अदृश्य है क्योंकि वे स्पष्ट रूप से RoPE इंटरेक्शन को फिर से प्राप्त नहीं करते हैं।

2. कार्यप्रणाली (Methodology)

2.1 सैद्धांतिक व्युत्पत्ति: द RoPE-कम्यूटेंट क्लास (The RoPE-Commutant Class)

पेपर उन विशिष्ट मैट्रिक्स $M$ के वर्ग को व्युत्पन्न करता है जिनके लिए RoPE की उपस्थिति में निरसन $(Mq)^\top R(\Delta\theta) (M^{-\top}k) = q^\top R(\Delta\theta) k$ सटीक रूप से बना रहता है।

शर्त: $M$ को सभी सापेक्ष स्थितियों $\Delta$ के लिए RoPE रोटेशन मैट्रिक्स $R(\Delta\theta)$ के साथ कम्यूट करना चाहिए।
परिणाम: वैध मैट्रिक्स एक सख्त, निम्न-आयामी (low-dimensional) उपसमुच्चय बनाते हैं। विशेष रूप से, प्रत्येक RoPE फ्रीक्वेंसी पेयर (एक 2D सबस्पेस) के लिए, $M$ को एक स्केल्ड रोटेशन होना चाहिए जो उस पेयर के भीतर स्वतंत्र रूप से कार्य करे।
संरचना: $M$ एक ब्लॉक-डायगोनल मैट्रिक्स है जहाँ प्रत्येक $2\times2$ ब्लॉक $aI + bJ$ (जहाँ $J$ $\pi/2$ द्वारा रोटेशन है) के रूप में लेता है। यह सर्च स्पेस को प्रति हेड $d^2$ पैरामीटर्स से घटाकर $d$ पैरामीटर्स (प्रत्येक फ्रीक्वेंसी पेयर के लिए एक स्केल और एक रोटेशन एंगल) तक सीमित कर देता है।
गुण:
- सुरक्षा (Safety): ऐसे मैट्रिक्स को एकल मॉडल पर लागू करना एक सटीक नो-ऑप है (कोरोलरी 1)।
- स्थिरता (Stability): इन मैट्रिसेस का कंडीशन नंबर हमेशा ठीक 1 होता है, जो अनकन्स्ट्रेंड मैट्रिक्स लर्निंग में होने वाली इल-कंडीशनिंग समस्याओं को रोकता है (कोरोलरी 2)।

2.2 MeeroTune एल्गोरिदम

इस क्लास पर आधारित, लेखक MeRoTune (Merging + RoPE + Tunable) प्रस्तावित करते हैं:

डुअल-साइडेड अलाइनमेंट: दो फाइन-ट्यून किए गए मॉडल ( $A$ और $B$ ) प्रत्येक अपना स्वयं का RoPE-अनुपालक सुधार मैट्रिक्स ( $M_a$ और $M_b$ ) सीखते हैं।
मर्जिंग ऑपरेटर: ब्लेंड रेशियो $\alpha$ $α$ पर मर्ज किए गए वेट्स की गणना की जाती है:
- $W_k^{merge}(\alpha) = (1-\alpha) M_a^{-\top} W_k^A + \alpha M_b^{-\top} W_k^B$
- $W_q^{merge}(\alpha) = (1-\alpha) M_a W_q^A + \alpha M_b W_q^B$
- अन्य वेट्स (MLP, एम्बेडिंग्स, आदि) को लीनियरली इंटरपोलेट किया जाता है।
ट्यूनेबल डायल: यह विधि पोस्ट-हॉक (post-hoc) अंतिम ब्लेंड रेशियो $\alpha$ को समायोजित करने की अनुमति देती है। प्रशिक्षण उद्देश्य एक चुने हुए $\alpha$ रेंज (डिफ़ॉल्ट रूप से एक निश्चित $\alpha=0.5$ , LoRA के फिक्स्ड स्केलिंग के समान) पर लॉस को मिनिमाइज करता है, जिससे मर्ज किया गया मॉडल बिना पुन: प्रशिक्षण के विभिन्न ऑपरेटिंग पॉइंट्स पर ट्यून करने में सक्षम होता है।
प्री-ट्रेनिंग वैलिडेशन: पेपर एक गणितीय स्थिति (Eq. 7) पेश करता है कि क्या वास्तव में दो फाइन-ट्यून्स को अलाइन करने की आवश्यकता है। एक जोड़ी केवल तभी वैध लक्ष्य है यदि प्रत्येक मॉडल अपने स्वयं के विशेषज्ञता में बेस मॉडल से बेहतर प्रदर्शन करता है ( $\Delta > 0$ ) लेकिन दूसरे की विशेषज्ञता पर खराब या बराबर प्रदर्शन करता है ( $\Gamma \le 0$ )। यदि यह "जेन्युइन बायडायरेक्शनल कैपेबिलिटी गैप" मौजूद नहीं है, तो अलाइनमेंट प्रक्रिया बिना किसी लाभ के शोर (noise) जोड़ती है।

3. मुख्य योगदान (Key Contributions)

RoPE-सेफ करेक्शन का प्रमाण: उन सटीक मैट्रिसेस (स्केल्ड रोटेशन विथ फ्रीक्वेंसी पेयर्स) की पहचान करने वाला एक स्व-निहित प्रमाण जो मर्जिंग के दौरान RoPE के सापेक्ष-स्थिति संरचना को सुरक्षित रखते हैं।
MeRoTune विधि: यह डुअल-साइडेड मर्जिंग एल्गोरिदम विकसित करता है जो इन कंस्ट्रेंड करेक्शन्स को एक रनटाइम डायल के रूप में कार्य करने के लिए प्रशिक्षित करता है, जिससे पोस्ट-हॉक ब्लेंड रेशियो एडजस्टमेंट संभव होता है।
वैलिडेशन कंडीशन: दो फाइन-ट्यून्स के बीच वास्तविक क्षमता अंतर (capability gap) के अस्तित्व को अनुभवजन्य रूप से सत्यापित करने के लिए एक क्लोज्ड-फॉर्म गणितीय स्थिति प्रदान करता है, जिससे अमान्य जोड़ियों पर गणना बर्बाद होने से बचती है।
व्यापक मूल्यांकन: एक सत्यापित Qwen2.5-1.5B-Instruct पेयर (इंडोनेशियाई/कोड बनाम जापानी) पर TIES और DARE-TIES के विरुद्ध मूल्यांकन, जो विभिन्न ब्लेंड रेश्यो पर मजबूती प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का परीक्षण Qwen2.5-1.5B-Instruct के एक जोड़े पर किया गया: एक इंडोनेशियाई और कोड में विशिष्ट, दूसरा जापानी में।

बेसलाइन्स के विरुद्ध प्रदर्शन:
- MeRoTune ने परीक्षण किए गए किसी भी ब्लेंड रेशियो पर TIES या DARE-TIES के आधिकारिक मर्जकिट इम्प्लीमेंटेशन से कभी भी हार नहीं मानी।
- DARE-TIES कम से कम एक बेंचमार्क एक्सिस पर बेस मॉडल से काफी खराब प्रदर्शन करता है।
- MeRoTune ने अधिकांश बेंचमार्क्स (MMLU, इंडोनेशियाई, जापानी) पर स्टैटिस्टिकल नॉइज़ फ्लोर को पार किया, जबकि TIES चार में से तीन बेंचमार्क्स पर बेस मॉडल से नीचे गिर गया।
ब्लेंड रेशियो व्यवहार:
- ब्लेंड रेशियो $\alpha$ प्रभावी रूप से एक डायल के रूप में कार्य करता है। जैसे-जैसे $\alpha$ शिफ्ट होता है, मेट्रिक्स विशिष्ट कार्य के लिए मजबूत मॉडल की ओर मोनोटोनिकली ट्रेंड करते हैं।
- एक फिक्स्ड ब्लेंड रेशियो ( $\alpha=0.5$ ) के साथ प्रशिक्षण ने उस वेरिएंट की तुलना में बेहतर या समान प्रदर्शन किया जहाँ प्रत्येक स्टेप पर $\alpha$ को रैंडमली रीसैंपल किया गया था।
डिकपलिंग एब्लेशन (Decoupling Ablation):
- पेपर ने टाइड ब्लेंड रेशियो कंस्ट्रेंट ( $\alpha$ ) को दो स्वतंत्र स्केलिंग फैक्टर्स ( $s_a, s_b$ ) में ढीला करने का परीक्षण किया।
- परिणाम: डिकपलिंग के कारण सभी बेंचमार्क्स में प्रदर्शन में विश्वसनीय गिरावट आई। दोनों फैक्टर्स को एक साथ उच्च करने से अनकंट्रोल्ड डेल्टा बढ़ गया, जिससे प्रदर्शन रैंडम गेसिंग से भी बदतर हो गया। यह पुष्टि करता है कि स्थिरता के लिए टाइड कॉनवेक्स कंस्ट्रेंट आवश्यक है।
लर्नड ट्रांसफॉर्म्स:
- सीखे गए करेक्शन्स मुख्य रूप से छोटे रोटेशन (मिडियन $\approx 10^\circ$ ) थे जिनके स्केल 1 के करीब थे।
- ब्लॉक्स का एक छोटा टेल बड़े रोटेशन ( $>45^\circ$ ) के साथ महत्वपूर्ण स्केलिंग (सिकुड़ना) प्रदर्शित करता है, जो सुझाव देता है कि हालांकि यह विधि सैद्धांतिक रूप से सुरक्षित है, ऑप्टिमाइज़र कभी-कभी शुद्ध ज्यामितीय पुनर्गठन से परे व्यवहार को आकार देने की क्षमता का उपयोग करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि रोटरी पोजीशन एम्बेडिंग्स एक मामूली विवरण नहीं हैं, बल्कि एक मौलिक बाधा हैं जो यह निर्धारित करती है कि कौन से मर्जिंग करेक्शन गणितीय रूप से सुरक्षित हैं। "RoPE-कम्यूटेंट" क्लास को व्युत्पन्न करके, MeRoTune एक ऐसी विधि प्रदान करता है जो:

सुरक्षा की गारंटी देता है: अनकन्स्ट्रेंड विधियों के विपरीत, यह मॉडल के सापेक्ष-स्थिति लॉजिक को चुपचाप भ्रष्ट नहीं कर सकता है।
लचीलापन प्रदान करता है: यह एक ऐसा मॉडल बनाता है जिसे पोस्ट-हॉक ट्यून किया जा सकता है, न कि एक निश्चित मर्ज में लॉक किया जा सकता है।
बर्बादी रोकता है: प्री-ट्रेनिंग कंडीशन यह सुनिश्चित करती है कि संसाधन केवल उन जोड़ियों पर खर्च किए जाएं जिनमें वास्तविक, विरोधाभासी विशेषज्ञता है।

लेखक अपने दावों में विनम्रता पर जोर देते हैं: परिणाम Qwen2.5-1.5B आर्किटेक्चर और परीक्षण किए गए सत्यापित पेयर के लिए विशिष्ट हैं। वे नोट करते हैं कि हालांकि विधि मजबूत है, विशिष्ट प्रदर्शन मार्जिन उपयोग किए गए बेंचमार्क्स के स्टैटिस्टिकल नॉइज़ फ्लोर पर निर्भर करते हैं, और "अलाइनमेंट टैक्स" (जहाँ फाइन-ट्यून बेस से पीछे रह जाते हैं) अभी भी प्रयोज्यता के लिए एक महत्वपूर्ण फिल्टर बना हुआ है। कोड, डेटा और स्क्रिप्ट सार्वजनिक रूप से उपलब्ध हैं।