🤖 machine learning

Resolving Interference (RI): Disentangling Models for Improved Model Merging

यह शोध पत्र रिज़ॉल्विंग इंटरफेरेंस (RI) का प्रस्ताव करता है, जो एक हल्का ढांचा (लाइटवेट फ्रेमवर्क) है जो अनलेबल सहायक डेटा का उपयोग करके विशेषज्ञ मॉडलों को कार्यात्मक रूप से ऑर्थोगोनल स्पेस में अलग करता है, जिससे क्रॉस-टास्क इंटरफेरेंस कम होता है और बिना किसी कार्य-विशिष्ट डेटा की आवश्यकता के मॉडल मर्जिंग के प्रदर्शन और सामान्यीकरण में महत्वपूर्ण सुधार होता है।

मूल लेखक: Pratik Ramesh, George Stoica, Arun Iyer, Leshem Choshen, Judy Hoffman

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pratik Ramesh, George Stoica, Arun Iyer, Leshem Choshen, Judy Hoffman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास विश्व स्तरीय शेफ की एक टीम है। एक इतालवी पास्ता का उस्ताद है, दूसरा सुशी विशेषज्ञ है, और तीसरा बीबीक्यू (BBQ) पिटमास्टर है। प्रत्येक के पास अपने स्वयं के अनूठे उपकरण, रेसिपी और वर्षों के अभ्यास से विकसित की गई 'मसल मेमोरी' (muscle memory) है।

अब, कल्पना कीजिए कि आप एक "सुपर शेफ" बनाना चाहते हैं जो एक ही समय में इन सभी व्यंजनों को पूरी तरह से बना सके। स्पष्ट विचार यह है कि आप बस उनके एप्रन ले लें, उनकी सामग्री को आपस में मिला दें, और उम्मीद करें कि सब ठीक हो जाएगा। मॉडल मर्जिंग (Model Merging) की दुनिया में यही मॉडल मर्जिंग है।

हालाँकि, एक समस्या है। यदि आप बस उनके एप्रन को आपस में मिला देते हैं, तो इतालवी शेफ के चाकू चलाने का कौशल सुशी शेफ के मछली को संभालने के नाजुक तरीके से भ्रमित हो सकता है। बीबीक्यू शेफ का भारी हाथ वाला मसाला पास्ता को खराब कर सकता है। एआई (AI) के संदर्भ में, इसे क्रॉस-टास्क इंटरफेरेंस (Cross-Task Interference) कहा जाता है। "सुपर शेफ" औसत दर्जे का पास्ता, खराब सुशी और सूखी रिब्स बनाता है क्योंकि उनके कौशल आपस में लड़ रहे होते हैं।

समस्या: "टकराते हुए एप्रन"

पेपर में लेखक बताते हैं कि जब आप विभिन्न कार्यों (जैसे बिल्लियों को पहचानना बनाम कुत्तों को पहचानना) के लिए प्रशिक्षित एआई मॉडल को मिलाते हैं, तो उनके आंतरिक "ब्रेन वेव्स" (brain waves) आपस में टकराते हैं। एक कार्य के लिए सीखे गए फीचर्स दूसरे कार्य के लिए आवश्यक फीचर्स को ओवरराइट या विकृत कर देते हैं।

मौजूदा समाधान इसे ठीक करने की कोशिश करते हैं, जैसे:

डेटा को अनदेखा करना: केवल संख्याओं का औसत निकालना (जैसे बिना सोचे-समझे एप्रन मिलाना)। यह अक्सर विफल हो जाता है क्योंकि यह नहीं समझता कि उनके कौशल कैसे परस्पर क्रिया करते हैं।
मूल डेटा का उपयोग करना: विशिष्ट रेसिपी (जैसे हजारों बिल्ली की तस्वीरों) का उपयोग करके मिश्रण को फिर से प्रशिक्षित करने की कोशिश करना। लेकिन अक्सर, आपके पास उन मूल तस्वीरों तक पहुंच नहीं होती (शायद वे निजी हों या उन्हें प्राप्त करना बहुत महंगा हो)।

समाधान: "इंटरफेरेंस को सुलझाना" (Resolving Interference - RI)

लेखक एक चतुर, हल्का समाधान प्रस्तावित करते हैं जिसे रिजॉलिंग इंटरफेरेंस (RI) कहा जाता है।

इसे सुपर शेफ के मंच पर जाने से पहले एक रिहर्सल (अभ्यास) के रूप में सोचें।

प्रत्येक शेफ के कौशल को सीधे मिलाने के बजाय, RI प्रत्येक शेफ को व्यक्तिगत रूप से लेता है और उन्हें रैंडम, बिना लेबल वाली तस्वीरों के ढेर (जैसे इंटरनेट से ली गई कारों, पेड़ों, बादलों आदि की रैंडम तस्वीरों की एक बाल्टी) का उपयोग करके एक विशेष प्रशिक्षण सत्र देता है। इस ढेर को ऑक्सिलरी डेटा (Auxiliary Data) कहा जाता है।

इस रिहर्सल का जादू यहाँ है:

"अपने कौशल को बनाए रखें" का नियम: इतालवी शेफ कार की एक रैंडम फोटो देखता है और उसे यदि पूछा जाए तो अभी भी पास्ता बनाना आना चाहिए। उन्हें अपनी मूल पहचान बनाए रखनी होगी।
"भ्रमित न हों" का नियम: जब वही इतालवी शेफ कार की फोटो देखता है, तो उसे गलती से सुशी या बीबीक्यू के बारे में सोचने की शुरुआत नहीं करनी चाहिए। उन्हें अन्य शेफ के डोमेन को अनदेखा करना सीखना होगा।

ऐसा करके, इतालवी शेफ फंक्शनली ऑर्थोगोनल (functionally orthogonal) (एक फैंसी तरीका जिसका अर्थ है "लंबवत" या "समतल कोण पर") होने का अभ्यास करता है। उनके कौशल विशिष्ट और अलग हो जाते हैं, जैसे हाईवे की अलग-अलग लेन जो एक-दूसरे को पार नहीं करतीं।

एक बार जब प्रत्येक शेफ इस रिहर्सल से गुजर जाता है, तो वे अंततः मर्ज हो जाते हैं। क्योंकि उन्होंने अपने कौशल को अलग रखने और दूसरों से भ्रमित न होने का अभ्यास किया है, इसलिए परिणामी "सुपर शेफ" सब कुछ बनाने में बहुत बेहतर होता है।

यह एक बड़ी बात क्यों है?

कोई गुप्त रेसिपी की आवश्यकता नहीं: आपको यह करने के लिए मूल, निजी डेटा (बिल्लियों/कुत्तों की हजारों तस्वीरों) की आवश्यकता नहीं है। आपको बस कोई भी रैंडम तस्वीरें चाहिए। यह गोपनीयता और डेटा की कमी वाली स्थितियों के लिए बहुत बड़ा है।
यह सस्ता और तेज़ है: "रिहर्सल" बहुत छोटा है। बड़े मॉडलों के लिए भी, यह एक मानक कंप्यूटर चिप पर केवल कुछ मिनटों में पूरा हो जाता है।
यह हर जगह काम करता है: पेपर दिखाता है कि यह तरीका लगभग हर मौजूदा मर्जिंग तकनीक के प्रदर्शन में सुधार करता है। यह "सुपर शेफ" को उनके कामों में 3.8% बेहतर और उन पूरी तरह से नए प्रकार के खाद्य पदार्थों (अनदेखे डोमेन) को संभालने में 2.3% बेहतर बनाता है जिन्हें उन्होंने पहले कभी नहीं देखा है।
यह मजबूत (Robust) है: भले ही आप सेटिंग्स को पूरी तरह से ट्यून न करें, फिर भी यह तरीका अच्छा काम करता है। यह एक ऐसी रेसिपी की तरह है जिसका स्वाद नमक को सटीक रूप से मापने के बावजूद अच्छा रहता है।

संक्षेप में एनालॉजी (उपमा)

पुराना तरीका: एक वाक्य में तीन अलग-अलग भाषाओं को मिलाना और उम्मीद करना कि वह समझ में आए। (परिणाम: निरर्थक शब्द/Gibberish)।
RI का तरीका: प्रत्येक भाषा बोलने वाले को एक साथ बोलने से पहले, दूसरों को अनदेखा करते हुए, अपनी भाषा स्पष्ट रूप से बोलना सिखाना। (परिणाम: एक सामंजस्यपूर्ण बातचीत जहाँ हर कोई समझा जाता है)।

संक्षेप में, रिजॉलिंग इंटरफेरेंस (RI) एआई मॉडलों के लिए एक सरल, डेटा-मुक्त "डिटॉक्स" है जो उनके विभिन्न कौशलों के बीच के भ्रम को दूर करता है, जिससे वे एक अराजक मलबे के बजाय एक वास्तविक टीम के रूप में मिलकर काम कर पाते हैं।

यहाँ शोध पत्र "Resolving Interference (RI): Disentangling Models for Improved Model Merging" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मॉडल मर्ging (Model Merging) में कई स्वतंत्र रूप से प्रशिक्षित "विशेषज्ञ" (expert) मॉडलों (प्रत्येक एक विशिष्ट कार्य में विशेषज्ञ) के पैरामीटर्स को एक एकल एकीकृत मॉडल में संयोजित करना शामिल है। जबकि यह मल्टीटास्क मॉडल बनाने का एक लागत प्रभावी तरीका है, यह अक्सर क्रॉस-टास्क इंटरफेरेंस (Cross-Task Interference) से ग्रस्त होता है।

मुख्य मुद्दा: जब अलग-अलग कार्यों पर प्रशिक्षित मॉडलों को मर्ज किया जाता है, तो उनके सीखे गए फीचर्स (features) आपस में टकरा सकते हैं। उदाहरण के लिए, कुत्तों की नस्लों के बीच अंतर करने के लिए अनुकूलित पैरामीटर्स बिल्लियों की नस्लों के लिए आवश्यक फीचर्स को ओवरराइट या विकृत कर सकते हैं।
परिणाम: यह इंटरफेरेंस मर्ज किए गए मॉडल के आउटपुट रिप्रेजेंटेशन को उसके मूल विशेषज्ञों से दूर ले जाता है, जिससे व्यक्तिगत कार्यों पर प्रदर्शन में महत्वपूर्ण गिरावट आती है।
मौजूदा समाधानों की सीमाएँ:
- ग्रेडिएंट-फ्री विधियाँ (जैसे, वेट एवरेजिंग, TIES) डेटा के बिना काम करती हैं, जो यह समझने की उनकी क्षमता को सीमित करती हैं कि पैरामीटर्स इनपुट के साथ कैसे इंटरैक्ट करते हैं।
- ग्रेडिएंट-आधारित विधियाँ अक्सर मूल कार्य-विशिष्ट प्रशिक्षण डेटा तक पहुँच की आवश्यकता होती है, जो गोपनीयता प्रतिबंधों या डेटा की कमी के कारण अक्सर उपलब्ध नहीं होता है।
- रूटिंग-आधारित विधियाँ इन्फरेंस (inference) लागत और क्षमता बढ़ा देती हैं।
अंतराल (The Gap): एक ऐसे हल्के (lightweight), ग्रेडिएंट-आधारित अनुकूलन रणनीति की आवश्यकता है जो बिना किसी कार्य-विशिष्ट डेटा की आवश्यकता के और बिना इन्फरेंस लागत बढ़ाए इंटरफेरेंस को कम कर सके।

2. कार्यप्रणाली: रिज़ॉल्विंग इंटरफेरेंस (RI)

लेखक Resolving Interference (RI) का प्रस्ताव करते हैं, जो एक हल्का अनुकूलन ढांचा (adaptation framework) है जो मर्ज करने से पहले विशेषज्ञ मॉडलों को डिसेंटैंगल (disentangle) करता है।

A. इंटरफेरेंस की औपचारिक परिभाषा

शोध पत्र क्रॉस-टास्क इंटरफेरेंस ( $\xi$ ) को उनके संबंधित कार्यों पर मूल्यांकन के दौरान मर्ज किए गए मॉडल और मूल विशेषज्ञ मॉडलों के आउटपुट रिप्रेजेंटेशन के विचलन (deviation) के रूप में औपचारिक रूप से परिभाषित करता है:
$\xi = \sum_{i} \mathbb{E}_x [\text{dist}(h_i(f(x|\theta_i)), h_i(f(x|\theta_m))]$
जहाँ $\theta_i$ विशेषज्ञ है, $\theta_m$ मर्ज किया गया मॉडल है, $h_i$ टास्क हेड है, और $\text{dist}$ एक दूरी मीट्रिक (जैसे, KL-Divergence) है। $\xi$ को न्यूनतम करना यह सुनिश्चित करता है कि मर्ज किया गया मॉडल अपने घटकों की क्षमताओं को बनाए रखता है।

B. RI फ्रेमवर्क

मर्ज करने के बाद ठीक करने के बजाय, RI प्रत्येक विशेषज्ञ मॉडल को व्यक्तिगत रूप से इस तरह अनुकूलित करता है कि वह मर्ज करने से पहले अन्य कार्यों के प्रति फंक्शनली ऑर्थोगोनल (functionally orthogonal) हो जाए।

कार्य-संरक्षण उद्देश्य (Task-Preservation Objective): अनुकूलित टास्क वेक्टर $\tau^*_i$ को अपने स्वयं के कार्य पर मूल विशेषज्ञ $i$ के आउटपुट को संरक्षित करना चाहिए।
इंटरफेरेंस-न्यूनीकरण उद्देश्य (Interference-Reduction Objective): अनुकूलित टास्क वेक्टर $\tau^*_i$ का सभी अन्य टास्क हेड्स ( $j \neq i$ ) के आउटपुट पर शून्य प्रभाव (zero influence) होना चाहिए।
डेटा बाधा (Data Constraint): महत्वपूर्ण रूप से, यह अनुकूलन कार्य-विशिष्ट डेटा के बजाय अनलेबल ऑक्सिलरी डेटा ( $D_{aux}$ ) का उपयोग करके किया जाता है। धारणा यह है कि सामान्य डेटा पर ऑर्थोगोनैलिटी लागू करने से विशिष्ट कार्य वितरणों पर भी प्रभाव पड़ता है।

C. ऑप्टिमाइज़ेशन लॉस (Optimization Loss)

यह विधि प्रत्येक विशेषज्ञ $i$ के लिए एक संयुक्त लॉस फंक्शन ( $L_{RI}$ ) को ऑप्टिमाइज़ करती है:
$L_{RI} = L_1 + \frac{\alpha}{N-1} L_2$

$L_1$ (कार्य-संरक्षण): $D_{aux}$ पर विशिष्ट टास्क हेड $h_i$ का उपयोग करके मूल विशेषज्ञ के आउटपुट और अनुकूलित विशेषज्ञ के आउटपुट के बीच की दूरी को कम करता है।
$L_2$ (इंटरफेरेंस-न्यूनीकरण): $D_{aux}$ पर अन्य टास्क हेड्स $h_j$ के माध्यम से गुजरने पर, अनुकूलित विशेषज्ञ के आउटपुट और प्री-ट्रेन्ड बैकबोन के आउटपुट के बीच की दूरी को कम करता है।
$\alpha$ : दोनों उद्देश्यों को संतुलित करने वाला एक हाइपरपैरामीटर (डिफ़ॉल्ट 1 सेट है)।

D. वर्कफ़्लो (एल्गोरिदम 1)

मूल टास्क वेक्टर्स $\tau_i$ से अनुकूलित वेक्टर्स $\tau^*_i$ को इनिशियलाइज़ करें।
$D_{aux}$ से अनलेबल डेटा सैंपल करें।
$L_1$ और $L_2$ की गणना करें और ग्रेडिएंट डिसेंट के माध्यम से $\tau^*_i$ को अपडेट करें।
अभिसरण (convergence) तक दोहराएं (आमतौर पर 2,500 स्टेप्स)।
मानक मर्ging तकनीकों (जैसे, Task Arithmetic, TIES) का उपयोग करके अनुकूलित वेक्टर्स $\{\tau^*_1, ..., \tau^*_N\}$ को मर्ज करें।

3. मुख्य योगदान

इंटरफेरेंस का औपचारिकीकरण: मर्ज की गुणवत्ता के लिए एक सिद्धांतवादी डायग्नोस्टिक प्रदान करने हेतु इंटरफेरेंस को मापने के लिए एक मात्रात्मक मीट्रिक ( $\xi$ ) पेश किया।
RI फ्रेमवर्क: केवल अनलेबल ऑक्सिलरी डेटा का उपयोग करके विशेषज्ञ मॉडलों को विलगित (disjoint) कार्यात्मक सबस्पेस में डिसेंटैंगल करने के लिए एक नया, हल्का अनुकूलन रणनीति प्रस्तावित की।
डेटा-दक्षता (Data-Efficiency): यह प्रदर्शित किया कि मालिकाना या दुर्लभ कार्य-विशिष्ट डेटा तक पहुँच के बिना उच्च-गुणवत्ता वाली मर्ging संभव है।
मजबूती (Robustness): दिखाया कि RI-मर्ज किए गए मॉडल मानक तरीकों की तुलना में मर्ging हाइपरपैरामीटर्स के ट्यूनिंग के प्रति काफी कम संवेदनशील हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने 8, 14, और 20 विजन क्लासिफिकेशन कार्यों के साथ-साथ आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) बेंचमार्क पर CLIP विजन एनकोडर (ViT-B/32, ViT-B/16, ViT-L/14) पर RI का मूल्यांकन किया।

इन-डोमेन प्रदर्शन:
- RI ने लगातार स्टेट-ऑफ-द-आर्ट (SOTA) मर्ging विधियों में सुधार किया।
- लाभ: बेसलाइन मर्ging विधियों (जैसे, TSV-M, Iso-CTS) की तुलना में औसत सटीकता में 3.8% तक का सुधार।
- विशिष्ट सुधार Task Arithmetic (9.6% लाभ तक) और TIES के लिए उल्लेखनीय थे।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण:
- DomainNet बेंचमार्क (6 डोमेन) पर परीक्षण किया गया।
- RI ने मानक मर्ging की तुलना में अनदेखे डोमेन में सामान्यीकरण को 2.3% तक सुधारा।
- यह सुझाव देता है कि इंटरफेरेंस को कम करने से साझा रिप्रेजेंटेशन का बेहतर सकारात्मक ट्रांसफर (positive transfer) सुगम होता है।
एब्लेशन स्टडीज (Ablation Studies):
- डिस्टेंस मीट्रिक: पाया गया कि लॉस फंक्शन के लिए KL-Divergence सबसे प्रभावी मीट्रिक है।
- ऑक्सिलरी डेटा: RI विविध डेटा स्रोतों (सिंथेटिक नॉइज़, ImageNet, MSCOCO) के साथ काम करता है। जबकि कार्य-विशिष्ट डेटा सर्वोत्तम परिणाम (Oracle) देता है, ऑक्सिलरी डेटा में सामान्य दृश्य विविधता (visual diversity) महत्वपूर्ण लाभ के लिए पर्याप्त है।
- हाइपरपैरामीटर संवेदनशीलता: हाइपरपैरामीटर्स को ट्यून करने पर RI द्वारा अनुकूलित मॉडलों ने गैर-अनुकूलित मॉडलों (1.8%) की तुलना में 0.4% का प्रदर्शन विचरण (variance) दिखाया। यह इंगित करता है कि RI एक अधिक स्थिर ऑप्टिमाइज़ेशन लैंडस्स्केप बनाता है।
- स्केलेबिलिटी: विधि कम्प्यूटेशनल रूप से कुशल है (टास्क काउंट के साथ सब-लीनियर समय वृद्धि) और निरंतर मेमोरी उपयोग की आवश्यकता होती है (~ViT-B/32 के लिए 4.8 GB VRAM)।

5. महत्व

यह शोध पत्र मल्टीटास्क AI के लोकतंत्रीकरण में एक महत्वपूर्ण बाधा को संबोधित करता है: उनके मूल प्रशिक्षण डेटा तक पहुँच के बिना मॉडलों को मर्ज करने की अक्षमता।

व्यावहारिक प्रभाव: RI डेटा-दुर्लभ या गोपनीयता-प्रतिबंधित वातावरण (जैसे, मेडिकल इमेजिंग, प्रोप्राइटरी एंटरप्राइज डेटा) में मजबूत, उच्च-प्रदर्शन वाले मल्टीटास्क मॉडल बनाने में सक्षम बनाता है।
सैद्धांतिक अंतर्दृष्टि: यह स्थापित करता है कि विशेषज्ञों को ऑर्थोगोनल फंक्शनल सबस्पेस में "डिसेंटैंगल" करना पैरामीटर संघर्षों को कम करने के लिए एक व्यवहार्य रणनीति है, जो सरल वेट एवरेजिंग या प्रूनिंग से परे एक नया दृष्टिकोण प्रदान करता है।
दक्षता: चूंकि यह हल्का है और इसके लिए कोई अतिरिक्त इन्फरेंस क्षमता की आवश्यकता नहीं है, RI मौजूदा मॉडल मर्ging पाइपलाइनों के लिए एक व्यावहारिक ड्रॉप-इन एन्हांसमेंट है।