💻 computer science

MED-DSLC: Multi-Expert-Domain Classification via Domain Supervision and Logit Calibration

यह शोध पत्र MED-DSLC का प्रस्ताव करता है, जो एक हल्का ढांचा (lightweight framework) है जो मल्टी-एक्सपर्ट विजन-लैंग्वेज मॉडल्स में ग्लोबल लॉजिट कंपैरेबिलिटी (global logit comparability) को बहाल करने के लिए डोमेन-सुपरवाइज्ड ट्रेनिंग और लॉजिट स्केलिंग को जोड़ता है, जिससे क्रॉस-डोमेन इंटरफेरेंस को हल किया जाता है और फाइन-ग्रेन्ड मल्टी-डोमेन ज़ीरो-शॉट क्लासिफिकेशन में सटीकता और स्केलेबिलिटी में महत्वपूर्ण सुधार होता है।

मूल लेखक: Zheng Zeng, Deepak Sridhar, Nuno Vasconcelos

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zheng Zeng, Deepak Sridhar, Nuno Vasconcelos

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास CLIP नाम का एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है। इस लाइब्रेरियन ने लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं, इसलिए यदि आप उसे एक "गोल्डन रिट्रीवर" की फोटो दिखाते हैं, तो वह "कुत्ता" होने का अनुमान लगा सकता है, भले ही उसने उस विशिष्ट कुत्ते को पहले कभी न देखा हो। यह एक सूची से तुलना करके काम करता है जो उसके दिमाग में शब्दों के रूप में मौजूद है। समस्या क्या है? यदि आप उससे किसी बहुत ही विशिष्ट प्रकार के हवाई जहाज, जैसे कि "F-18 जेट" को पहचानने के लिए कहते हैं, तो वह केवल "मिलिट्री परेड" का अनुमान लगा सकता है क्योंकि उसकी सामान्य ट्रेनिंग से वह उसके सबसे करीब है।

इसे ठीक करने के लिए, वैज्ञानिकों ने विशेषज्ञों की एक टोली बनाई। प्रत्येक एक छोटा अपग्रेड (जिसे LoRA कहा जाता है) है जिसे केवल एक विशिष्ट विषय, जैसे कि हवाई जहाज, फूल या बनावट (textures) पर प्रशिक्षित किया गया है। यदि आप हवाई जहाज विशेषज्ञ को एक F-18 दिखाते हैं, तो वह बिल्कुल जानता है कि वह क्या है। लेकिन यहाँ एक पेंच है: यदि आपके पास 10 अलग-अलग विशेषज्ञ हैं, तो आपको अपनी जेब में 10 अलग-अलग मॉडल रखने पड़ेंगे। यह बहुत अव्यवस्थित है!

इसलिए, शोधकर्ताओं ने इन विशेषज्ञों को एक बड़े "मिक्सचर ऑफ एक्सपर्ट्स" (MoE) मॉडल में मिलाने की कोशिश की। वे एक ऐसा रोबोट चाहते थे जो एक साथ हवाई जहाज विशेषज्ञ, फूल विशेषज्ञ और बनावट विशेषज्ञ के बीच स्विच कर सके। लेकिन जब उन्होंने उन्हें आपस में जोड़ने की कोशिश की, तो रोबोट भ्रमित हो गया।

द ग्रेट लॉजिट केओस (The Great Logit Chaos)
सोचिए कि "लॉजिट्स" (logits) रोबोट के आंतरिक आत्मविश्वास स्कोर की तरह हैं। जब हवाई जहाज विशेषज्ञ कहता है, "मुझे 90% यकीन है कि यह एक F-18 है," और फूल विशेषज्ञ कहता है, "मुझे 80% यकीन है कि यह एक गुलाब है," तो रोबोट आमतौर पर उच्चतम संख्या चुनता है।

लेकिन यहाँ एक गड़बड़ी है: क्योंकि प्रत्येक विशेषज्ञ को अकेले प्रशिक्षित किया गया था, वे आत्मविश्वास की एक ही भाषा नहीं बोलते हैं। हवाई जहाज विशेषज्ञ एक "ज़ोर से बोलने वाला" हो सकता है जो हमेशा बहुत बड़े नंबर देता है (जैसे 999), जबकि फूल विशेषज्ञ एक "धीमी आवाज़ वाला" हो सकता है जो छोटे नंबर देता है (जैसे 5)। भले ही फूल विशेषज्ञ वास्तव में सही हो, रोबोट हवाई जहाज विशेषज्ञ को चुन लेता है क्योंकि उसके नंबर अधिक ज़ोरदार हैं। इसे लॉजिट मिसकैलिब्रेशन (logit miscalibration) कहा जाता है। यह एक चिल्लाने वाली बहस की तरह है जहाँ सबसे तेज़ आवाज़ जीत जाती है, न कि सबसे सटीक आवाज़।

पेपर का तर्क है कि इसे ठीक करने के पिछले प्रयास (जैसे कि "MoLE" विधि) विफल रहे क्योंकि उन्होंने विशेषज्ञों को बिना किसी रेफरी के एक-दूसरे पर चिल्लाने दिया। उन्होंने रोबोट को खुद यह तय करने देने की कोशिश की कि किस विशेषज्ञ का उपयोग करना है, लेकिन बिना किसी शिक्षक के जो उसे बताए कि, "हे, यह तस्वीर एक हवाई जहाज के डोमेन से है," रोबलेट गलत और तेज़ आवाज़ को ही चुनता रहा।

समाधान: MED-DSLC
लेखक MED-DSLC नामक एक नया सिस्टम प्रस्तावित करते हैं। यह चिल्लाने वाली बहस में एक सख्त रेफरी और एक वॉल्यूम कंट्रोलर को काम पर रखने जैसा है।

रेफरी (डोमेन सुपरविजन): विशेषज्ञ का अनुमान लगाने के बजाय, सिस्टम को स्पष्ट रूप से सिखाया जाता है कि कौन सा विशेषज्ञ किस डोमेन से संबंधित है। यदि तस्वीर एक विमान की है, तो रेफरी हवाई जहाज विशेषज्ञ की ओर इशारा करता है। यह रोबोट को उलझन में पड़ने से रोकता है।
वॉल्यूम कंट्रोलर (लॉजिट स्केलिंग): यह जादू है। इससे पहले कि रोबोट स्कोर की तुलना करे, यह "ज़ोर से बोलने वाले" विशेषज्ञों की आवाज़ कम कर देता है और "धीमी आवाज़ वाले" विशेषज्ञों की आवाज़ बढ़ा देता है। यह प्रत्येक डोमेन के लिए एक विशेष "तापमान" (temperature) नॉब का उपयोग करता है ताकि यह सुनिश्चित हो सके कि हर कोई समान स्तर पर बोल रहा है। अब, रोबोट वास्तव में तुलना कर सकता है कि कौन सही है, न कि केवल कौन ज़ोर से बोल रहा है।

आंकड़े क्या कहते हैं
शोधकर्ताओं ने नौ अलग-अलग फाइन-ग्रेन्ड डेटासेट्स (जैसे कारें, फूल और बनावट) पर इसका परीक्षण किया। उन्होंने पाया कि:

जब उन्होंने नए तरीके के बिना विशेषज्ञों को मिलाया, तो औसत सटीकता केवल लगभग 70.12% थी।
MED-DSLC के साथ, "बेस" स्प्लिट (एक विशिष्ट टेस्ट सेट) पर औसत सटीकता बढ़कर 85.51% हो गई। यह एक विशाल +15.39% का सुधार है।
और भी अधिक प्रभावशाली बात यह है कि उनकी नई विधि एक "परफेक्ट ओरकल" (perfect oracle) से भी थोड़ा बेहतर प्रदर्शन करती है, जो बिल्कुल जानता है कि हर बार किस विशेषज्ञ को चुनना है (जिसका स्कोर 85.48% था)।

उन्होंने यह भी दिखाया कि यह तब भी काम करता है जब डेटा असंतुलित हो। यदि एक डोमेन में केवल 2 क्लास हैं और दूसरे में 100, तो वॉल्यूम कंट्रोलर (लॉजिट स्केलिंग) बड़े डोमेन को छोटे डोमेन को दबाने से रोकता है।

उन्होंने क्या नहीं किया
पेपर बहुत स्पष्ट है कि यह क्या नहीं है। यह कोई जादुई छड़ी नहीं है जो रोबोट को बिना प्रशिक्षण के सब कुछ तुरंत समझने में मदद करती है। विशेषज्ञों को अभी भी अपने विशिष्ट डोमेन पर प्रशिक्षित होने की आवश्यकता है। इसके अलावा, पेपर यह दावा नहीं करता कि यह हर संभावित भविष्य की AI समस्या के लिए काम करेगा; यह विशेष रूप से विज़न-लैंग्वेज मॉडल्स के लिए इन विशिष्ट "LoRA" एडैप्टर्स को मिलाने की समस्या को हल करता है।

निर्णय (The Verdict)
लेखक अपने परिणामों को लेकर काफी आश्वस्त हैं क्योंकि उन्होंने कई अलग-अलग डेटासेट्स पर मापा है और कई अन्य विधियों के साथ तुलना की है। उन्होंने दिखाया कि केवल एक "रेफरी" और एक "वॉल्यूम नॉब" जोड़कर, वे विशेषज्ञों को लड़ने से रोक सकते हैं और उन्हें मिलकर काम करने दे सकते हैं। परिणाम यह है कि एक एकल, एकीकृत मॉडल जो एक हज़ार अलग-अलग मॉडलों के बराबर अच्छा है, लेकिन बिना किसी भ्रम के। यह एक हल्का, डेटा-कुशल समाधान है जो बताता है कि "ग्लोबल कंपैरेबिलिटी" (वैश्विक तुलनीयता) को बहाल करना ही मल्टी-डोमेन AI को वास्तव में सफल बनाने की कुंजी है।

तकनीकी सारांश: MED-DSLC

समस्या विवरण

विज़न-लैंग्वेज मॉडल्स (VLMs) जैसे कि CLIP, साझा एम्बेडिंग स्पेस में इमेज और टेक्स्ट फीचर्स की तुलना करके ज़ीरो-शॉट क्लासिफिकेशन को सक्षम करते हैं। इस क्षमता की एक महत्वपूर्ण विशेषता किसी भी संभावित क्लास के लिए लॉजिट्स (logits) की ग्लोबल कंपैरेबिलिटी (वैश्विक तुलनीयता) है, जो किसी भी लेबल सेट पर वैध सॉफ़्टमैक्स नॉर्मलाइज़ेशन की अनुमति देती है। हालाँकि, जब VLMs को पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) तकनीकों जैसे कि LoRA का उपयोग करके फाइन-ग्रेन्ड या विशिष्ट डोमेन के लिए अनुकूलित किया जाता है, तो वे अक्सर क्रॉस-डोमेन लॉजिट मिसकैलिब्रेशन (cross-domain logit miscalibration) से ग्रस्त होते हैं।

जबकि स्वतंत्र डोमेन विशेषज्ञ उच्च इन-डोमेन सटीकता प्राप्त करते हैं, उनके आउटपुट लॉजिट्स ग्लोबली कैलिब्रेटेड नहीं होते हैं। जब इन विशेषज्ञों को कई डोमेन के क्लास यूनियन को संभालने के लिए मर्ज किया जाता है (Multi-Expert-Domain या MED क्लासिफिकेशन), तो कैलिब्रेशन की कमी से क्रॉस-डोमेन इंटरफेरेंस (cross-domain interference) होता है। विशेष रूप से, वे डोमेन जो उच्च-परिमाण (higher-magnitude) वाले लॉजिट्स उत्पन्न करते हैं, वे सॉफ़्टमैक्स प्रोबेबिलिटी डिस्ट्रीब्यूशन पर हावी हो जाते हैं, यहाँ तक कि आउट-ऑफ-डोमेन इनपुट के लिए भी, जिसके परिणामस्वरूप कृत्रिम रूप से उच्च आत्मविश्वास और प्रेडिक्शन त्रुटियां होती हैं। इसके अलावा, मौजूदा MED दृष्टिकोण अक्सर अनसुपरवाइज्ड रूटिंग मैकेनिज्म पर निर्भर करते हैं जो विशेषज्ञ लोड बैलेंसिंग में संघर्ष करते हैं और इस तथ्य का लाभ उठाने में विफल रहते हैं कि ट्रेनिंग के दौरान क्लास लेबल से डोमेन लेबल आसानी से प्राप्त किए जा सकते हैं।

कार्यप्रणाली: MED-DSLC

लेखक MED-DSLC (Domain Supervision और Logit Calibration के माध्यम से Multi-Expert-Domain Classification) का प्रस्ताव करते हैं, जो एक हल्का Mixture-of-Experts (MoE) आर्किटेक्चर है जिसे ग्लोबल लॉजिट कंपैरेबिलिटी को बहाल करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क दो प्राथमिक घटकों से बना है:

1. डोमेन-सुपरवाइज्ड रूटिंग (Domain-Supervised Routing)

मानक MoE कार्यान्वयन (जैसे MoLE) के विपरीत, जो अनसुपरवाइज्ड गेटिंग नेटवर्क के माध्यम से विशेषज्ञ असाइनमेंट सीखते हैं, MED-DSLC सुपरवाइज्ड डोमेन लर्निंग का उपयोग करता है।

मैकेनिज्म: चूंकि ट्रेनिंग सैंपल का डोमेन उसके क्लास लेबल से प्राप्त किया जा सकता है (यह जाँचकर कि कौन सा क्लास किस डोमेन-विशिष्ट लेबल सेट से संबंधित है), गेटिंग नेटवर्क को इमेज क्लासिफिकेशन लॉस ( $\mathcal{L}_{\text{cls}}$ ) के साथ-साथ एक डोमेन क्लासिफिकेशन लॉस ( $\mathcal{L}_{\text{domain}}$ ) के साथ प्रशिक्षित किया जाता है।
उद्देश्य: यह गेटिंग नेटवर्क को सही डोमेन विशेषज्ञ तक फीचर्स को रूट करने के लिए स्पष्ट रूप से सीखने के लिए मजबूर करता है, जिससे बेहतर लोड बैलेंसिंग सुनिश्चित होती है और इन्फरेंस के दौरान गलत विशेषज्ञ के चयन को कम किया जा सके।

2. डोमेन-वाइज लॉजिट स्केलिंग (कैलिब्रेशन) [Domain-Wise Logit Scaling (Calibration)]

इस समस्या को हल करने के लिए जहाँ स्वतंत्र रूप से प्रशिक्षित विशेषज्ञ असंगत स्केल वाले लॉजिट्स उत्पन्न करते हैं, MED-DSLC प्रत्येक डोमेन $d$ के लिए एक लर्न करने योग्य टेम्परेचर पैरामीटर ( $\tau_d$ ) पेश करता है।

मैकेनिज्म: यूनिफाइड लेबल स्पेस पर अंतिम सॉफ़्टमैक्स ऑपरेशन से पहले, डोमेन $d$ से संबंधित क्लासेस के लॉजिट्स $z_c(x)$ को रीस्केल किया जाता है:
$\tilde{z}_c(x) = \frac{z_c(x)}{\tau_d}$
उद्देश्य: यह नॉर्मलाइज़ेशन एक ही डोमेन के भीतर क्लासेस की सापेक्ष रैंकिंग को बदले बिना विभिन्न डोमेन के लॉजिट्स के परिमाण (magnitudes) को संरेखित करता है। यह उन डोमेन को रोकता है जिनके लॉजिट्स का परिमाण व्यवस्थित रूप से अधिक होता है, जिससे वे प्रेडिक्शन पर हावी न हो सकें, और इस प्रकार वैध ज़ीरो-शॉट इन्फरेंस के लिए आवश्यक ग्लोबल कंपैरेबिलिटी को बहाल करता है।

कुल ट्रेनिंग ऑब्जेक्टिव क्लासिफिकेशन लॉस और डोमेन सुपरविजन लॉस को जोड़ता है:
$\mathcal{L} = \mathcal{L}_{\text{cls}} + \lambda \mathcal{L}_{\text{domain}}$
जहाँ $\lambda$ दोनों टर्म्स को संतुलित करता है। VLM बैकबोन और स्वतंत्र रूप से प्रशिक्षित LoRA एडैप्टर्स फ्रीज़ रहते हैं; केवल गेटिंग नेटवर्क और टेम्परेचर पैरामीटर्स को ही सीखा जाता है।

मुख्य योगदान

समस्या की पहचान: पेपर अनसुपरवाइज्ड डोमेन रूटिंग और क्रॉस-डोमेन लॉजिट मिसकैलिब्रेशन को स्केलेबल MED क्लासिफिकेशन के प्राथमिक अवरोधों के रूप में पहचानता है।
MED-DSLC फ्रेमवर्क: लेखक एक नया आर्किटेक्चर प्रस्तावित करते हैं जो ग्लोबल लॉजिट कंपैरेबिलिटी को स्पष्ट रूप से बहाल करने के लिए डोमेन-सुपरवाइज्ड रूटिंग और डोमेन-वाइज लॉजिट स्केलिंग को जोड़ता है।
मजबूत ज़ीरो-शॉट रिकग्निशन: यह विधि टेस्ट के समय डोमेन लेबल की आवश्यकता के बिना, कई विशिष्ट डोमेन के यूनियन पर मजबूत क्लासिफिकेशन सक्षम करती है, जो प्रभावी रूप से मल्टी-डोमेन स्पेशलाइजेशन के तहत स्केलेबल, वास्तविक ज़ीरो-शॉट VLM व्यवहार को पुनः प्राप्त करती है।

प्रयोगात्मक परिणाम

लेखकों ने नौ फाइन-ग्रेन्ड रिकग्निशन बेंचमार्क्स (Caltech101, EuroSAT, FGVC Aircraft, Cars, Pets, Flowers, DTD, UCF101, और Food101 सहित) पर Base Split (देखे गए क्लासेस) और All Split (देखे गए + अनदेखे क्लासेस) प्रोटोकॉल के तहत MED-DSLC का मूल्यांकन किया।

प्रदर्शन लाभ: MED-DSLC ने Base Split पर 85.51% और All Split पर 71.80% की औसत सटीकता प्राप्त की।
- इसने नैव LoRA-Mean बेसलाइन की तुलना में Base में +15.39% और All में +6.83% का सुधार किया।
- इसने अनसुपरवाइज्ड MoLE बेसलाइन की तुलना में Base में +12.99% और All में +5.95% का सुधार किया।
- विशेष रूप से, MED-DSLC ने Expert-LoRA ओरकल (जो टेस्ट के समय ग्राउंड-ट्रुथ डोमेन जानता है) के प्रदर्शन को भी थोड़ा पीछे छोड़ दिया, जो यह सुझाव देता है कि विशेषज्ञों का संयोजन ओवरफिटिंग के खिलाफ मजबूती प्रदान करता है।
क्रॉस-डोमेन मजबूती: विधि ने क्रॉस-डोमेन इंटरफेरेंस को काफी कम किया, जैसा कि MoLE की तुलना में डोमेन के बीच कम ओवरलैप दिखाने वाले लॉजिट हिस्टोग्राम से सिद्ध होता है।
डेटा दक्षता: वन-शॉट ट्रेनिंग सेटिंग में (केवल एक क्लास प्रति उदाहरण के साथ गेटिंग और स्केलिंग पैरामीटर्स को प्रशिक्षित करना), MED-DSLC ने 71.71% औसत सटीकता के साथ मजबूत प्रदर्शन बनाए रखा, जो अन्य विधियों की तुलना में महत्वपूर्ण अंतर से बेहतर है।
स्केलेबिलिटी: विधि ने लेबल स्पेस की जटिलता और क्लास इम्बैलेंस बढ़ने पर भी मजबूती प्रदर्शित की, जिसमें बेसलाइन्स की तुलना में प्रदर्शन लाभ क्लास और डोमेन की संख्या बढ़ने के साथ बढ़ता गया।

महत्व और दावे

पेपर का दावा है कि अत्यधिक डेटा-इम्बैलेंस्ड, मल्टी-डोमेन सेटिंग्स में वास्तव में ज़ीरो-शॉट VLMs प्राप्त करने के लिए आउटपुट-लेवल कैलिब्रेशन को बहाल करना आवश्यक है। लेखक तर्क देते हैं कि जबकि पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग विशिष्ट विशेषज्ञ बनाती है, लॉजिट स्केल विसंगतियों को संबोधित किए बिना उन्हें बस मर्ज करने से खंडित और अविश्वसनीय मॉडल बनते हैं।

MED-DSLC को एक लाइटवेट समाधान के रूप में प्रस्तुत किया गया है जिसमें फाउंडेशन मॉडल या विशेषज्ञ LoRAs को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। डोमेन-सुपरवाइज्ड रूटिंग के साथ सरल लॉजिट स्केलिंग को जोड़कर, यह फ्रेमवर्क हजारों विशिष्ट मॉडल्स को एक एकल, एकीकृत सिस्टम में समेकित करने की अनुमति देता है जो इन-डोमेन भेदभाव को बनाए रखते हुए क्रॉस-डोमेन इंटरफेरेंस को कम करता है। परिणाम बताते हैं कि यह दृष्टिकोण VLMs को विविध, वास्तविक दुनिया के लेबल स्पेस को संभालने के लिए स्केल करने हेतु महत्वपूर्ण है जहाँ इन्फरेंस के समय उपयुक्त डोमेन अज्ञात होता है।