💬 NLP

Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

यह शोध पत्र SUPREME का प्रस्ताव करता है, जो एक फ्यू-शॉट ट्यूनिंग फ्रेमवर्क है जो इमेज प्रोटोटाइप्स को एकीकृत करके, प्रॉम्प्ट जनरेशन के लिए इमेज डोमेन बायस का अनुमान लगाकर और इमेज-टेक्स्ट निरंतरता को लागू करके आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन के लिए विजन-लैंग्वेज मॉडल्स में मोडैलिटी गैप को कम करता है और बिना किसी अतिरिक्त प्रशिक्षण के मौजूदा तरीकों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yimu Wang, Evelien Riddell, Adrian Chow, Sean Sedwards, Krzysztof Czarnecki

प्रकाशित 2026-01-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yimu Wang, Evelien Riddell, Adrian Chow, Sean Sedwards, Krzysztof Czarnecki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (AI मॉडल) है जिसने वर्षों तक एक विशिष्ट पुस्तकों के पुस्तकालय ("In-Distribution" या ID डेटा) का अध्ययन किया है। वह इस पुस्तकालय की पुस्तकों को पहचानने में उत्कृष्ट है। हालाँकि, वास्तविक दुनिया में, लोग अक्सर पंपलेट, पत्रिकाएँ या रैंडम फ्लायर्स लेकर आते हैं और पूछते हैं, "क्या यह हमारे पुस्तकालय से है?"

समस्या यह है कि लाइब्रेरियन कभी-कभी भ्रमित हो जाता है। भले ही वह फ्लायर हमारे पुस्तकालय का न हो, लेकिन वह दिखने में एक बुक कवर जैसा हो सकता है, या उसमें लिखे शब्द थोड़े परिचित लग सकते हैं। इस कारण लाइब्रेरियन गलती कर सकता है और कह सकता है, "हाँ, यह हमारा ही है!" जबकि वास्तव में वह कुछ नया होता है। इसे फॉल्स पॉजिटिव (False Positive) कहा जाता है।

यह पेपर SUPREME नामक एक नई प्रणाली पेश करता है ताकि लाइब्रेरियन को बेहतर निर्णय लेने में मदद मिल सके। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "भाषा की बाधा" (The Language Barrier)

यहाँ उपयोग किया गया AI मॉडल (जिसे CLIP कहा जाता है) एक द्विभाषी व्यक्ति की तरह है जो "इमेज" (चित्र) और "टेक्स्ट" (पाठ) दोनों बोलता है।

पुराना तरीका: पिछले तरीकों ने केवल लाइब्रेरियन से टेक्स्ट विवरणों (जैसे, "बिल्ली की एक फोटो") की एक सूची से तुलना करने के लिए कहा।
समस्या: यहाँ एक "मोडैलिटी गैप" (Modality Gap) है। कल्पना कीजिए कि "इमेज" भाषा और "टेक्स्ट" भाषा दो अलग-अलग मोहल्लों में रहती हैं। भले ही एक रैंडम कुत्ते की तस्वीर (OOD) अर्थ के रूप में बिल्ली से अलग हो, लेकिन संयोग से वह AI के दिमाग में "बिल्ली" के टेक्स्ट विवरण के बहुत करीब पहुँच सकती है। इस कारण लाइब्रेरियन भ्रमित हो जाता है और गलत वस्तु को स्वीकार कर लेता है।

2. पहला समाधान: "फोटो एल्बम" लाना

लेखकों ने महसूस किया कि केवल टेक्स्ट विवरणों पर भरोसा करना जोखिम भरा है।

उपमा: केवल यह पूछने के बजाय कि, "क्या यह 'बिल्ली' शब्द जैसा दिखता है?", वे यह भी पूछते हैं, "क्या यह हमारे एल्बम में मौजूद बिल्लियों की वास्तविक तस्वीरों जैसा दिखता है?"
परिणाम: टेक्स्ट विवरणों और वास्तविक उदाहरण तस्वीरों (जिन्हें "प्रोटोटाइप्स" कहा जाता है) के संग्रह का उपयोग करके, सिस्टम एक अधिक सटीक सीमा बनाता है। यह शब्दकोश की परिभाषा और एक फोटो एल्बम दोनों को संदर्भ के रूप में रखने जैसा है। अकेले इसी से बिना किसी अतिरिक्त प्रशिक्षण के सिस्टम की सटीकता में सुधार हुआ।

3. दूसरा समाधान: "अनुवादक" और "बायस" (SUPREME)

"भाषा की बाधा" को और अधिक ठीक करने के लिए, उन्होंने SUPREME नामक एक विशेष फ्रेमवर्क बनाया है। इसमें दो मुख्य उपकरण हैं:

टूल A: "बायस्ड प्रॉम्प्ट" (BPG)
- कल्पना कीजिए कि लाइब्रेरियन केवल कुछ नमूना पृष्ठों (Few-Shot learning) का उपयोग करके एक परीक्षा के लिए पढ़ाई कर रहा है। वे उन विशिष्ट पृष्ठों को बहुत अधिक याद कर सकते हैं और उसी लाइब्रेरी के थोड़े अलग पृष्ठों को पहचानने में विफल हो सकते हैं।
- समाधान: सिस्टम एक "गौसियन बायस" (Gaussian Bias) जोड़ता है। इसे एक सुरक्षा जाल या एक "सामान्य मानचित्र" के रूप में सोचें जो यह बताता है कि पुस्तकालय आमतौर पर कैसा दिखता है। यह लाइब्रेरियन को उन कुछ नमूना पृष्ठों पर अत्यधिक ध्यान केंद्रित करने से रोकता है जिनका उन्होंने अध्ययन किया था और उन्हें लाइब्रेरी के सामान्य "वाइब" (vibe) को समझने में मदद करता है, यहाँ तक कि उन छवियों के लिए भी जिन्हें उन्होंने पहले नहीं देखा है।
टूल B: "अनुवादक" (ITC - Image-Text Consistency)
- समस्या: "इमेज" मोहल्ला और "टेक्स्ट" मोहल्ला अभी भी एक-दूसरे से दूर हैं।
- समाधान: सिस्टम इन दोनों के बीच एक पुल (एक अनुवादक) बनाता है। यह एक इमेज लेता है, उसे "टेक्स्ट भाषा" में अनुवाद करता है, और जाँचता है कि क्या यह टेक्स्ट विवरणों से मेल खाता है। फिर, यह उस टेक्स्ट को वापस "इमेज भाषा" में अनुवाद करता है, और जाँचता है कि क्या यह अभी भी मूल इमेज जैसा दिखता है।
- लक्ष्य: यह दोनों भाषाओं को एक-दूसरे के करीब लाने के लिए मजबूर करता है, जिससे भ्रम का अंतर कम हो जाता है। यदि अनुवाद पूरी तरह से काम करता है, तो सिस्टम को पता चल जाता है कि वह सही रास्ते पर है।

4. अंतिम स्कोर: "सुपर-स्कोर"

अंत में, यह पेपर एक नया तरीका पेश करता है जिससे अंतिम निर्णय की गणना की जाती है, जिसे $S_{GMP}$ कहा जाता है।

केवल एक कोण (इमेज बनाम टेक्स्ट) को देखने के बजाय, यह स्कोर एक साथ चार कोणों को देखता है:
1. ओरिजिनल इमेज बनाम टेक्स्ट विवरण
2. ओरिजिनल इमेज बनाम फोटो एल्बम
3. ट्रांसलेटेड इमेज बनाम टेक्स्ट विवरण
4. ट्रांसलेटेड इमेज बनाम फोटो एल्बम
इन चार दृष्टिकोणों का औसत निकालकर, सिस्टम को कहीं अधिक स्पष्ट तस्वीर मिलती है कि कोई वस्तु वास्तव में लाइब्रेरी की है या नहीं।

निचोड़ (The Bottom Line)

यह पेपर दिखाता है कि टेक्स्ट विवरणों को वास्तविक तस्वीरों के साथ जोड़कर, और AI द्वारा चित्रों को देखने और शब्दों को पढ़ने के तरीके के बीच के अंतर को पाटने के लिए एक अनुवादक का उपयोग करके, सिस्टम "बहरूपियों" (OOD डेटा) को पहचानने में बहुत बेहतर हो जाता है।

अपने परीक्षणों में, इस नई विधि (SUPREME) ने लगातार सभी मौजूदा तरीकों को पछाड़ दिया, जिससे कम गलतियाँ हुईं और उन "नकली" वस्तुओं को पकड़ा गया जो लाइब्रेरी में घुसने की कोशिश कर रही थीं। यह AI के पूरे मस्तिष्क को पुन: प्रशिक्षित किए बिना, केवल डेटा को देखने के तरीके में बदलाव करके ऐसा करता है।

तकनीकी सारांश: फ्यू-शॉट OOD डिटेक्शन में मोडैलिटी गैप को कम करना

समस्या विवरण
विज़न-लैंग्वेज मॉडल्स (VLMs), विशेष रूप से CLIP, आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन के लिए प्रमुख हो गए हैं। हालाँकि, केवल टेक्स्ट प्रोटोटाइप (जैसे MCM) पर निर्भर मौजूदा विधियाँ "मोडैलिटी गैप" (modality gap) से ग्रस्त हैं—एक ऐसी घटना जहाँ इमेज और टेक्स्ट एम्बेडिंग्स एम्बेडिंग स्पेस में अलग-अलग क्षेत्रों में स्थित होती हैं। यह अलगाव OOD इमेजेस को इन-डिस्ट्रीब्यूशन (ID) टेक्स्ट प्रोटोटाइप के साथ उच्च समानता प्रदर्शित करने का कारण बनता है, जो कि सिमेंटिक प्रासंगिकता के बजाय स्थानिक निकटता (spatial closeness) के कारण होता है, जिससे उच्च फॉल्स पॉजिटिव रेट (FPR) उत्पन्न होता है। जबकि फ्यू-शॉट ट्यूनिंग विधियाँ मौजूद हैं, वे मुख्य रूप से नेगेटिव टेक्स्ट प्रॉम्प्ट्स सीखने पर ध्यान केंद्रित करती हैं और इमेज और टेक्स्ट मोडैलिटीज के बीच के मौलिक मिसअलाइनमेंट को स्पष्ट रूप से संबोधित नहीं करती हैं।

कार्यप्रणाली: SUPREME
लेखक मोडैलिटी गैप को कम करने के लिए SUPREME (CLIP के साथ OOD डिटेक्शन के लिए एक फ्यू-शốt ट्यूनिंग फ्रेमवर्क) प्रस्तावित करते हैं। यह दृष्टिकोण तीन मुख्य घटकों से बना है:

मल्टी-मोडल प्रोटोटाइप्स (सैद्धांतिक और अनुभवजन्य आधार):
पेपर पहले यह स्थापित करता है कि बिना किसी अतिरिक्त प्रशिक्षण के ID इमेज प्रोटोटाइप्स को ID टेक्स्ट प्रोटोटाइप्स के साथ शामिल करने से OOD डिटेक्शन में सुधार होता है। प्रत्येक क्लास के लिए इमेज एम्बेडिंग्स को औसत निकालकर, लेखक एक मल्टी-मोडल प्रोटोटाइप्स स्कोर ( $S_{MMP}$ ) को परिभाषित करते हैं। सैद्धांतिक विश्लेषण (Theorem 1) और अनुभवजन्य परिणाम दिखाते हैं कि यह डुअल-प्रोटोटाइप दृष्टिकोण ID और OOD सैंपल्स के बीच स्कोर सेपरेशन को बढ़ाता है, जिससे मोडैलिटी गैप के नकारात्मक प्रभाव को प्रभावी ढंग से कम किया जा सकता है।
बायस्ड प्रॉम्प्ट जनरेशन (BPG):
फ्यू-शॉट ट्यूनिंग के दौरान जनरलाइजेशन को और बेहतर बनाने के लिए, SUPREME में BPG पेश किया गया है। पिछली विधियों के विपरीत, जो प्रॉम्प्ट्स को केवल लर्नबल कॉन्टेक्स्ट और इमेज एम्बेडिंग्स पर आधारित करती हैं, BPG टेक्स्ट प्रोटोटाइप्स को तीन घटकों पर आधारित करता है:

लर्नबल कॉन्टेक्स्ट टोकन्स।
मैप किए गए इमेज एम्बेडिंग्स ( $m(I)$ )।
एक गॉसियन-आधारित अनुमानित इमेज डोमेन बायस ( $\mathcal{N}(\mu, \Sigma)$ )।
यह बायस ID इमेज एम्बेडिंग्स के वितरण से अनुमानित किया जाता है। प्रॉम्प्ट जनरेशन में इस बायस को शामिल करके, यह विधि सीमित फ्यू-शॉट डेटा पर ओवरफिटिंग को रोकती है और टेक्स्ट प्रोटोटाइप्स को ID इमेजेस के वास्तविक वितरण के करीब लाती है, जिससे इमेज-टेक्स्ट फ्यूजन बेहतर होता है।

इमेज-टेक्स्ट कंसिस्टेंसी (ITC):
मोडैलिटी गैप को सीधे कम करने के लिए, SUPREME दो लर्नबल मैपिंग का उपयोग करता है: एक इमेज-टू-टेक्स्ट मैपिंग ( $f_{img-txt}$ ) और एक टेक्स्ट-टू-इमेज मैपिंग ( $f_{txt-img}$ )। इन्हें CLIP बैकबोन को फ्रीज़ रखते हुए दो लॉस फंक्शन्स का उपयोग करके ऑप्टिमाइज़ किया जाता है:

इंटर-मोडल लॉस ( $\ell_{inter}$ ): मैप किए गए एम्बेडिंग्स और उनके मूल समकक्षों के बीच की दूरी को कम करता है (उदाहरण के लिए, यह सुनिश्चित करना कि $f_{img-txt}(I)$ टेक्स्ट प्रोटोटाइप्स के साथ संरेखित हो)।
इंट्रा-मोडल लॉस ( $\ell_{intra}$ ): सूचना के नुकसान को रोकने के लिए मैप किए गए एम्बेडिंग से मूल एम्बेडिंग को पुनर्गठित (reconstruct) करता है (उदाहरण के लिए, $f_{txt-img}(f_{img-txt}(I)) \approx I$ )।

जनरलाइज्ड मल्टी-मोडल प्रोटोटाइप स्कोर ( $S_{GMP}$ ):
मल्टी-मोडल निष्कर्षों पर आधारित, लेखक एक नया OOD स्कोरिंग फंक्शन, $S_{GMP}$ प्रस्तावित करते हैं। यह स्कोर यूनि-मोडल और क्रॉस-मोडल समानताओं का लाभ उठाता है। यह निम्नलिखित के बीच अधिकतम समानता के औसत की गणना करता है:

मूल इमेज एम्बेडिंग ( $I$ ) और टेक्स्ट/इमेज प्रोटोटाइप।
मैप किया गया इमेज एम्बेडिंग ( $I' = f_{img-txt}(I)$ ) और टेक्स्ट/इमेज प्रोटोटाइप।
यह एकीकरण सुनिश्चित करता है कि मूल और संरेखित दोनों प्रतिनिधित्व अंतिम निर्णय में योगदान दें, जिससे मजबूती (robustness) बढ़ती है।

मुख्य योगदान

मोडैलिटी गैप का विश्लेषण: पेपर साक्ष्य प्रदान करता है कि मोडैलिटी गैप VLM-आधारित OOD डिटेक्शन को नकारात्मक रूप से प्रभावित करता है और इमेज प्रोटोटाइप्स को शामिल करने से बिना ट्रेनिंग के इस प्रभाव को कम किया जा सकता है।
SUPREME फ्रेमवर्क: एक नवीन फ्यू-शॉट ट्यूनिंग विधि जिसमें BPG (डोमेन बायस के माध्यम से जनरलाइजेशन सुधारने के लिए) और ITC (कंसिस्टेंसी लॉस के माध्यम से मोडैलिटी गैप कम करने के लिए) शामिल है।
नया स्कोरिंग मेट्रिक: $S_{GMP}$ का परिचय, जो ID और OOD डिस्ट्रीब्यूशन के बीच सेपरेशन को बेहतर बनाने के लिए मल्टी-मोडल प्रोटोटाइप्स और क्रॉस-मोडल समानताओं का उपयोग करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: मौजूदा ज़ीरो-शॉट और फ्यू-शॉट OOD डिटेक्शन विधियों पर निरंतर श्रेष्ठ प्रदर्शन प्रदर्शित करने वाले व्यापक प्रयोग।

प्रायोगिक परिणाम
लेखकों ने ImageNet-1k और ImageNet-100 को ID डेटासेट्स के रूप में और चार विविध OOD डेटासेट्स (iNaturalist, SUN, Places, Texture) और OpenOOD बेंचमार्क के विरुद्ध SUPREME का मूल्यांकन किया।

ImageNet-1k: SUPREME ने 20.70% का औसत FPR95 और 95.38% का AUROC प्राप्त किया, जो NegPrompt (23.01% FPR95) और LoCoOp (28.66% FPR95) जैसे मजबूत बेसलाइन्स से बेहतर है।
ImageNet-100: इस विधि ने 8.47% का औसत FPR95 और 98.08% का AUROC प्राप्त किया, जो CoOp और CoCoOp से काफी आगे है।
हार्ड OOD (ImageNet-10/20): SUPREAME ने उच्च सिमेंटिक ओवरलैप वाले परिदृश्यों में मजबूती दिखाई, दोनों दिशाओं में सबसे कम FPR95 (4.10% और 3.60%) प्राप्त किया।
एब्लेशन स्टडीज: BPG या ITC को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई (जैसे, FPR95 बढ़कर ~28% हो गया), जो दोनों मॉड्यूल्स की आवश्यकता की पुष्टि करता है। $S_{MCM}$ के ऊपर $S_{GMP}$ के उपयोग से भी मापने योग्य सुधार हुआ।
ID एक्यूरेसी: SUPREME ने उच्च ID क्लासिफिकेशन एक्यूरेसी (ImageNet-1k पर 71.8% Top-1) बनाए रखी, जो अन्य OOD-केंद्रित विधियों से बेहतर है।

महत्व और दावे
पेपर का दावा है कि SUPREME वर्तमान VLM-आधारित OOD डिटेक्शन की एक महत्वपूर्ण सीमा को संबोधित करता है: मोडैलिटी गैप। टेक्स्ट-ओनली प्रोटोटाइप्स से आगे बढ़कर और इमेज और टेक्स्ट स्पेस को संरेखित करने वाले तंत्र (BPG और ITC के माध्यम से) पेश करके, यह विधि फॉल्स पॉजिटिव को काफी कम कर देती है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण ट्रेनिंग के दौरान OOD डेटा तक पहुँच की आवश्यकता के बिना, केवल ID डेटा के एक छोटे सेट (प्रति क्लास 16 शॉट्स) पर निर्भर करते हुए विश्वसनीयता में सुधार करता है। यह कार्य सुझाव देता है कि वास्तविक दुनिया के डिप्लॉयमेंट में मजबूत OOD डिटेक्शन के लिए मोडैलिटीज के बीच के संबंध को स्पष्ट रूप से मॉडल करना आवश्यक है।

1. समस्या: "भाषा की बाधा" (The Language Barrier)

2. पहला समाधान: "फोटो एल्बम" लाना

3. दूसरा समाधान: "अनुवादक" और "बायस" (SUPREME)

4. अंतिम स्कोर: "सुपर-स्कोर"

निचोड़ (The Bottom Line)

इसी तरह के और पेपर