🤖 machine learning

Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models

यह शोध पत्र प्री-ट्रेंड विजन-लैंग्वेज मॉडल्स का उपयोग करके आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन के लिए एक नवीन विधि प्रस्तावित करता है जो डिबायस्ड सैंपलिंग (debiased sampling) के लिए एक सैद्धांतिक ढांचे को पेश करके नेगेटिव लेबल माइनिंग में फॉल्स नेगेटिव समस्या का समाधान करता है, जिसे व्यावहारिक रूप से स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करने के लिए मोंटे-कार्लो सैंपलिंग के रूप में लागू किया गया है।

मूल लेखक: Bo Peng, Jie Lu, Guangquan Zhang, Zhen Fang

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bo Peng, Jie Lu, Guangquan Zhang, Zhen Fang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models" शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: AI के लिए "अजनबी का खतरा" (Stranger Danger) वाली समस्या

कल्पना कीजिए कि आपके पास एक बहुत ही समझदार सुरक्षा गार्ड (एक AI मॉडल) है जिसे 1,000 विशिष्ट जानवरों (जैसे बिल्ली, कुत्ता और बाज) को पहचानने के लिए प्रशिक्षित किया गया है। यह गार्ड इन जानवरों की पहचान करने में उत्कृष्ट है। हालाँकि, वास्तविक दुनिया में, वह एक पूरी तरह से नए जानवर का सामना कर सकता है जिसे उसने पहले कभी नहीं देखा है, जैसे कि एक प्लैटिपस या एक रोबोटिक कुत्ता।

यदि गार्ड बहुत अधिक आत्मविश्वासी हो जाता है, तो वह प्लैटिपस को "बत्तख" या "बीवर" की श्रेणी में जबरदस्ती फिट करने की कोशिश कर सकता है, जो कि एक गलती है। इसे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) त्रुटि कहा जाता है। इस शोध पत्र का लक्ष्य गार्ड को यह सिखाना है कि गलत अनुमान लगाने के बजाय, वह कैसे कह सके, "मैं नहीं जानता कि यह क्या है।"

वर्तमान समाधान: "यह नहीं है" की एक सूची

गार्ड को अजनबियों को पहचानने में मदद करने के लिए, शोधकर्ताओं ने एक विशेष टूल का उपयोग करना शुरू किया है जिसे विज़न-लैंग्वेज मॉडल (VLM) कहा जाता है। इस टूल को एक ऐसे गार्ड के रूप में सोचें जो न केवल जानवर को देखता है बल्कि हजारों अन्य जानवरों के नामों को भी जानता है।

वर्तमान लोकप्रिय विधि इस प्रकार काम करती है:

गार्ड अज्ञात जानवर को देखता है।
वह जानवर की तुलना 1,000 ज्ञात जानवरों (इन-डिस्ट्रीब्यूशन या ID) से करता है।
वह जानवर की तुलना एक लंबी यादृच्छिक जानवरों की सूची (नेगेटिव लेबल्स) से भी करता है जिसे उसने डिक्शनरी से चुना है।
यदि अज्ञात जानवर "यादृच्छिक सूची" के अधिक करीब दिखता है, तो गार्ड उसे एक अजनबी के रूप में चिह्नित करता है।

समस्या: वर्तमान विधि इन "यादृच्छिक जानवरों" (नेगेटिव लेबल्स) को एक सरल नियम का उपयोग करके चुनती है: "ऐसे शब्द चुनें जो ज्ञात जानवरों से सुनने या दिखने में अलग हों।"

दोष: यह एक "कुत्ते के अलावा कुछ और" को खोजने के लिए "कुत्ता" से अलग लगने वाले शब्दों को चुनने जैसा है। आप गलती से "भेड़िया" या "लोमड़ी" चुन सकते हैं। AI के लिए, एक भेड़िया कुत्ते जैसा ही दिखता है। इसलिए, AI भ्रमित हो जाता है। वह सोचता है, "खैर, यह नया जानवर भेड़िये जैसा दिखता है, और भेड़िया मेरी 'कुत्ता नहीं है' वाली सूची में है, इसलिए यह निश्चित रूप से एक कुत्ता ही होगा!"
परिणाम: AI गलतियाँ करता है क्योंकि उसकी "अजनबियों की सूची" उन चीजों से दूषित है जो वास्तव में उन चीजों के समान दिखती हैं जिन्हें उसे जानना चाहिए। इसे नेगेटिव माइनिंग बायस (Negative Mining Bias) कहा जाता है।

शोध पत्र का समाधान: "डीबायस्ड" (Debiased) जासूस

इस शोध पत्र के लेखक कहते हैं, "हमें अपने 'अजनबी' की सूची को बेहतर तरीके से चुनने की आवश्यकता है ताकि हम अनजाने में ऐसी चीजें न चुन लें जो हमारे दोस्तों (ज्ञात जानवरों) जैसी दिखती हों।"

उन्होंने इस पूर्वाग्रह (bias) को ठीक करने के लिए एक गणितीय ट्रिक विकसित की है, जिसमें हर एक शब्द को मैन्युअल रूप से चेक करने के लिए इंसान की ज़रूरत नहीं है। वे इसे कैसे करते हैं, इसका विवरण यहाँ दिया गया है:

उपमा: शोर वाला रेडियो स्टेशन

कल्पना कीजिए कि आप एक विशिष्ट गाना ( "सच्चा अजनबी" सिग्नल) सुनने की कोशिश कर रहे हैं, लेकिन आपका रेडियो शोर और अन्य गानों ( "वाइल्ड कॉर्पस" या बिना लेबल वाला डेटा) को पकड़ रहा है।

पुरानी विधि: आप बस शोर (static) की आवाज़ बढ़ाते हैं, इस उम्मीद में कि आपका वांछित गाना पर्याप्त तेज़ हो जाएगा। कभी-कभी शोर गाने को दबा देता है, या आप एक समान सुनाई देने वाले गाने को अपने वांछित गाने के रूप में समझ लेते हैं।
नई विधि (Debiased Negative Mining): लेखकों ने महसूस किया कि "शोर" वास्तव में दो चीजों का मिश्रण है:
1. वे चीजें जो आपके ज्ञात दोस्तों के समान हैं (पॉजिटिव नॉइज़)।
2. वे चीजें जो वास्तव में अजनबी हैं (नेगेटिव नॉइज़)।

यह अनुमान लगाने के बजाय कि कौन सा क्या है, वे एक गणितीय घटाव (subtraction) ट्रिक का उपयोग करते हैं।

वे अनुमान लगाते हैं कि मिश्रण में कितनी "दोस्त जैसी" शोर (noise) मौजूद है।
वे उस "दोस्त जैसी" शोर को कुल शोर से गणितीय रूप से घटा देते हैं।
जो बचता है, वह एक बहुत ही स्पष्ट सिग्नल है कि एक "सच्चा अजनबी" वास्तव में कैसा दिखता है।

तकनीकी शब्दों में, वे इंपॉर्टेंस सैंपलिंग (Importance Sampling) नामक तकनीक का उपयोग करते हैं। वे अव्यवस्थपूर्ण, बिना लेबल वाले डेटा को लेते हैं, और गणितीय रूप से इस तथ्य को ठीक करते हैं कि इसमें से कुछ चीजें ज्ञात श्रेणियों के बहुत समान दिखती हैं। यह एक "डीबायस्ड" (Debiated) स्कोर बनाता है।

वे इसे कैसे करते हैं (3 चरण)

यह बेहतर "अजनबी डिटेक्टर" बनाने के लिए पेपर तीन चरणों की एक व्यावहारिक प्रक्रिया बताता है:

सर्वश्रेष्ठ "अजनबियों" को चुनें: वे शब्दों के एक विशाल, अव्यवस्थपूर्ण शब्दकोश (wild corpus) को लेते हैं। उन्हें यादृच्छिक रूप से चुनने के बजाय, वे उन शब्दों को चुनते हैं जो सबसे अधिक "घने" (dense) या एक साथ क्लस्टर किए गए हैं। इसे यादृच्छिक आउटलेर्स के बजाय "अजनबता" के सबसे प्रतिनिधि उदाहरणों को चुनने के रूप में समझें।
"दोस्तों" का अनुकरण करें: चूंकि उनके पास घटाने के लिए "सच्चे दोस्तों" की सूची नहीं है, इसलिए वे एक नकली सूची बनाते हैं। वे ज्ञात जानवरों के नाम (जैसे "बिल्ली") लेते हैं और उनमें कंप्यूटर मेमोरी में थोड़ी सी "नॉइज़" (यादृच्छिकता) जोड़ देते हैं। यह इस बात का अनुकरण करता है कि "दोस्त" अव्यवस्थपूर्ण डेटा में कैसा दिखता है।
गणितीय जादू: वे इन दोनों सूचियों को अपने फॉर्मूले में डालते हैं। वे अज्ञात जानवर के लिए स्कोर की गणना करते हैं, फिर अव्यवस्थपूर्ण "अजनबी" स्कोर में से सिम्युलेटेड (अनुमानित) "दोस्त" स्कोर को घटा देते हैं। इससे भ्रम समाप्त हो जाता है।

परिणाम: यह क्यों मायने रखता है

लेखकों ने अपने नए तरीके का परीक्षण प्रसिद्ध इमेज डेटासेट (जैसे ImageNet) का उपयोग करके पुराने तरीकों के विरुद्ध किया।

परिणाम: उनकी विधि ने पिछले सर्वोत्तम तरीकों को लगातार पछाड़ दिया।
प्रमाण: परीक्षणों में, उनका AI अजीब छवियों को दिखाए जाने पर "मुझे नहीं पता" कहने में बहुत बेहतर था, और गलत जानवर का आत्मविश्वास से अनुमान लगाने में बहुत कम था।
मजबूती (Robustness): यह तब भी प्रभावी रहा जब "ज्ञात" जानवर थोड़े अलग थे (उदाहरण के लिए, फोटो के बजाय चित्र) या जब अलग-अलग प्रकार के AI मस्तिष्क का उपयोग किया गया था।

सारांश

यह शोध पत्र इस खामी को ठीक करता है कि AI "अनजानों" को कैसे पहचानता है। पुराना तरीका घास के ढेर में सुई खोजने जैसा था, जहाँ आप घास को नज़रअंदाज़ करने की कोशिश करते थे, लेकिन अनजाने में ऐसी अन्य सुइयाँ उठा लेते थे जो दिखने में समान थीं। नया तरीका उन "नकली सुइयों" को हटाने के लिए एक गणितीय फ़िल्टर का उपयोग करता है, जिससे AI को वास्तव में अज्ञात क्या है, इसकी बहुत स्पष्ट दृष्टि मिलती है। यह AI को उन चीजों के संपर्क में आने पर अधिक सुरक्षित और विश्वसनीय बनाता है जिन्हें उसने पहले कभी नहीं देखा है।

तकनीकी सारांश: डिबायस्ड नेगेटिव माइनिंग प्री-ट्रेंड विजन-लैंग्वेज मॉडल्स के साथ आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन में सुधार करती है

समस्या विवरण
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन उन ओपन-वर्ल्ड परिदृश्यों में मशीन लर्निंग मॉडल्स की विश्वसनीयता सुनिश्चित करने के लिए महत्वपूर्ण है जहाँ टेस्ट डेटा में अनदेखी क्लास (unseen classes) हो सकती हैं। जबकि प्री-ट्रेंड विजन-लैंग्वेज मॉडल्स (VLMs), जैसे कि CLIP, ID लेबल्स और "नेगेटिव" लेबल्स (जो ID से सिमेंटिक रूप से भिन्न हैं) के बीच सिमेंटिक समानता का लाभ उठाकर पोस्ट-हॉक OOD डिटेक्शन में आशाजनक परिणाम दिखाते हैं, मौजूदा दृष्टिकोणों के सामने एक महत्वपूर्ण सैद्धांतिक सीमा है। वर्तमान विधियाँ, जैसे कि NegLabel, अनलेबल "वाइल्ड" कॉर्पस डेटा (जैसे WordNet) से नेगेटिव लेबल्स को खोजने के लिए ह्यूरिस्टिक नियमों (जैसे कोसाइन सिमिलैरिटी) पर निर्भर करती हैं। लेखक तर्क देते हैं कि इन ह्यूरिस्टिक नियमों में वास्तविक सिमेंटिक असाम्यता (dissimilarity) को पकड़ने के लिए सैद्धांतिक गारंटी का अभाव है, जिससे "नेगेटिव माइनिंग बायस" (negative mining bias) उत्पन्न होता है। यह बायस इसलिए होता है क्योंकि माइन किया गया नेगेटिव सेट अनिवार्य रूप से "फॉल्स नेगेटिव्स" (वे लेबल्स जो वास्तव में ID क्लासेस के सिमेंटिक रूप से समान हैं) से दूषित होता है, जिसके परिणामस्वरूप सब-ऑप्टिमल OOD स्कोरिंग फंक्शन प्राप्त होते हैं। मुख्य चुनौती यह है कि बिना किसी ग्राउंड-ट्रुथ सिमिलैरिटी जानकारी या वाइल्ड कॉर्पस पर अतिरिक्त मानवीय फीडबैक के इस सैंपलिंग बायस को कैसे कम किया जाए।

कार्यप्रणाली (Methodology)
प्रस्तावित विधि, डिबायस्ड नेगेटिव माइनिंग (Debased Negative Mining), नेगेटिव लेबल्स के सैंपलिंग बायस को ठीक करने के लिए नेगेटिव लेबल्स के वास्तविक वितरण का अप्रत्यक्ष रूप से अनुमान लगाकर एक सैद्धांतिक ढांचा पेश करती है। यह दृष्टिकोण निम्नलिखित चरणों पर आधारित है:

डिस्ट्रीब्यूशन मॉडलिंग: लेखक अनलेबल वाइल्ड डेटा वितरण ( $Q_Y$ ) को हबर कंटैमिनेशन मॉडल का उपयोग करके ट्रू पॉजिटिव लेबल्स ( $P^+_Y$ ) और ट्रू नेगेटिव लेबल्स ( $P^-_Y$ ) के मिश्रण के रूप में मॉडल करते हैं: $Q_Y = \tau \cdot P^+_Y + (1-\tau) \cdot P^-_Y$ , जहाँ $\tau$ एक हाइपरपैरामीटर के रूप में माना गया एक प्रायोरिटी प्रोबेबिलिटी है।
सैद्धांतिक व्युत्पत्ति (Theoretical Derivation): मिश्रण मॉडल को पुनर्व्यवस्थित करके, वास्तविक नेगेटिव वितरण को $P^-_Y = (Q_Y - \tau \cdot P^+_Y) / (1-\tau)$ के रूप में व्यक्त किया जाता है। लेखक इस संबंध के आधार पर एक अनबायस्ड (unbiased) OOD स्कोरिंग फंक्शन को व्युत्पन्न करते हैं।
एसिम्प्टोटिक एप्रोक्सिमेशन (Asymptotic Approximation): कम्प्यूटेशनल रूप से महंगे अनुमानों से बचने के लिए, विधि डोमिनेटेड कन्वर्जेंस थ्योरम का उपयोग करती है ताकि यह दिखाया जा सके कि जैसे-जैसे नेगेटिव लेबल्स की संख्या अनंत की ओर बढ़ती है, स्कोरिंग फंक्शन वाइल्ड डिस्ट्रीब्यूशन और पॉजिटिव डिस्ट्रीब्यूशन के एक्सपेक्टेशन्स (expectations) पर निर्भर एक रूप में अभिसरित (converge) होता है।
मोंटे-कार्लो इम्पॉर्टेंस सैंपलिंग (Monte-Carlo Importance Sampling): अंतिम डिबायस्ड स्कोरिंग फंक्शन को मोंटे-कार्लो एस्टिमेटर के रूप में लागू किया जाता है। इसके लिए आवश्यक है:
- वाइल्ड कॉर्पस सैंपलिंग ( $u_i$ ): $Q_Y$ पर एक्सपेक्टेशन को अनुमानित करने के लिए लोकल डेंसिटी ( $\alpha$ -नेरेस्ट नेबर्स का उपयोग करके) के आधार पर वाइल्ड कॉर्पस से प्रतिनिधि नमूने चुनना।
- पॉजिटिव लेबल सिंथेसिस ( $v_i$ ): चूंकि वाइल्ड कॉर्पस से वास्तविक पॉजिटिव लेबल्स अज्ञात हैं, इसलिए विधि ज्ञात ID लेबल्स के एम्बेडिंग्स पर एक सिमेंटिक्स-प्रिजर्विंग ट्रांसफॉर्मेशन (गाऊसी शोर जोड़ना और नॉर्मलाइज़ करना) लागू करके सिंथेटिक पॉजिटिव फीचर्स तैयार करती है।
- स्कोरिंग: अंतिम OOD स्कोर की गणना ID लेबल एफिनिटीज और वाइल्ड कॉर्पस एक्सपेक्टेशन एवं सिंथेसाइज्ड पॉजिटिव एक्सपेक्टेशन के बीच भारित अंतर (weighted difference) को जोड़कर की जाती है, जो प्रभावी रूप से फॉल्स नेगेटिव्स के संदूषण को रद्द कर देता है।

मुख्य योगदान

सैद्धांतिक ढांचा: पेपर एक नया सैद्धांतिक ढांचा विकसित करता है जो बिना किसी ग्राउंड-ट्रुथ सिमिलैरिटी या डिसिमिलैरिटी जानकारी के नेगेटिव लेबल्स के सैंपलिंग बायस को ठीक करता है, जो ह्यूरिस्टिक माइनिंग में निहित "फॉल्स नेगेटिव" समस्या को संबोधित करता है।
व्यावहारिक कार्यान्वयन: लेखक इस सुधार को एक कुशल इम्पॉर्टेंस सैंपलिंग रणनीति के रूप में लागू करते हैं जो केवल पॉजिटिव उदाहरणों (ID लेबल्स) और अनलेबल वाइल्ड डेटा तक पहुँच पर निर्भर करती है, जिससे अतिरिक्त सुपरविजन की आवश्यकता नहीं होती।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: व्यापक प्रयोगों से पता चलता है कि विधि विभिन्न CLIP आर्किटेक्चर (ViT-B/32, ViT-L/14, ResNet-50) और विभिन्न इनपुट रेजोल्यूशन पर विभिन्न OOD बेंचमार्क में नए स्टेट-ऑफ-द-आर्ट परिणाम स्थापित करती है।
मजबूती (Robustness): विधि डोमेन-शिफ्टेड परिदृश्यों (जैसे ImageNet-A, ImageNet-R, ImageNetV2) में मजबूत सामान्यीकरण और मजबूती प्रदर्शित करती है, जो मौजूदा ज़ीरो-शॉट विधियों से बेहतर है।

प्रायोगिक परिणाम
विधि का मूल्यांकन ImageNet-1K बेंचमार्क पर ID लेबल्स के साथ किया गया, जिसमें iNaturalist, SUN, Places365, और Textures सहित OOD डेटासेट्स के विरुद्ध परीक्षण किया गया।

प्रदर्शन: प्रस्तावित विधि ने 94.52% का औसत AUROC और 22.37% का FPR95 प्राप्त किया, जो पिछले सर्वश्रेष्ठ ज़ीरो-शॉट मेथड NegLabel (94.21% AUROC, 25.40% FPR95) से बेहतर है।
एब्लेशन (Ablation): विधि ने विभिन्न विजुअल बैकबोन (ViT-B/32, ViT-L/14, ResNet-50) और इनपुट रेजोल्यूशन (224x224 बनाम 336x336) में लगातार NegLabel से बेहतर प्रदर्शन किया।
कॉर्पस सेंसिटिविटी: विधि ने विभिन्न कॉर्पस स्रोतों (Common-20K और Part-of-Speech Tags) के साथ परीक्षण किए जाने पर NegLabel की तुलना में बेहतर प्रदर्शन दिखाया, जो वाइल्ड डेटा के चयन में लचीलेपन को दर्शाता है।
हाइपरपैरामीटर्स: विधि को $\tau$ की प्रायोरिटी प्रोबेबिलिटी, शोर की तीव्रता $\sigma$ , और सैंपल किए गए लेबल्स की संख्या $L$ सहित हाइपरपैरामीटर्स की एक विस्तृत श्रृंखला में स्थिर पाया गया।

महत्व
पेपर का दावा है कि हालांकि नेगेटिव लेबल माइनिंग एक सफल ह्यूरिस्टिक रहा है, लेकिन अनसुलझे "फॉल्स नेगेटिव" के मुद्दे के कारण इसकी शक्ति को पूरी तरह से उजागर नहीं किया जा सका है। इस बायस के लिए एक सैद्धांतिक सुधार प्रदान करके, यह कार्य OOD डिटेक्शन के लिए VLMs की क्षमता को "अनलीश" (unleash) करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण बिना किसी अतिरिक्त ट्रेनिंग डेटा या वाइल्ड कॉर्पस पर मानवीय फीडबैक के ये लाभ प्राप्त करता है, जो इसे ज़ीरो-शॉट OOD डिटेक्शन के लिए एक व्यावहारिक और मजबूत समाधान बनाता है। यह कार्य सुझाव देता है कि भविष्य की दिशाओं में प्री-ट्रेंड मल्टी-मोडल लार्ज लैंग्वेज मॉडल्स को शामिल करना हो सकता है, लेकिन वर्तमान योगदान मौजूदा VLM फ्रेमवर्क के भीतर नेगेटिव माइनिंग प्रक्रिया को रिफाइन करने पर केंद्रित है।