📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

यह शोध पत्र बेयसियन नॉनपैरामेट्रिक मॉडलों और आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन के लिए रिलेटिव महलानोबिस डिस्टेंस स्कोर के बीच एक औपचारिक संबंध स्थापित करता है, जो सामान्यीकृत पदानुक्रमित मिश्रण मॉडल (generalized hierarchical mixture models) का प्रस्ताव देता है जो विशेष रूप से तब बेहतर प्रदर्शन प्रदर्शित करते हैं जब प्रशिक्षण वर्गों में भिन्न कोवेरिएंस संरचनाएं या सीमित डेटा होता है।

मूल लेखक: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही विशिष्ट आर्ट गैलरी में सुरक्षा गार्ड हैं। आपने गैलरी की पेंटिंग्स का अध्ययन करने में वर्षों बिताए हैं (आपका ट्रेनिंग डेटा)। आप जानते हैं कि एक "असली" पेंटिंग कैसी दिखती है, कैसी महसूस होती है और कैसा व्यवहार करती है।

एक दिन, एक अजनबी एक अजीब वस्तु लेकर आता है। क्या यह एक नए कलाकार की उत्कृष्ट कृति है जिसे आपने पहले नहीं देखा है (आउट-ऑफ-डिस्ट्रीब्यूशन या OOD सैंपल), या यह सिर्फ एक अजीब आकार का कूड़ेदान है (आउटलायर)? आपका काम तुरंत कूड़ेदान को पहचानना और अलार्म बजाना है।

यह पेपर बेयसियन नॉनपैरामेट्रिक्स (Bayesian Nonparametrics) नामक एक विशिष्ट प्रकार के गणित का उपयोग करके एक स्मार्ट सुरक्षा गार्ड बनाने के बारे में है। यहाँ लेखक अपनी पद्धति को सरल उपमाओं का उपयोग करके समझा रहे हैं।

पुराना तरीका: "एक ही आकार का" रूलर (The "One-Size-Fits-All" Ruler)

लंबे समय तक, सुरक्षा गार्डों ने महालनोबिस डिस्टेंस (Mahalanobis Distance) (विशेष रूप से RMDS नामक एक संस्करण) नामक एक सरल उपकरण का उपयोग किया।

इसे एक ऐसे रूलर (पैमाने) के रूप में सोचें जो यह मान लेता है कि गैलरी की हर एक पेंटिंग का आकार और बनावट बिल्कुल एक जैसी है।

यदि कोई पेंटिंग थोड़ी खिंची हुई है, तो रूलर कहता है, "यह अजीब है!"
यदि कोई पेंटिंग थोड़ी मुड़ी हुई है, तो रूलर कहता है, "यह अजीब है!"

समस्या यह है कि वास्तविक दुनिया में, सभी पेंटिंग्स एक जैसी नहीं होतीं। कुछ चौड़ी और चपटी होती हैं; अन्य लंबी और पतली होती हैं। कुछ खुरदरे कैनवास पर बनी होती हैं; अन्य चिकने रेशम पर। यदि आप एक "एक ही आकार का" रूलर सभी को मापने के लिए मजबूर करते हैं, तो आप कूड़ेदान को मिस कर सकते हैं क्योंकि वह एक "सामान्य" चौड़ी पेंटिंग जैसा दिखता है, या आप गलत अलार्म बजा सकते हैं क्योंकि एक लंबी पेंटिंग आपके चपटे रूलर के लिए "असामान्य" दिख सकती है।

नया विचार: "लचीला, साझा ज्ञान" दृष्टिकोण (The "Flexible, Shared Wisdom" Approach)

लेखक डिरिचलेट प्रोसेस मिक्स्चर मॉडल्स (Dirichlet Process Mixture Models - DPMMs) पर आधारित एक नया सुरक्षा गार्ड प्रस्तावित करते हैं।

यह न मानकर कि हर पेंटिंग एक जैसी है, यह नया गार्ड समझता है कि:

पेंटिंग्स के कई प्रकार हो सकते हैं: गैलरी में 100 अलग-अलग शैलियाँ (क्लस्टर्स) हो सकती हैं।
नई पेंटिंग्स आ सकती हैं: हमेशा एक संभावना रहती है कि एक नई शैली मौजूद हो जिसे गार्ड ने पहले कभी नहीं देखा है।
वे ज्ञान साझा करते हैं: भले ही हर पेंटिंग की शैली अलग हो, वे फिर भी एक-दूसरे से सीख सकते हैं।

"साझा ज्ञान" की उपमा (Hierarchical Priors)

कल्पना कीजिए कि गैलरी में 100 अलग-अलग कला विभाग हैं।

पुराना तरीका: प्रत्येक विभाग अपने पेंटिंग्स को मापने के लिए अपने स्वयं के रूलर का उपयोग करने की कोशिश करता है। यदि किसी विभाग में केवल 5 पेंटिंग्स हैं, तो उनका रूलर डगमगाता हुआ और अविश्वसनीय होता है।
नया तरीका (Hierarchical): सभी विभाग एक "मास्टर रूलर" साझा करते हैं जिसे वे उधार ले सकते हैं। यदि किसी विभाग में बहुत कम पेंटिंग्स हैं, तो वे मास्टर रूलर पर बहुत अधिक भरोसा करते हैं। यदि किसी विभाग में हजारों पेंटिंग्स हैं, तो वे अपने स्वयं के मापों पर अधिक भरोसा करते हैं।

इसे लेखक हायरार्किकल प्रायर्स (Hierarchical Priors) कहते हैं। यह सिस्टम को लचीला (विभिन्न आकारों को स्वीकार करने के लिए) लेकिन स्थिर (डेटा की कमी होने पर भ्रमित न होने के लिए) बनाता है।

बड़ी खोज: पुराना और नयाกัน 'कजिन' (Cousins) हैं

पेपर एक आश्चर्यजनक खोज करता है। लेखकों ने गणितीय रूप से सिद्ध किया कि पुराना "एक ही आकार का" रूलर (RMDS) वास्तव में उनके नए "लचीले" सिस्टम का एक विशेष, सरल संस्करण है।

इसे ऐसे सोचें: पुराना रूलर दृश्य की एक ब्लैक-एंड-व्हाइट फोटो की तरह है। नया सिस्टम एक हाई-डेफिनिशन कलर वीडियो है। लेखकों ने दिखाया कि यदि आप वीडियो को देखते हुए अपनी आँखें सिकोड़ लें और रंग बंद कर दें, तो यह बिल्कुल ब्लैक-एंड-व्हाइट फोटो जैसा दिखता है। इसका मतलब यह नहीं है कि पुराना तरीका "गलत" था; यह बस एक अधिक शक्तिशाली विचार का एक सरल संस्करण था।

नए उपकरण: तीन प्रकार के लचीले गार्ड

चूंकि उन्होंने महसूस किया कि पुराना तरीका केवल एक सरलीकृत संस्करण था, इसलिए लेखकों ने विभिन्न स्थितियों को संभालने के लिए तीन नए, अधिक शक्तिशाली गार्ड बनाए:

फुल-बॉडी गार्ड (Full Covariance): यह गार्ड पेंटिंग के हर विवरण को एक साथ देखता है। यह बहुत सटीक है लेकिन इसे बहुत अधिक मेमोरी और समय की आवश्यकता होती है। यह तब सबसे अच्छा काम करता है जब आपके पास एक विशाल गैलरी हो जिसमें प्रत्येक शैली की बहुत सारी पेंटिंग्स हों।
क्विक-स्कैन गार्ड (Diagonal Covariance): यह गार्ड चौड़ाई और ऊंचाई को अलग-अलग देखता है, यह अनदेखा करते हुए कि वे आपस में कैसे इंटरैक्ट कर सकते हैं। यह तेज़ है और इसे कम मेमोरी की आवश्यकता होती है। यह तब अच्छा काम करता है जब गैलरी बहुत बड़ी हो लेकिन आपके पास हर विवरण को देखने का समय न हो।
"लिंक्ड" क्विक-स्कैन गार्ड (Coupled Diagonal): यह लेखकों का नवल आविष्कार (Novel Invention) है। यह क्विक-स्कैन गार्ड की तरह ही है, लेकिन यह नोटिस करता है कि यदि पेंटिंग की चौड़ाई "अजीब" है, तो ऊंचाई भी "अजीब" होने की संभावना है। यह इन दोनों विचारों को जोड़ता है। यह कई परीक्षणों में सर्वश्रेष्ठ प्रदर्शन करने वाला साबित हुआ, विशेष रूप से जब गैलरी में कई शैलियाँ थीं लेकिन प्रत्येक का बहुत कम उदाहरण थे।

उन्होंने क्या पाया?

लेखकों ने एक प्रसिद्ध बेंचमार्क OpenOOD (विभिन्न आर्ट गैलरी और कूड़ेदानों का एक विशाल टेस्ट) पर इन नए गार्डों का परीक्षण किया।

जब गैलरी छोटी और भीड़भाड़ वाली होती है: नया "लिंक्ड" गार्ड कूड़ेदानों को पहचानने में सबसे अच्छा था।
जब गैलरी में प्रत्येक शैली के बहुत कम उदाहरण होते हैं: नए गार्ड पुराने रूलर की तुलना में बहुत बेहतर थे क्योंकि पुराना रूलर डेटा की कमी के कारण भ्रमित हो जाता था।
जब शैलियाँ एक-दूसरे से बहुत भिन्न होती हैं: नए गार्ड बेहतर ढंग से अनुकूलित हुए क्योंकि उन्होंने सब कुछ एक ही "बॉक्स" में फिट करने की कोशिश नहीं की।

मुख्य निष्कर्ष (The Bottom Line)

पेपर तर्क देता है कि हमें केवल सरल, कठोर रूलर (जैसे पुराना RMDS) पर निर्भर नहीं रहना चाहिए। इसके बजाय, हमें बेयसियन नॉनपैरामेट्रिक मॉडल का उपयोग करना चाहिए जो एक लचीले, साझा-ज्ञान वाले सिस्टम की तरह कार्य करते हैं।

इस समस्या को "यह पता लगाने के रूप में कि क्या यह नई वस्तु एक ज्ञात समूह से संबंधित है या एक बिल्कुल नए समूह से" मानकर, और विभिन्न समूहों को सांख्यिकीय शक्ति साझा करने की अनुमति देकर, हम ऐसे सुरक्षा सिस्टम बना सकते हैं जो अजीब डेटा का पता लगाने में बहुत बेहतर होते हैं, खासकर जब गैलरी अव्यवस्थित हो या उदाहरण कम हों।

संक्षेप में: यह पेपर एक जटिल, लचीले गणितीय ढांचे को लेता है, दिखाता है कि यह क्यों हमारे वर्तमान सरल उपकरणों को समझाता है, और फिर उस ढांचे का उपयोग करके बेहतर, अधिक अनुकूलनीय उपकरण बनाता है जो कठिन परिस्थितियों में पुराने वालों से बेहतर प्रदर्शन करते हैं।

तकनीकी सारांश: आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन के लिए महलानोबिस डिस्टेंस पर एक बेयसियन नॉनपैरामेट्रिक परिप्रेक्ष्य

समस्या विवरण

मशीन लर्निंग सिस्टम, विशेष रूप से वे जो विशाल डेटासेट पर प्रशिक्षित फाउंडेशन मॉडल्स पर आधारित हैं, अनिवार्य रूप से ऐसे डेटा का सामना करते हैं जो उनके प्रशिक्षण वितरण (training distributions) से विचलित होते हैं। आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) नमूनों का पता लगाना सुरक्षा और विश्वसनीयता के लिए महत्वपूर्ण है। जबकि बेयसियन नॉनपैरामेट्रिक तरीके एक नवीन क्लस्टर के डेटा पॉइंट होने की संभावना का अनुमान लगाने के लिए एक सुसंगत संभाव्यता ढांचा (probabilistic framework) प्रदान करते हैं, उन्हें सरल दूरी-आधारित मेट्रिक्स के पक्ष में काफी हद तक त्याग दिया गया है। बेयसियन दृष्टिकोणों को अपनाने में एक प्राथमिक बाधा फीचर एम्बेडिंग्स के लिए उच्च-आयामी कोवेरिएंस मैट्रिसेस (high-dimensional covariance matrices) का अनुमान लगाने की कम्प्यूटेशनल और सांख्यिकीय चुनौती है, विशेष रूप से जब प्रति क्लास प्रशिक्षण नमूने एम्बेडिंग आयाम (embedding dimension) की तुलना में कम होते हैं।

कार्यप्रणाली

सैद्धांतिक संबंध: RMDS और DPMMs

लेखक व्यापक रूप से उपयोग किए जाने वाले रिलेटिव महलानोबिस डिस्टेंस स्कोर (RMDS) और बेयसियन नॉनपैरामेट्रिक इन्फरेंस के बीच एक औपचारिक सैद्धांतिक संबंध स्थापित करते हैं। विशेष रूप से, वे प्रदर्शित करते हैं कि RMDS एक गाऊसी डिरिचलेट प्रोसेस मिक्सचर मॉडल (DPMM) से प्राप्त आउटलियर संभावना का एक करीबी सन्निकटन (approximation) है, जिसमें टाइड कोवेरिएंस मैट्रिसेस (जहाँ सभी क्लासेस एक ही कोवेरिएंस मैट्रिक्स साझा करती हैं) का उपयोग किया गया है।

प्रपोजिशन 4.1: यह दिखाता है कि एक सामान्य DPMM के इनलियर (inlier) की संभावना को एक स्कोर $\tilde{C}(x)$ के लॉजिस्टिक फंक्शन के रूप में व्यक्त किया जा सकता है, जो रिलेटिव महलानोबिस स्कोर के समान है।
प्रपोजिशन 4.2: यह सिद्ध करता है कि विशिष्ट व्यवस्थाओं (sub-Gaussian डेटा, समान क्लस्टर आकार, और रिलेटिव कोवेरिएंस मैट्रिक्स पर विशिष्ट स्थितियाँ) के तहत, टाइड-कोवेरिएंस मॉडल से प्राप्त DPMM स्कोर, RMDS के साथ लगभग पूर्ण रूप से सह-संबंधित (correlated) है। यह ह्यूरिस्टिक RMDS दृष्टिकोण को कठोर बेयसियन इन्फरेंस से जोड़ता है।

हिरार्किकल गाऊसी DPMMs

यह पहचानते हुए कि टाइड-कोवेरिएंस धारणा (और इस प्रकार RMDS) तब लागू नहीं हो सकती है जब क्लासेस के कोवेरिएंस स्ट्रक्चर काफी भिन्न हों, लेखक हिरार्किकल गाऊसी DPMMs का प्रस्ताव करते हैं। ये मॉडल प्रत्येक क्लस्टर के लिए अलग-अलग कोवेरिएंस मैट्रिसेस का अनुमान लगाकर टाइड-कोवेरिएंस धारणा को शिथिल (relax) करते हैं, जबकि क्लासेस के बीच सांख्यिकीय शक्ति (statistical strength) को एक हिरार्किकल प्रायर के माध्यम से साझा करते हैं।

लेखक तीन विशिष्ट मॉडल वेरिएंट पेश करते हैं:

फुल कोवेरिएंस मॉडल: एक कंजुगेट नॉर्मल-इनवर्स विशार्ट (NIW) प्रायर का उपयोग करता है। यह पूर्ण कोवेरिएंस मैट्रिसेस का उपयोग करने की अनुमति देता है लेकिन उच्च आयामों में ओवरफिटिंग का जोखिम उठाता है।
डायगोनल कोवेरिएंस मॉडल: मानता है कि आयामों के बीच वेरिएंस स्वतंत्र हैं, इसके लिए स्केल्ड इनवर्स ची-स्क्वेर्ड प्रायर का उपयोग करता है। यह पैरामीटर की संख्या को कम करता है लेकिन आयामों के बीच स्वतंत्रता मानता है।
कपल्ड डायगोनल कोवेरिएंस मॉडल: एक नवीन दृष्टिकोण जो एक क्लास-विशिष्ट स्केल फैक्टर $\gamma_k$ को पेश करके आयामों के बीच सहसंबंधों (correlations) को कैप्चर करता है। यह फैक्टर प्रत्येक क्लास के वेरिएंस के परिमाण के लिए सभी आयामों को स्केल करता है, जिससे मॉडल को उच्च दक्षता बनाए रखते हुए क्लासेस के बीच वेरिएंस के व्यवस्थित उतार-चढ़ाव को कैप्चर करने की अनुमति मिलती है।

अनुमान (Estimation)

लेखक इन हिरार्किकल मॉडल्स के हाइपरपैरामीटर्स का अनुमान लगाने के लिए कुशल एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम विकसित करते हैं।

फुल कोवेरिएंस और डायगोनल मॉडल्स के लिए, हाइपरपैरामीटर्स (कंसंट्रेशन $\nu_0$ और प्रिसिजन स्केलिंग $\kappa_0$ ) के लिए M-स्टेप्स को क्लोज्ड फॉर्म या एक जनरलाइज्ड न्यूटन विधि के माध्यम से कंप्यूट किया जाता है।
कपल्ड डायगोनल मॉडल के लिए, स्केल फैक्टर $\gamma_k$ पर पोस्टीरियर का कोई क्लोज्ड फॉर्म नहीं है। लेखक इसका उपयोग एक घने ग्रिड (dense grid) पर न्यूमेरिकल क्वाड्रैचर के माध्यम से अनुमान लगाने के लिए करते हैं, जो इस तथ्य का लाभ उठाता है कि $\gamma_k$ एक-आयामी है।

मुख्य परिणाम

सिंथेटिक प्रयोग

2D डेटा पर सिमुलेशन ने पुष्टि की कि हिरार्किकल मॉडल टाइड-कोवेरिएंस मॉडल्स (और RMDS) की तुलना में बेहतर प्रदर्शन करते हैं जब:

कोवेरिएंस मैट्रिसेस क्लस्टर्स के बीच काफी भिन्न होते हैं (कम $\nu_0$ )।
प्रति क्लास डेटा पॉइंट्स की संख्या ( $N_k$ ), डाइमेंशनलिटी ( $D$ ) के सापेक्ष कम होती है।
जिन व्यवस्थाओं में $N_k/D$ छोटा होता है, वहां इंडिपेंडेंट RMDS (बिना हिरार्किकल प्रायर के प्रति-क्लास कोवेरिएंस का उपयोग करते हुए) ओवरफिटिंग के कारण विफल हो जाता है, जबकि हिरार्किकल DPMMs मजबूत प्रदर्शन बनाए रखते हैं।

OpenOOD बेंचमार्क मूल्यांकन

मॉडल्स का मूल्यांकन CIFAR-10, CIFAR-100, और ImageNet-1K डेटासेट्स के साथ विभिन्न OOD डेटासेट्स (Near और Far) पर OpenOOD बेंचमार्क का उपयोग करके किया गया।

ImageNet-1K: कपल्ड डायगोनल मॉडल ने स्टैंडर्ड RMDS और टाइड DPMM से बेहतर प्रदर्शन करते हुए, Near OOD डिटेक्शन पर सर्वश्रेष्ठ प्रदर्शन किया। फुल कोवेरिएंस मॉडल खराब प्रदर्शन करता रहा, जो संभवतः उच्च-आयामी (768D) स्पेस में ओवरफिटिंग के कारण है।
CIFAR-10: फुल कोवेरिएंस हिरार्किकल मॉडल ने Near और Far दोनों OOD कार्यों पर उच्चतम प्रदर्शन दिया, जो बताता है कि कम-आयामी एम्बेडिंग्स (512D) और छोटे डेटासेट्स के लिए पूर्ण कोवेरिएंस स्ट्रक्चर सीखने योग्य और फायदेमंद है।
डाइमेंशनलिटी विश्लेषण: जैसे-जैसे फीचर डाइमेंशनलिटी बढ़ी, फुल कोवेरिएंस मॉडल का प्रदर्शन स्थिर हो गया या गिर गया, जबकि डायगोनल और कपल्ड डायगोनल मॉडल्स ने, विशेष रूप से Near OOD बेंचमार्क पर, बेहतर प्रदर्शन बनाए रखा।

महत्व और दावे

लेखक दावा करते हैं कि हिरार्किकल प्रायर्स के साथ बेयसियन नॉनपैरामेट्रिक तरीके OOD डिटेक्शन के लिए एक सुव्यवस्थित और व्यावहारिक रूप से प्रतिस्पर्धी दृष्टिकोण प्रदान करते हैं। उनके मुख्य योगदान हैं:

सैद्धांतिक एकीकरण: RMDS और एक गाऊसी DPMM के तहत बेयियन इन्फरेंस के बीच एक औपचारिक लिंक प्रदान करना, जो RMDS को एक अधिक सामान्य संभाव्यता ढांचे के एक विशिष्ट सीमा (limit) के रूप में मान्य करता है।
सामान्यीकरण (Generalization): RMDS को विस्तार देते हुए हिरार्किकल मॉडल्स का प्रस्ताव करना, जो समान कोवेरिएंस धारणा को शिथिल करते हैं, जिससे उन परिदृश्यों के अनुकूल होने में मदद मिलती है जहाँ क्लास कोवेरिएंस भिन्न होते हैं।
व्यावहारिक उपयोगिता: यह प्रदर्शित करना कि ये मॉडल्स OOD डिटेक्शन में सुधार कर सकते हैं, विशेष रूप से उन व्यवस्थाओं में जिनमें:
- क्लासेस के बीच विषम (heterogeneous) कोवेरिएंस स्ट्रक्चर होते हैं।
- फीचर डाइमेंशनलिटी के सापेक्ष प्रति क्लास सीमित डेटा होता है।
- इन-डिस्ट्रीब्यूशन और "Near OOD" नमूनों के बीच सूक्ष्म अंतर की आवश्यकता होती है।

लेखक नोट करते हैं कि हालांकि फुल कोवेरिएंस मॉडल उच्च आयामों में ओवरफिट हो सकता है, कपल्ड डायगोनल मॉडल एक मजबूत समझौता (compromise) प्रदान करता है, जो फुल कोवेरिएंस एस्टीमेशन के पैरामीटर विस्फोट के बिना क्लासेस के बीच वेरिएंस सहसंबंधों को कैप्चर करता है। वे निष्कर्ष निकालते हैं कि OOD डिटेक्शन को एक जेनेरेटिव मॉडल में इन्फरेंस के रूप में प्रस्तुत करने से सिद्धांतों पर आधारित विकल्प मिलते हैं, जो मौजूदा डिस्टेंस-आधारित बेसलाइन्स की तुलना में प्रदर्शन में सुधार कर सकते हैं।