🤖 machine learning

Vendi Novelty Scores for Out-of-Distribution Detection

यह शोध पत्र वेंडी नॉवेल्टी स्कोर (VNS) को प्रस्तुत करता है, जो एक लीनियर-टाइम, नॉन-पैरामीट्रिक आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्टर है जो विभिन्न बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए विविधता मेट्रिक्स का लाभ उठाता है और न्यूनतम प्रशिक्षण डेटा के साथ भी प्रभावी बना रहता है।

मूल लेखक: Amey P. Pasarkar, Adji Bousso Dieng

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amey P. Pasarkar, Adji Bousso Dieng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक संग्रहालय के प्रवेश द्वार पर एक बहुत ही बुद्धिमान, उच्च प्रशिक्षित सुरक्षा गार्ड है। इस गार्ड ने पुनर्जागरण (Renaissance) काल की हजारों पेंटिंग्स का अध्ययन करने में वर्षों बिताए हैं। वह तुरंत बता सकता है कि कोई नई पेंटिंग असली रेम्ब्रांट (Rembrandt) है या नकली। लेकिन क्या होगा यदि कोई व्यक्ति टोस्टर, एक कार्टून बिल्ली, या एक आधुनिक अमूर्त मूर्तिकला (abstract sculpture) की तस्वीर लेकर आ जाए?

गार्ड अभी भी कह सकता है, "मुझे 99% यकीन है कि यह एक पेंटिंग है!" क्योंकि वह अपने प्रशिक्षण को लेकर इतना आश्वस्त है, भले ही वह पूरी तरह से गलत हो। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे आउट-ऑफ-डिस्ट्रीब्यूशन (Out-of-Distribution - OOD) समस्या कहा जाता है। AI कुछ ऐसा देख रहा है जो उसने पहले कभी नहीं देखा है, लेकिन उसे यह पता नहीं है कि वह भ्रमित है।

यह पेपर एक नया टूल पेश करता है जिसे वेंडी नॉवेलटी स्कोर (Vendi Novelty Score - VNS) कहा जाता है, ताकि AI सिस्टम को यह समझने में मदद मिल सके कि वह किसी पूरी तरह से पराई चीज़ को देख रहा है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है।

पुराना तरीका: आत्मविश्वास का अनुमान लगाना

मौजूदा तरीके इन "अजनबियों" का पता लगाने के लिए AI से पूछते हैं, "आप कितने आश्वस्त हैं?"

दोष: यदि AI बिल्लियों और कुत्तों पर प्रशिक्षित है, और आप उसे एक टोस्टर दिखाते हैं, तो वह अभी भी बहुत आश्वस्त महसूस कर सकता है क्योंकि टोस्टर में कुछ दृश्य विशेषताएं (जैसे किनारे या रंग) एक बिल्ली के कान के समान हो सकती हैं। यह एक ऐसे गार्ड की तरह है जो लाल कोट देखने का इतना आदी है कि वह एक लाल फायर हाइड्रेंट को इंसान समझ लेता है।

नया तरीका: "भीड़ की विविधता" को मापना

इस पेपर के लेखकों ने "आप कितने आश्वस्त हैं?" पूछना बंद करने और "यह नया व्यक्ति भीड़ को कितना बदल देता है?" पूछने का निर्णय लिया।

वे वेंडी स्कोर (Vendi Score) नामक एक अवधारणा का उपयोग करते हैं, जो मूल रूप से विविधता (diversity) को मापने का एक शानदार तरीका है।

उपमा: पार्टी का गेस्ट लिस्ट

कल्पना कीजिए कि AI के पास उन सभी लोगों की याददाश्त है जिनसे वह मिला है (ट्रेनिंग डेटा)।

इन-डिस्ट्रीब्यूशन (ID) भीड़: ये वे लोग हैं जिन्हें AI अच्छी तरह जानता है। वे "गुटों" (cliques) में बंटे हुए हैं (जैसे लाल बालों वाले लोगों का एक समूह, लंबे लोगों का एक समूह, आदि)।
टेस्ट सैंपल: एक नया व्यक्ति अंदर आता है।

VNS कैसे काम करता है:

लोकल चेक (द क्लीक/गुट): AI उस विशिष्ट गुट को देखता है जिससे वह नया व्यक्ति जुड़ा हो सकता है (जैसे, "क्या यह व्यक्ति लाल बालों वाला है?")। वह पूछता है: "यदि हम इस नए व्यक्ति को लाल बालों वाले समूह में जोड़ते हैं, तो क्या समूह अधिक विविध बनेगा या अधिक दोहराव वाला?"
- यदि नया व्यक्ति एक अनोखी हेयरस्टाइल वाला लाल बालों वाला व्यक्ति है, तो समूह अधिक विविध हो जाता है।
- यदि नया व्यक्ति एक लाल बालों वाला व्यक्ति है जो बाकी सभी के बिल्कुल जैसा दिखता है, तो समूह में ज्यादा बदलाव नहीं होता।
- ट्विस्ट: यदि वह नया व्यक्ति वास्तव में एक टोस्टर (या कार्टून बिल्ली) है, तो उसे "लाल बालों वाले" समूह में जोड़ने से एक अजीब, चौंकाने वाला मिश्रण बन जाता है। "विविधता स्कोर" बढ़ जाता है क्योंकि टोस्टर पैटर्न में बिल्कुल फिट नहीं बैठता।
ग्लोबल चेक (पूरी पार्टी): AI पूरी पार्टी को भी देखता है। "यदि हम इस टोस्टर को पूरी पार्टी में जोड़ते हैं, तो क्या कमरा अराजक महसूस होगा?"
- VNS यह गणना करता है कि नया सैंपल डेटा के समग्र सामंज्य (harmony) को कितना बाधित करता है।
फाइनल स्कोर: AI इन दोनों चेकों को जोड़ता है। यदि नया सैंपल स्थानीय समूह को अजीब बनाता है और वैश्विक पार्टी को अराजक बनाता है, तो वेंडी नॉवेलटी स्कोर बढ़ जाता है। उच्च स्कोर का अर्थ है: "हे, यह यहाँ का नहीं है! हमें सावधान रहना चाहिए।"

यह क्यों एक बड़ी बात है

पेपर का दावा है कि यह तरीका तीन मुख्य कारणों से गेम-चेंजर है:

1. यह तेज़ और हल्का (Lightweight) है
विविधता की गणना करने के लिए भारी गणित की आवश्यकता होती है जिसमें बहुत समय लगता है (जैसे स्टेडियम में हर एक व्यक्ति की दूसरे व्यक्ति के साथ तुलना करना)।

पेपर की ट्रिक: उन्होंने एक शॉर्टकट खोजा। पूरे समूह को देखने के बजाय, वे केवल समूह के "सबसे महत्वपूर्ण" व्यक्ति को देखते हैं (गणितीय रूप से "क्लिक के मुख्य नेता" के समान)।
परिणाम: यह अविश्वसनीय रूप से तेज़ है। पेपर दिखाता है कि यह सबसे सरल तरीकों के लगभग समान गति से चलता है, जो इसे वास्तविक समय के उपयोग (जैसे कि सेल्फ-ड्राइविंग कारों में) के लिए व्यावहारिक बनाता है।

2. इसे पूरी मेमोरी की आवश्यकता नहीं है
आमतौर पर, यह जांचने के लिए कि क्या कुछ नया है, आपको यह याद रखने की आवश्यकता होती है कि आपने अब तक प्रत्येक उदाहरण क्या देखा है। इसमें बहुत अधिक कंप्यूटर मेमोरी लगती है।

पेपर का दावा: VNS आश्चर्यजनक रूप से अच्छा काम करता है भले ही आप इसे केवल 1% ट्रेनिंग डेटा दिखाएं। यह एक सुरक्षा गार्ड की तरह है जो अजनबियों को पहचान सकता है भले ही उसे केवल मिले हुए लोगों के 1% लोग ही याद हों, क्योंकि वह केवल चेहरों को नहीं, बल्कि भीड़ की संरचना को समझता है।

3. यह हर जगह काम करता है
लेखकों ने कई अलग-अलग प्रकार के AI "मस्तिष्क" (आर्किटेक्चर) और कई अलग-अलग प्रकार के "संग्रहालयों" (CIFAR-10, CIFAR-100, और ImageNet जैसे डेटासेट) पर इसका परीक्षण किया।

परिणाम: VNS ने लगातार मौजूदा सर्वोत्तम तरीकों को पछाड़ दिया या उनके बराबर प्रदर्शन किया। यह विशेष रूप से "Near-OOD" वस्तुओं को पहचानने में अच्छा था—ऐसी चीजें जो दिखने में लगभग वैसी ही हैं जैसी AI जानता है, लेकिन पूरी तरह सही नहीं हैं (जैसे कुत्ते की तस्वीर जो भेड़िये जैसी दिखती है)।

सारांश

वेंडी नॉवेलटी स्कोर (Vendi Novelty Score) एक नया तरीका है जिससे AI को यह बताया जा सके कि वह अपनी क्षमता से बाहर जा रहा है। केवल "क्या आप आश्वस्त हैं?" पूछने के बजाय, यह पूछता है, "क्या यह नई चीज़ समूह के पैटर्न में फिट बैठती है?"

यह मापने के माध्यम से कि एक नया सैंपल AI की याददाश्त की विविधता को कितना बाधित करता है, यह अजनबियों (जैसे बिल्ली के संग्रहालय में टोस्टर) को उच्च सटीकता के साथ, बहुत कम मेमोरी और बहुत तेज़ी से पहचान सकता है। यह AI सिस्टम को सुरक्षित रखने में मदद करता है कि वे कब कहें, "मैं नहीं जानता कि यह क्या है, इसे किसी इंसान को संभालने दें।"

तकनीकी सारांश: आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन के लिए वेंडी नॉवेलटी स्कोर (Vendi Novelty Scores)

समस्या विवरण (Problem Statement)

आधुनिक मशीन लर्निंग सिस्टम अक्सर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) इनपुट का सामना करने पर अप्रत्याशित व्यवहार प्रदर्शित करते हैं, जो अक्सर उच्च-आत्मविश्वास (high-confidence) के साथ गलत भविष्यवाणियां करते हैं। यह स्वायत्त ड्राइविंग (autonomous driving), मेडिकल इमेजिंग और वैज्ञानिक खोज जैसे उच्च-जोखिम वाले क्षेत्रों में महत्वपूर्ण जोखिम पैदा करता है। जबकि OOD डिटेक्शन सुरक्षा के लिए महत्वपूर्ण है, मौजूदा पोस्ट-हॉक (post-hoc) विधियों को सीमाओं का सामना करना पड़ता है:

लॉगिट-आधारित विधियाँ (जैसे, मैक्सिमम सॉफ्टमैक्स प्रोबेबिलिटी, एनर्जी स्कोर) इन-डिस्ट्रीब्यूशन फीचर सांख्यिकी की अनदेखी करती हैं, जिससे विश्वसनीयता कम हो जाती है।
फीचर-स्पेस डेंसिटी विधियाँ (जैसे, महालनोबिस डिस्टेंस) अक्सर प्रतिनिधित्व की ज्यामिति (जैसे, गॉसियनिटी, न्यूरल कोलैप्स) के बारे में प्रतिबंधात्मक धारणाओं पर निर्भर करती हैं, जो विविध आर्किटेक्चरों में लागू नहीं हो सकती हैं।
समानता-आधारित विधियाँ (जैसे, k-निकटतम पड़ोसी/k-Nearest Neighbors) इन्फरेंस के समय महत्वपूर्ण कम्प्यूटेशनल ओवरहेड उत्पन्न करती हैं।
ग्रेडिएंट-आधारित विधियाँ अक्सर कई फॉरवर्ड और बैकवर्ड पास की आवश्यकता होती हैं, जो लेटेंसी-सेंसिटिव अनुप्रयोगों के लिए अव्यावहारिक है।

एक ऐसे कम्प्यूटेशनल रूप से कुशल, पोस्ट-हॉक OOD डिटेक्टर की आवश्यकता है जो प्रतिबंधात्मक वितरण धारणाओं पर निर्भर न हो और सीमित प्रशिक्षण डेटा के साथ भी प्रभावी ढंग से कार्य कर सके।

कार्यप्रणाली: वेंडी नॉवेलटी स्कोर (VNS)

लेखक वेंडी नॉवेलटी स्कोर (VNS) प्रस्तावित करते हैं, जो डेंसिटी एस्टीमेशन के बजाय विविधता (diversity) की अवधारणा पर आधारित एक पोस्ट-हॉक OOD डिटेक्टर है। VNS, समानता-आधारित विविधता मेट्रिक्स के एक परिवार, वेंडी स्कोर (VS) का लाभ उठाता है, ताकि यह मापा जा सके कि एक टेस्ट सैंपल इन-डिस्ट्रीब्यूशन (ID) फीचर सेट की विविधता को कितना बढ़ाता है।

मुख्य एल्गोरिदम

क्लास-कंडीशनल नॉवेलटी (Class-Conditional Novelty):
- $C$ क्लासेस के लिए एक प्रशिक्षित क्लासिफायर $f_\theta$ के लिए, विधि पेनल्टीमेट लेयर से एम्बेडिंग्स $h(x)$ निकालती है।
- प्रत्येक क्लास $c$ के लिए, उस क्लास के ट्रेनिंग एम्बेडिंग्स से एक क्लास-कंडीशनल डेंसिटी मैट्रिक्स $\rho_c$ की गणना की जाती है।
- क्लास $c$ के सापेक्ष एक टेस्ट सैंपल $x$ की नॉवेलटी को क्लास सेट में $x$ को जोड़ने पर $VS_2$ के लॉग-रेशियो वृद्धि के रूप में परिभाषित किया गया है:
  $\Delta_c(x) = \log VS_2(\rho'_c) - \log VS_2(\rho_c)$
- दक्षता सुनिश्चित करने के लिए, लेखक एक रैंक-1 एप्रोक्सिमेशन (rank-1 approximation) का उपयोग करते हैं। $\rho_c$ के पूर्ण आइगेनस्पेक्ट्रम को बनाए रखने के बजाय, वे केवल सबसे बड़े आइगेनवैल्यू $\lambda_c$ और उसके संगत आइगेनवेक्टर $u_c$ का उपयोग करके $VS_2$ में परिवर्तन का अनुमान लगाते हैं। यह क्लास-कंडीशनल स्कोर की गणना की जटिलता को प्रति क्लास $O(D)$ तक कम कर देता है।
प्रोबेबिलिटी-वेटेड एग्रीगेशन (Probability-Weighted Aggregation):
- केवल एक अनुमानित क्लास पर निर्भर रहने के बजाय, VNS मॉडल की प्रेडिक्टेड क्लास प्रोबेबिलिटीज $p(x)$ का उपयोग करके क्लास-कंडीशनल नॉवेलटी स्कोर को एग्रीगेट करता है।
- लोकल OOD स्कोर की गणना इस प्रकार की जाती है:
  $S_{\text{LOCAL-OOD}}(x) = \sum_{c \in T_K(x)} N_c p_c(x)^\gamma \Delta_c(x)$
  जहाँ $T_K(x)$ टॉप- $K$ प्रेडिक्टेड क्लासेस को दर्शाता है, $N_c$ क्लास साइज है (स्केलिंग के लिए उपयोग किया जाता है), और $\gamma$ एग्रीगेशन की शार्पनेस को नियंत्रित करता है।
ग्लोबल डायवर्सिटी करेक्शन (Global Diversity Correction):
- ग्लोबल डेंसिटी वेरिएशंस को ध्यान में रखने के लिए, पूरे डेटासेट में टेस्ट सैंपल को जोड़ने पर $VS_\infty$ (जो ग्लोबल डेंसिटी मैट्रिक्स के अधिकतम आइगेनवैल्यू पर निर्भर करता है) में होने वाले परिवर्तन के आधार पर एक ग्लोबल नॉवेलटी स्कोर की गणना की जाती है।
- अंतिम VNS स्कोर लोकल और ग्लोबल सिग्नल को जोड़ता है:
  $\text{VNS}(x) = S_{\text{LOCAL-OOD}}(x) - g \cdot S_{\text{GLOBAL-OOD}}(x)$
  जहाँ $g \in \{0, 1\}$ एक बाइनरी कोएफिशिएंट है जो यह निर्धारित करता है कि क्या ग्लोबल करेक्शन लागू किया जाना है।

जटिलता (Complexity)

समय जटिलता (Time Complexity): $O(CD) $, जहाँ$ C $क्लासेस की संख्या है और$ D$ एम्बेडिंग डायमेंशन है। यह दोनों मापदंडों में लीनियर (linear) है, जो इसे महालनोबिस-आधारित विधियों ( $O(CD^2)$ ) और k-NN दृष्टिकोणों की तुलना में काफी तेज़ बनाता है।
स्पेस जटिलता (Space Complexity): $O(CD)$, क्योंकि इसके लिए प्रत्येक क्लास के लिए केवल टॉप आइगेनवैल्यू और आइगेनवेक्टर को स्टोर करने की आवश्यकता होती है।

मुख्य योगदान (Key Contributions)

नया प्रतिमान (New Paradigm): पारंपरिक डेंसिटी मॉडलिंग या लॉगिट विश्लेषण से हटकर, विविधता-आधारित दृष्टिकोण पेश करता है।
वेंडी नॉवेलटी स्कोर (VNS): एक विशिष्ट एल्गोरिदम प्रस्तावित करता है जो प्रतिनिधित्व विविधता पर एक टेस्ट सैंपल के प्रभाव को मापकर नॉवेलटी को क्वांटिफाई करता है, जिसमें वेंडी स्कोर का कुशल रैंक-1 एप्रोक्सिमेशन उपयोग किया जाता है।
हाइब्रिड सिग्नल इंटीग्रेशन: मजबूती में सुधार के लिए प्रेडिक्टिव प्रोबेबिलिटीज द्वारा भारित (weighted) लोकल (क्लास-कंडीशनल) और ग्लोबल नॉवेलटी सिग्नल्स को जोड़ता है।
डेटा दक्षता: VNS यह प्रदर्शित करता है कि यह केवल 1% ट्रेनिंग डेटा का उपयोग करके भी स्टेट-ऑफ-द-आर्ट प्रदर्शन बनाए रखता है, जिससे मेमोरी-प्रतिबंधित सेटिंग्स में तैनाती संभव होती है।
सैद्धांतिक और अनुभवजन्य सत्यापन: रैंक-1 एप्रोक्सिमेशन के लिए सैद्धांतिक औचित्य और विभिन्न आर्किटेक्चर एवं डेटासेट्स पर व्यापक अनुभवजन्य सत्यापन प्रदान करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ResNet, ViT, और Swin-T सहित आर्किटेक्चर का उपयोग करते हुए मानक OOD बेंचमार्क: CIFAR-10, CIFAR-100, और ImageNet-1K पर VNS का मूल्यांकन किया।

प्रदर्शन: VNS ने CIFAR-10 पर स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त किया और CIFAR-100 पर प्रतिस्पर्धी परिणाम दिए। ImageNet-1K बेंचमार्क पर, VNS ने औसतन दूसरे सर्वश्रेष्ठ प्रदर्शन करने वाले एल्गोरिदम की तुलना में 95% ट्रू पॉजिटिव रेट पर फॉल्स पॉजिटिव रेट (FPR@95) को 13% कम कर दिया।
मजबूती (Robustness): कुछ एक्टिवेशन-शेपिंग विधियों के विपरीत, जो ResNet पर अच्छा प्रदर्शन करती हैं लेकिन ट्रांसफॉर्मर्स पर खराब हो जाती हैं, VNS ने विभिन्न आर्किटेक्चर (ResNet, ViT, Swit-T) में सुसंगत प्रदर्शन दिखाया।
दक्षता: VNS दूसरे सबसे सटीक मेथड (RMDS++) की तुलना में कई गुना तेज़ है और लॉगिट-ओनली मेथड्स (जैसे, GEN, NCI) की लेटेंसी के बराबर है।
डेटा की कमी (Data Scarcity): जब इसे ImageNet के केवल 1% ट्रेनिंग डेटा पर प्रशिक्षित किया गया, तो VNS ने 88.96% का औसत AUROC प्राप्त किया, जो पूर्ण डेटा एक्सेस के साथ इसके प्रदर्शन (88.59% AUROC) के लगभग समान है।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि VNS एक सिद्धांतिक, कुशल और मजबूत समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

प्रतिबंधात्मक धारणाओं से बचना: डेंसिटी धारणाओं के बजाय विविधता मेट्रिक्स पर निर्भर करके, VNS डीप लर्निंग रिप्रेजेंटेशन में सामान्य ज्यामितीय धारणाओं के उल्लंघन के प्रति कम संवेदनशील है।
व्यावहारिक तैनाती: इसकी लीनियर-टाइम जटिलता और न्यूनतम ट्रेनिंग डेटा के साथ कार्य करने की क्षमता VNS को वास्तविक दुनिया के परिदृश्यों के लिए उपयुक्त बनाती है जहाँ डेटा एक्सेस सीमित है या लेटेंसी महत्वपूर्ण है।
सुरक्षा: यह विधि ML सिस्टम को उनके सक्षम दायरे से बाहर के इनपुट की पहचान करने का एक तंत्र प्रदान करती है, जिससे सुरक्षित प्रतिक्रियाएं (जैसे कि परहेज या मानव हस्तक्षेप) ट्रिगर की जा सकती हैं।

लेखक सीमाओं को भी नोट करते हैं, जिसमें हाइपरपैरामीटर ट्यूनिंग की आवश्यकता (जिसे वे एक स्वचालित वैलिडेशन सेट के माध्यम से संबोधित करते हैं) और कोसाइन कर्नेल (cosine kernel) पर निर्भरता शामिल है। वे इस बात पर जोर देते हैं कि हालांकि VNS सुरक्षा में सुधार करता है, यह एक पूर्ण समाधान नहीं है और इसे निगरानी और मानव निरीक्षण सहित एक व्यापक सुरक्षा प्रोटोकॉल का हिस्सा होना चाहिए।