Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

तकनीकी सारांश: परीक्षण का परीक्षण: क्लास-स्प्लिट विसंगति पहचान में स्कोर-दिशा अस्थिरता

1. समस्या विवरण (Problem Statement)

विसंगति पहचान (Anomaly Detection - AD) में 'विथ-डेटासेट क्लास-स्प्लिट' (within-dataset class-split) एक मानक प्रोटोकॉल है, जहाँ विशिष्ट अर्थपूर्ण वर्गों (semantic classes) को "सामान्य" (normal) और अन्य को "विसंगतिपूर्ण" (anomalous) के रूप में नामित किया जाता है ताकि आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) पहचान का अनुकरण किया जा सके। हालांकि यह बाहरी डेटा स्रोतों से बचने के लिए आकर्षक है, यह शोध पत्र तर्क देता है कि यह प्रोटोकॉल एक सटीक परिचालन अर्थ में ill-posed (अस्पष्ट/अव्यवस्थित) हो सकता है जब चुना गया "विसंगति" वर्ग प्रतिनिधित्व स्थान (representation space) में "सामान्य" मिश्रण के साथ महत्वपूर्ण ओवरलैप करता है।

पहचाना गया मुख्य विफलता मोड क्लास-डिपेंडेंट स्कोर-डायरेक्शन इनस्टेबिलिटी (वर्ग-निर्भर स्कोर-दिशा अस्थिरता) है। जब रखा गया (held-out) विसंगति वर्ग सामान्य मिश्रण के उच्च-घनत्व वाले क्षेत्रों के भीतर या उसके पास होता है, तो विसंगति स्कोर संयोग की ओर गिर सकते (AUROC $\approx$ 0.5) या, अधिक गंभीर रूप से, उलट (invert) सकते हैं (AUROC < 0.5)। ऐसे शासन (regimes) में, "विसंगतिपूर्णता" की दिशा (कि क्या उच्च या निम्न स्कोर एक विसंगति को दर्शाता है) विशिष्ट, अज्ञात विसंगति वर्ग पर निर्भर करती है। फलस्वरूप, बेंचमार्क निष्कर्ष नाजुक हो जाते हैं, जो संभावित रूप से उन विधियों को पुरस्कृत करते हैं जो मजबूत, बिना शर्त (unconditional) OOD क्षमताओं के बजाय डेटासेट-विशिष्ट बारीकियों का लाभ उठाते हैं।

2. कार्यप्रणाली (Methodology)

लेखक बिना किसी अतिरिक्त प्रशिक्षण की आवश्यकता के इस अस्थिरता को निदान करने और मापने के लिए एक ढांचा प्रस्तावित करते हैं।

निदान: नेबरहुड क्लास लीकेज (Neighborhood Class Leakage)
यह शोध पत्र एक सरल, प्रशिक्षण-मुक्त मीट्रिक जिसे नेबरहुड क्लास लीकेज ($L_k$) कहा जाता है, पेश करता है, जो एक निश्चित प्रतिनिधित्व स्थान $r(x)$ में क्लास-कंडीशनल मैनिफोल्ड्स के बीच ओवरलैप को मापने के लिए है।

• परिभाषा: एक नमूने $x_i$ के लिए, लीकेज $\ell_k(i)$ उसके $k$-निकटतम पड़ोसियों (प्रतिनिधित्व स्थान में) का वह अंश है जो एक अलग अर्थपूर्ण वर्ग से संबंधित है।
• एकत्रीकरण (Aggregation): डेटासेट-स्तरीय सूचकांक $L_k$ सभी नमूनों में औसत लीकेज है।
• तर्क: उच्च लीकेज इंगित करता है कि स्थानीय ज्यामिति (local geometry), अर्थपूर्ण वर्ग संरचना के साथ संरेखित नहीं है। यदि कोई विसंगति वर्ग उन क्षेत्रों में स्थित है जहाँ सामान्य नमूने घनी आबादी वाले हैं, तो मानक AD स्कोर (जो सामान्यता से दूरी या स्थानीय घनत्व पर आधारित होते हैं) उन्हें लगातार अलग करने में विफल रहेंगे।

अस्थिरता मीट्रिक्स (Instability Metrics)
बेंचमार्क की विश्वसनीयता को लक्षणित करने के लिए, लेखक "K-1 बनाम 1" प्रोटोकॉल (प्रत्येक वर्ग को होल्ड-आउट विसंगति के रूप में बदलते हुए) के आधार पर कई सांख्यिकी परिभाषित करते हैं:

• AUROC विसर्जन (Dispersion): विभिन्न होल्ड-आउट वर्गों में AUROC स्कोर का विचरण (variance)।
• नियर-रैंडम रेट ($\rho_{rnd}$): AUROC स्कोर के 0.5 के करीब गिरने की आवृत्ति।
• इनवर्जन रेट ($\rho_{inv}$): 0.5 से नीचे गिरने वाले AUROC स्कोर की आवृत्ति।
• डायरेक्शन इनस्टेबिलिटी रेट ($\rho_{dir}$): यह मापने का तरीका कि कितनी बार पसंदीदा स्कोर दिशा (संयोग से सकारात्मक या नकारात्मक विचलन) विसंगति वर्ग के आधार पर बदल जाती है।

प्रायोगिक सेटअप (Experimental Setup)
यह अध्ययन बढ़ती जटिलता वाले तीन डेटासेट्स का मूल्यांकन करता है:

1. Fashion-MNIST: एक नेगेटिव कंट्रोल के रूप में उपयोग किया गया (कम ओवरलैप)।
2. CIFAR-10: मध्यम जटिलता।
3. Imagenette: उच्च जटिलता।

इनका परीक्षण दो प्रतिनिधित्व स्थानों में किया गया है:

• पिक्सेल स्पेस (Pixel Space): वेक्टरकृत कच्चे इनपुट।
• VAE लेटेंट स्पेस (VAE Latent Space): केवल सामान्य पूल पर प्रशिक्षित वेरिएशनल ऑटोएनकोडर (VAE) से प्राप्त विशेषताएं।

तीन मानक अनकंडीशनल AD स्कोरर्स लागू किए गए हैं: k-निकटतम पड़ोसी (kNN), आइसोलेशन फॉरेस्ट (Isolation Forest), और लोकल आउटलियर फैक्टर (LOF)।

3. मुख्य परिणाम (Key Results)

अनुभवजन्य परिणाम उच्च नेबरहुड लीकेज और बेंचमार्क अस्थिरता के बीच एक मजबूत सहसंबंध प्रदर्शित करते हैं:

• Fashion-MNIST: कम लीकेज ($L_k \approx 0.24$) और स्थिर व्यवहार प्रदर्शित करता है, जिसमें कम इनवर्जन और डायरेक्शन-इनस्टेबिलिटी दर है।
• CIFAR-10 और Imagenette: दोनों पिक्सेल और लेटेंट स्पेस में उच्च लीकेज ($L_k > 0.76$) प्रदर्शित करते हैं। ये डेटासेट पर्याप्त इनवर्जन दर (50% तक) और डायरेक्शन-इनस्टेबिलिटी दर (63% तक) दिखाते हैं।
• निरंतरता (Consistency): अस्थिरता विभिन्न स्कोरिंग परिवारों (kNN, Isolation Forest, LOF) और प्रतिनिधित्व स्थानों में बनी रहती है, जो यह सुझाव देती है कि विफलता किसी विशिष्ट डिटेक्टर की खामी के बजाय डेटा की ज्यामितीय ओवरलैप के कारण अंतर्निहित है।
• प्रति-वर्ग विचरण (Per-Class Variance): CIFAR-10 पिक्सेल स्पेस में, विशिष्ट विसंगति वर्ग ऐसे AUROC स्कोर देते हैं जो संयोग से काफी नीचे हैं, जबकि अन्य काफी ऊपर के स्कोर देते हैं, बावजूद इसके कि एक ही स्कोरिंग कन्वेंशन का उपयोग किया गया है।

4. योगदान (Contributions)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

1. विफलता मोड का औपचारिककरण: यह क्लास-स्प्लिट मूल्यांकन के एक व्यावहारिक विफलता मोड के रूप में क्लास-डिपेंडेंट स्कोर-डायरेशन इनस्टेबिलिटी को पहचानता और औपचारिक रूप देता है, जो सामान्य-विसंगति ओवरलैप द्वारा संचालित है।
2. प्रशिक्षण-मुक्त निदान: यह नेबरहुड लीकेज इंडेक्स ($L_k$) प्रस्तावित करता है, जो एक पूर्व-मूल्यांकन चेक के रूप में कार्य करता है यह अनुमान लगाने के लिए कि कब एक क्लास-स्प्लिट बेंचमार्क अविश्वसनीय या उलटे रैंकिंग परिणाम दे सकता है।
3. अनुभवजन्य सत्यापन: यह डेटासेट्स, रिप्रेजेंटेशन और स्कोरर्स के एक नियंत्रित मैट्रिक्स में इस घटना को मान्य करता है, यह प्रदर्शित करते हुए कि उच्च लीकेज किसी भी विशिष्ट AD विधि के उपयोग के बावजूद अस्थिरता की भविष्यवाणी करता है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र तर्क देता है कि क्लास-स्प्लिट बेंचमार्क को अनकंडीशनल विसंगति पहचान क्षमता के अनकंडीशनल प्रमाण के रूप में नहीं देखा जाना चाहिए। इसके बजाय, उन्हें ज्यामिति-निर्भर स्ट्रेस टेस्ट के रूप में देखा जाना चाहिए।

• "री-इनवर्जन" का खंडन: लेखक इस विचार का खंडन करते हैं कि एक "बेहतर" AD विधि केवल कम AUROC को ठीक करने के लिए रैंकिंग को "री-इनवर्ट" कर सकती है। यदि विसंगतिपूर्णता की दिशा अज्ञात विसंगति प्रकार पर निर्भर करती है, तो एक विधि जो एक विशिष्ट स्प्लिट पर उच्च AUROC प्राप्त करती है, वह क्लास-एग्नोस्टिक (वर्ग-निरपेक्ष) असामान्यता के बजाय क्लास लेबल और ज्यामिति के बीच विशिष्ट सहसंबंधों का लाभ उठा रही है।
• बेंचमार्क की व्याख्या: लीकेज इंडेक्स एक प्री-कंडीशन चेक के रूप में कार्य करता है। कम लीकेज इस व्याख्या का समर्थन करता है कि AUROC सामान्य मिश्रण से अलगाव को मापता है। उच्च लीकेज, उच्च इनवर्जन या डायरेक्शन-इनस्टेबिलिटी दरों के साथ मिलकर, यह संकेत देता कि बेंचमार्क एक सुसंगत अर्थपूर्ण विसंगति के बजाय ओवरलैपिंग ज्यामिति की जांच कर रहा है।
• सिफारिश: लेखक सुझाव देते हैं कि भविष्य के क्लास-स्प्लिट बेंचमार्क को अपने परिणामों का उपयोग अनकंडीशनल-OOD पहचान क्षमताओं का दावा करने से पहले लीकेज और डायरेक्शन-इनस्टेबिलिटी डायग्नोस्टिक्स रिपोर्ट करना चाहिए।