An Insight on Evaluation Metrics Under the Imbalanced Case of Anomaly Detection

शीर्षक: विसंगति पहचान (Anomaly Detection) के असंतुलित मामलों में मूल्यांकन मेट्रिक्स पर एक अंतर्दृष्टि

समस्या विवरण
विसंगति पहचान (Anomaly Detection) स्वाभाविक रूप से गंभीर वर्ग असंतुलन (class imbalance) द्वारा अभिलक्षित है, जहाँ सामान्य डेटा की तुलना में विसंगतियाँ (anomalies) दुर्लभ होती हैं। यह असंतुलन मानक मूल्यांकन मेट्रिक्स की व्याख्या को जटिल बना देता है। जबकि AUROC, AUPR, F1-score और Matthews Correlation Coefficient (MCC) जैसे मेट्रिक्स व्यापक रूप से उपयोग किए जाते हैं, उनके संख्यात्मक मान विसंगति अनुपात (anomaly ratio) के आधार पर अलग-अलग अर्थ व्यक्त करते हैं। एक एकल स्केलर स्कोर अक्सर मॉडल के व्यवहार के संबंध में जानकारी को छोड़ देता है, और समान स्कोर विभिन्न स्तरों के असंतुलन के तहत भिन्न-भिन्न क्लासिफायर व्यवहारों के अनुरूप हो सकते हैं। इसके अलावा, अनसुपरवाइज्ड (unsupervised) सेटिंग्स में, जहाँ प्रशिक्षण केवल सामान्य डेटा पर होता है, मूल्यांकन अत्यधिक विषम परीक्षण वितरणों (skewed test distributions) के तहत किया जाता है, जिससे प्रदर्शन का आकलन संवेदनशील हो जाता है। हालांकि मानक उपायों के भारित वेरिएंट (weighted variants) मौजूद हैं, लेकिन उन्हें विसंगति पहचान में परिचालन वर्ग वितरण (operational class distribution) से मूल्यांकन को अलग करने से बचने के लिए अक्सर टाला जाता है। फलस्वरूप, विभिन्न असंतुलन व्यवस्थाओं (imbalance regimes) में इन मानक मेट्रिक्स की व्याख्या करने के तरीके पर आम सहमति का अभाव है।

कार्यप्रणाली (Methodology)
लेखक चार सामान्य विसंगति पहचान मेट्रिक्स (AUROC, AUPR, F1, और MCC) का व्यापक श्रेणी के वर्ग असंतुलन अनुपातों में एक व्यवस्थित विश्लेषण प्रस्तावित करते हैं। मुख्य पद्धतिगत योगदान मेट्रिक लैंडस्केप्स (metric landscapes) की शुरूआत है, जो एक विज़ुअलाइज़ेशन फ्रेमवर्क है जो ट्रू पॉजिटिव रेट (TPR/Recall) और ट्रू नेगेटिव रेट (TNR/Specificity) के स्पेस पर मेट्रिक स्कोर को मैप करता है।

अध्ययन निम्नलिखित का उपयोग करता है:

1. डेटासेट: टाइम-सीरीज विसंगति पहचान (TSAD), वन-क्लास वर्गीकरण (OCC), और इमेज विसंगति पहचान (IAD) का प्रतिनिधित्व करने वाला विविध बेंचमार्क सेट। इसमें UCR, WaDi, PUMP, SWaT, PSM, CIFAR-10, ViSA, और MVTec शामिल हैं, जो 0.19% से 90% तक के विसंगति अनुपात को कवर करते हैं।
2. नल विश्लेषण (Null Analysis): माध्य (mean), मानक विचलन (standard deviation), और माध्य धनात्मक विचलन (mean positive deviation) निर्धारित करने के लिए 99:1 से 1:99 तक के असंतुलन अनुपातों में रैंडम प्रेडिक्शन के 100 रन पर मेट्रिक्स की गणना करके बेसलाइन स्थापित करना।
3. लैंडस्केप विकास (Landscape Evolution): संतुलित (50:50) और असंतुलित (जैसे 5:95) सेटिंग्स में मेट्रिक लैंडस्केप्स के बीच के अंतर को देखने के लिए विज़ुअलाइज़ करना कि कैसे मेट्रिक प्राथमिकताएँ बदलती हैं।
4. कारक विश्लेषण (Factor Analysis): तीन असंतुलन समूहों (Low, Medium, High) में टकर के कॉन्ग्रुएंस कोएफिशिएंट (Tucker's congruence coefficients) और पियर्सन सहसंबंध (Pearson correlations) का उपयोग करके मेट्रिक्स के बीच अंतर्निहित संबंधों की जांच करना।

प्रमुख परिणाम

• मेट्रिक स्थिरता और बेसलाइन:
  • AUROC और MCC सभी असंतुलन अनुपातों के तहत रैंडम प्रेडिक्शन के दौरान 0.5 के आसपास केंद्रित रहते हैं, हालांकि AUROC उच्च परिवर्तनशीलता (औसत धनात्मक विचलन ~0.25 तक) प्रदर्शित करता है।
  • F1 और MCC रैंडम व्यवहार के तहत कम विचरण (variance) दिखाते हैं, जिससे वे स्प्यूरियस (spurious) उच्च स्कोर के प्रति कम संवेदनशील होते हैं।
  • AUPR का बेसलाइन विसंगति के अनुपात के साथ रैखिक रूप से बदलता है, जिससे रैंडम प्रदर्शन से विचलन को आसानी से मापा जा सकता है, हालांकि यह विशिष्ट व्यवस्थाओं में गैर-नगण्य ऊपर की ओर विचलन भी दिखाता है।
• लैंडस्केप व्यवहार:
  • AUROC वर्ग असंतुलन के प्रति अपरिवर्तनीय (invariant) है; इसका लैंडस्केप संरचना असंतुलन के अनुपात की परवाह किए बिना अपरिवर्तित रहती है।
  • AUPR और F1 अत्यधिक संवेदनशील हैं। जैसे-जैसे नकारात्मक वर्ग हावी होता है, AUPR लैंडस्केप महत्वपूर्ण रूप से घट जाता है (कई क्षेत्रों में 0.2–0.4 तक), जो नकारात्मक-वर्ग के प्रदर्शन के कम प्रभाव को दर्शाता है। F1 को समान स्कोर प्राप्त करने के लिए बढ़ते हुए असंतुलन अनुपात के साथ उच्च TNR की आवश्यकता होती है।
  • MCC एक जटिल पैटर्न प्रदर्शित करता है जहाँ चरम TNR मान स्थिर रहते हैं, लेकिन वितरण मध्य-श्रेणी के मूल्यों के आसपास संकुचित हो जाता है, जिससे औसत स्कोर की व्याख्या कम प्रत्यक्ष हो जाती है।
• न्यूनतम पहचान आवश्यकताएं:
  • AUROC के लिए, 0.5 का स्कोर प्राप्त करने के लिए किसी भी सकारात्मक नमूने को पहचानने की आवश्यकता नहीं है।
  • AUPR के लिए, संतुलित डेटासेट में उच्च स्कोर प्राप्त करने के लिए नेगेटिव्स के 100% सही वर्गीकरण की आवश्यकता होती है, भले ही पॉजिटिव डिटेक्शन न्यूनतम हो।
  • F1 के लिए, स्कोर बढ़ाने के लिए हमेशा अधिक सही वर्गीकृत पॉजिटिव्स की आवश्यकता होती है, लेकिन जैसे-जैसे विसंगति अनुपात कम होता है, सही वर्गीकृत नेगेटिव्स की आवश्यकता बढ़ती जाती है।
  • MCC के लिए, अत्यधिक असंतुलित डेटासेट (जैसे UCR) पर बिना किसी पॉजिटिव को पहचाने और केवल ~10% नेगेटिव्स को सही ढंग से वर्गीकृत करके ~0.4 का स्कोर प्राप्त करना संभव है, हालांकि यह रैंडम बेसलाइन से नीचे रहता है।
• मेट्रिक संबंध:
  • मीडियम (Medium) असंतुलन व्यवस्थाओं में, सभी मेट्रिक्स समान लोडिंग प्रोफाइल और उच्च सहसंबंध प्रदर्शित करते हैं, जो बताते हैं कि वे संबंधित संरचनाओं को कैप्चर करते हैं।
  • लो (Low) (अत्यधिक असंतुलित) व्यवस्थाओं में, मेट्रिक्स अधिक पूरक (complementary) हो जाते हैं। AUROC और MCC निकट रूप से संबंधित रहते हैं, जबकि F1 और AUROC सबसे कमजोर सहमति दिखाते हैं।
  • हाई (High) असंतुलन व्यवस्थाओं में, मेट्रिक्स और अधिक डिकोरिलेट (decorrelate) हो जाते हैं। विशेष रूप से, AUROC और MCC पूर्ण समानता (0.997 का टकर कॉन्ग्रुएंस) बनाए रखते हैं, जबकि AUPR और AUROC कम कॉन्ग्रुएंस दिखाते हैं।

महत्व और योगदान
यह शोध पत्र तर्क देता है कि मौजूदा मेट्रिक्स उपयोगी बने रहते हैं बशर्ते उनकी व्याख्या मेट्रिक मान, भविष्यवाणी की गुणवत्ता और वर्ग असंतुलन के बीच निर्भरता को स्पष्ट रूप से ध्यान में रखे। प्राथमिक योगदान मेट्रिक लैंडस्केप्स का परिचय देना है, जो एक सहज फ्रेमवर्क के रूप में कार्य करता है यह विज़ुअलाइज़ करने के लिए कि विभिन्न मेट्रिक्स सेंसिटिविटी और स्पेसिफिसिटी के बीच के ट्रेड-ऑफ को कैसे महत्व देते हैं और बढ़ते असंतुलन के तहत उनकी प्राथमिकताएँ कैसे बदलती हैं।

यह कार्य विभिन्न डेटासेट के साथ विसंगति पहचान परिणामों की व्याख्या करने और तुलना करने के लिए व्यावहारिक मार्गदर्शन प्रदान करता है। यह किसी भी परिदृश्य के लिए एक एकल "सर्वश्रेष्ठ" मेट्रिक का प्रस्ताव नहीं करता है, बल्कि वास्तविक स्थितियों के तहत मेट्रिक व्यवहार को समझने के लिए एक संदर्भ बिंदु प्रदान करता है। लेखक नोट करते हैं कि समान स्कोर अलग-अलग क्लासिफायर व्यवहारों के अनुरूप हो सकते हैं, और उनका विश्लेषण इन अंतरों को स्पष्ट करने में मदद करता है। भविष्य के कार्य को औद्योगिक निगरानी, IoT, साइबर सुरक्षा और स्वायत्त ड्राइविंग जैसे अन्य डोमेन तक इस विश्लेषण को विस्तारित करने के रूप में पहचाना गया है।