Interpretable Anomaly and Drift Detection with Gaussian Mixture Models

कल्पना कीजिए कि आप एक बहुत ही व्यस्त, हाई-टेक म्यूजियम के सुरक्षा गार्ड हैं। आपका काम सिर्फ चोरों पर नज़र रखना नहीं है; बल्कि भीड़ के "सामान्य" प्रवाह को समझना भी है। कभी-कभी एक अकेला व्यक्ति अजीब व्यवहार करता है—जैसे कि कोई औपचारिक गैलरी में जोकर की पोशाक पहने हुए हो। अन्य समय में, पूरी भीड़ अपना व्यवहार बदल देती है: अचानक, हर कोई गोल-गोल दौड़ने लगता है, या कमरे का तापमान बदल जाता है, भले ही कोई एक व्यक्ति अलग न दिख रहा हो। डेटा साइंस की दुनिया में, यह एक पॉइंट एनोमली (एक अजीब डेटा पॉइंट) और डिस्ट्रीब्यूशनल ड्रिफ्ट (समय के साथ पूरे पैटर्न का बदलना) को पहचानने के बीच का अंतर है।

इसे करने के लिए, वैज्ञानिक अक्सर गौसियन मिक्सचर मॉडल्स (GMMs) का उपयोग करते हैं। एक GMM को म्यूजियम के "सामान्य" क्षेत्रों को मैप करने के तरीके के रूप में समझें। एक बड़ा घेरा बनाने के बजाय, मॉडल कई ओवरलैपिंग, धुंधले बादलों (जिन्हें "रेजीम्स" कहा जाता है) को बनाता है जहाँ सामान्य व्यवहार आमतौर पर होता है। यदि कोई डेटा पॉइंट किसी बादल के ठीक बीच में आता है, तो वह सुरक्षित है। यदि वह बादलों के बीच के खाली स्थान में आता है, तो वह संदिग्ध है। चुनौती यह है कि वास्तविक दुनिया का डेटा अव्यवस्थित होता है; हमें हमेशा यह नहीं पता होता कि कितने बादल होने चाहिए, और कभी-कभी "सामान्य" भीड़ अपनी आदतें बदल लेती है और हमें इसका पता भी नहीं चलता। यह शोध पत्र इन बादलों का उपयोग करके दोनों—अकेले अजीब लोगों और बदलती भीड़—को पकड़ने का एक चतुर, पारदर्शी तरीका तलाशता है, और यह भी समझाता है कि अलार्म क्यों बजा।

शोध पत्र का बड़ा विचार: एक टॉर्च लेकर खड़ा जासूस

लेखक, बेहनाम असादी के नेतृत्व में, एक पुराने उपकरण—गौसियन मिक्सचर मॉडल—को फिर से देख रहे हैं और उसे एक आधुनिक, सुपर-संगठित रूप दे रहे हैं। उनका लक्ष्य एक ऐसा सिस्टम बनाना है जो केवल "अलार्म!" चिल्लाए नहीं, बल्कि वास्तव में आपको बताए कि क्या गलत है। उन्होंने अपने तरीके का परीक्षण सात अलग-अलग सार्वजनिक डेटासेट्स पर किया, जो सरल 3-आयामी डेटा (जैसे एक रोबोट के पैर की गति को ट्रैक करना) से लेकर जटिल 64-आयामी डेटा (जैसे लिखावट का विश्लेषण करना) तक विस्तृत है।

यहाँ बताया गया है कि उनका जासूस कैसे काम करता है:

1. डेटा को नक्शा तय करने दें
आमतौर पर, आपको अनुमान लगाना पड़ता है कि अपने नक्शे पर कितने "बादल" (या रेजीम) बनाने हैं। लेखक कहते हैं, "डेटा को हमें बताने दें।" वे एक स्मार्ट नियम का उपयोग करते हैं जिसे बायेसियन इंफॉर्मेशन क्राइटेरियन (BIC) कहा जाता है ताकि स्वचालित रूप से बादलों की सही संख्या का पता लगाया जा सके। वे k-means नामक विधि का उपयोग करके एक रफ स्केच से शुरुआत करते हैं और फिर मॉडल को खुद को परिष्कृत करने देते हैं। इसका मतलब है कि आपको अनुमान लगाने की ज़रूरत नहीं है; मॉडल खुद यह बनाने के लिए अपना नक्शा तैयार करता है कि "सामान्य" क्या दिखता है।

2. अकेले अजीब लोगों को पकड़ना (पॉइंट एनोमली)
जब एक नया डेटा आता है, तो मॉडल पूछता है: "यह निकटतम बादल से कितनी दूर है?" वे एक स्कोर की गणना करते है कि उस पॉइंट का मौजूदा सामान्य क्षेत्रों में होने की कितनी संभावना नहीं है। यदि कोई पॉइंट दूर है—मान लीजिए, निकटतम बादल से 3 से 10 मानक विचलन (σ) बाहर है—तो उसे फ्लैग किया जाता है।

• सावधानी: पेपर स्वीकार करता है कि हालांकि यह तरीका अच्छा है, लेकिन यह हमेशा सबसे सटीक नहीं होता है। कुछ डेटासेट्स पर, अन्य विधियों जैसे LOF (लोकल आउटलेयर फैक्टर) या आइसोलेशन फॉरेस्ट ने अधिक विसंगतियाँ पाईं। हालाँकि, वे अन्य विधियाँ "ब्लैक बॉक्स" की तरह हैं—वे एक स्कोर तो देती हैं लेकिन कोई स्पष्टीकरण नहीं देतीं। GMM विधि कुछ मामलों में थोड़ी कम सटीक है लेकिन एक बड़ा बोनस देती है: यह आपको बताती है कि पॉइंट ने किस बादल को मिस किया और कितना मिस किया।

3. बदलती भीड़ को पकड़ना (ड्रिफ्ट डिटेक्शन)
यहीं पर यह शोध पत्र वास्तव में चतुर हो जाता है। कभी-कभी, डेटा में एक अकेला अजीब पॉइंट नहीं होता; इसके बजाय, पूरा समूह बदल जाता है। शायद "सामान्य" भीड़ अचानक एक अलग समूह की तरह व्यवहार करने लगती है।
लेखक एक मीट्रिक पेश करते हैं जिसे "अनएक्सप्लेंड मास" (unexplained mass) कहा जाता है। कल्पना कीजिए कि आपके पास नए डेटा की एक विंडो (समय का एक हिस्सा) है। आप उन सभी पॉइंट्स को अपने मौजूदा बादलों में फिट करने की कोशिश करते हैं।

• यदि उस विंडो के 10% पॉइंट्स किसी भी ज्ञात बादल में फिट नहीं होते (वे हर सिंगल रेजीम से 3σ से अधिक दूर हैं), तो मॉडल ड्रिफ्ट अलार्म बजा देता है।
• स्पष्टीकरण: अलार्म केवल यह नहीं कहता कि "ड्रिफ्ट डिटेक्ट हुआ।" यह कहता है, "10% का यह विंडो किसी भी ज्ञात रेजीम से मेल नहीं खाता।" यह कहने जैसा है कि, "भीड़ बदल गई है; इस 10% के लोग ऐसे व्यवहार कर रहे हैं जैसे वे पूरी तरह से किसी अलग क्लब के सदस्य हों।"

4. "ईमानदार" सीमाएँ
लेखक इस बात को लेकर बहुत स्पष्ट हैं कि उनका टूल क्या नहीं कर सकता है। उन्होंने दो प्रकार के ड्रिफ्ट का परीक्षण किया:

• टाइप A: नए रेजीम्स। जब डेटा नए, अजीब व्यवहार लाता है (जैसे कि एक नया प्रकार का हमला), तो "अनएक्सप्लेन्ड मास" डिटेक्टर शानदार काम करता है। यह सर्वश्रेष्ठ "मॉडल-फ्री" डिटेक्टरों (जैसे MMD, एक जटिल सांख्यिकीय परीक्षण जो बादलों का उपयोग नहीं करता) के प्रदर्शन से मेल खाता है।
• टाइप B: री-वेटिंग। क्या होगा अगर डेटा नए अजीब लोग नहीं लाता, बल्कि केवल सामान्य भीड़ के मिश्रण को बदल देता है? उदाहरण के लिए, यदि पहले 80% भीड़ "दौड़ने वालों" की थी और 20% "चलने वालों" की थी, लेकिन अब यह 50/50 है, तो हर व्यक्ति अभी भी सामान्य दिखेगा। इस मामले में, "अनएक्सप्लेन्ड मास" डिटेक्टर अंधा हो जाता है। यह विफल हो जाता है क्योंकि हर पॉइंट अभी भी एक ज्ञात बादल के भीतर है। पेपर स्पष्ट रूप से बताता है कि इस विशिष्ट प्रकार के बदलाव के लिए, आपको एक अलग टूल (जैसे MMD) की आवश्यकता होती है, और GMM विधि इसे समझा नहीं सकती।

5. आसान भाषा में परिणाम

• सटीकता: सात अलग-अलग परीक्षणों में, GMM डिटेक्टर प्रतिस्पर्धी रहा। यह हर एक टेस्ट में विजेता नहीं था (LOF अक्सर जीतता था), लेकिन यह कभी फेल नहीं हुआ। यह सबसे अच्छे स्कोर के करीब रहा, विशेष रूप से लो-डायमेंशनल डेटा पर।
• "हाई-डायमेंशन" की समस्या: जब डेटा बहुत जटिल हो जाता है (जैसे 64-डायमेंशनल "ऑप्टडिजिट्स" डेटासेट), तो मॉडल संघर्ष करने लगता है। "बादल" बहुत पतले हो जाते हैं, और गणित अस्थिर हो जाता है। पेपर नोट करता है कि इन उच्च-आयामी मामलों के लिए, फॉल्स अलार्म रेट इच्छित सीमा से ऊपर चला जाता है, जिससे पता चलता है कि आपको इस विधि का उपयोग करने से पहले डेटा को सरल बनाने (PCA जैसी तकनीक का उपयोग करके) की आवश्यकता हो सकती है।
• "अनएक्सप्लेन्ड मास" की सफलता: लो-टू-मिड डायमेंशन टेस्ट में, "अनएक्सप्लेन्ड मास" स्टैटिस्टिक ने सर्वश्रेष्ठ ड्रिफ्ट डिटेक्टरों के साथ सटीक प्रदर्शन किया, जब नए, अजीब व्यवहार सामने आए। इसने सही ढंग से पहचाना कि जब 10% डेटा इंजेक्ट किया गया, तो विंडो का 10% हिस्सा "नया" था।

मुख्य निष्कर्ष

इस शोध पत्र का मुख्य मूल्य यह नहीं है कि इसने हर अन्य विधि को मात देने वाला कोई जादुई हथियार खोजा है। वास्तव में, लेखक स्वीकार करते हैं कि यह शायद ही कभी ऐसा करता है। इसके बजाय, इसका मूल्य पारदर्शिता है।

जटिल AI की दुनिया में, यह विधि एक ऐसे जासूस की तरह है जो न केवल संदिग्ध की ओर इशारा करता है बल्कि आपको एक रिपोर्ट भी सौंपता है: "यह व्यक्ति 'नॉर्मल' ज़ोन से 10σ दूर है, और इस समूह का 10% हिस्सा हमारे किसी भी ज्ञात प्रोफाइल में फिट नहीं बैठता।" यह एक सूक्ष्म समझ के लिए थोड़ी सी कच्ची सटीकता का त्याग करता है। यदि आपको यह जानने की आवश्यकता है कि अलार्म क्यों बजा—चाहे वह एक अकेला रोबोट का पैर खराब हो रहा हो या पूरा सिस्टम अपने ऑपरेटिंग मोड को बदल रहा हो—तो यह "व्याख्यात्मक" (interpretable) दृष्टिकोण आपको संख्याओं के पीछे की कहानी देता है। लेकिन यदि बदलाव केवल सामान्य भीड़ का एक सूक्ष्म पुनर्गठन है, तो लेखक आपको कहीं और देखने की चेतावनी देते हैं, क्योंकि यह विशिष्ट टूल इसे नहीं देख पाएगा।