Why Ranking Anomaly Detection Algorithms Isn't as Reliable as You May Think
यह शोधपत्र यह प्रदर्शित करता है कि डेटासेट चयन और हाइपरपैरामीटर कॉन्फ़िगरेशन में विविधताओं के कारण विसंगति पहचान (anomaly detection) एल्गोरिदम की रैंकिंग अत्यधिक अस्थिर और अविश्वसनीय है, जो यह प्रकट करता है कि वर्तमान बेंचमार्क अभ्यास अक्सर विशिष्ट सेटअप के आधार पर लगभग किसी भी प्रतिस्पर्धी पद्धति को श्रेष्ठ दिखने की अनुमति देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक भीड़भाड़ वाले शहर में एक चोर को पकड़ने की कोशिश कर रहे हैं। वह चोर एक "विसंगति" (anomaly) है—हजारों सामान्य लोगों के बीच छिपा हुआ एक अजीब, संदिग्ध पैटर्न। यह 'एनोमली डिटेक्शन' (Anomaly Detection) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ एल्गोरिदम डिजिटल जासूसों की तरह काम करते हैं। उनका काम क्रेडिट कार्ड लेनदेन में धोखाधड़ी का पता लगाना, नेटवर्क में घुसपैcap रोकने के लिए हैकर को रोकना, या कारखानों को यह चेतावनी देना है कि कोई मशीन टूटने वाली है। क्योंकि ये काम सुरक्षा के लिए इतने महत्वपूर्ण हैं, शोधकर्ताओं ने सैकड़ों अलग-अलग "जासूसी एल्गोरिदम" बनाए हैं, जिनमें से प्रत्येक का परेशानी को सूंघने का अपना अनूठा तरीका है।
लेकिन पेचीदा बात यह है कि हमें कैसे पता चलेगा कि कौन सा जासूस वास्तव में सबसे अच्छा है? विज्ञान में, हम आमतौर पर एक "बेंचमार्क" चलाते हैं, जो एक मानकीकृत परीक्षण की तरह है। हम हर एल्गोरिदम को पहेलियों का एक ही सेट (डेटासेट) देते हैं और देखते हैं कि कौन उन्हें सबसे तेज़ या सबसे सटीक रूप से हल करता है। उच्चतम स्कोर वाला एल्गोरिदम "स्टेट-ऑफ-द-आर्ट" (वर्तमान चैंपियन) का खिताब पाता है। हर कोई इस पर ध्यान देता है क्योंकि यदि हम गलत चैंपियन चुन लेते हैं, तो हम शायद एक ऐसे जासूस पर भरोसा कर सकते हैं जो असली चोरों को छोड़ देता है, या हम एक ऐसे जासूस को प्रशिक्षित करने में पैसा बर्बाद कर सकते हैं जो वास्तव में उतना अच्छा नहीं है।
अब, शोधकर्ताओं की एक टीम ने इन जासूसी प्रतियोगिताओं के पर्दे के पीछे झांकने का फैसला किया। उन्होंने एक साहसिक सवाल पूछा: क्या इन एल्गोरिदम की रैंकिंग वास्तव में विश्वसनीय है, या यह केवल संयोग का खेल है?
उन्होंने 690 अलग-अलग डेटासेट (उनके "अपराध स्थल") और सात लोकप्रिय जासूसी एल्गोरिदम का उपयोग करके एक विशाल सिमुलेशन तैयार किया। केवल एक परीक्षण चलाने के बजाय, उन्होंने "क्या होगा अगर" का खेल खेला। उन्होंने हर बार खेल के नियम थोड़े बदल दिए: क्या होगा अगर हम अपराध स्थलों का एक अलग सेट उपयोग करें? क्या होगा अगर हम स्कोरिंग सिस्टम को बदल दें? क्या होगा अगर हम जासूस की सेटिंग्स (जिसे हाइपरपैरामीटर कहा जाता है) में थोड़ा बदलाव करें? क्या होगा अगर हम बस एक यादृच्छिक शुरुआती बिंदु पर पासा फेंक दें?
परिणाम काफी चौंकाने वाले थे। उन्होंने पाया कि नियमों में थोड़ा सा बदलाव करने पर "सर्वश्रेष्ठ" जासूस लगभग हर बार बदल जाता है। वास्तव में, उन्होंने पाया कि सही संयोजन के डेटा और सेटिंग्स को चुनकर लगभग किसी भी अच्छे एल्गोरिदम को विश्व चैंपियन जैसा दिखाना आश्चर्यजनक रूप से आसान है। उनके द्वारा परीक्षण किए गए सात एल्गोरिदम में से, पाँच एल्गोरिदम ने उनके द्वारा बनाए गए विभिन्न परिदृश्यों में से 10% से अधिक बार शीर्ष स्थान हासिल किया। यह ऐसा है जैसे आप पाँच अलग-अलग धावकों में से किसी को भी चुन लें और, सही ट्रैक सतह और मौसम की स्थिति चुनकर, उन्हें ओलंपिक का विजेता घोषित कर दें।
अध्ययन सुझाव देता है कि अस्थिरता के पीछे के सबसे बड़े अपराधी यह है कि आप कौन से डेटासेट चुनते हैं और आप एल्गोरिदम की सेटिंग्स को कैसे ट्यून करते हैं। आश्चर्यजनक रूप से, यादृच्छिक शुरुआती बिंदु (रैंडम सीड्स) और विशिष्ट स्कोरिंग फॉर्मूला का महत्व बहुत कम था। शोधकर्ताओं ने यह भी पाया कि निष्पक्षता के लिए एक "स्वीट स्पॉट" है: एक वास्तव में विश्वसनीय रैंकिंग प्राप्त करने के लिए, आपको कम से कम 200 डेटासेट पर परीक्षण करने की आवश्यकता है। इससे कम का उपयोग करना केवल एक दृश्य के आधार पर पूरी फिल्म का निर्णय लेने जैसा है; आप पूरी फिल्म के बारे में गलत धारणा बना सकते हैं।
तो, भविष्य के लिए इसका क्या अर्थ है? लेखक यह नहीं कह रहे हैं कि हम बेहतर एल्गोरिदम खोजने की कोशिश करना बंद कर दें। इसके बजाय, वे सुझाव देते हैं कि हमें रैंकिंग में मामूली एक-प्रतिशत सुधार के लिए जुनूनी होना बंद कर देना चाहिए। यदि कोई नया एल्गोरिदम पुराने को बहुत मामूली अंतर से हरा देता है, तो यह केवल इसलिए हो सकता है क्योंकि शोधकर्ताओं को अपने परीक्षण सेटिंग्स के साथ किस्मत मिल गई थी, न कि इसलिए कि नया एल्गोरिदम वास्तव में बेहतर है। पेपर का तर्क है कि हमें बहुत अधिक सावधान रहने की आवश्यकता है। हमें इस बात की परवाह कम करनी चाहिए कि किसी विशिष्ट सूची में नंबर एक कौन है, और इस बात की अधिक परवाह करनी चाहिए कि एक एल्गोरिदम कई अलग-अलग स्थितियों में कितना मजबूत और विश्वसनीय है। जब तक हम सैकड़ों डेटासेट में बड़े, निरंतर सुधार नहीं देखते, तब तक "स्टेट-ऑफ-द-आर्ट" का खिताब केवल एक अस्थायी ट्रॉफी हो सकती है जो उस दिन सर्वश्रेष्ठ परीक्षण स्थितियों को चुनने वाले की होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।