Beat the Counter First: A Baseline for Temporal-Graph Anomaly Detectors

डिजिटल दुनिया में, हर क्लिक, संदेश और लेनदेन एक निशान छोड़ जाता है, जो कनेक्शनों के एक विशाल, परिवर्तनशील जाल का निर्माण करता है जो हर सेकंड विकसित होता रहता है। इस जीवित मानचित्र को एक 'टेम्पोरल ग्राफ' (temporal graph) के रूप में जाना जाता है, जहाँ परस्पर क्रिया का समय उतना ही महत्वपूर्ण है जितना कि स्वयं वह संबंध। वर्षों से, वैज्ञानिक इन जालों पर नज़र रखने और उन दुर्लभ, संदिग्ध अंतःक्रियाओं को पहचानने के लिए परिष्कृत कंप्यूटर प्रोग्राम बनाने की कोशिश कर रहे हैं जो धोखाधड़ी, साइबर हमलों या सिस्टम विफलताओं का संकेत देते हैं। प्रचलित धारणा यह रही है कि इन सूक्ष्म, तेजी से चलने वाली विसंगतियों को पकड़ने के लिए, प्रोग्रामों को अधिक जटिल होना चाहिए, जो समय के प्रवाह को समझने के लिए स्मृति और ध्यान की परतों के साथ मानव मस्तिष्क की नकल करते हों। तर्क यह था कि सिस्टम जितना जटिल होगा, वह घास के ढेर में सुई खोजने में उतना ही बेहतर होगा।

हालाँकि, एक नया अध्ययन इस धारणा को चुनौती देता है, जो एक सरल लेकिन गहन प्रश्न पूछता है: क्या वह सारी जटिलता वास्तव में मदद करती है, या यह केवल एक भारी कोट है जो धावक को धीमा कर देता है? शोधकर्ताओं ने यह परीक्षण करने के लिए प्रयोग किया कि क्या एक एकल, सरल अवलोकन पर आधारित प्रणाली वर्तमान में उपयोग किए जा रहे सबसे उन्नत, बहु-स्तरीय मॉडलों के समान प्रदर्शन कर सकती है। उन्होंने इस विचार पर ध्यान केंद्रित किया कि कभी-कभी, सबसे स्पष्ट सुराग—जैसे कि कोई चीज़ कितनी बार हुई है या वह कितनी हालिया है—मुसीबत को पहचानने के लिए पर्याप्त होता है। एक उच्च-तकनीकी, न्यूरल-नेटवर्क-आधारित डिटेक्टर के मुकाबले एक साधारण, एक-विशेषता वाले काउंटर को खड़ा करके, उन्होंने पाया कि कई मामलों में, सरल उपकरण न केवल दिग्गज के साथ तालमेल बिठाने में सक्षम रहा, बल्कि उसने उस ऊर्जा और समय के एक अंश में यह कार्य किया जो जटिल मॉडल को आवश्यक था।

शोधकर्ताओं ने एक संदर्भ उपकरण का निर्माण किया जिसे उन्होंने 'सिंपलकाउंट' (SimpleCount) नाम दिया। यह प्रणाली आधुनिक आर्टिफिशियल इंटेलिजेंस की तरह नहीं सीखती, समायोजित नहीं होती या पैटर्न को याद नहीं रखती है। इसके बजाय, यह इनकमिंग डेटा स्ट्रीम का एक एकल, निरंतर स्कैन करती है। जैसे ही प्रत्येक नया कनेक्शन आता है, यह उपकरण संभावनाओं की एक छोटी, निश्चित सूची की जाँच करता है: उपयोगकर्ताओं के इस विशिष्ट जोड़े ने पहले कितनी बार परस्पर क्रिया की है? प्रेषक कितनी बार प्रकट हुआ है? प्राप्तकर्ता कितनी बार प्रकट हुआ है? पिछली अंतःक्रिया के बाद से कितना समय बीता है? इन चौदह संभावित सुरागों की सूची में से, यह उपकरण उस विशिष्ट डेटासेट के लिए सबसे प्रभावी एक को चुनता है जिसका यह विश्लेषण कर रहा है। फिर यह उस एक संख्या का उपयोग यह तय करने के लिए करता है कि वर्तमान अंतःक्रिया संदिग्ध है या नहीं। यह बिना किसी समायोज्य सेटिंग्स, बिना किसी प्रशिक्षण अवधि और बिना किसी छिपी हुई गणना की परतों वाली एक विधि है। यह केवल गिनती और तुलना करता है।

यह देखने के लिए कि क्या यह न्यूनतम दृष्टिकोण अपना स्थान बना सकता है, टीम ने इसे उपलब्ध दो सबसे उन्नत विसंगति डिटेक्टरों के विरुद्ध परखा। एक स्व-पर्यवेक्षित (self-supervised) मॉडल था जो ग्राफ में नोड्स समय के साथ कैसे बदलते हैं, इसे ट्रैक करने के लिए जटिल मेमोरी नेटवर्क का उपयोग करता है, और दूसरा एक सिस्टम था जो आवृत्तियों का अनुमान लगाने के लिए सांख्यिकीय स्केच का उपयोग करता है। उन्होंने विकिपीडिया पर संपादन के रिकॉर्ड, एक MOOC प्लेटफॉर्म पर अंतःक्रियाओं और बिटकॉइन नेटवर्क पर लेनदेन सहित पांच वास्तविक दुनिया के डेटासेट्स पर इन तुलनाओं को चलाया। परिणाम चौंकाने वाले थे। छह में से तीन डेटासेट्स पर, सरल काउंटर ने सबसे उन्नत मॉडल के बराबर या उससे भी बेहतर प्रदर्शन किया। सभी छह डेटासेट्स पर, इसने एक मानक गैर-रैखिक बेसलाइन को पछाड़ दिया। जिन मामलों में जटिल मॉडल जीता, वहां सुधार अक्सर मामूली था, जबकि समय और कंप्यूटिंग शक्ति की लागत अत्यधिक थी।

गति का अंतर सबसे नाटकीय खोज थी। उन्नत मॉडल को उसी डेटा को प्रोसेस करने के लिए सरल काउंटर की तुलना में तेईस से एक सौ तैंतीस गुना अधिक 'वॉल-क्लॉक टाइम' (wall-clock time) की आवश्यकता थी। औसतन, जटिल सिस्टम को वही काम करने में सतहत्तर गुना अधिक समय लगा। यह अंतर एक महत्वपूर्ण ट्रेड-ऑफ को उजागर करता है: जटिल मॉडल द्वारा प्राप्त सटीकता के प्रत्येक प्रतिशत अंक के लिए, कंप्यूटिंग पावर की एक विशाल मात्रा खर्च की गई। शोधकर्ताओं ने पाया कि यह अतिरिक्त लागत केवल कुछ विशिष्ट डेटासेट्स पर ही उचित थी, विशेष रूप से वे जिनमें गतिविधि अत्यधिक केंद्रित होती है जहाँ कुछ उपयोगकर्ता अंतःक्रियाओं पर हावी होते हैं। अन्य डेटासेट्स पर, अतिरिक्त जटिलता ने कोई लाभ नहीं दिया, जिससे पता चलता कि परिष्कृत मशीनरी अक्सर उन पैटर्न को खोजने की कोशिश कर रही थी जो या तो मौजूद नहीं थे या जो बहुत सरल लेंस के माध्यम से पहले से ही दृश्यमान थे।

यह सुनिश्चित करने के लिए कि मॉडल केवल अनुमान नहीं लगा रहे हैं, टीम ने एक नियंत्रित वातावरण बनाया जहाँ उन्होंने एक सिंथेटिक ग्राफ में विशिष्ट, ज्ञात पैटर्न की विसंगतियों को डाला। उन्होंने एक ऐसी स्थिति बनाई जहाँ एक संदिग्ध अंतःक्रिया दो उपयोगकर्ताओं के बीच एक दो-चरणीय पथ को बंद करके बनाई गई थी, एक ऐसा पैटर्न जिसे पहचानना आसान होना चाहिए यदि सिस्टम नेटवर्क की संरचना पर ध्यान दे रहा हो। जब उन्होंने इस प्लांटेड सिग्नल के विरुद्ध उन्नत मॉडलों को चलाया, तो वे रैंडम चांस (random chance) से बेहतर प्रदर्शन नहीं कर सके। जटिल मॉडल उस पैटर्न का पता लगाने में विफल रहे जिसे खोजने के लिए उन्हें डिज़ाइन किया गया था। इसके विपरीत, सामान्य पड़ोसियों (common neighbors) की गिनती पर आधारित एक सरल संरचनात्मक स्कोर ने उच्च सटीकता के साथ प्लांटेड विसंगतियों की सफलतापूर्वक पहचान की। इसने सिद्ध किया कि उन्नत मॉडल इसलिए विफल नहीं हुए क्योंकि सिग्नल बहुत कमजोर था, बल्कि इसलिए क्योंकि वे डेटा से सही प्रकार की जानकारी नहीं निकाल पा रहे थे।

अध्ययन निष्कर्ष निकालता है कि इन डिटेक्शन सिस्टम में जटिलता जोड़ने का मूल्य सार्वभौमिक नियम नहीं है, बल्कि यह पूरी तरह से डेटा की प्रकृति पर निर्भर करता है। कुछ डेटासेट्स के लिए, गणना की अतिरिक्त परतें सटीकता में एक छोटा सुधार लाती हैं, लेकिन अन्य के लिए, वे संसाधनों की बर्बादी हैं। शोधकर्ता तर्क देते हैं कि जब भी कोई नया, जटिल मॉडल प्रस्तावित किया जाता है, तो उसके प्रदर्शन को एक मजबूत, सरल बेसलाइन के विरुद्ध मापा जाना चाहिए जो केवल एक फीचर का उपयोग करता है। इस तुलना में गणना की लागत भी शामिल होनी चाहिए, न कि केवल सटीकता। ऐसा करके, यह क्षेत्र "शॉर्टकट लर्निंग" के जाल से बच सकता है, जहाँ मॉडल जटिल तर्क सीखते हुए प्रतीत होते हैं लेकिन वास्तव में वे केवल सरल, स्पष्ट संकेतों पर निर्भर होते हैं जिन्हें एक बहुत सस्ते सिस्टम द्वारा खोजा जा सकता था। संदेश स्पष्ट है: एक अधिक विस्तृत मशीन बनाने से पहले, व्यक्ति को पहले यह जांच लेना चाहिए कि क्या एक सरल काउंटर काम कर सकता है, क्योंकि स्ट्रीमिंग ग्राफ की दुनिया में, सबसे सरल उपकरण अक्सर सबसे शक्तिशाली होता है।