Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

साइबर सुरक्षा की उच्च-दांव वाली दुनिया में, रक्षक लंबे समय से एक प्रतिक्रियात्मक मोड में काम कर रहे हैं, किसी अलार्म के बजने का इंतज़ार करते हैं ताकि वे कार्रवाई कर सकें। जब तक किसी उल्लंघन का पता चलता है, तब तक अक्सर नुकसान हो चुका होता है। इस गतिशीलता को बदलने के लिए, शोधकर्ताओं ने पूर्वानुमान (forecasting) की ओर रुख किया है: यह अनुमान लगाने का प्रयास कि किस तरह के हमले होंगे, वे कहाँ प्रहार करेंगे, और किसे निशाना बनाया जाएगा, इससे पहले कि वे घटित हों। यह क्षेत्र ऐतिहासिक डेटा के विशाल संग्रहों पर निर्भर करता है, जिन्हें 'इंसिडेंट रिपॉजिटरी' (घटना भंडार) के रूप में जाना जाता है, जो पिछले साइबर हमलों के विवरण को रिकॉर्ड करते हैं। हालाँकि, ये रिकॉर्ड अक्सर अलग-अलग डेटाबेस में बिखरे हुए होते हैं, जिनमें से प्रत्येक अपनी एक अलग भाषा और प्रारूप का उपयोग करता है, और कई में महत्वपूर्ण विवरण गायब होते हैं। भविष्य की एक उपयोगी तस्वीर बनाने के लिए, वैज्ञानिकों को इन अलग-अलग अभिलेखों को एक एकल, पूर्ण कहानी में विलय करना होगा, और उन रिक्त स्थानों को उस डेटा से प्राप्त समझदारी भरे अनुमानों से भरना होगा जो उनके पास उपलब्ध है। चुनौती यह सुनिश्चित करने में निहित है कि ये अनुमान अनजाने में उन्हीं मॉडलों को धोखा न दे दें जिन्हें उनसे सीखने के लिए डिज़ाइन किया गया है, जिससे सुरक्षा की एक झूठी भावना पैदा हो जाए जहाँ वास्तव में कोई सुरक्षा नहीं है।

इस्लामाबाद में इंटरनेशनल इस्लामिक यूनिवर्सिटी, सियोल नेशनल यूनिवर्सिटी और यूनिवर्सिटी ऑफ प्रिंस मुग्रिन के शोधकर्ताओं की एक टीम ने इस सामान्य अभ्यास की विश्वसनीयता का परीक्षण करने का निर्णय लिया। उन्होंने साइबर घटनाओं के दो विशाल डेटाबेस को संयोजित किया: VERIS कम्युनिटी डेटाबेस, जो हमलों पर गहरा, संरचित विवरण प्रदान करता है लेकिन 2017 में रिकॉर्डिंग बंद कर देता है, और 'हैकमैडोमन' (Hackmageddon), जो हाल की घटनाओं का एक निरंतर प्रवाह प्रदान करता है लेकिन कम विस्तृत जानकारी के साथ। इन दोनों स्रोतों को सामंजस्यपूर्ण बनाकर, उन्होंने पचास वर्षों से अधिक की बीस हज़ार से अधिक घटनाओं का एक एकीकृत रिकॉर्ड बनाया। डेटा को उपयोगी बनाने के लिए, उन्हें प्रत्येक घटना के लिए लुप्त क्षेत्रों को भरना पड़ा, जैसे कि हमलावर का विशिष्ट उद्देश्य या लक्षित संपत्ति का प्रकार। उन्होंने यह करने के लिए एक कंप्यूटर मॉडल को प्रशिक्षित किया कि उपलब्ध अन्य डेटाबेस में मौजूद जानकारी के आधार पर लापता विवरणों की भविष्यवाणी कैसे की जाए। इस प्रक्रिया ने एक पूर्ण डेटासेट तो तैयार किया, लेकिन इसने एक सूक्ष्म जाल भी बिछा दिया। क्योंकि लापता लेबल उसी कंप्यूटर मॉडल द्वारा उत्पन्न किए गए थे जिसका उपयोग बाद में पूर्वानुमान लगाने वाले मॉडल द्वारा भविष्य के हमलों की भविष्यवाणी करने के लिए किया जाना था, इसलिए पूर्वानुमान लगाने वाले मॉडल अनिवार्य रूप रूप से उन उत्तरों पर परीक्षण किए जा रहे थे जिन्हें वे पहले से ही पहचानने के लिए प्रशिक्षित किए जा चुके थे।

जब शोधकर्ताओं ने इस विलय किए गए डेटासेट पर अपने पूर्वानुमान मॉडलों का मूल्यांकन किया, तो परिणाम शुरू में उत्साहजनक दिखे। मॉडल भविष्य के हमले के प्रकार की भविष्यवाणी करने में ऐसी सटीकता दिखाते प्रतीत हुए जो मानक बेंचमार्क से बेहतर लग रही थी। हालाँकि, टीम को संदेह था कि ये उच्च स्कोर उस तरीके के कारण एक भ्रम थे जिससे डेटा का निर्माण किया गया था। जांच के लिए, उन्होंने परीक्षण डेटा को दो समूहों में विभाजित किया: वे रिकॉर्ड जहाँ हमले के प्रकार को मूल रूप से मनुष्यों द्वारा देखा और रिकॉर्ड किया गया था, और वे रिकॉर्ड जहाँ हमले के प्रकार को डेटा विलय प्रक्रिया के दौरान कंप्यूटर मॉडल द्वारा पुनर्गठित किया गया था। अंतर स्पष्ट था। मानव-प्रेक्षित लेबल वाले रिकॉर्ड पर, मॉडल का प्रदर्शन काफी गिर गया, जिससे पता चला कि पूर्ण डेटासेट पर उच्च स्कोर मुख्य रूप से उस कंप्यूटर के पैटर्न को याद रखने से प्रेरित थे जिसने लापता डेटा को भरा था। वास्तव में, दोनों समूहों के बीच का अंतर इतना बड़ा था कि समग्र औसत प्रदर्शन में लगभग ४४ प्रतिशत अंकों की वृद्धि हुई, एक ऐसा विरूपण जो छिपा रहता यदि शोधकर्ता केवल संयुक्त आंकड़ों को देखते।

यह पुष्टि करने के लिए कि क्या यह मुद्रास्फीति (inflation) विशेष रूप से डेटा भरने की क्रिया के कारण थी, न कि समय के दो अवधियों के बीच अन्य अंतरों के कारण, शोधकर्ताओं ने एक नियंत्रित प्रयोग किया। उन्होंने एक एकल समय अवधि ली जहाँ सारा डेटा मूल रूप से देखा गया था, फिर जानबूझकर लेबल का एक हिस्सा छिपा दिया और उन्हें उसी कंप्यूटर मॉडल का उपयोग करके भरा जिसका उपयोग उन्होंने मुख्य डेटासेट के लिए किया था। जब उन्होंने इस मिश्रित डेटा पर अपना पूर्वानुमान मॉडल प्रशिक्षित किया, तो पुनर्गठित लेबल पर प्रदर्शन एक बार फिर से प्रेक्षित (observed) लेबल की तुलना में बहुत अधिक था। इसने सिद्ध किया कि 'इम्प्यूटेशन' (imputation - डेटा भरना) की क्रिया स्वयं एक गोलाकार लूप बनाती है जहाँ मॉडल वास्तविक घटना के बजाय भरने वाले (filler) की नकल करना सीख जाता है। अध्ययन ने एक विरोधाभासी निष्कर्ष भी निकाला: कंप्यूटर मॉडल लापता डेटा को भरने में जितना खराब था, पूर्वानुमान मॉडल का प्रदर्शन उतना ही कृत्रिम रूप से बढ़ा हुआ था। एक खराब 'इम्प्यूटर' (डेटा भरने वाला मॉडल) लापता डेटा में एक अद्वितीय, विशिष्ट पैटर्न बनाता है जिसे सीखना आसान होता है, जबकि एक अत्यधिक सटीक 'इम्प्यूटर' इतनी अच्छी तरह से घुल-मिल जाता है कि वह ऐसा विशिष्ट, सीखने योग्य संकेत नहीं बना पाता।

डेटा लीकेज के मुद्दे के अलावा, शोधकर्ताओं ने इन रिकॉर्डों के भीतर सूचना का सर्वोत्तम प्रतिनिधित्व करने के तरीके की भी खोज की। साइबर घटना का डेटा 'हाई-कार्डिनैलिटी' श्रेणियों से भरा होता है, जैसे कि सैकड़ों अलग-अलग देशों के नाम या हजारों विशिष्ट संगठन। पारंपरिक तरीके अक्सर इन्हें साधारण संख्याओं के रूप में देखते हैं, जो मॉडलों को भ्रमित कर सकता है। टीम ने 'एंटीटी एम्बेडिंग्स' (entity embeddings) नामक एक तकनीक का परीक्षण किया, जो प्रत्येक श्रेणी के लिए एक अद्वितीय, सघन गणितीय प्रतिनिधित्व सीखता है, जिससे मॉडल उनके बीच के संबंधों को समझ पाता है। इस दृष्टिकोण ने हमले के प्रकार की भविष्यवाणी करने की मॉडल की क्षमता में नाटकीय रूप से सुधार किया, जिससे इसका प्रदर्शन पारंपरिक पद्धति की तुलना में लगभग १९ प्रतिशत अंक बढ़ गया। यह निष्कर्ष बताता है कि पिछले अध्ययन जो दावा करते थे कि डीप लर्निंग मॉडल इस प्रकार के डेटा पर खराब प्रदर्शन करते हैं, वे शायद मॉडलों के बजाय उन्हें प्रस्तुत करने के तरीके से सीमित थे।

अध्ययन में यह भी जांचा गया कि हमले के लिए लक्षित विशिष्ट देश की भविष्यवाणी करना कितना कठिन है। जबकि मॉडल सबसे आम देशों का अनुमान लगाकर उच्च समग्र सटीकता प्राप्त कर सकते थे, वे कम बार होने वाले लक्ष्यों की सही पहचान करने में संघर्ष करते रहे। इस कार्य पर प्रदर्शन इतना कम था कि यह हमेशा बहुमत वर्ग (majority class) का अनुमान लगाने के आधार रेखा (baseline) से मुश्किल से ऊपर था। शोधकर्ताओं ने निर्धारित किया कि यह डेटा की कमी या हमलों की संख्या में असंतुलन के कारण नहीं था, बल्कि इसलिए क्योंकि उपलब्ध रिकॉर्डों में सैकड़ों अलग-अलग देशों के बीच अंतर करने के लिए पर्याप्त विशिष्ट जानकारी नहीं है। मौजूद विशेषताएं आवश्यक भौगोलिक संकेत (geographic signal) नहीं रखती हैं जो इन सूक्ष्म-स्तरीय भविष्यवाणियों को विश्वसनीय बना सकें।

अंत में, टीम ने एक सख्त कालानुक्रमिक (chronological) मूल्यांकन के तहत अपने मॉडलों का परीक्षण किया, जिसमें अतीत के डेटा पर प्रशिक्षण दिया गया और भविष्य के डेटा पर परीक्षण किया गया, जो एक पूर्वानुमान प्रणाली का आकलन करने का एकमात्र वास्तविक तरीका है। इन यथार्थवादी स्थितियों के तहत, प्रदर्शन और गिर गया, और डीप लर्निंग मॉडल, जो पहले सरल ट्री-आधारित मॉडलों से पीछे चल रहे थे, अंततः उनसे आगे निकल गए। यह उलटफेर बताता है कि डीप मॉडल, डेटा के बेहतर प्रतिनिधित्व की सहायता से, नए, अनदेखे समय अवधियों के लिए बेहतर सामान्यीकरण (generalize) करने में सक्षम थे, जबकि सरल मॉडल केवल प्रशिक्षण विंडो के विशिष्ट पैटर्न को याद कर रहे थे। शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि हमले के सामान्य प्रकार का पूर्वानुमान करना मामूली सफलता के साथ संभव है, लेकिन विशिष्ट देश या हमले के सटीक पैटर्न की भविष्यवाणी करना वर्तमान डेटा और विधियों के साथ पहुंच से बाहर है। उनका प्राथमिक योगदान कोई नया प्रेडिक्शन एल्गोरिदम नहीं था, बल्कि विलय किए गए डेटासेट का मूल्यांकन करने के लिए एक कठोर प्रोटोकॉल था जो इन छिपे हुए दोषों को उजागर करता है, यह सुनिश्चित करता है कि भविष्य का अनुसंधान साइबर सुरक्षा और अन्य क्षेत्रों में डेटा निर्माण के आर्टिफैक्ट्स (कृत्रिम प्रभावों) को वास्तविक भविष्य कहने वाली शक्ति न समझ ले।