Evaluation Pitfalls and Multimodal Baselines for the \dataset{} IoT Malware Dataset

डिजिटल दुनिया में, सुरक्षा शोधकर्ता कंप्यूटरों के लिए प्रतिरक्षा प्रणाली (इम्यून सिस्टम) के डॉक्टरों की तरह काम करते हैं। वे हानिकारक सॉफ़्टवेयर, या मालवेयर, को नुकसान पहुँचाने से पहले पहचानने के लिए उपकरण बनाते हैं। इन उपकरणों को प्रशिक्षित करने के लिए, उन्हें डेटा के विशाल पुस्तकालयों की आवश्यकता होती है: यह रिकॉर्डिंग कि कंप्यूटर स्वस्थ होने पर कैसे व्यवहार करते हैं, और यह रिकॉर्डिंग कि वे बीमार होने पर कैसे व्यवहार करते हैं। प्रशिक्षण डेटा की गुणवत्ता यह निर्धारित करती है कि परिणामी सुरक्षा उपकरण कितनी अच्छी तरह काम करेंगे। यदि डेटा दोषपूर्ण है, तो उपकरण विफल हो जाएंगे, जिससे अक्सर खतरनाक खतरे छूट जाते हैं या गलत अलार्म बज जाते हैं। इस क्षेत्र में एक प्रमुख चुनौती यह सुनिश्चित करना है कि शोधकर्ता जिस तरह से अपने डेटा को प्रशिक्षण और परीक्षण समूहों में विभाजित करते हैं, वह अनजाने में पूर्वाग्रह (बायस) पेश न करे। यदि कोई कंप्यूटर प्रोग्राम प्रशिक्षण के दौरान मालवेयर का एक विशिष्ट टुकड़ा देखता है और फिर परीक्षण के दौरान उसी टुकड़े को देखता है, तो वह वास्तव में नए खतरों को पहचानना नहीं सीख रहा है; वह केवल उत्तर को याद कर रहा है। इसके अलावा, शोधकर्ताओं को यह तय करना होगा कि वे सुरक्षा उपकरण को व्यक्तिगत संदिग्ध गतिविधियों के क्षणों को पकड़ने के आधार पर आंकें, या पूरे संक्रमित प्रोग्रामों की पहचान करने के आधार पर, जो कि एक बहुत अलग कार्य हो सकता है।

तारीम यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने हाल ही में CIC-YNU-IoTMal2026 नामक एक नए और असामान्य रूप से विस्तृत डेटा लाइब्रेरी की ओर अपना ध्यान केंद्रित किया। यह डेटासेट सुरक्षा विशेषज्ञों के लिए खजाने के समान है क्योंकि यह हजारों कंप्यूटर प्रोग्रामों के लिए तीन अलग-अलग प्रकार की जानकारी को एक साथ रिकॉर्ड करता है। यह आने और जाने वाले नेटवर्क ट्रैफिक, सीपीयू (CPU) उपयोग जैसी सिस्टम गतिविधि, और ऑपरेटिंग सिस्टम को दिए जाने वाले विशिष्ट कमांड की सूची को कैप्चर करता है। इन प्रोग्रामों को चार अलग-अलग प्रकार के कंप्यूटर चिप्स पर चलाया गया ताकि यह देखा जा सके कि क्या सुरक्षा उपकरण विभिन्न हार्डवेयर पर काम कर सकते हैं। शोधकर्ताओं ने नया सुरक्षा उपकरण नहीं बनाया; इसके बजाय, उन्होंने एक ऑडिटर (लेखा परीक्षक) के रूप में कार्य किया। उन्होंने इस डेटासेट की स्वयं जांच की कि क्या सुरक्षा उपकरणों के परीक्षण के मानक तरीके गंभीर समस्याओं को छिपा रहे हैं। वे जानना चाहते थे कि अन्य शोधकर्ताओं द्वारा रिपोर्ट किए गए उच्च स्कोर वास्तविक थे या वे डेटा को संभालने के सूक्ष्म तरीकों का परिणाम थे।

ऑडिट की शुरुआत डेटा विभाजन के तरीके को देखकर हुई। सबसे आम तरीका सभी रिकॉर्ड किए गए गतिविधि के क्षणों को लेना और उन्हें बेतरतीब ढंग से मिला देना (शफल करना) है, कुछ को प्रशिक्षण ढेर में और कुछ को परीक्षण ढेर में डालना। शोधकर्ताओं ने पाया कि इस विशिष्ट डेटासेट के लिए यह दृष्टिकोण मौलिक रूप से त्रुटिपूर्ण था। चूंकि डेटा पूरे प्रोग्रामों को रिकॉर्ड करता है, इसलिए क्षणों को मिलाने का अर्थ था कि परीक्षण ढेर में उन प्रोग्रामों के क्षण शामिल थे जो पहले से ही प्रशिक्षण ढेर में मौजूद थे। वास्तव में, प्रत्येक परीक्षण क्षण का अपने मूल प्रोग्राम के साथ साझा संबंध था, और परीक्षण क्षणों का एक छोटा प्रतिशत प्रशिक्षण क्षणों का सटीक डुप्लिकेट था। इसका मतलब था कि इस तरह से परीक्षण किया गया कोई भी सुरक्षा उपकरण अनिवार्य रूप रूप से उन प्रश्नों पर ग्रेड प्राप्त कर रहा था जिनके उत्तर वह पहले ही देख चुका था। हालांकि इससे इस विशेष डेटासेट पर स्कोर कृत्रिम रूप से नहीं बढ़े, लेकिन इसका मतलब था कि परिणाम इस बात की भविष्यवाणी करने के लिए भरोसेमंद नहीं थे कि एक उपकरण वास्तव में नए, अनदेखे प्रोग्रामों पर कैसा काम करेगा। शोधकर्ताओं ने निष्कर्ष निकाला कि इन उपकरणों का परीक्षण करने का एकमात्र निष्पक्ष तरीका पूरे प्रोग्रामों को एक साथ रखना है, यह सुनिश्चित करते हुए कि कोई भी प्रोग्राम प्रशिक्षण और परीक्षण दोनों समूहों में दिखाई न दे।

जब शोधकर्ताओं ने डेटा विभाजन के तरीके को ठीक किया, तब उन्होंने एक दूसरी, अधिक भ्रामक समस्या की खोज की। डेटासेट में गतिविधि के हजारों छोटे स्नैपशॉट शामिल हैं, और कई सुरक्षा उपकरणों को इन व्यक्तिगत स्नैपशॉट को पकड़ने की क्षमता के आधार पर आंका जाता है। शोधकर्ताओं ने पाया कि यह तरीका एक खतरनाक विफलता को छिपा देता है। डेटासेट के लगभग सोलह प्रतिशत दुर्भावनापूर्ण (मैलेशियस) प्रोग्राम पूरी तरह से छूट गए थे। ये छूटे हुए प्रोग्राम परिष्कृत नहीं थे; वे बस सुप्त (डॉर्मेंट) थे। उन्हें परीक्षण वातावरण में चलाया गया था लेकिन वे अपनी दुर्भावनापूर्ण गतिविधियों को शुरू करने के लिए जागने में विफल रहे, इसलिए वे बिल्कुल हानिरहित प्रोग्रामों की तरह दिखे। क्योंकि जागने वाले दुर्भावनापूर्ण प्रोग्राम बहुत 'शोर' मचाते थे और सैकड़ों गतिविधि स्नैपशॉट उत्पन्न करते थे, उन्होंने सांख्यिकी पर प्रभुत्व जमा लिया। शांत, सुप्त प्रोग्राम दब गए, जिससे सुरक्षा उपकरण वास्तव में जितना अच्छा था, उससे कहीं अधिक बेहतर दिखने लगा। शोधकर्ताओं ने जोर दिया कि सुरक्षा की सच्ची तस्वीर पाने के लिए, व्यक्ति को केवल शोर मचाने वाले क्षणों के बजाय पूरे प्रोग्राम को पकड़ने के आधार पर उपकरण का मूल्यांकन करना चाहिए।

अध्ययन ने यह भी जांचा कि विभिन्न प्रकार के कंप्यूटर चिप्स के सामने उपकरण कैसा प्रदर्शन करते हैं। डेटासेट में चार अलग-अलग आर्किटेक्चर पर चलने वाले प्रोग्राम शामिल थे, और शोधकर्ताओं ने परीक्षण किया कि क्या तीन पर प्रशिक्षित उपकरण चौथे पर खतरों का पता लगा सकता है। परिणाम स्पष्ट थे। जब उपकरण का परीक्षण ARM नामक एक विशिष्ट चिप पर किया गया, जो कई छोटे उपकरणों में सामान्य है, तो यह विफल हो गया। उपकरण इतना अविश्वसनीय हो गया कि इसने हानिरहित प्रोग्रामों को लगभग अस्सी प्रतिशत बार खतरनाक के रूप में चिह्नित किया, जबकि वास्तविक मालवेयर को लगभग पूरा पकड़ लिया। यह विफलता इसलिए नहीं थी कि उपकरण मालवेयर को पहचान नहीं सका; बल्कि इसलिए थी क्योंकि ARM चिप पर हानिरहित प्रोग्राम अन्य चिप्स के हानिरहित प्रोग्रामों की तुलना में अलग व्यवहार करते थे। उपकरण ने उस विशिष्ट हार्डवेयर पर "सामान्य" क्या दिखता है, इसके लिए गलत पैटर्न सीख लिया था। शोधकर्ताओं ने पाया कि इस समस्या को बहुत सस्ते में ठीक किया जा सकता है। नए चिप के हानिरहित प्रोग्रामों के एक बहुत छोटे हिस्से को दिखाकर—कुल डेटा के एक प्रतिशत से भी कम—उपकरण का प्रदर्शन तुरंत लगभग पूर्णता तक वापस आ गया। इसने सुझाव दिया कि क्रॉस-चिप सुरक्षा का समाधान जटिल नए एल्गोरिदम में नहीं, बल्कि केवल नए वातावरण के कुछ उदाहरणों को उपकरण के सामने प्रस्तुत करने में है।

अंत में, शोधकर्ताओं ने उपलब्ध डेटा के विभिन्न प्रकारों को देखा: नेटवर्क ट्रैफिक, सिस्टम गतिविधि और कमांड ट्रेसेस। उन्होंने पाया कि एक नियंत्रित वातावरण में, तीनों प्रकार के डेटा को मिलाने से सुरक्षा उपकरण लगभग पूर्ण हो जाते हैं। हालांकि, यह पूर्णता नाजुक थी। जब उपकरणों को केवल नेटवर्क ट्रैफिक पर निर्भर रहने के लिए मजबूर किया गया, तो उन्होंने सुप्त प्रोग्रामों को मिस कर दिया। जब वे केवल कमांड ट्रेसेस पर निर्भर थे, तो वे चिप आर्किटेक्चर बदलने पर पूरी तरह विफल रहे। सबसे मजबूत संयोजन नेटवर्क ट्रैफिक और सिस्टम गतिविधि का मिश्रण निकला, जिसने अन्य तरीकों की विशिष्ट कमजोरियों से बचाव किया। शोधकर्ताओं ने यह भी नोट किया कि उपकरण बनाने के लिए उपयोग किए जाने वाले गणितीय मॉडल का विशिष्ट प्रकार बहुत कम मायने रखता है। चाहे उन्होंने एक सरल लीनियर मॉडल का उपयोग किया हो या एक जटिल न्यूरल नेटवर्क का, परिणाम लगभग समान थे। इसने सिद्ध किया कि सफलता का सबसे बड़ा कारक उपकरण की जटिलता नहीं, बल्कि डेटा को विभाजित करने, सफलता को परिभाषित करने और विभिन्न प्रकार के कंप्यूटर चिप्स को संभालने के बारे में किए गए निर्णय थे।

शोध पत्र इन दिशानिर्देशों के एक सेट के साथ समाप्त होता है जो इस डेटासेट का उपयोग करने वाले किसी भी व्यक्ति के लिए स्पष्ट हैं। वे हमेशा डेटा को विभाजित करते समय पूरे प्रोग्रामों को एक साथ रखने की सिफारिश करते हैं, परिणामों को केवल व्यक्तिगत क्षणों के बजाय पूरे प्रोग्राम पकड़े जाने के आधार पर रिपोर्ट करने, और अज्ञात या गैर-वर्गीकृत प्रोग्रामों के साथ कैसे व्यवहार किया जाता है, इस बारे में पारदर्शी होने की सलाह देते हैं। वे शोधकर्ताओं से आग्रह करते हैं कि वे अपने उपकरणों का विभिन्न कंप्यूटर चिप्स पर परीक्षण करें और यह रिपोर्ट करें कि यदि प्रयोग को कई बार चलाया जाता है तो परिणाम कितने भिन्न होते हैं। सबसे महत्वपूर्ण बात यह है कि बेहतर सुरक्षा का मार्ग अधिक जटिल मॉडल बनाने में नहीं, बल्कि बेहतर प्रश्न पूछने और स्वच्छ डेटा का उपयोग करने में निहित है। मूल्यांकन विधियों को ठीक करके, समुदाय यह सुनिश्चित कर सकता है कि उनके द्वारा बनाए गए उपकरण वास्तव में काम करेंगे जब उनकी सबसे अधिक आवश्यकता होगी।