Related Families, Not Label Errors: A Case Study of a Failure Mode in Open-World Malware Evaluation on BODMAS
यह शोध पत्र यह प्रदर्शित करता है कि BODMAS बेंचमार्क पर खराब ओपन-वर्ल्ड मैलवेयर डिटेक्शन प्रदर्शन लेबलिंग त्रुटियों या डिटेक्टर की खामियों के कारण नहीं, बल्कि प्रशिक्षण सेट में निकट रूप से संबंधित परिवारों की उपस्थिति के कारण है जो अनसुपरवाइज्ड नॉवेलटी स्कोरिंग विधियों के लिए रखे गए "नोवेल" नमूनों को वास्तव में परिचित बना देते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल दुनिया में, सुरक्षा शोधकर्ता ऐसे प्रोग्राम बनाने के लिए डिज़ाइन करते हैं जो प्रहरी (sentinels) के रूप में कार्य करते हैं, जो कंप्यूटरों को खतरे में डालने वाले दुर्भावनापूर्ण सॉफ़्टवेयर (malware) की लगातार निगरानी करते हैं। इन प्रोग्रामों को ज्ञात खतरों को पहचानने के लिए प्रशिक्षित किया जाता है, लेकिन असली चुनौती "ओपन वर्ल्ड" (खुली दुनिया) में निहित है, जहाँ हर दिन पूरी तरह से नए प्रकार के मालवेयर दिखाई देते हैं। यह परीक्षण करने के लिए कि क्या ये प्रहरी वास्तव में अज्ञात के लिए तैयार हैं, शोधकर्ता एक विशिष्ट विधि का उपयोग करते हैं: वे ज्ञात दुर्भावनापूर्ण सॉफ़्टवेयर के एक पूरे समूह को प्रशिक्षण कार्यक्रम से छिपा देते हैं और फिर पूछते हैं, "क्या आपका सिस्टम इस नए समूह को एक अजनबी के रूप में पहचान सकता है जिसे इसने पहले कभी नहीं देखा है?" यदि सिस्टम उस छिपे हुए समूह को एक अजनबी के रूप में चिह्नित करता है, तो वह परीक्षण पास कर लेता है। यह प्रक्रिया यह मानकर चलती है कि छिपा हुआ समूह वास्तव में अद्वितीय है और प्रशिक्षण डेटा में उसका कोई करीबी संबंधी नहीं है। यदि छिपा हुआ समूह वास्तव में उस समूह का एक 'कजिन' (करीबी संबंधी) है जिसे सिस्टम पहले से जानता है, तो परीक्षण विफल हो जाता है, इसलिए नहीं कि सिस्टम कमजोर है, बल्कि इसलिए क्योंकि पूछा गया प्रश्न ही त्रुटिपूर्ण है।
शोधकर्ताओं की एक टीम ने हाल ही में मालवेयर डिटेक्शन के सबसे सम्मानित परीक्षणों में से एक, जिसे BODMAS कहा जाता है, में एक पहेलीनुमा विफलता की जांच की। उन्होंने पाया कि जब उन्होंने प्रशिक्षण डेटा से berbew नामक मालवेयर के एक विशिष्ट परिवार को हटाया, तो डिटेक्शन सिस्टम बुरी तरह विफल हो गया। छिपे हुए नमूनों को एक नए खतरे के रूपए चिह्नित करने के बजाय, सिस्टम ने उन्हें आत्मविश्वास के साथ सुरक्षित, ज्ञात सॉफ़्टवेयर के रूप में लेबल कर दिया। परिणाम इतने खराब थे कि सिस्टम का प्रदर्शन रैंडम गेसिंग (यादृच्छिक अनुमान) से भी बदतर था। पहली नज़र में, यह डिटेक्शन तकनीक की एक विनाशकारी विफलता लग रही थी। हालाँकि, शोधकर्ताओं ने पाया कि दोष सॉफ़्टवेयर की बुद्धिमत्ता में नहीं, बल्कि स्वयं परीक्षण की संरचना में था। छिपे हुए berbew परिवार का एक बहुत करीबी संबंधी, जिसे qukart कहा जाता है, प्रशिक्षण डेटा में मौजूद था। क्योंकि दोनों समूहों के डिजिटल फिंगरप्रिंट्स (डिजिटल निशान) एक जैसे थे, सिस्टम ने सही ढंग से पहचाना कि छिपे हुए नमूने उस परिवार से संबंधित हैं जिसे वह पहले से जानता था, भले ही वह उस विशिष्ट समूह का नाम नहीं जानता था। परीक्षण सिस्टम को उन दो समूहों के बीच के संबंध को सटीक रूप से पहचानने के लिए दंडित कर रहा था।
इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक नियंत्रित प्रयोग किया। उन्होंने प्रशिक्षण डेटा से berbew और qukart दोनों परिवारों को एक साथ हटा दिया, जिससे यह सुनिश्चित हुआ कि पीछे कोई करीबी संबंधी न छूटे। जब उन्होंने फिर से परीक्षण चलाया, तो berbew नमूनों पर सिस्टम का प्रदर्शन एक विफल स्कोर से उछलकर लगभग पूर्ण डिटेक्शन तक पहुँच गया। इस नाटकीय बदलाव ने पुष्टि की कि मूल विफलता डिटेक्शन एल्गोरिदम में किसी खामी के कारण नहीं, बल्कि प्रशिक्षण सेट में एक संबंधित परिवार की उपस्थिति के कारण हुई थी। शोधकर्ताओं ने अन्य सामान्य स्पष्टीकरणों को खारिज करने के लिए सावधानी बरती। उन्होंने पूरे डेटासेट का ऑडिट किया, हजारों मालवेयर परिवारों के जोड़ों की जाँच की कि क्या उनमें से कोई वास्तव में अलग नामों वाले डुप्लिकेट थे, जो भ्रम पैदा कर सकते थे। उन्होंने पाया कि संदिग्ध जोड़ों में से कोई भी डुप्लिकेट नहीं था। उन्होंने एंटीवायरस विक्रेताओं के नामकरण नियमों (naming conventions) की भी जांच की, जो अक्सर संबंधित मालवेयर को एक ही वंश (lineage) के तहत समूहबद्ध करते हैं। उन्होंने पाया कि ये नाम समस्या की भविष्यवाणी नहीं करते थे; एक प्रलेखित मामले में, तीन परिवारों को एक ही वंश का हिस्सा माना गया था, लेकिन केवल दो ही इतने करीब थे कि भ्रमित कर सकें। तीसरा अलग था, जिससे पता चला कि केवल नामों पर भरोसा करने से गलत समूहों का विलय हो जाता और वास्तविक मुद्दे को अनदेखा कर दिया जाता।
अध्ययन ने आगे यह भी खुलासा किया कि यह भ्रम इस बात से विशिष्ट था कि सिस्टम "नवीनता" (newness) को कैसे मापता है। शोधकर्ताओं ने अज्ञात को पहचानने के लिए कई अलग-अलग गणितीय दृष्टिकोणों का परीक्षण किया। उन्होंने पाया कि कोई भी विधि जो एक नमूने की तुलना सभी ज्ञात सॉफ़्टवेयर के व्यापक, वैश्विक सारांश (global summary) से करती है, वह एक करीबी संबंधी की उपस्थिति में विफल हो जाएगी। ये विधियाँ छिपे हुए नमूने को सामान्य मान लेंगी क्योंकि वह ज्ञात संबंधी के करीब है। हालाँकि, एक अलग दृष्टिकोण, जो एक नमूने की तुलना केवल उसके निकटतम पड़ोसियों (nearest neighbors) से करता है, बेहतर प्रदर्शन करता है। यह उत्तर पूरी तरह से सही नहीं देता है, लेकिन यह परिणाम को पूरी तरह से उलट नहीं देता है, जिससे पता चलता है कि वैश्विक औसत के बजाय स्थानीय विवरणों को देखना एक सुरक्षित रणनीति है जब करीबी संबंधी मौजूद हों। शोधकर्ताओं ने यह भी नोट किया कि एक सुपरवाइज्ड सिस्टम, जिसे प्रशिक्षण के दौरान परिवार के नामों का उपयोग करने की अनुमति दी गई थी, दोनों समूहों को प्रभावी ढंग से अलग कर सकता था, जिससे सिद्ध हुआ कि लेबल सही थे और परिवार अलग थे, बस बहुत समान थे।
इस कार्य का मुख्य सबक यह है कि हमारे सुरक्षा सॉफ़्टवेयर के परीक्षण करने के तरीके को बदलने की आवश्यकता है। केवल यह रिपोर्ट करना कि एक सिस्टम नए खतरों का पता लगाने में कितना अच्छा है, एक औसत स्कोर देना, इन महत्वपूर्ण विफलताओं को छिपा देता है। शोधकर्ता तर्क देते हैं कि किसी परीक्षण को सफल घोषित करने से पहले, हमें यह अवश्य मापना चाहिए कि छिपे हुए समूह, प्रशिक्षण में उपयोग किए गए समूहों से कितने निकटता से संबंधित हैं। यदि किसी छिपे हुए समूह का एक करीबी 'कजिन' प्रशिक्षण सेट में मौजूद है, तो परीक्षण अज्ञात को खोजने की क्षमता का मापन नहीं कर रहा है, बल्कि यह बहुत समान ज्ञात समूहों के बीच अंतर करने की क्षमता का मापन कर रहा है। समाधान इन संबंधित परिवारों को परीक्षण से हटाना नहीं है, क्योंकि वे वास्तविक खतरों का प्रतिनिधित्व करते हैं जिन्हें सुरक्षा टीमों को संभालना होता है। इसके बजाय, शोधकर्ताओं को संबंधित परिवारों वाले और बिना किसी करीबी संबंधी वाले परिवारों के लिए परिणामों को अलग से रिपोर्ट करना चाहिए। यह पारदर्शिता सुनिश्चित करती है कि एक सिस्टम को एक ज्ञात वंश को सही ढंग से पहचानने के लिए अनुचित रूप से दंडित न किया जाए, और यह स्पष्ट चित्र प्रदान करती है कि तकनीक वास्तव में कहाँ खड़ी है। इस विशिष्ट विफलता मोड और इसे समझने के लिए किए गए कदमों का दस्तावेजीकरण करके, शोधकर्ता दूसरों को समान गलतियाँ दोहराने से रोकने और अज्ञात को देखने की हमारी डिजिटल पहरेदारों की क्षमता के अधिक ईमानदार मूल्यांकन को प्रोत्साहित करने की आशा करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।