Feature Engineering Is the Bottleneck: An Explainability Study of ML-Based Security-Relevant Method Detection
यह शोध पत्र WEAVE टूल और SHAP-आधारित व्याख्यात्मकता (explainability) के माध्यम से यह प्रदर्शित करता है कि सुरक्षा-संबंधित विधियों का पता लगाने वाले मशीन लर्निंग मॉडल अनदेखे कोड पर इसलिए विफल हो जाते हैं क्योंकि वे खराब मॉडल चयन के कारण नहीं, बल्कि पहचानकर्ताओं (identifiers) और हस्ताक्षरों (signatures) जैसे अस्थिर सतही लक्षणों पर निर्भर करते हैं, जो यह पहचानता है कि मजबूत पहचान प्राप्त करने में फीचर इंजीनियरिंग ही वास्तविक बाधा है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक सॉफ़्टवेयर के विशाल और जटिल परिदृश्य में, सुरक्षा विश्लेषक संरक्षकों के रूप में कार्य करते हैं, जो लगातार कोड को उन छिपे हुए कमजोरियों के लिए स्कैन करते हैं जो हमलावरों को डेटा चुराने या नियंत्रण लेने की अनुमति दे सकती हैं। ऐसा करने के लिए, वे स्वचालित उपकरणों पर भरोसा करते हैं जो इस बात का पता लगाते हैं कि अविश्वसनीय जानकारी, जैसे कि उपयोगकर्ता का इनपुट, एक प्रोग्राम के माध्यम से कैसे प्रवाहित होती है। इन उपकरणों को भूभाग के एक सटीक मानचित्र की आवश्यकता होती है: विशिष्ट कार्यों (functions) की एक सूची जो डेटा के लिए शुरुआती बिंदु के रूप में कार्य करते हैं, खतरनाक एंडपॉइंट्स जहाँ वह डेटा नुकसान पहुँचा सकता है, और सफाई केंद्र जो इसे निष्प्रभावी कर देते हैं। इन महत्वपूर्ण कार्यों को सुरक्षा-संबंधित विधियाँ (security-relevant methods) के रूप में जाना जाता है। वर्षों से, शोधकर्ताओं ने कंप्यूटर को इन विधियों को स्वचालित रूप से खोजने के लिए मशीन लर्निंग का उपयोग करके सिखाने की कोशिश की है, इस उम्मीद में कि वे धीमी, त्रुटि-पूर्ण मैन्युअल सूचियों को स्मार्ट, स्व-अपडेट होने वाली प्रणालियों से बदल सकें। हालांकि इन कंप्यूटर कार्यक्रमों ने अपने प्रशिक्षण के नियंत्रित वातावरण में प्रभावशाली परिणाम दिखाए हैं, वे अक्सर वास्तविक दुनिया के कोड का सामना करने पर लड़खड़ा जाते हैं, और उन्हीं खतरों को पहचानने में विफल रहते हैं जिन्हें पहचानने के लिए उन्हें बनाया गया था।
शोधकर्ताओं की एक टीम यह समझने के लिए आगे बढ़ी कि यह अंतर क्यों मौजूद है। उन्होंने WEAVE नामक एक नया उपकरण बनाया, जो इन सुरक्षा-पता लगाने वाले एल्गोरिदम के लिए एक कठोर परीक्षण मैदान के रूप में कार्य करता है। केवल यह जाँचने के बजाय कि क्या एक मॉडल सही उत्तर प्राप्त करता है, WEAVE 'व्याख्यात्मक कृत्रिम बुद्धिमत्ता' (explainable artificial intelligence) नामक एक तकनीक का उपयोग करता है ताकि मॉडल की निर्णय लेने की प्रक्रिया के भीतर देखा जा सके। यह मॉडल से अपना काम दिखाने के लिए कहता है, जिससे यह स्पष्ट होता है कि जब वह यह तय करता है कि कोई फ़ंक्शन खतरनाक है, तो वह कोड के किन हिस्सों को देख रहा है। शोधकर्ताओं ने तीन सबसे उन्नत उपलब्ध तरीकों का परीक्षण किया, उन्हें सीखने के लिए दस हजार से अधिक जावा (Java) फ़ंक्शंस का एक विशाल, नया रूप से संकलित संग्रह दिया। फिर उन्होंने मॉडलों को नए, अनदेखे कोड को वर्गीकृत करने के लिए कहा और बारीकी से देखा कि क्या उनका तर्क सुसंगत बना रहता है।
जांच ने एक आश्चर्यजनक और परेशान करने वाला सच उजागर किया। मॉडल कोड के गहरे, संरचनात्मक तर्क को नहीं सीख रहे थे, जैसे कि एक फ़ंक्शन वास्तव में क्या करता है या वह डेटा को कैसे संचालित करता है। इसके बजाय, उन्होंने लगभग पूरी तरह से सतही संकेतों, विशेष रूप से फ़ंक्शंस के नामों और उनके द्वारा उपयोग किए जाने वाले वेरिएबल्स के नामों पर भरोसा करना सीख लिया था। जब मॉडलों को प्रशिक्षित किया गया, तो उन्होंने नामों में ऐसे पैटर्न पाए जो सुरक्षा जोखिमों के साथ सह-संबंध रखते थे। हालाँकि, जब शोधकर्ताओं ने उन्हें नया कोड प्रस्तुत किया जहाँ नाम अलग थे या संदर्भ बदल गया था, तो उनके तर्क ढह गए। वे विशेषताएं जिन पर मॉडलों ने खतरे की ओर इशारा करने के लिए भरोसा किया था, अचानक खतरे से दूर होने लगीं, या उनका महत्व नाटकीय रूप से बदल गया। लगभग हर मामले में, मॉडलों ने इस बारे में अपना विचार बदल लिया कि क्या महत्वपूर्ण है, इसलिए नहीं कि उन्होंने कुछ नया सीखा था, बल्कि इसलिए क्योंकि वे शॉर्टकट जिन पर वे भरोसा करते थे, अब उस नए वातावरण में मौजूद नहीं थे।
अध्ययन ने यह भी परीक्षण किया कि क्या केवल एक अधिक शक्तिशाली कंप्यूटर एल्गोरिदम चुनना इस समस्या को ठीक कर सकता है। शोधकर्ताओं ने हजारों अलग-अलग मॉडल कॉन्फ़िगरेशन में से सर्वोत्तम को खोजने के लिए एक स्वचालित प्रणाली का उपयोग किया। जबकि इन नए मॉडलों ने मानक परीक्षणों पर थोड़ा बेहतर प्रदर्शन किया, वे बिल्कुल उसी दोष से ग्रस्त थे। वे अभी भी कोड के वास्तविक व्यवहार को अनदेखा करते रहे और नाम-आधारित नाजुक शॉर्टकटों पर ही निर्भर रहे। इस निष्कर्ष ने इस विचार को खारिज कर दिया कि विफलता खराब मॉडल चयन के कारण थी; समस्या सिस्टम के मस्तिष्क में नहीं, बल्कि उन आँखों में थी जिनसे वह कोड देखता था। शोधकर्ताओं ने निष्कर्ष निकाला कि बाधा मशीन लर्निंग की बुद्धिमत्ता में नहीं, बल्कि कोड का वर्णन करने के लिए उपयोग की जाने वाली विशेषताओं की इंजीनियरिंग में है। जब तक इन प्रणालियों को नामों और सतही विवरणों पर ध्यान केंद्रित करने वाले विवरणों के साथ खिलाया जाएगा, वे भंगुर बनी रहेंगी, और सॉफ़्टवेयर विकास की अव्यवस्थित, विविध वास्तविकता के अनुकूल होने में असमर्थ रहेंगी।
इस खोज के निहितार्थ केवल बेहतर एल्गोरिदम से परे हैं। यह सुझाव देता है कि इन उपकरणों को वास्तव में विश्वसनीय होने के लिए, उन्हें कोड के लेबल के बजाय उसके सार को देखना सिखाया जाना चाहिए। शोधकर्ताओं ने पाया कि कोड के वे हिस्से जो वास्तविक व्यवहार का वर्णन करते हैं, जैसे कि एक फ़ंक्शन के भीतर ऑपरेशन्स का क्रम, मॉडलों द्वारा शायद ही कभी उपयोग किए गए। यह एक गंभीर अंध बिंदु है, क्योंकि एक दुर्भावनापूर्ण फ़ंक्शन आसानी से डिटेक्टर से बचने के लिए अपना नाम बदल सकता है, जबकि उसका खतरनाक व्यवहार अपरिवर्तित रहता है। अध्ययन इस बात पर प्रकाश डालता है कि कंप्यूटर को सुरक्षा के बारे में सिखाने का वर्तमान दृष्टिकोण कार्य की प्रकृति के साथ मौलिक रूप से असंगत है। सॉफ्टवेयर की रक्षा करने में वास्तव में सक्षम उपकरण बनाने के लिए, ध्यान नामों को वर्गीकृत करने के बेहतर तरीके खोजने से हटकर प्रोग्राम के वास्तविक तर्क और प्रवाह को समझने के तरीके विकसित करने पर केंद्रित होना चाहिए। इस बदलाव के बिना, यहाँ तक कि सबसे परिष्कृत मशीन लर्निंग मॉडल भी वेरिएबल का नाम बदलने की सरल चाल के प्रति असुरक्षित रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।