Evaluating LLM Generated Detection Rules in Cybersecurity
यह शोध पत्र एक ओपन-सोर्स मूल्यांकन ढांचे और बेंचमार्क मेट्रिक्स को प्रस्तुत करता है जिसे होल्डआउट सेट पद्धति का उपयोग करके मानव-निर्मित नियमों के विरुद्ध तुलना करके LLM-जनित साइबर सुरक्षा डिटेक्शन नियमों की प्रभावशीलता का आकलन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे शहर की तरह है जहाँ हर ईमेल डाक प्रणाली के माध्यम से यात्रा करने वाला एक पत्र है। इस शहर में, कुछ बुरे तत्व हैं जो नकली पत्र, घोटाले और वायरस को दोस्ताना नोट्स के रूप में छिपाकर अंदर घुसने की कोशिश कर रहे हैं। इन्हें रोकने के लिए, हम "जासूसों" को नियुक्त करते हैं जो इन शरारती तत्वों को पहचानने के लिए विशिष्ट नियम लिखते हैं। उदाहरण के लिए, एक नियम यह हो सकता है, "यदि कोई पत्र किसी संदिग्ध पते से आता है और उसमें कोई अजीब अटैचमेंट है, तो उसे चिह्नित करें!" ये नियम हमारे डिजिटल शहर के सुरक्षा गार्ड हैं।
लंबे समय तक, केवल मानव जासूस ही ये नियम लिख सकते थे। उन्होंने हजारों पत्रों का अध्ययन किया, काम की बारीकियों को सीखा, और शरारती तत्वों को पकड़ने के लिए सटीक निर्देश लिखे। लेकिन हाल ही में, एक नया प्रकार का जासूस आया है: आर्टिफिशियल इंटेलिजेंस (AI)। ये AI एजेंट उन सुपर-फास्ट प्रशिक्षुओं की तरह हैं जो निर्देशों को पढ़ सकते हैं और सेकंडों में अपने स्वयं के नियम लिख सकते हैं। बड़ा सवाल जो हर किसी के मन में है, वह यह है: क्या ये AI प्रशिक्षु वास्तव में काम कर सकते हैं? या क्या वे केवल ऐसे नियम लिख रहे हैं जो सुनने में तो स्मार्ट लगते हैं लेकिन वास्तविक अपराधियों को पकड़ने में विफल रहते हैं, या इससे भी बुरा, क्या वे निर्दोष लोगों पर "आग!" चिल्लाने लगते हैं? यह एक पहेली है जिसे 'सबलाइम सिक्योरिटी' (Sublime Security) की एक टीम ने हल करने का प्रयास किया। वे देखना चाहते थे कि क्या एक AI विशेषज्ञ की तरह सुरक्षा नियम लिख सकता है, और यदि हाँ, तो उस AI को चालू रखने की लागत कितनी होगी।
यह शोध पत्र इन AI जासूसों का परीक्षण करने का एक नया तरीका पेश करता है, जिसमें एक विशिष्ट AI एजेंट पर ध्यान केंद्रित किया गया है जिसे ADÉ (उच्चारण "आ-डे") कहा जाता है। ADÉ को एक एकल दुर्भावनापूर्ण (malicious) ईमेल को देखने और भविष्य में समान बुरे ईमेल को पकड़ने के लिए एक नियम लिखने के लिए डिज़ाइन किया गया है। शोधकर्ताओं ने केवल यह नहीं पूछा, "क्या यह काम कर गया?" बल्कि उन्होंने तीन चीजों को मापने के लिए एक विस्तृत स्कोरिंग सिस्टम बनाया: नियम कितनी अच्छी तरह से बुरे ईमेल को पकड़ता है (सटीकता/accuracy), नियम के टूटने की कितनी संभावना है यदि कोई हैकर एक छोटी सी डिटेल बदल दे (मजबूती/robustness), और AI को एक काम करने वाला नियम लिखने के लिए कितनी आर्थिक लागत (economic cost) आती है।
ADÉ का परीक्षण करने के लिए, शोधकर्ताओं ने मानव-लिखित नियमों के साथ "लुका-छिपी" का एक पेचीदा खेल खेला। उन्होंने 'सबलाइम सिक्योरिटी' के संग्रह से उत्कृष्ट, मानव-निर्मित नियमों की एक सूची ली और गुप्त रूप से एक नियम को ADÉ की याददाश्त से हटा दिया। फिर, उन्होंने ADÉ को एक एकल बुरा ईमेल दिखाया जिसे वह छिपा हुआ नियम पकड़ने वाला था और पूछा, "क्या तुम इसे पकड़ने के लिए एक नियम लिख सकते हो?" जब ADÉ ने अपना नियम लिखा, तो शोधकर्ताओं ने मूल मानव नियम की तुलना 45,000 ईमेल के एक विशाल डेटाबेस से की।
परिणाम प्रभावशाली कौशल और समझ योग्य सीमाओं का मिश्रण थे। जब बात कठिन से कठिन (robustness) नियम लिखने की आई, तो ADÉ ने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया, और मानव विशेषज्ञों के लगभग बराबर स्कोर किया। उदाहरण के लिए, छिपे हुए जावास्क्रिप्ट कोड वाले ईमेल से जुड़े परीक्षणों में, ADÉ के नियम मानव नियमों की तरह ही बाईपास करना कठिन थे। हालाँकि, ADÉ बहुत अधिक सतर्क था। जबकि मानव विशेषज्ञ वर्षों के अनुभव के आधार पर हजारों बुरे ईमेल को पकड़ने के लिए व्यापक नियम लिखते थे, ADÉ ने केवल उस एकल ईमेल के आधार पर बहुत संकीर्ण (narrow) नियम लिखे जिसे उसे दिखाया गया था। परिणामस्वरूप, ADÉ ने कुल मिलाकर कम बुरे ईमेल (True Positives) पकड़े, लेकिन उसने अच्छे ईमेल को फ्लैग करने की गलतियाँ (False Positives) भी बहुत कम कीं। वास्तव में, कुछ परीक्षणों के लिए, ADÉ के नियमों में शून्य गलत अलार्म थे, जबकि मानव नियमों ने कभी-कभी कुछ निर्दोष संदेशों को फ्लैग किया था।
अध्ययन ने AI का उपयोग करने की "लागत" पर भी गौर किया। नियम लिखना मुफ्त नहीं है; हर बार जब AI कोड लिखने की कोशिश करता है और विफल होता है, तो कंप्यूटर चलाने की लागत आती है। शोधकर्ताओं ने पाया कि ADÉ को आमतौर पर एक सफल नियम लिखने के लिए केवल 1 से 3 प्रयासों की आवश्यकता होती थी। यह एक बहुत ही कम लागत में परिवर्तित हुआ, जो जटिल कार्य के आधार पर लगभग 5.13 के बीच था। दिलचस्प बात यह है कि AI ने अपने तर्क को समझाने के लिए मानव लेखकों की तुलना में बहुत अधिक विस्तृत टिप्पणियाँ (comments) लिखीं, जिससे नियम पढ़ना आसान हो गया।
अंततः, यह शोध पत्र सुझाव देता है कि ADÉ जैसे AI एजेंट उच्च-गुणवत्ता वाले सुरक्षा नियम लिखने में सक्षम हो रहे हैं, विशेष रूप से गलत अलार्म से बचने और बजट के भीतर रहने के मामले में। हालाँकि, वे पूरी तरह से मानव विशेषज्ञों की जगह लेने के लिए तैयार नहीं हैं। क्योंकि AI एक बार में केवल एक ही ईमेल देखता है, इसलिए उसे वे व्यापक और व्यापक नियम बनाने में संघर्ष करना पड़ता है जो मानव हजारों मामलों के अध्ययन के बाद बनाते हैं। शोधकर्ता निष्कर्ष निकालते हैं कि हालांकि AI एक शक्तिशाली उपकरण है जो विशिष्ट कार्यों को कुशलतापूर्वक संभाल सकता है, लेकिन सर्वोत्तम सुरक्षा उस साझेदारी से आती है जहाँ AI नियम-लेखन का भारी काम संभालता है, और मानव विशेषज्ञ रणनीति को निर्देशित करने के लिए मार्गदर्शन करते हैं ताकि नियम खतरों को पकड़ने के लिए सबसे बड़ा जाल सुनिश्चित कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।