Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering?
यह शोध पत्र डोमेन विशेषज्ञों के साथ एक अध्ययन के माध्यम से नेटवर्क घुसपैठ पहचान प्रणाली (NIDS) नियम इंजीनियरिंग में लार्ज लैंग्वेज मॉडल्स की विश्वसनीयता की जांच करता है, जो यह प्रकट करता है कि हालांकि बड़े मॉडल सिंटैक्टिक रूप से सही नियम उत्पन्न करते हैं, लेकिन उनकी सिमेंटिक अशुद्धताएं और मतिभ्रम (hallucinations) उनके उपयोग को स्वायत्त पीढ़ी के बजाय एक सहायक ड्राफ्टिंग भूमिका तक सीमित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरे शहर के सुरक्षा प्रमुख हैं। आपका काम अपने सुरक्षा गार्डों (नेटवर्क घुसपैstä डिटेक्शन सिस्टम, या NIDS) को यह बताने के लिए "कानून" (नियम) लिखना है कि उन्हें वास्तव में क्या देखना है। यदि कोई कार एक तरफा सड़क पर गलत दिशा में चलती है, तो गार्ड को उसे रोकने के लिए एक विशिष्ट कानून की आवश्यकता होती है। यदि कोई चोर ताला तोड़ने की कोशिश करता है, तो गार्ड को अलार्म बजाने के लिए एक नियम की आवश्यकता होती है।
वर्षों से, ये कानून लिखना एक थकाऊ, मैनुअल काम रहा है। इसके लिए इस बात का गहरा ज्ञान आवश्यक है कि शहर कैसे काम करता है, चोर कैसे काम करते हैं, और कानून की किताबों की सटीक व्याकरण क्या है। लेकिन जैसे-जैसे अपराध पहले से कहीं अधिक तेजी से विकसित हो रहा है, मानव विशेषज्ञ थक रहे हैं, अभिभूत हो रहे हैं और समय की कमी का सामना कर रहे हैं।
यहाँ लार्ज लैंग्वेज मॉडल्स (LLMs) आते हैं। इन्हें स्मार्ट, AI-संचालित 'कानूनी क्लर्कों' के रूप में सोचें जिन्होंने लाइब्रेरी की हर किताब पढ़ रखी है। मुख्य सवाल जो यह शोध पत्र पूछता है, वह है: "क्या हम इन AI क्लर्कों पर हमारे सुरक्षा गार्डों के लिए वास्तविक कानून लिखने के लिए भरोसा कर सकते हैं, या वे केवल ऐसी निरर्थक चीजें लिखेंगे जो कागज पर अच्छी दिखती हैं?"
शोधकर्ताओं ने केवल AI से नियम लिखने के लिए नहीं कहा; उन्होंने यह देखने के लिए 10 वास्तविक दुनिया के सुरक्षा विशेषज्ञों ( "जजों") के साथ एक कठोर परीक्षण आयोजित किया कि क्या होता है। यहाँ जो उन्होंने पाया, उसका सरल विवरण दिया गया है:
1. "पूर्ण व्याकरण, गलत अर्थ" का विरोधाभास
AI क्लर्क व्याकरण में अद्भुत हैं। जब उनसे सुरक्षा नियम लिखने के लिए कहा जाता है, तो AI लगभग हमेशा वर्तनी, विराम चिह्न और संरचना को एकदम सही रखता है। यह एक ऐसे छात्र की तरह है जो पूर्ण वर्तनी और विराम चिह्नों के साथ वाक्य लिखता है लेकिन कुछ ऐसा कहता है जिसका वास्तविक दुनिया में कोई अर्थ नहीं निकलता।
- निष्कर्ष: AI ऐसे नियम लिख सकता है जिन्हें कंप्यूटर बिना किसी त्रुटि के स्वीकार करता है (सिंटैक्टिक रूप से सही)। हालांकि, जब मानव विशेषज्ञों ने उन्हें देखा, तो उन्हें एहसास हुआ कि नियम अक्सर बहुत अस्पष्ट या तार्किक रूप से त्रुटिपूर्ण थे। लगभग 12% समय, AI ने "हैलुसिनेशन" (भ्रम) किया, यानी उसने ऐसी चीजें बनाईं जो आधिकारिक तो लग रही थीं लेकिन वास्तव में अपराधी को नहीं पकड़ पातीं।
2. आकार मायने रखता है (बड़े दिमाग बनाम छोटे दिमाग)
शोधकर्ताओं ने विभिन्न आकार के AI मॉडलों का परीक्षण किया।
- छोटे मॉडल: इन्हें बहुत कम प्रशिक्षण प्राप्त इंटर्न के रूप में समझें। वे लगभग पूरी तरह से विफल रहे। वे ऐसा नियम भी नहीं लिख सके जिसे कंप्यूटर स्वीकार कर सके।
- बड़े मॉडल: इन्हें वरिष्ठ प्रोफेसरों के रूप में समझें। वे बहुत बेहतर थे, और लगभग 85-90% समय "व्याकरण" को सही रखते थे।
- पेंच: "प्रोफेसरों" को भी बहुत मदद की जरूरत थी। वे अक्सर पहला ड्राफ्ट गलत बनाते थे और उपयोग करने योग्य नियम बनने से पहले उन्हें कई बार सुधारने की आवश्यकता होती थी।
3. "बहुत सामान्य" होने की समस्या
यह मानव विशेषज्ञों की सबसे बड़ी शिकायत थी।
- उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड हर कार को इसलिए रोकता है क्योंकि "कुछ कारें चोरी की हो सकती हैं।" यह मददगार नहीं है; यह यातायात को रोकता है और अराजकता पैदा करता है।
- वास्तविकता: AI बहुत व्यापक नियम लिखने की ओर प्रवृत्त था। यह कहने के बजाय कि, "लाल ट्रक को रोकें जिसका लाइसेंस प्लेट ABC-123 है," AI ने कहा, "किसी भी वाहन को रोकें।" विशेषज्ञों ने कहा कि इन नियमों से बहुत अधिक 'फॉल्स अलार्म' (शोर) उत्पन्न होगा, जिससे वास्तविक खतरों को ढूंढना कठिन हो जाएगा। AI सटीक विवरणों को सही करने में संघर्ष कर रहा था, जैसे कि ट्रैफ़िक के सटीक प्रकार या सुराग के सटीक स्थान की जांच करना।
4. इंसान अभी भी बॉस है
शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जहाँ AI एक सहायक के रूप में कार्य करता है, बॉस के रूप में नहीं। उन्होंने विशेषज्ञों को AI के साथ चैट करने, उसके काम की जांच करने और गलतियों को सुधारने के लिए एक टूल दिया।
- परिणाम: विशेषज्ञों ने ड्राफ्टिंग और समझाने के लिए इस टूल को बहुत पसंद किया। उन्होंने कहा कि यह उपयोग में आसान है और उन्हें जटिल नियमों को समझने में मदद करता है।
- विश्वास का मुद्दा: हालाँकि, किसी ने भी अकेले काम करने के लिए AI पर भरोसा नहीं किया। उन्होंने इसे एक "ड्राफ्टिंग असिस्टेंट" या "स्पेल-चेकर" के रूप में देखा, न कि एक "नियम लेखक" के रूप में। यदि AI ने एक नियम लिखा, तो मानव को इसे वास्तविक सिस्टम में डालने से पहले इसे शुरू से फिर से लिखना पड़ता था या इसमें भारी सुधार करना पड़ता था।
- निर्णय: विशेषज्ञों ने कहा, "हम अपने काम को तेज करने के लिए इसका उपयोग करेंगे, लेकिन हम कभी भी AI को अपने आप अंतिम निर्णय लेने देंगे।"
5. "संदर्भ" का संकेत
AI ने बेहतर प्रदर्शन किया जब उसे अधिक पृष्ठभूमि जानकारी दी गई, जैसे कि एक "प्रूफ ऑफ कॉन्सेप्ट" (एक नमूना कि कैसे एक हैकर हमला करता है)। यह एक कानूनी क्लर्क को केवल एक अपराधी के विवरण के बजाय अपराधी की फोटो देने जैसा है। हालांकि, उस अतिरिक्त जानकारी को संभालने के लिए AI को एक "बड़ा दिमाग" (एक बड़ा मॉडल) होना आवश्यक था ताकि वह भ्रमित न हो।
निचोड़
शोध पत्र निष्कर्ष निकालता है कि जबकि AI सुरक्षा विशेषज्ञों के लिए एक शानदार सहायक है—व्याकरण की जांच करने, जटिल विचारों को समझाने और कच्चे विचार तैयार करने के लिए बेहतरीन—यह सुरक्षा नियमों का वास्तुकार (Architect) बनने के लिए अभी तैयार नहीं है।
विशेषज्ञ एक ऐसा भविष्य देखते हैं जहाँ AI उनके काम को तेज करने में मदद करता है, लेकिन वे "ह्यूमन इन द लूप" (मानव की निगरानी) बनाए रखने पर जोर देते हैं। वे ही उन कामों की दोबारा जांच करना चाहते हैं, क्योंकि एक गलती की लागत (हैकर को अंदर आने देना या वैध उपयोगकर्ता को रोकना) बहुत अधिक है, इसलिए मशीन पर अकेले भरोसा करना जोखिम भरा है।
संक्षेप में: AI एक शानदार लेखक है जो पूर्ण वाक्य लिखता है, लेकिन यह सुनिश्चित करने के लिए कि कहानी वास्तव में समझ में आए, इसे अभी भी एक मानव संपादक की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।