RuleForge: Automated Generation and Validation for Web Vulnerability Detection at Scale
RuleForge एक AWS आंतरिक प्रणाली है जो एक नवीन LLM-as-a-judge कॉन्फिडेंस सिस्टम और इटरेटिव रिफाइनमेंट स्ट्रैटेजी का उपयोग करके Nuclei टेम्पलेट्स से वेब वल्नरेबिलिटी डिटेक्शन रूल्स के जनरेशन और वैलिडेशन को ऑटोमेट करती है, जो आधुनिक CVE डिस्क्लोजर के पैमाने को संबोधित करते हुए फॉल्स पॉजिटिव्स को काफी कम कर देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल शहर (इंटरनेट) के सुरक्षा प्रमुख हैं। हर दिन, बुरे लोगों द्वारा हजारों नए "घुसपैठ की योजनाएं" (कमियां/vulnerabilities) खोजी जाती हैं। अतीत में, आपके पास मानव जासूसों की एक टीम थी जो प्रत्येक योजना को पढ़ती थी, यह समझने की कोशिश करती थी कि इसे कैसे पहचाना जाए, और अपराधी को पकड़ने के लिए एक विशिष्ट नियम लिखती थी।
समस्या क्या थी? 2025 में, 48,000 नई घुसपैठ की योजनाएं सामने आईं। आपकी मानव जासूसों की टीम केवल उनमें से एक बहुत छोटे हिस्से के लिए ही नियम लिख पा रही थी। शहर पूरी तरह से अभिभूत हो रहा था।
यहाँ आता है RuleForge।
RuleForge Amazon Web Services (AWS) द्वारा बनाया गया एक सुपर-स्मार्ट, अथक रोबोटिक सहायक है, जिसे आपके जासूसों की मदद करने के लिए बनाया गया है। इंसानों द्वारा हर नियम को शून्य से लिखने के बजाय, RuleForge इन घुसपैठ की योजनाओं के लिए स्वचालित रूप से "वांटेड पोस्टर" (डिटेक्शन रूल्स) लिखता है।
यह कैसे काम करता है, कुछ सरल उपमाओं (analogies) का उपयोग करते हुए देखें:
1. रेसिपी बुक (Nuclei Templates)
आमतौर पर, सुरक्षा शोधकर्ता इन घुसपैठ की योजनाओं के लिए एक संरचित प्रारूप में "रेसिपी" लिखते हैं जिसे Nuclei templates कहा जाता है। इन्हें मानकीकृत निर्देश मैनुअल के रूप में सोचें जो कहते हैं, "यदि कोई बुरा आदमी X करने की कोशिश करता है, तो यह एक अपराध है।"
- RuleForge का काम: यह इन मैनुअल को पढ़ता है और तुरंत एक विशिष्ट "वांटेड पोस्टर" (एक JSON नियम) लिखता है जिसे शहर के सुरक्षा कैमरे समझ सकें।
2. "5x5" रणनीति (दोबारा प्रयास करने की कला)
यदि आप एक रोबोट को एक बार नियम लिखने के लिए कहते हैं, तो हो सकता है कि वह गलत हो जाए। इसलिए, RuleForge 5x5 नामक रणनीति का उपयोग करता है।
- उपमा: कल्पना कीजिए कि आप एक शेफ को एक विशिष्ट व्यंजन पकाने के लिए काम पर रख रहे हैं। एक शेफ से एक बार खाना पकाने के लिए कहने के बजाय, आप एक ही समय में पाँच अलग-अलग शेफ को इसे पकाने के लिए कहते हैं।
- ट्विस्ट: यदि पहले बैच के व्यंजन परफेक्ट नहीं हैं, तो आप उन्हें फेंक नहीं देते। आप उन्हें फीडबैक देते हैं ("बहुत नमकीन है," "मसाला कम है") और उन्हें पाँच बार तक फिर से कोशिश करने के लिए कहते हैं।
- परिणाम: उन सभी प्रयासों में से, आप लगभग निश्चित रूप से कम से कम एक परफेक्ट व्यंजन ढूंढ लेंगे। यह सुनिश्चित करता है कि सिस्टम प्रत्येक भेद्यता (vulnerability) के लिए सबसे अच्छा नियम खोज ले।
3. "जज" रोबोट (LLM-as-a-Judge)
यही इस पेपर का सबसे बड़ा नवाचार है। आप कैसे जानेंगे कि रोबोट का नियम अच्छा है?
- पुराना तरीका: आप नियम का परीक्षण नकली बुरे लोगों और नकली अच्छे लोगों के साथ करते हैं। यदि यह बुरे लोगों को पकड़ता है और अच्छे लोगों को अनदेखा करता है, तो आप इसे पास कर देते हैं। लेकिन यह एक ऐसे टेस्ट जैसा है जिसमें आसान सवाल पूछे गए हों; यह आपको यह नहीं बताता कि यह वास्तविक दुनिया में क्यों विफल हो सकता है।
- नया तरीका (द जज): RuleForge एक दूसरे, बहुत स्मार्ट AI (एक "जज") का उपयोग करता है जो नियम को देखता है और दो महत्वपूर्ण प्रश्न पूछता है:
- "क्या इस बात की संभावना है कि यह नियम एक असली अपराधी को छोड़ दे?" (Sensitivity)
- "क्या इस बात की संभावना है कि यह नियम किसी निर्दोष व्यक्ति पर झूठा आरोप लगा दे?" (Specificity)
- उपमा: इस दूसरे AI को एक छात्र के रूप में सोचें जो परीक्षा दे रहा है, और दूसरे AI को एक सख्त शिक्षक के रूप में जो परीक्षा को ग्रेड दे रहा है। शिक्षक केवल "पास/फेल" नहीं देता; वे एक टिप्पणी लिखते हैं कि उत्तर कमजोर क्यों है।
- जादू: छात्र AI, शिक्षक की टिप्पणियों को पढ़ता है, उनसे सीखता है, और एक बेहतर नियम लिखने की कोशिश करता है। यह लूप स्वचालित रूप से होता है, जिससे नियम हर प्रयास के साथ अधिक स्मार्ट और सटीक होते जाते हैं।
4. वास्तविक दुनिया का स्ट्रेस टेस्ट (IP Validation)
नियम लाइव होने से पहले, उसे एक बड़े स्ट्रेस टेस्ट से गुजरना पड़ता है।
- उपमा: कल्पना कीजिए कि आपके पास हवाई अड्डे पर एक नया मेटल डिटेक्टर है। आप इसे केवल एक नकली चाकू के साथ टेस्ट नहीं करते; आप इसे 5 अरब वास्तविक यात्रियों (वास्तविक वेब ट्रैफिक) के माध्यम से चलाते हैं।
- लक्ष्य: आप चाहते हैं कि डिटेक्टर केवल तभी बीप करे जब कोई वास्तविक अपराधी पास से गुजरे। यदि यह निर्दोष लोगों के लिए भी बीप करता है (फॉल्स पॉजिटिव), तो आपको इसे सेवा से हटाना होगा क्योंकि इससे अराजकता मच जाएगी।
- परिणाम: "जज" रोबोट इन खराब नियमों को इस महंगे टेस्ट तक पहुँचने से पहले ही फिल्टर करने में मदद करता है, जिससे समय और पैसा बचता है।
5. हमने क्या सीखा? (सबक)
यह पेपर सुरक्षा के लिए AI के उपयोग के बारे में कुछ मजेदार लेकिन महत्वपूर्ण सबक साझा करता है:
- AI अति-आत्मविश्वासी है: यदि आप AI से पूछते हैं, "क्या आप आश्वस्त हैं कि यह नियम परफेक्ट है?" तो वह कहेगा "हाँ, 90% आश्वस्त हूँ!" भले ही वह गलत हो। यह एक ऐसे छात्र की तरह है जो आत्मविश्वासी तो है लेकिन गलत है।
- समाधान: केवल "क्या यह सही है?" पूछने के बजाय, टीम ने AI से पूछना सीखा, "इसमें क्या गलत है?" AI को खामियों को खोजने वाले एक आलोचक की भूमिका निभाने के लिए मजबूर करके, यह बहुत अधिक सटीक हो जाता है।
- मानवीय स्पर्श की अभी भी आवश्यकता है: इस पूरी ऑटोमेशन के बावजूद, एक मानव सुरक्षा विशेषज्ञ को नियम लाइव होने से पहले अंतिम "थम्स अप" देना होता है। AI भारी काम करता है, लेकिन अंतिम निर्णय इंसान का होता है।
निष्कर्ष
RuleForge एक ऐसा सिस्टम है जो 48,000 सुरक्षा नियमों को मैन्युअल रूप से लिखने के असंभव कार्य को एक प्रबंधनीय, स्वचालित प्रक्रिया में बदल देता है। अपनी "5x5" जनरेशन रणनीति और अपने काम की आलोचना करने वाले "जज" AI का उपयोग करके, वे निम्नलिखित में सक्षम हुए:
- गलत अलार्म में 67% की कमी आई (ताकि निर्दोष लोगों को चिह्नित न किया जाए)।
- उत्पादकता में 336% की वृद्धि हुई (तीन मानव टीमों के काम को अकेले करना)।
- उन खतरों के खिलाफ शहर को सुरक्षित रखा जिन्हें अकेले इंसान नहीं संभाल सकते थे।
यह इस बात का एक आदर्श उदाहरण है कि कैसे AI का उपयोग मनुष्यों को बदलने के लिए नहीं, बल्कि उन्हें सुपरपावर देने के लिए किया जाता है ताकि वे उस दुनिया को संभाल सकें जो अकेले किसी के भी मुकाबला करने की गति से बहुत तेजी से बदल रही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।