RealVuln: Benchmarking Rule-Based, General-Purpose LLM, and Security-Specialized Scanners on Real-World Code
यह शोध पत्र RealVuln को प्रस्तुत करता है, जो 26 वास्तविक-दुनिया के पायथन रिपॉजिटरीज़ पर 15 सुरक्षा स्कैनर्स का मूल्यांकन करने वाला पहला ओपन-सोर्स बेंचमार्क है, जो एक सुसंगत तीन-स्तरीय प्रदर्शन पदानुक्रम को प्रकट करता है जहाँ सुरक्षा-विशिष्ट उपकरण सामान्य-उद्देश्य वाले LLMs से बेहतर प्रदर्शन करते हैं, जो बदले में नियम-आधारित SAST समाधानों से काफी आगे निकल जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल घर (आपका सॉफ़्टवेयर कोड) के मालिक हैं। आप जानते हैं कि वहां छिपे हुए जाल, ढीले फर्श और खुली खिड़कियां (कमियां/vulnerabilities) हैं जिनका उपयोग चोर घुसपैठ के लिए कर सकते हैं। आपका काम चोरों के आने से पहले उन्हें ढूंढना और ठीक करना है।
आपकी मदद करने के लिए, आपने तीन अलग-अलग प्रकार के सुरक्षा निरीक्षकों को काम पर रखा है:
द रूल-बुक इंस्पेक्टर (रूल-बेस्ड SAST): यह व्यक्ति एक विशाल चेकलिस्ट लेकर चलता है। वह केवल उन चीजों को देखता है जो उसकी सूची से सटीक रूप से मेल खाती हैं। यदि कोई खिड़की खुली है, तो वह उसे चेक करके टिक कर देता है। लेकिन अगर कोई चोर पर्दे के पीछे छिपा है जो खिड़की जैसा दिखता है, तो वह उसे मिस कर देता है। वह तेज़ है, लेकिन किसी भी ऐसी चीज़ से आसानी से धोखा खा जाता है जो उसकी किताब की तस्वीर से बिल्कुल मेल नहीं खाती।
द स्मार्ट जनरलिस्ट (जनरल-परपज LLM): यह एक प्रतिभाशाली, सुशिक्षित जासूस है जिसने लाइब्रेरी की हर किताब पढ़ी है। वे केवल यह नहीं देखते कि खिड़की खुली है या नहीं; वे समझते हैं कि एक घर कैसे काम करता है। वे अंदाजा लगा सकते हैं कि चोर कहाँ छिप सकता है। हालांकि, वे सामान्य विशेषज्ञ (generalists) हैं। उन्होंने विशेष रूप से "घर की सुरक्षा" का अध्ययन नहीं किया है, इसलिए वे कभी-कभी विचलित हो जाते हैं, विवरण भूल जाते हैं, या थककर कुछ कमरों पर काम करना बंद कर देते हैं।
द स्पेशलाइज्ड सिक्योरिटी प्रो (सिक्योरिटी-स्पेशलाइज्ड स्कैनर): यह एक ऐसा जासूस है जिसने अपना पूरा जीवन केवल घर की सुरक्षा का अध्ययन करने में बिताया है। वे जानते हैं कि चोरों के विशिष्ट तरीके क्या होते हैं, उनके पास हर प्रकार के ताले के लिए एक कस्टम-बिल्ट टूल है, और वे हर एक कमी को खोजने के लिए जुनूनी हैं, भले ही इसके लिए उन्हें कुछ हानिरहित जगहों की भी जांच करनी पड़े।
द बिग एक्सपेरिमेंट: रियलवल्न (RealVuln)
इस पेपर के लेखकों ने, कोलीगा (Kolega) ने इन तीन प्रकार के निरीक्षकों को अंतिम परीक्षा में डालने का फैसला किया। उन्होंने नकली, बनावटी घर नहीं इस्तेमाल किए (जैसा कि अधिकांश पिछले परीक्षणों में किया गया था)। इसके बजाय, उन्होंने 26 वास्तविक, जानबूझकर खराब किए गए घर (शैक्षिक ऐप्स और कैप्चर-द-फ्लैग गेम्स) बनाए जिनमें 796 ज्ञात जाल और निरीक्षकों को चकमा देने के लिए 120 "नकली जाल" रखे गए थे।
उन्होंने पूछा: कौन सबसे अधिक वास्तविक जाल ढूंढता है बिना बहुत अधिक भ्रमित हुए?
परिणाम: एक स्पष्ट तीन-स्तरीय दौड़
परिणाम आश्चर्यजनक थे और उन्होंने एक स्पष्ट "तीन-स्तरीय" रैंकिंग बनाई:
🥇 विजेता: द स्पेशलाइजड प्रो (Kolega.Dev)
इस टूल ने 80% वास्तविक जाल ढूंढे। यह बुरे लोगों को पकड़ने में सबसे अच्छा था। हालांकि, यह थोड़ा शक्की था: इसने कुछ हानिरहित जगहों को भी संदिग्ध के रूप में चिह्नित किया (फाल्स अलार्म)। लेकिन सुरक्षा के मामले में, लेखक तर्क देते हैं कि वास्तविक घुसपैठ को मिस करने की तुलना में शक्की होना बेहतर है।- उपमा: यह एक रखवाली करने वाले कुत्ते की तरह है जो हर गिलहरी पर भौंकता है, लेकिन वह कभी भी चोर को मिस नहीं करता।
🥈 रनर-अप: द स्मार्ट जनरलिस्ट (Claude Sonnet 4.6)
सबसे अच्छा "सामान्य" AI ने लगभग 50% जाल ढूंढे। यह रूल-बुक इंस्पेक्टर से बहुत अधिक स्मार्ट था, लेकिन फिर भी इसने आधे वास्तविक खतरों को मिस कर दिया। यह अधिक सटीक भी था (कम फाल्स अलार्म), लेकिन यह उच्च-दांव वाली सुरक्षा के लिए शीर्ष विकल्प बनने के लिए पर्याप्त नहीं था।- उपमा: एक स्मार्ट मानव जासूस जो अपराध सुलझाने में अच्छा है लेकिन एक दिलचस्प बातचीत में विचलित होकर कुछ सुराग मिस कर देता है।
🥉 लूजर: द रूल-बुक इंस्पेक्टर (Semgrep, Snyk, SonarQube)
पारंपरिक उपकरण जो सरल चेकलिस्ट पर निर्भर करते हैं, उनका प्रदर्शन सबसे खराब रहा। उन्होंने केवल लगभग 18% वास्तविक जाल ढूंढे। वे किसी भी ऐसी चीज़ से आसानी से धोखा खा गए जो उनके चेकलिस्ट से बिल्कुल मेल नहीं खाती थी।- उपमा: एक गार्ड जो केवल सामने का दरवाजा चेक करता है। यदि चोर चिमनी के रास्ते आता है, तो गार्ड ऊपर तक नहीं देखता।
यह क्यों मायने रखता है?
पेपर का तर्क है कि साइबर सुरक्षा की दुनिया में, एक खतरे को मिस करना, एक फाल्स अलार्म उठाने से कहीं अधिक बुरा है।
- यदि आप एक वास्तविक भेद्यता (vulnerability) को मिस करते हैं, तो एक हैकर आपका डेटा चुरा सकता है।
- यदि आप एक फाल्स अलार्म उठाते हैं, तो एक इंसान को बस 5 मिनट खर्च करके यह कहना होगा, "ओह, यह ठीक है।"
इसी कारण से, लेखकों ने एक विशेष स्कोरिंग सिस्टम बनाया (जिसे F3 कहा जाता है) जो जाल को मिस करने के लिए बहुत अधिक दंड देता है और फाल्स अलार्म उठाने की तुलना में इसे कम महत्व देता है। इस प्रणाली के तहत, स्पेशलाइज्ड प्रो भारी अंतर से जीतता है।
चुनौती (और भविष्य)
पेपर कुछ बातें स्वीकार करता है:
- हितों का टकराव (Conflict of Interest): एक लेखक उस कंपनी के लिए काम करता है जिसने विजेता टूल (Kolega) बनाया है। इसे ठीक करने के लिए, उन्होंने सब कुछ जारी कर दिया—कोड, टेस्ट डेटा और स्कोरिंग सिस्टम—ताकि कोई भी उनके काम की जांच कर सके और साबित कर सके कि वे धोखाधड़ी नहीं कर रहे हैं।
- यह तो बस शुरुआत है: यह परीक्षण केवल पायथन कोड (एक प्रोग्रामिंग भाषा) और "खराब किए गए" टेस्ट घरों पर था। अगला संस्करण वास्तविक दुनिया के कोड और जावा और जावास्क्रिप्ट जैसी अन्य भाषाओं पर परीक्षण करेगा।
निचोड़
यदि आप अपने सॉफ़्टवेयर को सुरक्षित करना चाहते हैं, तो केवल पुराने चेकलिस्ट या जेनेरिक AI पर भरोसा न करें। सुरक्षा का भविष्य उन विशेष उपकरणों (specialized tools) में निहित है जो AI की बुद्धिमत्ता को और एक गहरी, विशिष्ट समझ के साथ जोड़ते हैं कि हैकर्स वास्तव में सिस्टम को कैसे तोड़ते हैं।
पेपर निष्कर्ष निकालता है कि जबकि जेनेरिक AI पुराने उपकरणों की तुलना में एक बड़ा कदम है, यह अपने आप में पर्याप्त नहीं है। हमारे डिजिटल घरों को सुरक्षित रखने के लिए हमें सुरक्षा के लिए विशेष रूप से बनाए गए उपकरणों की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।