Evaluating LLMs for Real-World Web Vulnerability Detection
यह शोध पत्र वर्डप्रेस प्लगइन्स में वास्तविक दुनिया की वेब कमजोरियों का पता लगाने की उनकी क्षमता पर छह फ्रंटियर और ओपन-वेट लार्ज लैंग्वेज मॉडल्स का बेंचमार्क करता है, जिससे यह पता चलता है कि हालांकि सभी मॉडल वैध समस्याओं की पहचान कर सकते हैं, लेकिन डिटेक्शन दर मॉडल और प्रॉम्प्ट डिजाइन के आधार पर काफी भिन्न होती है, और कोई भी मॉडल पुनरावृत्तियों (iterations) में सुसंगत रिपोर्टिंग या पूर्ण सटीकता प्राप्त नहीं कर सका।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास वेबसाइट बनाने के लिए डिजिटल "निर्देश मैनुअल" (कोड) का एक विशाल पुस्तकालय है। कुछ मैनुअल में छिपे हुए जाल हैं—जैसे कि एक ढीला फर्श बोर्ड जो चोरों (हैकर्स) से भरे तहखाने की ओर ले जाता है। इन जालों को कमियां (vulnerabilities) कहा जाता है।
लंबे समय तक, इन जालों को खोजने के लिए सुरक्षा विशेषज्ञों की एक टीम द्वारा हर एक मैनुअल के हर एक पन्ने को मैन्युअल रूप से पढ़ने की आवश्यकता होती थी। लेकिन हाल ही में, एक नए प्रकार का "सुपर-रीडर" आया है: लार्ज लैंग्वेज मॉडल्स (LLMs)। ये AI सिस्टम हैं जो कोड को लगभग एक इंसान की तरह पढ़ और समझ सकते हैं।
यह पेपर वास्तव में एक रिपोर्ट कार्ड है जो यह परीक्षण करता है कि छह अलग-अलग "सुपर-रीडर्स" वर्डप्रेस वेबसाइट प्लगइन्स (वे एड-ऑन्स जो वेबसाइटों को अतिरिक्त सुविधाएँ देते हैं) में इन छिपे हुए जालों को खोजने में कितने सक्षम हैं।
यहाँ उनके प्रयोग और निष्कर्षों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:
1. सेटअप: "ट्रैप हंट" (जाल की खोज)
शोधकर्ताओं ने चार लोकप्रिय वर्डप्रेस प्लगइन्स को चुना जिन्हें विशिष्ट, वास्तविक दुनिया के जालों (जैसे SQL इंजेक्शन, जो एक हैकर द्वारा डेटाबेस को अपने रहस्य उगलने के लिए बहकाने जैसा है, या क्रॉस-साइट स्क्रिप्टिंग, जो एक हैकर द्वारा सार्वजनिक बुलेटिन बोर्ड में एक नकली नोट डालने जैसा है) के लिए जाना जाता था।
उन्होंने छह अलग-अलग AI मॉडल्स से सुरक्षा ऑडिट करने के लिए कहा। उन्होंने इसे केवल एक बार नहीं पूछा; उन्होंने परीक्षण तीन बार किया ताकि यह देखा जा सके कि क्या AI सुसंगत (consistent) है, जैसे कि एक छात्र को लगातार तीन दिनों तक एक ही परीक्षा देने के लिए कहना।
उन्होंने सवाल पूछने के विभिन्न तरीके भी आजमाए (जिसे "प्रॉम्प्ट्स" कहा जाता है):
- "आलसी" प्रॉम्प्ट: बस कहा, "बग्स ढूंढो।"
- "सामान्य" प्रॉम्प्ट: कहा, "आप एक सुरक्षा विशेषज्ञ हैं। सभी प्रमुख प्रकार के बग्स ढूंढें।"
- "विशिष्ट" प्रॉम्प्ट: कहा, "आप एक सुरक्षा विशेषज्ञ हैं। विशेष रूप से इस सटीक प्रकार के बग को खोजें।"
2. परिणाम: कौन पास हुआ?
परिणाम प्रभावशाली सफलता और निराशाजनक असंगति का मिश्रण थे।
- स्टार स्टूडेंट: एक मॉडल, Claude Opus 4.6, अपने काम में सबसे अच्छा था। इसने ज्ञात जालों में से लगभग 63% को खोज निकाला। यह सबसे विश्वसनीय "जासूस" था।
- ओपन-सोर्स सरप्राइज: एक मॉडल जिसे MiniMax M2.5 कहा जाता है, जिसे आप अपने स्वयं के कंप्यूटर पर चला सकते हैं (उन अन्य मॉडल्स के विपरीत जिनके लिए सब्सक्रिप्शन लेना पड़ता है), ने शीर्ष सशुल्क (paid) मॉडल्स के समान प्रदर्शन किया, और लगभग 48% जालों को खोज निकाला। यह ऐसा है जैसे घर का बना खाना किसी पांच सितारा रेस्तरां के व्यंजन जितना स्वादिष्ट हो।
- संघर्ष करने वाले: Qwen मॉडल्स (एक अन्य ओपन-सोर्स विकल्प) ने केवल लगभग 35% जालों को खोजा। उन्होंने आधे समय से अधिक चूक की।
बड़ी सीख: सबसे अच्छा AI भी लगभग 40% जालों को मिस कर गया। किसी भी एक AI ने हर प्लगइन में हर एक जाल नहीं खोजा।
3. "जादुई सवाल" (प्रॉम्प्ट डिजाइन)
शोधकर्ताओं ने पाया कि आप AI से कैसे पूछते हैं, यह इस बात से अधिक महत्वपूर्ण है कि आप कौन सा AI उपयोग करते हैं।
- विशिष्टता बेहतर है: यदि आपने AI को कहा, "विशेष रूप से SQL इंजेक्शन की तलाश करें," तो उसने सामान्य रूप से "कुछ भी गलत ढूंढो" कहने की तुलना में अधिक बग्स खोजे। यह एक मेटल डिटेक्टर चलाने वाले व्यक्ति को बताने जैसा है, "सोने के सिक्के ढूंढो," बजाय इसके कि "किसी भी धातु की चीज़ को ढूंढो।"
- जटिलता मदद नहीं करती: AI को एक लंबी, जटिल, चरण-दर-चरण निर्देश पुस्तिका देने से वह अधिक स्मार्ट नहीं हुआ। सरल, सीधे निर्देश भी उतने ही प्रभावी रहे।
4. "सिक्के के उछाल" की समस्या (निरंतरता)
यह सबसे आश्चर्यजनक खोज थी। AI अविश्वसनीय था।
यदि आप एक ही AI से एक ही कोड के बारे में तीन बार एक ही सवाल पूछते हैं, तो वह हर बार अलग जवाब देता है।
- कभी-कभी वह कहेगा, "मुझे एक जाल मिला!"
- अगली बार, वह कहेगा, "सब कुछ सुरक्षित लग रहा है।"
- तीसरी बार, वह कह सकता है, "मुझे एक जाल मिला, लेकिन वह एक अलग वाला है।"
केवल एक मॉडल (Gemini) 95% बार सुसंगत था, लेकिन वह वही था जिसने सबसे कम ट्रैप्स खोजे। सबसे अच्छे मॉडल्स अक्सर असंगत थे, जो एक सिक्के के उछाल (coin flip) की तरह व्यवहार करते थे। इसका मतलब है कि आप केवल एक स्कैन पर भरोसा नहीं कर सकते; सुनिश्चित होने के लिए आपको स्कैन कई बार चलाना होगा।
5. "घोस्ट ट्रैप" (वह जिसे सबने मिस कर दिया)
एक विशिष्ट प्लगइन था जिसमें "स्टोर्ड क्रॉस-साइट स्क्रिप्टिंग" नामक एक पेचीदा जाल था। छह में से किसी भी AI ने इसे नहीं खोजा, यहाँ तक कि 90 प्रयासों के बाद भी नहीं।
क्यों? यह जाल एक बहुत ही विशिष्ट सेटिंग के पीछे छिपा था जो डिफ़ॉल्ट रूप से चालू नहीं थी। AI ने मान लिया, "चूंकि सेटिंग चालू नहीं है, इसलिए यह कोड मायने नहीं रखता," और उसे छोड़ दिया। यह एक मामला था जहाँ AI ने एक तार्किक धारणा बनाई जो गलत साबित हुई।
6. यह पुराने टूल्स की तुलना में कैसा है?
शोधकर्ताओं ने कोड को एक पारंपरिक सुरक्षा स्कैनर (Semgrep) के माध्यम से भी चलाया, जो एक मेटल डिटेक्टर की तरह है जो केवल विशिष्ट आकृतियों के लिए बीप करता है।
- परिणाम: पारंपरिक स्कैनर ने ज्ञात जालों में से शून्य को खोजा।
- पाठ: AI इन विशिष्ट वास्तविक दुनिया के जालों को खोजने में पुराने टूल्स की तुलना में बहुत बेहतर था, लेकिन वे अभी भी कुछ चीज़ों को मिस कर रहे थे।
अंतिम निर्णय
पेपर यह निष्कर्ष निकालता है कि AI एक शक्तिशाली सहायक है, लेकिन मानव सुरक्षा विशेषज्ञों का विकल्प नहीं है।
- यह काम करता है: AI वेबसाइट कोड में वास्तविक, खतरनाक बग्स खोज सकता है।
- यह पूर्ण नहीं है: यह आधे बग्स मिस कर देता है और अक्सर अपना विचार बदल लेता है।
- इसका उपयोग कैसे करें: आपको सबसे अच्छे परिणाम तब मिलते हैं जब आप एक शीर्ष श्रेणी के मॉडल (जैसे Claude) का उपयोग करते हैं, एक विशिष्ट प्रश्न पूछते हैं ("SQL बग्स ढूंढें"), और परीक्षण को कई बार चलाते हैं।
- चेतावनी: आप केवल AI की रिपोर्ट पर भरोसा नहीं कर सकते। मनुष्यों को अभी भी इसके निष्कर्षों की दोबारा जांच करनी चाहिए क्योंकि AI कभी-कभी "भ्रमित" (hallucinate) हो जाता है (ऐसे बग्स बना देता है जो मौजूद ही नहीं हैं) या जटिल जालों को मिस कर देता है।
संक्षेप में, AI आपकी वेबसाइट के कवच में छेद खोजने के लिए एक बेहतरीन नई टॉर्च है, लेकिन अभी भी आपको उस टॉर्च को पकड़ने, छायाओं की जांच करने और यह सुनिश्चित करने के लिए एक इंसान की आवश्यकता है कि दीवार वास्तव में सुरक्षित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।