Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing
यह शोध पत्र तर्क देता है कि स्वायत्त पेनेट्रेशन टेस्टिंग एजेंटों के भविष्य के मूल्यांकन के लिए नियंत्रित, मॉडल-मैच्ड प्लेन-एजेंट बेसलाइन स्थापित करना अनिवार्य है ताकि आर्किटेक्चरल नवाचारों से प्राप्त प्रदर्शन लाभ और अंतर्निहित मॉडल सुधारों के कारण होने वाले लाभ के बीच सटीक अंतर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट डिजिटल इमारतों वाले एक विशाल, निरंतर बदलते शहर की तरह है। कुछ इमारतों में छिपे हुए जाल और टूटे हुए ताले होते हैं—सुरक्षा खामियां जिनका उपयोग बुरे तत्व घुसपैठ करने के लिए कर सकते हैं। दशकों तक, इन खामियों को खोजने का काम मानव विशेषज्ञों का था, जैसे कि डिजिटल ताला बनाने वाले (locksmiths) जो हर कमरे में जाकर दरवाजों और खिड़कियों की जांच करते हैं। लेकिन यह शहर बहुत तेजी से बढ़ रहा है; हर सेकंड नई इमारतें खड़ी हो रही हैं, और ताला बनाने वाले उनका मुकाबला नहीं कर पा रहे हैं। इसलिए, वैज्ञानिकों ने आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करके "रोबोट ताला बनाने वाले" बनाना शुरू किया। ये रोबोट 'लार्ज लैंग्वेज मॉडल्स' (LLMs) द्वारा संचालित होते हैं, जो सुपर-स्मार्ट दिमागों की तरह हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है और वे कोड लिख सकते हैं, समस्याओं पर तर्क कर सकते हैं और निर्देशों का पालन कर सकते हैं।
इस क्षेत्र में बड़ा सवाल केवल यह नहीं है कि "क्या रोबोट ताला ढूंढ सकता है?" बल्कि यह है कि "रोबोट की सफलता का कितना हिस्सा उसके दिमाग से आता है, और कितना उन शानदार उपकरणों से जो हमने उसे दिए हैं?" कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है। यदि आप उसे एक साधारण नोटबुक और पेन देते हैं, तो वह गणित की समस्या हल कर सकता है। यदि आप उसे एक हाई-टेक कैलकुलेटर, ट्यूटर्स की एक टीम और एक विशेष मानचित्र देते हैं, तो वह समस्या को और तेज़ी से हल कर सकता है। लेकिन क्या कैलकुलेटर ने उसे स्मार्ट बनाया, या उसने सिर्फ मदद की? AI सुरक्षा की दुनिया में, शोधकर्ता जटिल "हार्नेस" (harnesses)—AI एजेंटों की टीमें, विशेष मेमोरी सिस्टम और सर्च टूल्स—बनाते रहे हैं, जो AI को वेबसाइट हैक करने में मदद करते हैं। लेकिन क्योंकि वे AI के दिमाग और उपकरणों दोनों को एक साथ बदलते रहते हैं, इसलिए कोई नहीं जानता था कि क्या शानदार उपकरण वास्तव में भारी काम कर रहे थे, या AI अपने आप बेहतर हो रहा था।
यह शोध पत्र, जिसका शीर्षक "बेसलाइन्स बिफोर आर्किटेक्चर" (Baselines Before Architecture) है, एक बहुत ही सावधानीपूर्वक प्रयोग के साथ इस विवाद को सुलझाने के लिए आगे आता है। शोधकर्ताओं ने XBOW बेंचमार्क नामक 104 डिजिटल चुनौतियों के एक मानक सेट का उपयोग करके एक नियंत्रित परीक्षण स्थापित किया। एक नया, शानदार रोबोट बनाने के बजाय, उन्होंने तीन मौजूदा, "साधारण" कोडिंग सहायकों को लिया—जिनके नाम Codex, OpenCode और Pi हैं—और उन्हें एक शक्तिशाली AI मस्तिष्क (GPT-5) का उपयोग करके और बिना किसी विशेष सुरक्षा उपकरण के, चुनौतियों को हल करने के लिए कहा। वे देखना चाहते थे कि किसी भी अतिरिक्त गैजेट के बिना एक "नग्न" (naked) AI कैसा प्रदर्शन करता है।
परिणाम आश्चर्यों और व्यावहारिक सत्यों का मिश्रण थे। सबसे पहले, साधारण कोडिंग एजेंट आश्चर्यजनक रूप से मजबूत थे। GPT-5 मॉडल पर चलने वाले "Codex" एजेंट ने अपने पहले प्रयास में लगभग 6ط% चुनौतियों को हल किया। जब शोधकर्ताओं ने इसे फिर से प्रयास करने दिया (एक ही परीक्षण को दो बार चलाया और परिणामों को मिलाया), तो इसने 77.9% चुनौतियों को हल किया। यह एक बड़ी बात है क्योंकि इसका मतलब है कि एक सरल, सामान्य-उद्देश्य वाला कोडिंग रोबोट बिना किसी जटिल सुरक्षा टीम के पहले से ही काम का एक बड़ा हिस्सा संभाल सकता है।
अध्ययन ने दो विशिष्ट विचारों का भी परीक्षण किया जिन्हें कई लोग आवश्यक मानते थे। एक था "सिक्योरिटी प्रॉम्प्टिंग" (security prompting), जहाँ आप AI को एक विशेष निर्देश पत्र देते हैं जिसमें उसे एक हैकर की तरह सोचने के लिए कहा जाता है। दूसरा विचार यह था कि जटिल, मल्टी-एजेंट आर्किटेक्चर (जहाँ विभिन्न AI भूमिकाएँ एक-दूसरे से बात करती हैं) शीर्ष प्रदर्शन के लिए आवश्यक हैं। शोध में पाया गया कि विशेष "हैकर निर्देशों" ने वास्तव में AI के प्रदर्शन को खराब कर दिया, जिससे कम चुनौतियाँ हल हुईं और अधिक पैसा खर्च हुआ। जहाँ तक जटिल आर्किटेक्चर का सवाल है, पत्र ने साधारण Codex परिणामों की तुलना MAPTA और PentestGPT V2 नामक दो प्रसिद्ध, हाई-टेक सिस्टम से की।
यहाँ सूक्ष्म अंतर है: शानदार सिस्टम का थोड़ा बढ़त वाला पक्ष अभी भी था। जब उन्हें एक ही AI मस्तिष्क के साथ मिलाया गया, तो विशेष MAPTA सिस्टम ने साधारण Codex की तुलना में लगभग 9.6 प्रतिशत अंक अधिक चुनौतियों को हल किया। हालाँकि, पत्र ने दिखाया कि यह अंतर उतना बड़ा नहीं था जितना दिखता था। जब शोधकर्ताओं ने साधारण Codex एजेंट को एक नए, स्मार्ट दिमाग (GPT-5.5) के साथ अपग्रेड किया, तो इसने अपने पहले प्रयास में 92.3% चुनौतियों को हल किया और दो रन को मिलाने पर 95.2% को। यह नया साधारण एजेंट, बिना किसी फैंसी टूल के, पुराने जटिल सिस्टम के हेडलाइन स्कोर को भी पछाड़ गया।
मुख्य निष्कर्ष वैज्ञानिक समुदाय के लिए एक चेतावनी है: यह न मानें कि एक नया जटिल आर्किटेक्चर नायक है सिर्फ इसलिए क्योंकि वह एक उच्च स्कोर प्राप्त करता है। अक्सर, स्कोर AI मॉडल के स्मार्ट होने से आता है, न कि उपकरणों के शानदार होने से। पत्र सुझाव देता है कि किसी नए "सुरक्षा हार्नेस" को एक बड़ी उपलब्धि बताने से पहले, शोधकर्ताओं को यह दिखाना चाहिए कि वह ठीक उसी AI मस्तिष्क का उपयोग करने वाले एक सरल, साधारण कोडिंग एजेंट की तुलना में कितना बेहतर है। हालांकि विशेष उपकरण अभी भी समय और पैसा बचाने में मदद कर सकते हैं, लेकिन "साधारण" AI पहले से ही अधिकांश भारी काम कर रहा है, और केवल अगली पीढ़ी के AI मॉडलों की प्रतीक्षा करना, एक अधिक जटिल रोबोट बनाने जितना ही प्रभावी हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।