One Successful Run Is Not an Exploit: Replaying LLM-Written Exploit Scripts with the Model Out of the Loop
यह शोध पत्र यह प्रदर्शित करता है कि LLM-आधारित आक्रामक सुरक्षा बेंचमार्क में एकल-रन सफलता अक्सर भ्रामक होती है, यह दिखाते हुए कि जबकि जनरेट किए गए एक्सप्लॉयट स्क्रिप्ट मॉडल के बिना पुनरावृत्ति (replay) करने पर अत्यधिक स्थिर होते हैं, वास्तविक अस्थिरता स्वयं स्क्रिप्टों में नहीं बल्कि जनरेशन प्रक्रिया में निहित है, जो सटीक मूल्यांकन के लिए मॉडल के प्रदर्शन और आर्टिफैक्ट की विश्वसनीयता के बीच अलगाव को आवश्यक बनाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर सुरक्षा की दुनिया में, बचाव करने वालों और उन्हें तोड़ने की कोशिश करने वालों के बीच एक निरंतर दौड़ चलती रहती है। जब किसी कंप्यूटर सिस्टम में एक छिपी हुई कमजोरी होती है, जिसे 'वल्नरेबिलिटी' (vulnerability) कहा जाता है, तो एक कुशल हमलावर उस कमजोरी का फायदा उठाने के लिए कोड का एक छोटा सा टुकड़ा लिख सकता है ताकि अनधिकृत पहुंच प्राप्त की जा सके। आज, शोधकर्ता इन कोड के टुकड़ों को स्वचालित रूप से लिखने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग कर रहे हैं। इन एआई (AI) सिस्टम्स को, जिन्हें अक्सर 'एजेंट्स' कहा जाता है, एक चुनौती और नियमों का एक सेट दिया जाता है, और वे एक ऐसा स्क्रिप्ट बनाने की कोशिश करते हैं जो एक परीक्षण प्रणाली (test system) में सफलतापूर्वक प्रवेश कर सके। यदि वह स्क्रिप्ट एक बार भी काम कर जाती है, तो इस क्षेत्र में सफलता को मापने का मानक तरीका इसे एक जीत के रूप में गिनना है। यह धारणा रही है कि यदि कोई एआई एक ऐसा स्क्रिप्ट लिख सकता है जो एक बार काम करता है, तो उसने सिस्टम को तोड़ने का एक विश्वसनीय तरीका ढूंढ लिया है। लेकिन यह धारणा एक महत्वपूर्ण प्रश्न अनुत्तरित छोड़ देती है: यदि आप उसी स्क्रिप्ट को दोबारा एक ताज़ा सिस्टम पर चलाते हैं, तो क्या वह दूसरी बार भी काम करेगी?
एक शोधकर्ता ने इस प्रश्न का उत्तर देने के लिए इन एआई-जनरेटेड स्क्रिप्ट्स के परीक्षण करने के तरीके को बदलकर यह प्रयास किया। एआई को बार-बार प्रयास करने के लिए कहने के बजाय, जो एआई की सोचने और अनुकूलित होने की क्षमता का परीक्षण करता, उन्होंने खुद स्क्रिप्ट का परीक्षण करने का निर्णय लिया। उन्होंने उन विजेता स्क्रिप्ट्स को लिया जिन्हें एआई ने पहले ही बना लिया था और उन्हें लक्षित प्रणालियों की नई, साफ प्रतियों पर बार-बार चलाया, बिना एआई को दूसरे दौर में शामिल किए। यह दृष्टिकोण एक ऐसी चाबी लेने जैसा है जिसने एक बार दरवाजा खोला और फिर यह देखने के लिए कि क्या वह अभी भी फिट बैठती है, उसे एक दर्जन नए, समान दरवाजों पर आजमाया। शोधकर्ता जानना चाहते थे कि क्या चाबी वास्तव में अच्छी थी, या वह केवल पहले दरवाजे की किसी विशिष्ट, अस्थायी स्थिति के कारण काम कर रही थी।
इस अध्ययन में सुरक्षा की चौदह अलग-अलग चुनौतियाँ शामिल थीं, जो सरल लॉगिन दोषों से लेकर उन जटिल मुद्दों तक फैली हुई थीं जहाँ सिस्टम उपयोगकर्ता के इनपुट को खतरनाक तरीके से प्रोसेस करता है। एआई को इन चुनौतियों को हल करने के लिए कहा गया था, और वह 196 अलग-अलग प्रयासों के लिए काम करने वाली स्क्रिप्ट बनाने में सफल रहा। शोधकर्ता ने इन 196 स्क्रिप्ट्स में से प्रत्येक को लिया और उन्हें ताज़ा सिस्टम पर दस बार चलाया, जिससे कुल 1,960 टेस्ट रन बने। परिणाम आश्चर्यजनक रूप से स्पष्ट थे: उन 1,950 रन में, स्क्रिप्ट ठीक वैसे ही काम करती थी जैसे उसने पहली बार किया था। इसका मतलब है कि अधिकांश मामलों में, एक बार जब एआई ने समाधान ढूंढ लिया, तो वह समाधान एक स्थिर, विश्वसनीय कोड था जिसे पुन: उपयोग किया जा सकता था। स्क्रिप्ट भाग्य या सफलता के किसी क्षणिक पल पर निर्भर नहीं थी; यह एक ठोस उपकरण था जो लगातार काम करता था।
हालाँकि, इस अध्ययन ने एक दिलचस्प अपवाद को भी उजागर किया जो बताता है कि पुराने परीक्षण का तरीका अपर्याप्त क्यों था। 196 में से एक स्क्रिप्ट ऐसी थी जो ताज़ा सिस्टम पर हर बार चलाने पर विफल रही। यह एक "डेड" (dead) स्क्रिप्ट थी जो दरवाजा नहीं खोल सकती थी। फिर भी, जब शोधकर्ता ने उस स्क्रिप्ट को बनाने के लिए एआई द्वारा उठाए गए पूरे अनुक्रम (sequence) को चलाया—यानी अंतिम स्क्रिप्ट चलाने से पहले एआई के पिछले प्रयासों को क्रमवार दोहराया—तो वह स्क्रिप्ट हर बार पूरी तरह से काम करने लगी। इसका कारण सूक्ष्म और छिपा हुआ था। स्क्रिप्ट कंप्यूटर सिस्टम की आंतरिक स्थिति (internal state) पर निर्भर थी, विशेष रूप से उन 'क्लासेस' (classes) की सूची पर जिन्हें सिस्टम की प्रोग्रामिंग भाषा मेमोरी में रखती है। एआई के पिछले प्रयासों ने अनजाने में इस सूची में आइटम जोड़ दिए थे, जिससे आइटमों की स्थिति बदल गई थी। अंतिम स्क्रिप्ट को विशिष्ट स्थानों पर विशिष्ट आइटमों को खोजने के लिए हार्ड-कोडेड किया गया था। एक ताज़ा सिस्टम पर, वे स्थान खाली थे या उनमें गलत चीजें थीं। लेकिन पिछले चरणों के चलने के बाद, सूची बढ़ गई और शिफ्ट हो गई, जिससे सही आइटम ठीक वहीं आ गए जहाँ स्क्रिप्ट उन्हें उम्मीद कर रही थी। सफलता पूरी यात्रा की थी, न कि केवल अंतिम चरण की।
यह खोज एआई के सोचने के तरीके और उसके द्वारा बनाए गए कोड के व्यवहार के बीच एक बड़ा अंतर स्पष्ट करती है। शोधकर्ता ने पाया कि समाधान उत्पन्न करने की एआई की क्षमता काफी अस्थिर थी। कई मामलों में, एआई पहली बार में समाधान खोजने में विफल रहता, दूसरी बार में सफल होता, और फिर तीसरी बार में विफल हो जाता। यदि आप केवल एआई की जनरेशन प्रक्रिया को देखते, तो आप बहुत अधिक विसंगति देखते। लेकिन एक बार जब एआई ने एक काम करने वाला स्क्रिप्ट लिखने में सफलता प्राप्त कर ली, तो वह स्क्रिप्ट स्वयं लगभग हमेशा स्थिर थी। अस्थिरता सोचने की प्रक्रिया में थी, न कि उस उपकरण में जिसे बनाया गया था। इसका अर्थ यह है कि एआई द्वारा एक सफल रन का होना यह सिद्ध नहीं करता कि एआई समाधान खोजने में लगातार अच्छा है, लेकिन यह सिद्ध करता है कि उसके द्वारा पाया गया विशिष्ट समाधान आमतौर पर विश्वसनीय है।
शोधकर्ता ने यह भी परीक्षण किया कि क्या ये स्क्रिप्ट्स काम करेंगी यदि हमला किया जाने वाला कंप्यूटर सिस्टम थोड़ा अलग हो, जैसे कि प्रोग्रामिंग भाषा का नया संस्करण चल रहा हो। उन्होंने लक्षित सिस्टम को सॉफ़्टवेयर के थोड़े अपडेटेड संस्करण के साथ फिर से बनाया और स्क्रिप्ट्स को फिर से चलाया। लगभग सभी ने अभी भी काम किया, लेकिन एक स्क्रिप्ट जो पुराने सिस्टम पर पूरी तरह से विश्वसनीय थी, नए सिस्टम पर पूरी तरह विफल हो गई। इसने दिखाया कि वातावरण में एक छोटा सा बदलाव भी एक ऐसे स्क्रिप्ट को तोड़ सकता है जो एकदम सही लग रहा था, जो इस विचार को पुख्ता करता है कि स्क्रिप्ट की सफलता उन विशिष्ट परिस्थितियों से जुड़ी होती है जिनमें उसे बनाया गया था।
इस कार्य का मुख्य निष्कर्ष यह है कि हमें सुरक्षा में एआई की सफलता को मापने के तरीके को बदलने की आवश्यकता है। एक स्क्रिप्ट को 'एक्सप्लॉइट' (exploit) कहने के लिए एक एकल सफलता पर्याप्त नहीं है। यह जानने के लिए कि क्या एआई ने वास्तव में एक वास्तविक भेद्यता (vulnerability) पाई है, हमें यह सत्यापित करना होगा कि उसके द्वारा लिखी गई स्क्रिप्ट एआई की मदद के बिना, बार-बार अपने आप काम करती है। अध्ययन दिखाता है कि जबकि एआई की जनरेशन प्रक्रिया अक्सर डगमगाती और अप्रत्याशित होती है, उसके द्वारा बनाए गए स्क्रिप्ट्स आमतौर पर ठोस और भरोसेमंद होते हैं। एक बार जब स्क्रिप्ट अकेले काम करने में विफल रही, तो ऐसा इसलिए हुआ क्योंकि वह एआई के पिछले प्रयासों द्वारा छोड़ी गई एक छिपी हुई स्थिति (state) पर निर्भर थी, एक ऐसा विवरण जिसे एक एकल टेस्ट रन कभी प्रकट नहीं कर पाता। कोड लिखने के कार्य को उसे चलाने के कार्य से अलग करके, शोधकर्ता ने इन एआई सिस्टम्स की वास्तविक क्षमताओं की एक स्पष्ट तस्वीर प्रदान की, यह दिखाते हुए कि उनके द्वारा बनाए गए उपकरण अक्सर उन्हें बनाने वाली प्रक्रिया से अधिक विश्वसनीय होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।