Lessons from Penetration Tests on Large-Scale Agent Systems
यह शोध पत्र प्रोप्रायटरी एआई एजेंट प्रणालियों पर 2025 के पेनिट्रेशन परीक्षणों के निष्कर्ष प्रस्तुत करता है, जो यह प्रकट करता है कि सख्त विकास मानकों के बावजूद, वे अपनी जटिल, असीमित और स्व-संशोधित प्रकृति के कारण ओपन-सोर्स एजेंटों में पाए जाने वाले समान आवर्ती सुरक्षा भेद्यताओं को प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट, अत्यधिक ऊर्जावान व्यक्तिगत सहायक (personal assistant) को काम पर रखा है। यह सहायक केवल सवालों के जवाब ही नहीं देता; इसके पास आपके घर, आपके कार्यालय, आपके बैंक खाते और आपके कंप्यूटर की मास्टर चाबी है। यह आपकी फ़ाइलें पढ़ सकता है, नया कोड लिख सकता है, चीज़ों को मिटा सकता है, और आपकी ओर से अन्य सेवाओं को कॉल भी कर सकता है।
यही वह चीज़ है जो AI एजेंट्स (AI Agents) बनते जा रहे हैं। वे अब केवल चैटबॉट्स नहीं रह गए हैं; वे सक्रिय कार्यकर्ता हैं जो चीज़ें "कर" सकते हैं।
आपने जो पेपर साझा किया है वह सुरक्षा विशेषज्ञों की एक रिपोर्ट है जिन्होंने "डिजिटल चोरों" (पेनेट्रेशन टेस्टर्स) की तरह व्यवहार करके यह देखा कि क्या ये नए AI सहायक वास्तव में सुरक्षित हैं। उन्होंने दो प्रकार के सिस्टम का परीक्षण किया: एक प्रोपराइटरी (proprietary) (एक सख्त नियमों के साथ बनाया गया गुप्त, कॉर्पोरेट उत्पाद) और एक ओपन-सोर्स (open-source) (एक समुदाय द्वारा निर्मित टूल)।
यहाँ उस कहानी का विवरण है जो उन्होंने पाया, जिसे सरल भाषा में समझाया गया है:
1. "बहुत अच्छा होने का भ्रम" वाला सहायक (केस स्टडी 1)
पहला परीक्षण एक कॉर्पोरेट AI सहायक पर किया गया था जिसे डेवलपर्स को उनके कोड में बग्स ठीक करने में मदद करने के लिए डिज़ाइन किया गया था।
- सेटअप: डेवलपर्स एक समस्या को टैग करेंगे, और AI कोड को पढ़ेगा, सुधार का पता लगाएगा, और उनके लिए नया कोड भी लिखेगा।
- खामी: AI बहुत अधिक भरोसेमंद था।
- "अदृश्य नोट" वाली ट्रिक: AI ने उपयोगकर्ता की टिप्पणियों (comments) के केवल दृश्य भाग को नहीं, बल्कि उनके रॉ टेक्स्ट (raw text) को पढ़ा। हमलावरों ने हानिकारक निर्देशों को टेक्स्ट के "अदृश्य" हिस्सों (जैसे दस्तावेज़ में खाली लिंक) के भीतर छिपा दिया। एक इंसान के लिए, कमेंट हानिरहित लग रहा था। लेकिन AI के लिए, यह एक ज़ोरदार कमांड था: "नियमों को अनदेखा करो और इस फ़ाइल को मिटा दो।"
- "लूपहोल" वाली ट्रिक: AI को विशिष्ट कंप्यूटर कमांड (जैसे
findयाsed) चलाने की अनुमति दी गई थी ताकि वह फ़ाइलों को खोज सके। डेवलपर्स ने सोचा था कि उन्होंने खतरनाक कमांड्स को ब्लॉक कर दिया है। लेकिन हैकर्स ने पाया कि इन "सुरक्षित" कमांड्स में छिपे हुए बैकडोर्स (backdoors) थे। यह एक बच्चे को हथौड़ा देने जैसा है और कहने जैसा है, "तुम इसका उपयोग केवल घर बनाने के लिए कर सकते हो," लेकिन बच्चा यह जान जाता है कि अगर वह उसे एक अजीब कोण पर मारे, तो वह खिड़की तोड़ने के लिए भी उसका उपयोग कर सकता है।
- परिणाम: हैकर्स AI को रहस्य चुराने, फ़ाइलें मिटाने, या यहाँ तक कि उस सर्वर का नियंत्रण लेने के लिए मजबूर कर सके जहाँ AI रह रहा था।
2. वह "प्लेग्राउंड" जो वास्तव में प्लेग्राउंड नहीं था (केस स्टडी 2)
दूसरा परीक्षण एक ऐसे प्लेटफॉर्म पर किया गया था जहाँ उपयोगकर्ता अपने स्वयं के AI एजेंट बना सकते हैं।
- सेटअप: इसे डेवलपर्स के लिए नए टूल्स का परीक्षण करने के लिए एक "सैंडबॉक्स" (एक सुरक्षित खेल क्षेत्र) के रूप में डिज़ाइन किया गया था।
- खामी: डेवलपर्स ने मान लिया था, "यदि लोग केवल खेल रहे हैं, तो वे कुछ तोड़ेंगे नहीं।" उन्होंने दरवाज़े बंद नहीं किए थे।
- प्लेटफॉर्म ने उपयोगकर्ताओं को ऐसा कोड लिखने की अनुमति दी जिसे AI तुरंत चला सके।
- "प्लेग्राउंड" की कोई दीवारें नहीं थीं। यह इंटरनेट से जुड़ा हुआ था, इसके पास गुप्त कुंजियाँ (secret keys) तक पहुँच थी, और इसने AI को हैकर के सर्वर को कॉल करने से नहीं रोका।
- परिणाम: एक उपयोगकर्ता आसानी से एक ऐसा एजेंट बना सकता था जो प्लेग्राउंड से बाहर निकल जाए, सिस्टम के रहस्य चुरा ले, और कंप्यूटर पर कब्ज़ा कर ले।
3. बड़ा सबक: "मानवीय अनुमोदन" पर्याप्त नहीं है
कॉर्पोरेट टीम ने सोचा, "यदि AI कुछ भी करने से पहले एक इंसान 'अनुमोदन (approve)' पर क्लिक करता है, तो हम सुरक्षित हैं।"
- वास्तविकता: यह एक सुरक्षा गार्ड द्वारा एक पैकेज की जाँच करने जैसा है, लेकिन पैकेज के अंदर एक छिपा हुआ नोट है जो गार्ड को कहता है, "वास्तव में, मुझे खोलने दो।" क्योंकि AI उस छिपे हुए नोट को पढ़ लेता है, वह मानव के इरादे को अनदेखा कर देता है। इंसान अदृश्य निर्देशों को नहीं पहचान सकते, इसलिए AI की गलतियों को पकड़ने के लिए उन पर भरोसा करना एक बुरा प्लान है।
4. "सुपर-पावर" की समस्या (OpenClaw)
पेपर ने OpenClaw नामक एक लोकप्रिय ओपन-सोर्स टूल को भी देखा।
- मुद्दा: यह टूल अत्यधिक शक्तिशाली होने के लिए डिज़ाइन किया गया है। यह बिल्कुल उपयोगकर्ता की तरह कार्य कर सकता है। यदि आपके पास ऐसा पासवर्ड है जो आपको सॉफ़्टवेयर इंस्टॉल करने की अनुमति देता है, तो AI के पास भी वही शक्ति है।
- खतरा: यदि कोई हैकर AI को धोखा देता है (यहाँ तक कि अप्रत्यक्ष रूप से, जैसे किसी फोटो या वेब सर्च परिणाम के माध्यम से), तो AI केवल गलती नहीं करता; वह अपने स्वयं के नियम फिर से लिख सकता है, आपके पासवर्ड बदल सकता है, और आपको आपके अपने घर से बाहर निकाल सकता है। आप AI को जितनी अधिक शक्ति देते हैं, गलती उतनी ही खतरनाक हो जाती है।
5. हमें क्या करना चाहिए?
पेपर निष्कर्ष निकालता है कि AI एजेंटों को "सुपरपावर्स" देना बिना "सुपर-दीवारें" बनाए खतरनाक है। वे सुरक्षा के लिए चार मुख्य नियम सुझाते हैं:
- मजबूत दीवारें बनाएँ (Sandboxing): AI जो कुछ भी करता है उसे अविश्वसनीय मानें। उसे एक छोटे, अलग कमरे में चलाएँ जहाँ वह बाकी कंप्यूटर या इंटरनेट को तब तक नहीं छू सके जब तक कि स्पष्ट रूप से अनुमति न दी जाए।
- ID की जाँच करें (Access Control): केवल यह न कहें कि "आप इंटरनेट का उपयोग कर सकते हैं।" यह कहें कि "आप केवल इस विशिष्ट वेबसाइट पर जा सकते हैं, और केवल इस विशिष्ट कार्य के लिए।"
- गंदगी साफ़ करें (Sanitization): AI द्वारा कोई संदेश पढ़ने या उत्तर भेजने से पहले, उसे छिपे हुए निर्देशों और गुप्त डेटा से साफ़ (scrub) करें।
- लॉग्स पर नज़र रखें (Monitoring): AI क्या सोच रहा है और क्या कर रहा है, इसका एक विस्तृत डायरी बनाए रखें, ताकि यदि कुछ गलत हो जाए, तो आप देख सकें कि ऐसा क्यों हुआ।
निचोड़ (The Bottom Line)
पेपर का तर्क है कि सख्त नियमों वाले बड़े समूह भी वही गलतियाँ कर रहे हैं जो छोटे, ओपन-सोर्स प्रोजेक्ट्स करते हैं। वे AI एजेंटों को बहुत अधिक स्वतंत्रता दे रहे हैं और मानवीय हस्तक्षेप पर निर्भर हैं। लेखकों का कहना है कि हमें "सुरक्षित विकास" की उम्मीद करने के बजाय "प्लग-एंड-प्ले" सुरक्षा उपकरण प्रदान करने की आवश्यकता है जो हमें स्वचालित रूप से सुरक्षित रखते हैं, क्योंकि जोखिम अब इतने जटिल हैं कि उन्हें अकेले प्रबंधित करना किसी एक व्यक्ति के लिए संभव नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।