Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing
यह शोध पत्र एक लाइव एंटरप्राइज वातावरण में मानव साइबर सुरक्षा पेशेवरों के विरुद्ध एआई एजेंटों का पहला व्यापक मूल्यांकन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि प्रस्तावित मल्टी-एजेंट फ्रेमवर्क ARTEMIS ने वैध कमजोरियों को खोजने में दस में से नौ मानव प्रतिभागियों को पीछे छोड़ दिया और GUI-आधारित कार्यों को संभालने में वर्तमान सीमाओं और उच्च फाल्स-पॉजिटिव दरों के बावजूद महत्वपूर्ण लागत लाभ प्रदान किए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, हाई-टेक लाइब्रेरी (एक यूनिवर्सिटी कंप्यूटर नेटवर्क) है जिसमें 8,000 कमरे, हजारों किताबें और गुप्त रास्ते हैं। इस लाइब्रेरी के पास एक सुरक्षा टीम है जिसका काम बुरे लोगों से पहले खुले दरवाजे, टूटी खिड़कियां और छिपे हुए जाल ढूंढना है।
यह पेपर एक रेस का रिपोर्ट कार्ड है जो इस लाइब्रेरी में घुसपैठ करने की कोशिश कर रहे दो समूहों के सुरक्षा विशेषज्ञों के बीच हुई थी:
- इंसान: 10 वास्तविक जीवन के साइबर सुरक्षा पेशेवर ("रेड टीम")।
- रोबोट: 6 अलग-अलग AI एजेंट, जिनमें एक नया, सुपर-स्मार्ट रोबोट टीम शामिल है जिसे शोधकर्ताओं ने ARTEMIS नाम दिया है।
यहाँ क्या हुआ इसका विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए।
1. सेटअप: द "लाइव फायर" ड्रिल
आमतौर पर, जब हम AI का परीक्षण करते हैं, तो हम इसे एक वीडियो गेम या पहेली की किताब (जैसे कैप्चर द फ्लैग प्रतियोगिता) देते हैं। लेकिन यह अध्ययन अलग था। उन्होंने इसका उपयोग सिमुलेशन के रूप में नहीं किया; उन्होंने वास्तविक, लाइव यूनिवर्सिटी नेटवर्क का उपयोग किया।
- नियम: इंसानों और रोबोटों को एक "जंपबॉक्स" (एक शुरुआती कंप्यूटर) दिया गया और उन्हें 10 घंटों में जितने हो सके उतने सुरक्षा छेद खोजने के लिए कहा गया।
- सुरक्षा जाल: क्योंकि वे एक वास्तविक जगह को हैक कर रहे थे, इसलिए सख्त सुरक्षा गार्ड थे। यदि कोई रोबट या इंसान फाइलों को डिलीट करने या सिस्टम को क्रैश करने की कोशिश करता, तो एक मानव मॉनिटर तुरंत "इमरजेंसी स्टॉप" बटन दबा देता।
2. प्रतियोगी
- इंसान: अनुभवी हैकर्स जो रचनात्मक रूप से सोचना, पैटर्न पहचानना और जासूस की तरह टूल्स का उपयोग करना जानते हैं।
- पुराने रोबोट: मौजूदा AI टूल्स (जैसे Codex या CyAgent)। इन्हें "जूनियर इंटर्न" के रूप में सोचें जो स्मार्ट तो हैं लेकिन आसानी से भ्रमित हो जाते हैं, जल्दी हार मान लेते हैं, या "बुरे" काम करने से मना कर देते हैं क्योंकि उन्हें विनम्र रहने के लिए प्रोग्राम किया गया है।
- ARTEMIS (नया रोबोट): यह शोधकर्ताओं का नया निर्माण है। एक जनरल के नेतृत्व में चींटियों के झुंड (Swarm of Ants) की कल्पना करें।
- इसमें एक सुपरवाइजर (जनरल) है जो बड़े चित्र की योजना बनाता है।
- यह विशिष्ट कार्यों को एक साथ करने के लिए सब-एजेंट्स (वर्कर एंट्स) बना सकता है।
- इसके पास एक ट्राइएज टीम (क्वालिटी कंट्रोल) है जो रिपोर्ट करने से पहले यह जांचती है कि मिला हुआ "छेद" असली है या सिर्फ एक गलत अलार्म।
- यह बिना थके और बिना कॉफी ब्रेक की जरूरत के घंटों काम करना जारी रख सकता है।
3. परिणाम: कौन जीता?
स्कोरबोर्ड कुछ ऐसा था:
- इंसान: उन्होंने कुल 49 वैध सुरक्षा छेद खोजे। वे बहुत गहन थे, लेकिन वे एक समय में एक ही काम करते थे। यदि उन्हें एक संदिग्ध दरवाजा मिलता, तो वे उसे चेक करते, फिर अगले कमरे की ओर बढ़ते।
- पुराने रोबोट: वे ज्यादातर विफल रहे। उन्होंने बहुत कम छेद खोजे, अक्सर पहले ही कदम पर अटक गए, या अपने सुरक्षा फिल्टर के कारण कुछ हमलों को करने से मना कर दिया।
- ARTEMIS: यह कुल मिलाकर दूसरे स्थान पर आया, जिसने 10 में से 9 मानव विशेषज्ञों को पीछे छोड़ दिया!
- इसने 9 वैध, गंभीर कमजोरियां खोजीं।
- यह एक साथ कई दरवाजों की जांच करने में अविश्वसनीय रूप से तेज़ था (पैरेलल प्रोसेसिंग)।
- यह बहुत सस्ता था। एक मानव विशेषज्ञ की लागत लगभग $60/घंटा है। ARTEMIS की लागत लगभग $18/घंटा थी।
4. ताकत और कमजोरियां (सुपरपावर और "क्रिप्टोनाइट")
जहाँ रोबोट (ARTEMIS) इंसानों को पछाड़ दे:
- "सुपर-स्कैनर": इंसान थक जाते हैं। यदि किसी इंसान को चेक करने के लिए 100 कंप्यूटरों की सूची मिलती है, तो वे शायद 10 चेक करेंगे और फिर ब्रेक लेंगे। ARTEMS ने सभी 100 को तुरंत और एक साथ चेक किया।
- "ओल्ड टेक" एक्सपर्ट: इंसान आधुनिक वेब ब्राउज़र का उपयोग करते हैं। यदि किसी कंप्यूटर में एक प्राचीन, टूटा हुआ सुरक्षा सिस्टम था जिसे आधुनिक ब्राउज़र लोड करने से मना कर देते थे, तो इंसानों ने हार मान ली। ARTEMIS ने उस प्राचीन सिस्टम को हैक करने के लिए ब्राउज़र को बायपास करने हेतु कमांड-लाइन टूल्स का उपयोग किया।
- लागत: आप ARTEMIS को एक इंसान के लंच ब्रेक की कीमत पर 24/7 चला सकते हैं।
जहाँ इंसानों ने रोबोट को पछाड़ा:
- "GUI" की समस्या: यह रोबोट की सबसे बड़ी कमजोरी है। यदि किसी सुरक्षा छेद के लिए ग्राफिकल इंटरफेस (जैसे एक अजीब वेब पेज जिसमें बटन और मेनू हों) के माध्यम से क्लिक करने की आवश्यकता थी, तो रोबोट संघर्ष करते रहे। वे कोड (टेक्स्ट) पढ़ने में महान हैं, लेकिन इंसानों की तरह "देखने" और बटन क्लिक करने में कमजोर हैं।
- गलत अलार्म (False Alarms): रोबोट थोड़े डरे हुए थे। उन्होंने कभी-कभी एक "टूटे हुए लॉक" की रिपोर्ट दी जो वास्तव में कांच में केवल एक प्रतिबिंब था। इंसान यह समझने में बेहतर होते हैं कि वास्तविक खतरा क्या है और ग्लिच क्या है।
- रचनात्मकता: इंसान "पिवट" (Pivot) कर सकते थे। यदि उन्हें एक छोटा सा सुराग मिलता, तो वे अनुमान लगा सकते थे, "हम्म, शायद यह मुख्य तिजोरी तक जाता है?" और एक रचनात्मक, गैर-मानक रास्ता आजमा सकते थे। रोबोट अधिक कठोर थे; वे उस मानचित्र का पालन करते थे जो उन्हें दिया गया था।
5. बड़ा निष्कर्ष
यह अध्ययन साबित करता है कि AI अब केवल एक खिलौना नहीं है; यह एक खतरनाक प्रतिस्पर्धी है।
- अच्छी खबर: अब हमारे पास एक ऐसा टूल (ARTEMIS) है जो कंपनियों को मानव विशेषज्ञों को काम पर रखने की तुलना में बहुत कम लागत पर अपने स्वयं के सुरक्षा छेद खोजने में मदद कर सकता है। यह एक ऐसे सुरक्षा गार्ड की तरह है जो कभी सोता नहीं है और सेकंडों में इमारत के हर दरवाजे की जांच करता है।
- बुरी खबर: यदि बुरे इरादे वाले लोग (हैकर्स) इस समान तकनीक तक पहुँच प्राप्त कर लेते हैं, तो वे किसी भी मानव सुरक्षा टीम के रोकने से पहले पूरे नेटवर्क को स्कैन और हैक कर सकते हैं।
संक्षेप में: रोबोट इतने अच्छे हो रहे हैं कि वे वास्तविक दुनिया के वातावरण में अधिकांश मानव शिकारियों को हरा रहे हैं। हालांकि, उन्हें अभी भी एक इंसान के हाथ पकड़ने की आवश्यकता होती है जब कार्य में माउस क्लिक करना या लीक से हटकर सोचना शामिल हो। साइबर सुरक्षा का भविष्य केवल इंसान या रोबोट नहीं है; यह सुरक्षित रहने के लिए रोबोटों का उपयोग करते हुए इंसान हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।