Towards Optimal Agentic Architectures for Offensive Security Tasks
यह शोध पत्र 20 संवादात्मक लक्ष्यों (interactive targets) में आक्रामक सुरक्षा कार्यों के लिए विभिन्न मल्टी-एजेंट समन्वय टोपोलॉजी का अनुभवजन्य मूल्यांकन करता है, जिससे यह पता चलता है कि हालांकि व्यापक समन्वय कवरेज में सुधार कर सकता है, लेकिन इष्टतम आर्किटेक्चर एक गैर-एकदिष्ट लागत-गुणवत्ता सीमा (non-monotonic cost-quality frontier) पर निर्भर करता है जहाँ अवलोकन क्षमता (observability) और डोमेन, वास्तुशिल्प जटिलता की तुलना में काफी अधिक महत्वपूर्ण होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल भूलभुलैया में छिपे हुए खजाने को खोजने की कोशिश कर रहे हैं। आपके पास बहुत बुद्धिमान, लेकिन कभी-कभी बातूनी रोबोट्स (AI एजेंटों) की एक टीम है जो आपकी मदद कर सकती है। बड़ा सवाल यह है कि हमें इन रोबोट्स को सबसे प्रभावी ढंग से खजाना खोजने के लिए कैसे व्यवस्थित करना चाहिए?
क्या हमें सब कुछ करने के लिए केवल एक सुपर-रोबोट भेजना चाहिए? या हमें रोबोट्स की एक ऐसी टीम भेजनी चाहिए जो एक-दूसरे से बात करती हो, विचारों पर वोट करती हो, या जिसे आदेश देने के लिए कोई बॉस हो?
यूनिवर्सिटी कॉलेज लंदन के शोधकर्ताओं ने इसका उत्तर देने के लिए एक विशाल प्रयोग किया, जिसमें उन्होंने इसे केवल अंदाज़ा लगाने के बजाय एक वैज्ञानिक दौड़ की तरह माना।
सेटअप: द "हैकर" भूलभुलैया
एक वास्तविक भूलभुलैया के बजाय, उन्होंने 20 डिजिटल जाल (कमजोर कंप्यूटर प्रोग्राम) बनाए।
- 10 वेब ट्रैप्स थे: जैसे कि एक वेबसाइट जिसमें एक छिपा हुआ बैकडोर हो।
- 10 बाइनरी ट्रैप्स थे: जैसे कि एक स्टैंडअलोन सॉफ्टवेयर प्रोग्राम जिसमें एक छिपा हुआ ग्लिच (खामी) हो।
उन्होंने रोबोट्स का दो तरह से परीक्षण किया:
- व्हाइटबॉक्स (द "ओपन बुक" मोड): रोबोट्स को भूलभुलैया के ब्लूप्रिंट (सोर्स कोड) दिए गए। वे देख सकते थे कि दीवारें ठीक कैसे बनाई गई थीं।
- ब्लैकबॉक्स (द "ब्लाइंड" मोड): रोबोट्स को बाहर रखा गया था। वे केवल दीवारों को छू सकते थे और देख सकते थे कि क्या होता है, बिना यह जाने कि भूलभुलैया अंदर से कैसे बनी है।
पाँच टीमें (आर्किटेक्चर)
शोधकर्ताओं ने रोबोट्स को व्यवस्थित करने के पांच अलग-अलग तरीके टेस्ट किए:
- द लोन वुल्फ (SAS): एक रोबोट अकेले सब कुछ करता है। वह सोचता है, कार्य करता है और अपने काम की जांच खुद करता है।
- उपमा: एक जासूस जो अकेले काम करता है। तेज़ और सस्ता, लेकिन शायद सुराग चूक जाए।
- द इंडिपेंडेंट स्क्वाड (MAS-Indep): तीन रोबोट एक ही समस्या पर अलग-अलग काम करते हैं। वे अंत तक एक-दूसरे से बात नहीं करते, फिर सबसे अच्छे परिणाम को चुनते हैं।
- उपमा: तीन जासूस जो अलग-अलग कमरों में काम कर रहे हैं। वे आपस में बात करके समय बर्बाद नहीं करते, लेकिन वे सभी एक ही सुराग को मिस कर सकते हैं।
- द वोटिंग सर्कल (MAS-Decent): तीन रोबोट अकेले काम करते हैं, लेकिन वे सभी इस पर वोट करते हैं कि सबसे बड़ी समस्या क्या है। विजेता को पहले चेक किया जाता है।
- उपमा: एक जूरी। वे सबसे संभावित संदिग्ध पर सहमत होने की कोशिश करते हैं।
- द बॉस एंड द स्पेशलिस्ट (MAS-Central): एक "बॉस" रोबोट समस्या को देखता है और एक सबसे अच्छा विचार चुनता है। दूसरा "स्पेशलिस्ट" रोबोट उस विचार को सच साबित करने की कोशिश करता है।
- उपमा: एक जनरल जो आदेश देता है और एक स्नाइपर को निशाना बनाने के लिए चुनता है। यदि जनरल गलत लक्ष्य चुन लेता है, तो मिशन विफल हो जाता है।
- द हाइब्रिड टीम (MAS-Hybrid): ऊपर दिए गए तरीकों का मिश्रण। टीम की एक शाखा योजना बनाती है, दूसरी शाखा यह साबित करने की कोशिश करती है कि योजना काम करती है।
- उपमा: एक कमांड सेंटर जिसमें एक स्काउट टीम और एक स्ट्राइक टीम है।
परिणाम: यह रोबोट्स की संख्या के बारे में नहीं है
अध्ययन में यह देखने के लिए 600 अलग-अलग दौड़ चलाई गईं कि कौन जीता। यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें सरल भाषा में अनुवादित किया गया है:
1. "ओपन बुक" का लाभ बहुत बड़ा है
यदि आप रोबोट्स को ब्लूप्रिंट (व्हाइटबॉक्स) देते हैं, तो वे 67% बार खजाना ढूंढ लेते हैं। यदि वे अंधे (ब्लैकबॉक्स) हैं, तो वे केवल 33% बार इसे ढूंढ पाते हैं।
- रूपक: कार के इंजन को हुड खुला रखकर ठीक करना आसान है। इंजन को बाहर से सुनकर ठीक करने की कोशिश करना अविश्वसनीय रूप से कठिन है।
2. वेब बनाम बाइनरी
वेबसाइटों (Web) में बग ढूंढना स्टैंडअलोन सॉफ्टवेयर (Binary) की तुलना में बहुत आसान था (74% सफलता) जबकि बाइनरी में सफलता दर केवल 25% थी।
- रूपक: वेबसाइटें कांच के घरों की तरह हैं; आप अंदर आसानी से देख सकते हैं। बाइनरी प्रोग्राम लॉक वाली तिजोरियों की तरह हैं; आपको बिना लॉक के अंदर की चीज़ों को देखे उसे खोलना पड़ता है।
3. "अधिक होना हमेशा बेहतर नहीं होता" का नियम
यह सबसे महत्वपूर्ण निष्कर्ष है।
- द लोन वुल्फ (SAS) सबसे सस्ता और तेज़ था। इसने लगभग आधी बार खजाना खोजा।
- द इंडिपेंडेंट स्क्वाड (MAS-Indep) ने खजाना सबसे अधिक बार खोजा (64% सफलता), लेकिन इसकी लागत दोगुनी थी और इसमें दोगुना समय लगा क्योंकि एक के बजाय तीन रोबोट काम कर रहे थे।
- द बॉस एंड स्पेशलिस्ट (MAS-Central) वास्तव में सबसे खराब था। "बॉस" गलत विचार चुनने में फंस गया, और टीम उबर नहीं पाई।
बड़ा सबक:
अधिक रोबोट जोड़ना और उन्हें आपस में बात करने के लिए कहना अपने आप में आपको स्मार्ट नहीं बनाता।
- यदि आप गति और कम लागत चाहते हैं, तो एक रोबोट भेजें।
- यदि आप अधिकतम सुरक्षा चाहते हैं और अतिरिक्त खर्च उठाने को तैयार हैं, तो स्वतंत्र रूप से काम करने वाले रोबोट्स की एक टीम भेजें जो अंत तक बात न करें।
- यदि आप उन्हें बहुत अधिक बात करने देते हैं या एक सख्त बॉस रखते हैं, तो आप अक्सर बेहतर परिणाम प्राप्त किए बिना केवल पैसा और समय बर्बाद करते हैं।
"लागत बनाम गुणवत्ता" सीमा (Frontier)
शोधकर्ताओं ने एक ग्राफ बनाया जो दिखाता है कि कोई "परफेक्ट" टीम नहीं है।
- आपके पास एक सस्ती, तेज़ टीम हो सकती है जो अधिकांश चीजें ढूंढ लेती है।
- आपके पास एक महंगी, धीमी टीम हो सकती है जो लगभग सब कुछ ढूंढ लेती है।
- लेकिन आप ऐसी टीम नहीं रख सकते जो सस्ती, तेज़, और सब कुछ खोजने वाली हो।
यह क्यों मायने रखता है
AI सुरक्षा की दुनिया में, लोग अक्सर सोचते हैं, "यदि एक AI अच्छा है, तो तीन बेहतर होंगे!" यह पेपर कहता है: अंदाज़ा लगाना बंद करें।
काम के आधार पर:
- यदि आप एक साधारण वेबसाइट की जाँच कर रहे हैं और आपको त्वरित उत्तर चाहिए, तो एक AI का उपयोग करें।
- यदि आप एक महत्वपूर्ण, जटिल सिस्टम की जाँच कर रहे हैं जहाँ बग का छूट जाना खतरनाक है, तो तीन स्वतंत्र रूप से काम करने वाले AI के लिए भुगतान करें।
- यदि आपके पास सोर्स कोड (ब्लूप्रिंट) नहीं है, तो बेहतरीन AI टीमें भी संघर्ष करेंगी, इसलिए आपको अतिरिक्त सावधान रहने की आवश्यकता है।
संक्षेप में: AI एजेंटों को व्यवस्थित करने का सबसे अच्छा तरीका कोई निश्चित नियम नहीं है। यह इस पर निर्भर करता है कि आपके पास कितना पैसा है, आपको उत्तर कितनी जल्दी चाहिए, और पहेली कितनी कठिन है। कभी-कभी, कम ही अधिक होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।