Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents
यह शोध पत्र सुरक्षा एजेंटों के लिए एक लागत-सचेत (cost-aware) मूल्यांकन ढांचे को प्रस्तुत करता है जो आक्रामक और रक्षात्मक कार्यों के बीच विशिष्ट स्केलिंग व्यवहारों को प्रकट करता है, यह प्रदर्शित करते हुए कि जहाँ आक्रामक प्रदर्शन बढ़ी हुई कंप्यूट के साथ सुधरता है, वहीं रक्षात्मक सफलता कच्चे तर्क बजट (raw reasoning budget) के बजाय अनुशासित टूल उपयोग और परिचालन दक्षता पर अधिक निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आर्टिफिशियल इंटेलिजेंस केवल कविता लिखने वाला चैटबॉट नहीं है, बल्कि एक डिजिटल जासूस और एक डिजिटल चोर दोनों का मिश्रण है। यह साइबर सुरक्षा की वह सीमा है, जहाँ कंप्यूटरों को या तो कमजोरियाँ खोजने के लिए सिस्टम में घुसपैठ करने ( "आक्रामक" पक्ष) या डिजिटल अपराध स्थलों की जाँच करने और हमलों को रोकने ( "रक्षात्मक" पक्ष) के लिए प्रशिक्षित किया जाता है। लंबे समय से, इन AI एजेंटों का परीक्षण करने वाले वैज्ञानिक एक सरल प्रश्न पूछते आए हैं: "यदि हम इसे असीमित समय और पैसा दें, तो यह AI सबसे कठिन पहेलियों को सुलझाने में कितना अच्छा है?" यह एक रेस कार का परीक्षण करने जैसा है जिसमें उसे तब तक चलाने दिया जाता है जब तक कि टैंक खाली न हो जाए, ईंधन की लागत को नजरअंदाज करते हुए। लेकिन वास्तविक दुनिया में, AI द्वारा उठाया गया हर कदम—उसका पूछा गया हर सवाल, उसके द्वारा जाँची गई हर डेटाबेस—वास्तविक पैसा खर्च करता है। यदि किसी AI को चलाना बहुत महंगा है, तो वह वास्तविक सुरक्षा टीम के लिए बेकार है, चाहे वह कितना भी स्मार्ट क्यों न हो। यह शोध पत्र एक अधिक व्यावहारिक प्रश्न पूछता है: "यह AI वास्तव में एक विशिष्ट बजट के भीतर कितना कुछ कर सकता है?"
शोधकर्ताओं, पॉल कासियानिक, ब्लेन नेल्सन और यारोन सिंगर ने केवल यह गिनना बंद करने का निर्णय लिया कि एक AI ने कितनी पहेलियाँ सुलझाईं और इसके बजाय कीमत का हिसाब लगाना शुरू किया। उन्होंने अपने AI एजेंटों को दो बहुत अलग प्रकार की चुनौतियों में डाला। पहले, उन्होंने उन्हें "कैप्चर द फ्लैग" (CTF) मिशनों पर भेजा, जो डिजिटल खोज (scavenger hunts) की तरह हैं जहाँ AI को एक सैंडबॉक्स्ड कंप्यूटर में हैक करना होता है ताकि एक गुप्त कोड ढूँढा जा सके। दूसरे, उन्होंने उन्हें "सिक्योरिटी ऑपरेशंस सेंटर" (SOC) मिशनों पर भेजा, जो जासूसी कार्य की तरह हैं जहाँ AI को भारी मात्रा में सुरक्षा लॉग्स को छानना होता है ताकि यह पता लगाया जा सके कि कंपनी में किसने सेंध लगाई और कैसे।
यहाँ वह मोड़ आया जिसे उन्होंने खोजा: आक्रमण और रक्षा पूरी तरह से अलग तरीकों से स्केल करते हैं। जब AI हैकर (आक्रामक भूमिका) की भूमिका निभा रहा था, तो उसे सोचने और फिर से प्रयास करने के लिए अधिक पैसा देने से आमतौर पर मदद मिली। यह एक जासूस को सुराग को दोबारा पढ़ने के लिए अधिक समय देने जैसा था; उनके पास जितने अधिक संसाधन थे, उनके केस सुलझाने की संभावना उतनी ही अधिक थी। कुछ ओपन-सोर्स मॉडल, एक उचित बजट दिए जाने पर, सबसे महंगे, शीर्ष-स्तरीय प्रोप्रायटरी मॉडल्स की बराबरी भी कर सकते थे।
हालाँकि, जब AI ने जासूस (रक्षात्मक भूमिका) की भूमिका निभाई, तो समस्या पर अधिक पैसा लगाने से वह अनिवार्य रूप से स्मार्ट नहीं हुआ। वास्तव में, सर्वश्रेष्ठ प्रदर्शन करने वाले वे थे जो अनुशासित थे। वे जानते थे कि कब रुकना है, कब मदद मांगनी है, और कब अपना बजट बचाना है। शोध ने पाया कि इन जांचों के लिए, सफलता इस बारे में नहीं थी कि AI ने कितने टूल्स का उपयोग किया या उसने कितना समय सोचा; बल्कि यह इस बारे में था कि सही समय पर सही टूल्स का उपयोग कैसे किया जाए। एक AI जो केवल इसलिए दुनिया के हर डेटाबेस को पागलों की तरह कॉल करता था क्योंकि उसके पास बड़ा बजट था, वह अक्सर उस AI से खराब प्रदर्शन करता था जिसने सावधानी से कुछ प्रमुख सबूतों को चुना।
लेखकों ने यह भी चेतावनी दी कि इन परीक्षणों पर कुछ "परफेक्ट" स्कोर भ्रामक हो सकते हैं। क्योंकि पहेलियाँ सार्वजनिक और पुरानी हैं, कुछ AI ने अपने प्रशिक्षण के दौरान उत्तरों को रट लिया होगा, जैसे कि कोई छात्र गणित सीखने के बजाय उत्तर कुंजी (answer key) को रट लेता है। जब शोधकर्ताओं ने बिना किसी टूल का उपयोग किए या सुराग देखे बिना AI का परीक्षण किया, तो कुछ मॉडल्स के स्कोर में काफी गिरावट आई, जिससे यह साबित हुआ कि "उत्तर जानना" "समस्या को हल करने" के समान नहीं है।
अंततः, यह शोध पत्र तर्क देता है कि हमें सुरक्षा AI को केवल शून्य में उनकी चरम क्षमता (peak performance) के आधार पर आंकना बंद कर देना चाहिए। इसके बजाय, हमें उनकी "आर्थिक दक्षता" (economic efficiency) को देखना चाहिए। एक मॉडल जो 500 में 95% समस्याओं को हल करने वाले मॉडल की तुलना में बेहतर उपकरण है। अध्ययन सुझाव देता है कि हैकिंग कार्यों के लिए, अधिक कंप्यूट पावर मदद करती है, लेकिन सिस्टम की रक्षा करने के लिए, स्मार्ट और अनुशासित टूल का उपयोग ही असली महाशक्ति है। उन्होंने इन लागत-बनाम-सफलता वक्रों (cost-versus-success curves) को दिखाने के लिए एक वेबसाइट भी बनाई, जो यह सिद्ध करती है कि AI सुरक्षा की दुनिया में, अमीर और लापरवाह होने के बजाय सस्ता और स्मार्ट होना अक्सर बेहतर होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।