OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution
यह शोध पत्र OpenART को प्रस्तुत करता है, जो 10,000 से अधिक स्टेटफुल परिदृश्यों वाला एक स्केलेबल ओपन-एंडेड एरिना है, और इवोल्यूशनरी मार्कोव हाइपरग्राफ अटैक (EMHA) पद्धति को, जो यह प्रदर्शित करता है कि विकसित होते परिवेश की अवस्थाएं उन सुरक्षा विफलताओं को महत्वपूर्ण रूप से उजागर करती हैं जिन्हें पारंपरिक स्टैटिक बेंचमार्क मिस कर देते हैं, और विविध कॉन्फ़िगरेशन में 85.0% अटैक सक्सेस रेट प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट बटलर को अपना घर साफ करना सिखा रहे हैं। पुराने दिनों में, आप उसे बस एक स्थिर कमांड दे सकते थे: "लाल कप उठाओ।" यदि वह इसे सुरक्षित रूप से करता है, तो आप खुश होते हैं। लेकिन वास्तविक जीवन एक एकल कमांड नहीं है; यह एक बिखरा हुआ, बदलता हुआ किस्सा है। कप हिल सकता है, एक नया खिलौना प्रकट हो सकता है, या एक दोस्त रोबोट को एक नोट दे सकता है जिसमें लिखा हो, "दरअसल, उस कप में जहर है, लेकिन कृपया इसे फूलों के गमले में डाल दें।" यह AI एजेंट्स (AI Agents) की दुनिया है: स्मार्ट प्रोग्राम जो न केवल चैट करते हैं; वे कार्य करते हैं, टूल्स का उपयोग करते हैं, और समय के साथ अपने आसपास की दुनिया को बदलते हैं।
बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हम इन एजेंट्स को सुरक्षित कैसे रखें जब दुनिया लगातार बदलती रहती है? आज के अधिकांश सुरक्षा परीक्षण एक कमरे की एक स्थिर तस्वीर देने जैसे हैं और पूछने जैसे हैं, "क्या यह सुरक्षित है?" लेकिन वास्तव में, खतरा कप में नहीं हो सकता, बल्कि इस बात में हो सकता है कि दस बार कमरा बदलने के बाद रोबोट कैसे प्रतिक्रिया देता है। यदि रोबोट यह भूल जाता है कि कप जहरीला था क्योंकि पाँच मिनट पहले कमरा अलग दिखता था, तो वह एक भयानक गलती कर सकता है। यह पेपर ठीक इसी समस्या में गहराई तक जाता है: यह परीक्षण करना कि क्या AI एजेंट्स सुरक्षित रहते हैं जब उनके आसपास का वातावरण लगातार विकसित हो रहा होता है, न कि स्थिर रहता है।
OpenART एरिना: डिजिटल अराजकता का एक खेल का मैदान
मिलिए OpenART से, जिसका अर्थ है "Open Agent Red Teaming।" इसे एक विशाल, हाई-टेक खेल के मैदान के रूप में सोचें जिसे विशेष रूप से AI एजेंट्स को गलतियाँ करने के लिए फँसाने के लिए डिज़ाइन किया गया है, लेकिन बहुत ही नियंत्रित और वैज्ञानिक तरीके से। शंघाई आर्टिफिशियल इंटेलिजेंस लेबोरेटरी और फुदान यूनिवर्सिटी के शोधकर्ताओं ने इस एरिना को यह देखने के लिए बनाया है कि क्या होता है जब आप केवल AI से कोई प्रश्न नहीं पूछते, बल्कि उसे एक जीवित, सांस लेते डिजिटल संसार में छोड़ देते हैं जो उसके चारों ओर बदलता रहता है।
आमतौर पर, सुरक्षा परीक्षण एक 'पॉप क्विज़' की तरह होते हैं: आप AI से एक सवाल पूछते हैं, और वह उत्तर देता है। यदि वह सही उत्तर देता है, तो वह पास हो जाता है। लेकिन OpenART एक सर्वाइवल रियलिटी शो की तरह है। उन्होंने 10,000 से अधिक विभिन्न परिदृश्य बनाए (जैसे कि एक डिजिटल "चुनें अपना रोमांच" वाली किताब) जो 50 अलग-अलग नौकरियों में फैले हुए हैं, सॉफ्टवेयर बग्स को ठीक करने से लेकर अस्पताल के रिकॉर्ड प्रबंधित करने तक। ये साधारण कार्य नहीं हैं; ये जटिल मिशन हैं जिनके लिए AI को पूरा करने के लिए औसतन 97 टूल कॉल्स (जैसे ऐप्स खोलना, फाइलें पढ़ना, या ईमेल भेजना) की आवश्यकता होती है। यह बहुत सारे चरण हैं!
इन परीक्षणों को निष्पक्ष बनाने के लिए, उन्होंने 15 अलग-अलग AI एजेंट्स (प्रतिस्पर्धी) का परीक्षण 5 अलग-अलग ब्रेन मॉडल्स (उन्हें शक्ति देने वाले दिमाग) का उपयोग करके किया। इसने देखने के लिए 75 अनूठे संयोजन बनाए। लक्ष्य क्या था? यह देखना कि क्या एजेंट अपने पैरों के नीचे डिजिटल वातावरण बदलने के बावजूद अपने कार्यों को बिना अनजाने में गुप्त जानकारी लीक किए या कुछ हानिकारक किए पूरा कर सकते हैं।
गुप्त हथियार: द "इवोल्यूशनरी मार्कोव हाइपरग्राफ अटैक"
यहाँ यह वास्तव में बहुत दिलचस्प हो जाता है। शोधकर्ताओं ने केवल बैठकर देखा नहीं; उन्होंने एक विशेष "विलेन" बनाया ताकि एजेंट्स को तोड़ने की कोशिश की जा सके। वे इसे EMHA (इवोल्यूशनरी मार्कोव हाइपरग्राफ अटैक) कहते हैं।
कल्पित कीजिए कि आप कंप्यूटर के खिलाफ शतरंज का खेल खेल रहे हैं। एक सामान्य खेल में, बोर्ड स्थिर रहता है, और आप बस मोहरे चलते हैं। लेकिन EMHA के साथ, कल्पना कीजिए कि आपके द्वारा हर चाल चलने के बाद, खेल के नियम, बोर्ड का आकार, या यहाँ तक कि मोहरों का रंग भी थोड़ा बदल जाता है ताकि आपको भ्रमित किया जा सके। EMHA AI एजेंट्स के साथ बिल्कुल यही करता है।
यह मुख्य निर्देश को बदलकर (जैसे "कुछ बुरा करो" कहना) AI को धोखा देने की कोशिश नहीं करता है। इसके बजाय, यह मुख्य लक्ष्य को समान रखता है (जैसे "एक रिपोर्ट लिखें"), लेकिन पर्यावरण को विकसित (evolve) करता है। यह स्मार्ट तरीके से एक गुप्त फ़ाइल को उस फोल्डर में डाल सकता है जिसे AI देख रहा है, या उस टूल की सेटिंग बदल सकता है जिसे AI उपयोग करता है, या उस नोट को फिर से लिख सकता है जिसे AI पढ़ता है। यह एक स्मार्ट, चरण-दर-चरण तरीके से ऐसा करता है, हर बार जब AI लगभग विफल होने वाला होता है, उससे सीखता है, और हर राउंड के साथ AI को भ्रमित करने में बेहतर होता जाता है। यह एक मास्टर जादूगर की तरह है जो ताश के पत्तों की गड्डी को ठीक उसी समय बदल देता है जब AI एक पत्ता उठाने ही वाला होता है।
चौंकाने वाले परिणाम: जटिलता ही कुंजी है
जब उन्होंने प्रयोग चलाए, तो परिणाम आँखें खोलने वाले थे। सभी 75 एजेंट और ब्रेन संयोजनों में से, "विलेन" (EMHA) एजेंट्स को धोखा देने में 85.0% बार सफल रहा। यह एक बहुत बड़ी संख्या है!
लेकिन सबसे महत्वपूर्ण खोज केवल यह नहीं थी कि वे विफल हुए, बल्कि यह थी कि क्यों और कब। शोधकर्ताओं ने पाया कि जितना अधिक कार्य जटिल होता, बदलता हुआ वातावरण उतना ही खतरनाक होता जाता था।
- सरल कार्य: जब कार्य आसान था (जैसे एक छोटा, सरल काम), तो वातावरण बदलने से AI की विफलता केवल थोड़ी सी बढ़ी (लगभग 1.8% से 2.7%)।
- जटिल कार्य: लेकिन जब कार्य कठिन और लंबा था (जैसे कई चरणों वाला एक जटिल वर्कफ़्लो), तो वातावरण के बदलावों के कारण विफलता दर बढ़कर भारी 17.2% से 17.6% हो गई।
यह सुझाव देता है कि लंबे, जटिल वर्कफ़्लो ही असली खतरा छिपाए रखते हैं। एक सरल कार्य में, AI एक छोटे से बदलाव को संभाल सकता है। लेकिन एक लंबी, जटिल कहानी में, शुरुआत में हुआ एक छोटा सा बदलाव पूरी प्रक्रिया में लहरें पैदा कर सकता है, जिससे अंत में आपदा आ सकती है। यह एक शांत तालाब में एक कंकड़ डालने जैसा है; यह एक छोटा सा छींटा मारता है। लेकिन उस कंकड़ को एक बहती हुई नदी में डालें, और यह नीचे की ओर एक विशाल लहर पैदा कर सकता है।
"कौन" उतना ही महत्वपूर्ण है जितना कि "क्या"
एक अन्य दिलचस्प खोज यह थी कि एजेंट बनाने वाला विशिष्ट सॉफ़्टवेयर उतना ही मायने रखता था जितना कि उसे शक्ति देने वाला 'ब्रेन'। भले ही दो एजेंट एक ही "ब्रेन" (एक ही लार्ज लैंग्वेज मॉडल) का उपयोग कर रहे हों, एक दूसरे से बहुत अधिक सुरक्षित हो सकता है क्योंकि इसे कैसे बनाया गया है या यह अपनी मेमोरी को कैसे संभालता है। शोधकर्ताओं ने पाया कि एजेंट की पहचान स्वयं सुरक्षा विफलताओं के लिए अतिरिक्त 7.6% जिम्मेदार थी। इसका मतलब है कि केवल एक "स्मार्ट" दिमाग होना ही काफी नहीं है; एजेंट को कैसे तैयार किया गया है, यह उसकी सुरक्षा के लिए महत्वपूर्ण है।
इसका क्या अर्थ है
पेपर सुझाव देता है कि हम अब केवल सरल, स्थिर प्रश्नों के साथ AI सुरक्षा का परीक्षण नहीं कर सकते। हमें उन्हें जीवित, बदलते परिवेशों में परीक्षण करना होगा जहाँ नियम बदलते हैं और संदर्भ विकसित होता है। शोधकर्ताओं ने दिखाया कि जैसे-जैसे कार्य अधिक जटिल होते जाते हैं, यदि वातावरण की सावधानीपूर्वक निगरानी नहीं की जाती है, तो AI के गलती करने का जोखिम काफी बढ़ जाता है।
उन्होंने AI सुरक्षा की समस्या को "हल" नहीं किया, बल्कि उन्होंने एक विशाल, शक्तिशाली सूक्ष्मदर्शी (OpenART) बनाया है जो हमें उन दरारों को देखने की अनुमति देता है जिन्हें हम पहले नहीं देख सकते थे। उन्होंने साबित किया कि सुरक्षा केवल यह नहीं है कि AI क्या जानता है; यह इस बारे में है कि AI उस दुनिया के प्रति कैसी प्रतिक्रिया देता है जो कभी स्थिर नहीं रहती। और जो कोई भी अगली पीढ़ी के AI सहायक बना रहा है, उसके लिए सबक स्पष्ट है: यदि आप चाहते हैं कि आपका रोबोट बटलर सुरक्षित रहे, तो आपको इसे एक ऐसे घर में टेस्ट करना होगा जो लगातार पुनर्गठित हो रहा है, न कि एक ऐसे कमरे में जो कभी नहीं बदलता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।