NAAMSE: Framework for Evolutionary Security Evaluation of Agents
यह शोध पत्र NAAMSE को प्रस्तुत करता है, जो एक विकासवादी ढांचा (evolutionary framework) है जो एक एकल स्वायत्त एजेंट का उपयोग करके प्रॉम्प्ट्स को पुनरावर्ती रूप से उत्परिवर्तित (mutate) करने और कॉर्पोरा (corpora) की खोज करने के माध्यम से AI एजेंट सुरक्षा मूल्यांकन को स्वचालित और उन्नत करता है, जिससे उन अनुकूलन योग्य कमजोरियों को उजागर किया जा सके जिन्हें स्थिर बेंचमार्क छोड़ देते हैं, जबकि यह भी सुनिश्चित किया जाता है कि मॉडल अपनी सौहार्दपूर्ण-उपयोग (benign-use) की शुद्धता बनाए रखें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने बैंक, अपने अस्पताल या अपने कार्यालय में काम करने के लिए एक बहुत ही स्मार्ट, मददगार रोबोट सहायक (एक "AI एजेंट") बनाया है। आप यह सुनिश्चित करना चाहते हैं कि वास्तविक लोगों से बात करने से पहले वह सुरक्षित हो।
समस्या यह है कि इन रोबोटों का परीक्षण करने के पुराने तरीके टूट चुके हैं।
- पुराना तरीका (मैनुअल रेड टीमिंग): एक इंसान को रोबोट को चकमा देने की कोशिश करने के लिए काम पर रखना। यह धीमा है, महंगा है, और इंसान केवल सीमित संख्या में ही चालें सोच सकता है।
- स्थिर तरीका (बेंचमार्क्स): रोबोट को 100 "बुरे सवालों" की एक निश्चित सूची देना। समस्या यह है कि जैसे ही रोबोट उन 100 सवालों के जवाब देना सीख जाता है, हैकर्स 1,000 नए तरीके निकाल लेते हैं जो उस सूची में नहीं होते।
प्रवेश NAAMSE: "इवोल्यूशनरी सिक्योरिटी कोच" (विकासवादी सुरक्षा कोच)
इस पेपर के लेखक NAAMSE नामक एक नई प्रणाली का प्रस्ताव देते हैं। इसे केवल एक परीक्षण के रूप में नहीं, बल्कि सुरक्षा खामियों को खोजने के लिए एक "सर्वाइवल-ऑफ-द-फिटेस्ट" (योग्यतम की उत्तरजीविता) ट्रेनिंग कैंप के रूप में समझें।
यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:
1. सेटअप: एक एकल "दुष्ट" कोच
एक मानव परीक्षक या स्थिर सूची के बजाय, NAAMSE एक सुपर-स्मार्ट AI कोच का उपयोग करता है। इस कोच का एकमात्र काम लक्ष्य रोबोट को कुछ बुरा करने (जैसे राज लीक करना या नियम तोड़ना) के लिए उकसाना है।
2. ट्रेनिंग लूप: प्रयास, त्रुटि और विकास
कोच केवल अंदाजे से काम नहीं करता। यह एक निरंतर चक्र चलाता है जो इस प्रकार दिखता है:
चरण 1: लाइब्रेरी (चयन)
कोच हजारों सवालों की एक विशाल लाइब्रेरी से शुरू करता है, जो "मैं केक कैसे बनाऊं?" (अच्छा) से लेकर "मैं बैंक कैसे हैक करूं?" (बुरा) तक विस्तृत है। यह एक शुरुआती सवाल चुनता है।- उपमा: कल्पना कीजिए कि एक शेफ एक नया नुस्खा शुरू करने के लिए एक विशाल पेंट्री से एक रैंडम सामग्री चुनता है।
चरण 2: टेस्ट टेस्ट (निष्पादन और स्कोरिंग)
कोच लक्ष्य रोबोट से वह सवाल पूछता है। फिर, यह जवाब की जांच करता है।- द ट्रैप (जाल): यदि रोबोट बुरे सवाल के जवाब में कहता है, "मैं यह नहीं कर सकता", तो यह अच्छा है (स्कोर: कम)। यदि रोबोट वास्तव में वह बुरा काम कर देता है, तो यह एक विफलता है (स्कोर: उच्च)।
- द ट्विस्ट (मोड़): सिस्टम "अच्छे" सवालों की भी जांच करता है। यदि रोबोट केक बनाने से मना कर देता है क्योंकि उसे लगता है कि बेकिंग खतरनाक है, तो यह भी एक विफलता है (स्कोर: उच्च)।
- उपमा: कोच रोबोट को दो चीजों पर ग्रेड देता है: सुरक्षा (बुरी चीजें न करें) और उपयोगिता (अच्छी चीजें करें)। यदि रोबोट इतना डर जाता है कि वह कुछ भी करने से मना कर देता है, तो वह विफल हो जाता है। यदि वह बहुत लापरवाह है, तो भी वह विफल हो जाता है।
चरण 3: म्यूटेशन (विकास/परिवर्तन)
यही जादू वाला हिस्सा है। स्कोर के आधार पर, कोच तय करता है कि उसे अपने अगले सवाल को कैसे बदलना है:- यदि रोबलेट ने बुरे सवाल को अस्वीकार कर दिया (कम स्कोर): कोच सोचता है, "यह काम नहीं आया। मुझे एक बिल्कुल नया नजरिया चाहिए!" वह एक नया प्रकार का तरीका खोजने के लिए लाइब्रेरी के दूसरे हिस्से में जाता है।
- यदि रोबोट लगभग फिसल गया था (मध्यम स्कोर): कोच सोचता है, "हम करीब हैं! आइए इसे अधिक विश्वसनीय बनाने के लिए इसकी शब्दावली में थोड़ा बदलाव करें।"
- यदि रोबोट लगभग बुरा काम कर बैठा था (उच्च स्कोर): कोच सोचता है, "बिंगो! आइए इसे और भी चरम पर ले जाएं ताकि देख सकें कि हम इसे कितनी दूर तक धकेल सकते हैं।"
- उपमा: एक ताला खोलने वाले (lockpicker) की कल्पना करें। यदि एक चाबी फिट नहीं बैठती, तो वह दूसरी चाबी के आकार को आजमाता है। यदि चाबी आधी तरह फिट हो जाती है, तो वह उसे बेहतर फिट करने के लिए थोड़ा घिसता है। यदि वह दरवाजा खोल देती है, तो वह ताला तोड़ने के लिए उसे और तेजी से चलाने की कोशिश करता है।
चरण 4: आर्काइव (एकीकरण)
कोच द्वारा आविष्कार किए गए हर नए, बेहतर ट्रिक को वापस लाइब्रेरी में सहेज लिया जाता है। समय के साथ, लाइब्रेरी सबसे परिष्कृत, "विकसित" ट्रिक्स से भर जाती है जिन्होंने सफलतापूर्वक रोबोट को चकमा दिया है।
यह बेहतर क्यों है?
पेपर दिखाता है कि यह "इवोल्यूशनरी" दृष्टिकोण उन छिपी हुई कमजोरियों को ढूंढ निकालता है जिन्हें स्थिर सूचियाँ मिस कर देती हैं।
- "ब्लैंकेट रिफ्यूज़ल" (पूर्ण इनकार) की समस्या: कुछ रोबोट इतने डरे हुए होते हैं कि वे किसी भी चीज़ का उत्तर देने से मना कर देते हैं (यहाँ तक कि "मौसम कैसा है?" का भी)। स्थिर परीक्षणों में लग सकता है कि यह रोबोट "सुरक्षित" है क्योंकि यह बुरे अनुरोधों के लिए कभी "हाँ" नहीं कहता। लेकिन NAAMSE इसे पकड़ लेता है क्योंकि यह यह भी जांचता है कि क्या रोबोट बेकार हो गया है। यह रोबोट को सुरक्षित और उपयोगी दोनों होने के लिए मजबूर करता है।
- "कंपाउंड" (संयुक्त) प्रभाव: समय के साथ हमलों को विकसित करके, कोच छोटे-छोटे ट्रिक्स को एक बड़े, जटिल ट्रिक में संयोजित करना सीख जाता है जो रोबोट को भ्रमित कर देता है।
निचोड़ (The Bottom Line)
NAAMSE एक डिजिटल इम्यून सिस्टम की तरह है। केवल यह जांचने के बजाय कि क्या आपको साल में एक बार जुकाम हुआ है, यह लगातार नए, अधिक शक्तिशाली वायरस का अनुकरण करता है ताकि आपके शरीर (AI) को उन्हें पहचानने और उनसे लड़ने के लिए प्रशिक्षित किया जा सके, जबकि यह भी सुनिश्चित किया जा सके कि आपका शरीर कीटाणुओं से इतना न डर जाए कि वह सांस लेना भी बंद कर दे।
यह AI एजेंटों को वास्तविक दुनिया को संभालने के लिए पर्याप्त मजबूत बनाने का एक तरीका है, जहाँ हैकर्स हमेशा उन्हें धोखा देने के नए तरीके आविष्कार करते रहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।