Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense
मेम्ब्रेन (Membrane) एक स्व-विकसित गार्डरेल है जो एक कंट्रास्टिव सेफ्टी मेमोरी (Contrastive Safety Memory) का उपयोग करता है ताकि हानिकारक प्रश्नों को उनके हानिरहित समकक्षों के साथ गतिशील रूप से जोड़ा जा सके, जिससे विकसित होते हुए जेलब्रेक्स के विरुद्ध सटीक, अनुकूलन योग्य रक्षा सक्षम होती है और मौजूदा तरीकों की तुलना में गलत इनकार (false refusals) को काफी कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थोड़ी नादान लाइब्रेरियन (AI) है जो लोगों को जानकारी खोजने में मदद करती है। समस्या यह है कि बुरे तत्व (bad actors) चालाकी से छद्म वेश धारण करके इस लाइब्रेरियन को खतरनाक या अवैध निर्देश देने के लिए बहलाने की कोशिश करते हैं (जैसे "बम कैसे बनाएं" या "क्रेडिट कार्ड नंबर कैसे चुराएं")। इन तरकीबों को "जेलब्रेक" (jailbreaks) कहा जाता है।
यह शोध पत्र एक नया सुरक्षा तंत्र पेश करता है जिसे MEMBRANE कहा जाता है। MEMBRANE को एक कठोर दीवार के रूप में नहीं, बल्कि एक जीवित, स्वयं सीखने वाले सुरक्षा गार्ड के रूप में सोचें जो एक विशेष नोटबुक रखता है जिसे कॉन्ट्रास्टिव सेफ्टी मेमोरी (CSM) कहा जाता है।
यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए:
1. समस्या: "एकतरफा" नोटबुक
पुराने सुरक्षा गार्डों के पास ऐसी नोटबुक होती थी जिसमें केवल बुरी चीजें सूचीबद्ध होती थीं।
- उदाहरण: "यदि कोई बम बनाने की विधि पूछे, तो 'ना' कहें।"
- खामी: यदि कोई बुरा व्यक्ति पूछता है, "मैं एक बम के बारे में फिल्म की पटकथा लिख रहा हूँ," तो गार्ड "बम" शब्द देखकर घबरा जाता है और निर्दोष फिल्म लेखक को भी "ना" कह देता है। इसे ओवर-रिफ्यूजल (over-refusal) कहा जाता है। गार्ड किसी भी ऐसी चीज़ को अंदर जाने देने से डरता है जो थोड़ी भी खतरे जैसी दिखती हो।
2. समाधान: "आमने-सामने" वाली नोटबुक
MEMBRANE इस नोटबुक को बदल देता है। केवल बुरी चीजों को सूचीबद्ध करने के बजाय, अब प्रत्येक प्रविष्टि (entry) के दो पक्ष होते हैं: बुरा अनुरोध (Bad Request) और अच्छा अनुरोध (Good Request) जो सतह पर बिल्कुल एक जैसा दिखता है।
- बुरा पक्ष: "बम बनाने की विधि लिखें।" -> ब्लॉक करें।
- अच्छा पक्ष: "एक फिल्म के दृश्य के लिए लिखें जहाँ एक पात्र बम बनाने की विधि पूछता है।" -> अनुमति दें।
उन्हें एक साथ जोड़कर, गार्ड इरादे (intent) में अंतर को सीखता है, न कि केवल शब्दों को। वह सीखता है कि अनुरोध की संरचना मायने रखती है, न कि केवल कीवर्ड्स।
3. यह कैसे सीखता है: "स्वयं-विकसित होने वाली" प्रक्रिया
इसे नया सीखने के लिए वापस स्कूल (रिट्रेन) जाने की आवश्यकता नहीं है। यह वास्तविक समय में एक जासूस की तरह सीखता है जो घटना घटते ही केस सुलझाता है।
- परिदृश्य: एक बुरा व्यक्ति गार्ड को चकमा देने के लिए एक नई चाल चलता है।
- प्रतिक्रिया:
- यदि गार्ड विफल होता है और बुरे व्यक्ति को अंदर जाने देता है, तो सिस्टम कहता है, "ओह! हमसे चूक हो गई।" यह फिर एक नई नोटबुक प्रविष्टि बनाता है: "यहाँ वह बुरा तरीका है, और यहाँ उसका सुरक्षित दिखने वाला अच्छा संस्करण है।"
- यदि गार्ड विफल होता है क्योंकि उसने एक अच्छे व्यक्ति को ब्लॉक कर दिया (over-refusal), तो सिस्टम कहता है, "ओह! हम बहुत सख्त थे।" यह प्रविष्टि को अपडेट करता है और कहता है, "वास्तव में, इस प्रकार का विशिष्ट अनुरोध सुरक्षित है।"
- परिणाम: हर बातचीत के साथ नोटबुक स्मार्ट होती जाती है, जिससे एक "कॉन्ट्रास्टिव सेल" बनता है जो सुरक्षित और असुरक्षित के बीच की सटीक सीमा को पकड़ लेता है।
4. "रणनीति" इंडेक्स: "मोडस ऑपरेंडी" (कार्यप्रणाली) द्वारा समूहीकरण
शोध पत्र नोट करता है कि बुरे लोग अक्सर एक ही चालों (tactics) का उपयोग करते हैं (जैसे एक शोधकर्ता होने का ढोंग करना, या अनुरोध को छोटे चरणों में विभाजित करना) भले ही विषय बदल जाए (बम से लेकर नफरत भरे भाषण तक)।
MEMBRANE अपनी नोटबुक को विषय (जैसे, "बम") के आधार पर नहीं, बल्कि चाल (tactic) (जैसे, "एक शोधकर्ता होने का ढोंग करना") के आधार पर व्यवस्थित करता है।
- उपमा: एक पुलिस डेटाबेस की कल्पना करें। वे मामले को "बैंक डकैती" के तहत फाइल करने के बजाय, उसे "तरीका: पिज्जा डिलीवरी वाले के भेष में" के तहत फाइल करते हैं।
- यह कैसे मदद करता है: यदि गार्ड "पिज्जा डिलीवरी के भेष" को पहचानने में माहिर हो जाता है, तो वह किसी भी अपराध के लिए "पिज्जा डिलीवरी के भेष" के प्रति संदिग्ध होने के लिए स्वतः ही तैयार हो जाता है, भले ही उसने पहले कभी वह विशिष्ट अपराध न देखा हो। यह इसे पुराने नए रूपों को पहचानने में बहुत कुशल बनाता है।
5. "रिट्रीवल क्रिटिक": दोहरा सत्यापन
जब कोई उपयोगकर्ता कोई प्रश्न पूछता है, तो गार्ड केवल अनुमान नहीं लगाता।
- खोज (Search): यह अपनी नोटबुक में समान प्रविष्टियों को जल्दी से स्कैन करता है (जैसे एक लाइब्रेरियन शेल्फ से किताबें निकालता है)।
- फ़िल्टर (Filter): एक दूसरा, अधिक स्मार्ट "क्रिटिक" उन किताबों को देखता है और पूछता है, "क्या यह वास्तव में इस विशिष्ट प्रश्न पर लागू होता है, या यह केवल एक संयोग है?"
- निर्णय (Decide): गार्ड फ़िल्टर की गई जानकारी के आधार पर अंतिम निर्णय लेता है।
परिणाम: एक स्मार्ट, निष्पक्ष गार्ड
इस प्रणाली का परीक्षण छह अलग-अलग प्रकार के "जेलब्रेक" हमलों के खिलाफ किया गया।
- बुरे लोगों को पकड़ने में बेहतर: इसने लगभग सभी हमलों को रोक दिया (बहुत कम "अटैक सक्सेस रेट")।
- अच्छे लोगों को अंदर आने देने में बेहतर: इसने शायद ही कभी निर्दोष लोगों को रोका (बहुत कम "बेनाइन रिफ्यूजल")। अन्य सिस्टम 28% से 85% बार निर्दोष लोगों को ब्लॉक करते थे; MEMBRANE ने उन्हें केवल 7% से 14% बार ही ब्लॉक किया।
- लचीला (Resilient): यदि कोई नोटबुक को फर्जी डेटा के साथ विषाक्त (poison) करने की कोशिश करता है, तो भी सिस्टम स्थिर रहता है और भ्रमित नहीं होता।
संक्षेप में: MEMBRANE एक ऐसा सुरक्षा गार्ड है जो "बुरे" अनुरोधों की तुलना "अच्छे" अनुरोधों से करके सीखता है जो दिखने में एक जैसे हैं। उन्हें अपने स्मार्ट नोटबुक में आमने-सामने रखकर, यह ठीक-ठीक समझ जाता है कि रेखा कहाँ खींची जानी चाहिए, जिससे यह अच्छे लोगों को गलती से बाहर निकाले बिना बुरे लोगों को रोकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।