A Self-Evolving Multi-Agent Framework Defense against LLM Jailbreak Attacks
यह शोध पत्र एक स्व-विकसित, पैरामीटर-मुक्त मल्टी-एजेंट रक्षा ढांचे का प्रस्ताव करता है जो सफल जेलब्रेक प्रयासों को सामान्यीकरण योग्य विधि-स्तरीय नियमों में सार रूप में बदलने के लिए एक निरंतर क्रॉस-इंटरैक्शन नियम स्मृति का उपयोग करता है, जिससे LLMs को सौहार्दपूर्ण उपयोगिता से समझौता किए बिना या ओवर-रिफ्यूज़ल (अत्यधिक इनकार) को बढ़ाए बिना विकसित होते हमले की रणनीतियों के अनुकूल गतिशील रूप से ढलने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) शक्तिशाली उपकरण हैं जो कहानियाँ लिख सकते हैं, समस्याओं को हल कर सकते हैं और प्रश्नों के उत्तर दे सकते हैं, लेकिन उनमें एक बड़ी कमजोरी है: उन्हें अपनी सुरक्षा नियमों को अनदेखा करने के लिए बहकाया जा सकता है। कल्पना कीजिए कि एक अत्यधिक प्रशिक्षित सहायक है जिसे कभी भी खतरनाक निर्देश न देने के लिए सिखाया गया है, जैसे कि हथियार कैसे बनाया जाए या सुरक्षा प्रणाली को कैसे बायपास किया जाए। एक चतुर छली फिर भी इस सहायक को एक जटिल वेशभूषा में खतरनाक अनुरोध को लपेटकर अनुपालन करने के लिए मजबूर कर सकता है, जैसे कि किसी कहानी में एक पात्र होने का नाटक करना या अनुरोध को कंप्यूटर कोड के भीतर छिपाना। ये चालें, जिन्हें "जेलब्रेक" कहा जाता है, मॉडल की निर्देशों का पालन करने की इच्छा का फायदा उठाती हैं, जिससे हानिकारक विचार इसकी सुरक्षा प्रणालियों से बचकर निकल जाते हैं। वर्षों से, इन मॉडल्स को सुरक्षित रखने का मानक तरीका एक निश्चित अवरोध स्थापित करना रहा है, जैसे कि प्रतिबंधित शब्दों की एक स्थिर सूची या सिस्टम में प्रोग्राम किया गया निर्देशों का एक कठोर सेट। हालाँकि, जिस तरह एक चोर अंततः उस ताले को खोल सकता है जिसका उसने अध्ययन किया है, हमलावर नए प्रकार के भेष बनाते रहते हैं जिन्हें ये स्थिर अवरोध पहचान नहीं पाते, जिससे मॉडल उभरते खतरों के प्रति असुरक्षित हो जाते हैं।
नेशनल यूनिवर्सिटी ऑफ सिंगापुर के शोधकर्ताओं ने इस समस्या के लिए एक अलग दृष्टिकोण प्रस्तावित किया है, जो रक्षा प्रणाली को समय के साथ सीखने और मजबूत होने की अनुमति देता है। नियमों के एक निश्चित सेट पर निर्भर रहने के बजाय, जो कभी नहीं बदलता, उन्होंने एक ऐसा सिस्टम बनाया है जो प्रत्येक विफल प्रयास को एक सबक के रूप में मानता है। जब सिस्टम किसी ऐसे नए प्रकार के छल का सामना करता है जो सफलतापूर्वक इसकी सुरक्षा को भेद देता है, तो यह केवल उस एकल अनुरोध को ब्लॉक करके आगे नहीं बढ़ जाता। इसके बजाय, यह छल की संरचना का विश्लेषण करता है, विशिष्ट हानिकारक विषय को हटा देता है, और एक नया, पुन: प्रयोज्य नियम बनाता है जो अनुरोध को छिपाने के लिए उपयोग की गई पद्धति को लक्षित करता है। यह नया नियम एक स्थायी स्मृति (मेमोरी) में संग्रहीत किया जाता है, ठीक वैसे ही जैसे एक सुरक्षा गार्ड चोर द्वारा पहने गए विशिष्ट पहनावे को नोट करता है, ताकि गार्ड भविष्य में उसी तरह के पहनावे में आने वाले किसी भी व्यक्ति को पहचान सके, चाहे वे कुछ भी चुराने की कोशिश कर रहे हों।
यह प्रणाली चार विशिष्ट घटकों की एक टीम के माध्यम से संचालित होती है जो प्रत्येक बातचीत के दौरान मिलकर काम करती है। सबसे पहले, एक क्लासिफायर (वर्गीकारक) आने वाले अनुरोध को देखता है कि क्या वह किसी ज्ञात छल का उपयोग कर रहा है। यदि अनुरोध हानिरहित है, तो इसका उत्तर सामान्य रूप से दिया जाता है। यदि अनुरोध एक छल जैसा दिखता है, तो सिस्टम अपनी मेमोरी में एक नियम की जाँच करता है जो वेशभूषा की विशिष्ट शैली से मेल खाता हो। यदि कोई मिलान करने वाला नियम मौजूद है, तो सिस्टम तुरंत एक सख्त इनकार या एक सुरक्षित वैकल्पिक प्रतिक्रिया लागू करता है। यदि अनुरोध एक बिल्कुल नए प्रकार का छल है जिसे सिस्टम ने पहले कभी नहीं देखा है, तो इसे शुरू में गुजरने दिया जाता है। यदि मॉडल फिर से गलती से एक हानिकारक उत्तर उत्पन्न करता है, तो एक 'रिफ्लेक्शन एजेंट' हस्तक्षेप करता है। यह एजेंट विफलता का विश्लेषण करता है, हमले के संरचनात्मक पैटर्न की पहचान करता है, और मेमोरी बैंक में एक नया नियम लिखता है। यह नया नियम भविष्य के उन सभी अनुरोधों से सुरक्षा के लिए उपलब्ध होता है जो उसी संरचनात्मक पैटर्न का उपयोग करते हैं, जिससे एक एकल विफलता को समान हमलों के पूरे परिवार के खिलाफ एक स्थायी ढाल में बदल दिया जाता है।
शोधकर्ताओं ने इस स्व-विकसित रक्षा का परीक्षण कई अलग-अलग मॉडल्स पर किया, जिसमें ओपन-सोर्स प्रोग्राम और शक्तिशाली व्यावसायिक सिस्टम दोनों शामिल थे जिन्हें सीधे संशोधित नहीं किया जा सकता है। उन्होंने इन मॉडल्स को चार अलग-अलग परिवारों के जेलब्रेक हमलों के अधीन किया, जिसमें रोल-प्लेइंग, कोड ऑब्सफस्केशन (कोड को अस्पष्ट बनाना), और बहु-चरणीय हेरफेर जैसी विधियाँ शामिल थीं। परिणामों ने दिखाया कि जैसे-जैसे सिस्टम अधिक हमलों का सामना करता है और अपनी मेमोरी में अधिक नियम जोड़ता है, उन्हें रोकने की इसकी क्षमता नाटकीय रूप से सुधरती है। शुरुआती चरणों में, जब मेमोरी खाली थी, सिस्टम असुरक्षित था, लेकिन कुछ उदाहरणों से सीखने के बाद, इसने इन हमलों की सफलता दर को लगभग शून्य तक कम कर दिया। महत्वपूर्ण रूप से, यह सीखना मॉडल के मूल मस्तिष्क को बदले बिना हुआ; सिस्टम ने केवल अपनी मेमोरी में बाहरी नोट्स जोड़कर अपने इनपुट को संसाधित करने के बारे में अधिक स्मार्ट होकर यह हासिल किया।
इस अध्ययन का एक प्रमुख निष्कर्ष यह है कि यह विधि सिस्टम को अत्यधिक सतर्क या रूखा नहीं बनाती है। शोधकर्ताओं ने यह जाँचने के लिए परीक्षण किया कि क्या नियमों की बढ़ती सूची के कारण मॉडल सामान्य अनुरोधों को अस्वीकार कर देगा, जिसे 'ओवर-रिफ्यूजल' (अत्यधिक इनकार) की समस्या कहा जाता है। उन्होंने पाया कि हमलों के विभिन्न प्रकारों से मेमोरी भरने के बावजूद, सिस्टम खतरनाक छलों और सुरक्षित प्रश्नों के बीच अंतर करने में सटीक बना रहा। सिस्टम केवल उन अनुरोधों को अस्वीकार करता है जो हमलों के विशिष्ट संरचनात्मक पैटर्न से मेल खाते हैं। यह सुझाव देता है कि रक्षा सटीक है, जो बातचीत के विषय के बजाय हमले की पद्धति को लक्षित करती है। अध्ययन ने यह भी दिखाया कि सिस्टम अभी भी मजबूत बना रहा जब हमलावरों ने पता लगाने से बचने के लिए विभिन्न ट्रिक्स को मिलाने की कोशिश की, जो यह दर्शाता है कि मेमोरी-आधारित दृष्टिकोण जटिल, विकसित होते खतरों के अनुकूल हो सकता है।
यह कार्य स्थिर सुरक्षा से गतिशील अनुकूलन की ओर एक बदलाव का प्रतिनिधित्व करता है। जबकि पिछले बचाव एक बंद दरवाजे की तरह थे जिसे सही उपकरण मिलने पर खोला जा सकता था, यह नया ढांचा एक ऐसी सुरक्षा टीम की तरह कार्य करता है जो हर उल्लंघन के बाद अपनी 'वॉच लिस्ट' को अपडेट करती है। विफलताओं को पुन: प्रयोज्य ज्ञान में बदलकर, सिस्टम एक ऐसा बचाव बनाता है जो परीक्षण किए जाने पर और अधिक मजबूत होता जाता है। शोधकर्ताओं ने प्रदर्शित किया कि यह दृष्टिकोण विभिन्न प्रकार के मॉडल्स और हमले की शैलियों पर काम करता है, जो एक ऐसी दुनिया में आर्टिफिशियल इंटेलिजेंस को सुरक्षित बनाने की दिशा में एक आशाजनक मार्ग प्रदान करता है जहाँ हमलावर नियमों को बायपास करने के नए तरीके लगातार आविष्कार कर रहे हैं। अध्ययन यह निष्कर्ष निकालता है कि हालांकि कोई भी सिस्टम पूर्ण नहीं है, मॉडल को वास्तविक समय में अपनी गलतियों से सीखने की क्षमता देना एक ऐसा स्तर का लचीलापन प्रदान करता है जो स्थिर बचाव सरलतः प्राप्त नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।