Breaking the Assumptions: Auditing Input-Side Jailbreak Defenses Against Semantic Attacks
यह शोध पत्र छह ओपन-वेट मॉडलों और जेलब्रेक प्रॉम्प्ट्स के एक विविध संग्रह पर व्यापक अनुभवजन्य परीक्षण के माध्यम से, स्थानीय रूप से तैनात लार्ज लैंग्वेज मॉडल्स पर विभिन्न इनपुट-साइड जेलब्रेक रक्षा प्रणालियों की प्रभावशीलता का ऑडिट करता है, और उनके विफलताओं को व्यवस्थित रूप से उल्लंघन की गई डिज़ाइन धारणाओं तक ट्रैक करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल दुनिया के शांत कोनों में, एक नए प्रकार की बुद्धिमत्ता ने जड़ें जमा ली हैं। ये बड़े भाषा मॉडल (large language models) हैं, जो लगभग उस हर चीज़ पर प्रशिक्षित विशाल सिस्टम हैं जो मनुष्यों द्वारा लिखी गई है, और बातचीत करने, कोड लिखने या कहानी सुनाने में सक्षम हैं। जबकि इन प्रणालियों के सबसे प्रसिद्ध संस्करण क्लाउड में विशाल सर्वरों पर चलते हैं, जिनकी सुरक्षा के लिए सुरक्षा इंजीनियरों की टीमें हर अनुरोध पर नज़र रखती हैं, एक अलग चलन बढ़ रहा है। डेवलपर्स अब इन समान शक्तिशाली दिमागों को व्यक्तिगत कंप्यूटरों, स्थानीय कार्यालयों या निजी सर्वरों पर चलाने में सक्षम हैं। यह बदलाव स्वतंत्रता और गोपनीयता तो प्रदान करता है, लेकिन यह सुरक्षा जाल को भी हटा देता है। क्लाउड-आधारित रक्षकों के बिना, ये स्थानीय मॉडल पूरी तरह से उनके चारों ओर लिपटे सॉफ्टवेयर में निर्मित सुरक्षा तंत्रों पर निर्भर करते हैं। शोधकर्ताओं के सामने सवाल यह है कि क्या ये स्थानीय सुरक्षा कवच वास्तव में एक चतुर चाल को रोक सकते हैं, जिसे "जेलब्रेक" (jailbreak) कहा जाता है, जहाँ एक उपयोगकर्ता मशीन को उसके सुरक्षा नियमों को अनदेखा करने के लिए बहलाने की कोशिश करता है।
वर्षों से, सुरक्षा समुदाय एक विशिष्ट प्रकार की चाल पर ध्यान केंद्रित करता रहा है। ये हमले अक्सर गीबबिश (gibberish) या अजीब, उलझे हुए टेक्स्ट स्ट्रिंग्स की तरह दिखते हैं जो कंप्यूटर की शब्द पैटर्न की आंतरिक गिनती को भ्रमित करने के लिए डिज़ाइन किए गए होते हैं। बचाव ऐसे विसंगतियों को पहचानने के लिए बनाए गए थे, जो संदिग्ध प्रत्ययों (suffixes) या सांख्यिकीय गड़बड़ियों की तलाश करते थे। लेकिन एक नया अध्ययन बताता है कि सबसे खतरनाक खतरे अब ग्लिच (glitch) की तरह नहीं दिखते। इसके बजाय, वे सामान्य, प्रवाहपूर्ण मानवीय बातचीत की तरह दिखते हैं। शोधकर्ताओं ने यह परीक्षण करने के लिए काम शुरू किया कि क्या वर्तमान सुरक्षा कवच, जो अतीत के शोर भरे, टूटे-फूटे हमलों को पकड़ने के लिए डिज़ाइन किए गए थे, वर्तमान के सुचारू, विनम्र और गहरे धोखेबाज हमलों को रोक सकते हैं।
टीम ने, छह अलग-अलग ओपन-सोर्स भाषा मॉडलों के साथ काम करते हुए, चालीस से अधिक सार्वजनिक स्रोतों से एक सौ जेलब्रेक प्रॉम्प्ट्स का एक विशाल संग्रह एकत्र किया। ये अतीत के अराजक, मशीन-जनित स्ट्रिंग्स नहीं थे। वे सावधानीपूर्वक तैयार किए गए परिदृश्य थे: एक रोल-प्लेइंग गेम जहाँ उपयोगकर्ता बिना किसी सुरक्षा फिल्टर वाला एक वैज्ञानिक है, एक काल्पनिक कहानी जहाँ विमान दुर्घटना के जीवित बचे लोगों को जीवित रहने के लिए खतरनाक जानकारी की आवश्यकता होती है, या एक बहु-चरणीय (multi-turn) बातचीत जहाँ हानिकारक अनुरोध को कई विनम्र आदान-प्रदानों के माध्यम से धीरे-धीरे बनाया जाता है। शोधकर्ताओं ने फिर इन प्रॉम्प्ट्स को छह अलग-अलग रक्षा तंत्रों के माध्यम से चलाया, जिनमें से कुछ सुरक्षा के गणितीय गारंटी का दावा करते हैं, जबकि अन्य अनुभवजन्य पहचान (empirical detection) पर निर्भर करते हैं। उन्होंने बारीकी से देखा कि क्या बचाव इस चाल को पकड़ लेंगे, या मॉडल केवल छिपे हुए आदेश का पालन करेगा।
परिणाम स्पष्ट और परेशान करने वाले थे। बचाव, जिन्हें पुराने, शोर वाले हमलों को रोकने की अपनी क्षमता के लिए सराहा गया था, इन नए, सिमेंटिक (semantic) ट्रिक्स के खिलाफ काफी हदता हुआ विफल रहे। वास्तव में, अध्ययन में पाया गया कि कई मामलों में, बचावों ने न केवल मॉडलों की रक्षा करने में विफलता दिखाई; बल्कि उन्होंने उन्हें कम सुरक्षित भी बना दिया। जब शोधकर्ताओं ने 'स्मूथएलएलएम' (SmoothLLM) नामक एक बचाव लागू किया, जो यादृच्छिक वर्ण शोर (random character noise) जोड़कर हमले को भ्रमित करने का प्रयास करता है, तो कुछ मॉडलों के लिए जेलब्रेक की सफलता दर वास्तव में बढ़ गई। एक मॉडल, जिसने स्वयं हानिकारक प्रश्नों को देने से इनकार कर दिया था, बचाव चालू होने पर 38 प्रतिशत हमलों का पालन करने लगा, जो बिना बचाव के 24 प्रतिशत था। बचाव ने मूल रूप से टेक्स्ट को इतना उलझा दिया कि इसने मॉडल के अपने सुरक्षा प्रशिक्षण को ही भ्रमित कर दिया, जिससे वह चूक गया।
विफलता केवल एक प्रकार के बचाव तक सीमित नहीं थी; यह उन धारणाओं का एक व्यवस्थित पतन था जिन पर ये उपकरण बनाए गए थे। वे बचाव जो एक छिपे हुए हानिकारक कमांड को खोजने के लिए वाक्य के अंत को मिटाने पर निर्भर थे, इसलिए विफल हो गए क्योंकि हानिकारक इरादा बिल्कुल भी प्रत्यय (suffix) में छिपा हुआ नहीं था; बल्कि यह पूरी कहानी में बुना गया था। वे बचाव जिन्होंने टेक्स्ट को "डिनोइज़" (denoise) करने के लिए मॉडल को इसे फिर से लिखने के लिए कहा, विफल रहे क्योंकि मॉडल, किसी कहानी को पूरा करने के लिए पूछे जाने पर, बस उसी हानिकारक कहानी को पूरा कर देता था जो वह पहले से ही बता रहा था। यहाँ तक कि एक बचाव जिसने बातचीत के प्रत्येक टर्न की निगरानी की, जो खतरनाक भाषा के अचानक उछाल की तलाश कर रहा था, मौन रहा। इसने देखा कि कैसे एक उपयोगकर्ता ने हानिकारक हथियारों को बनाने के लिए एक पूर्ण मार्गदर्शिका बनाने के लिए प्रश्नों की एक श्रृंखला पूछी, और इसने कभी भी कोई अलार्म नहीं उठाया।
शायद सबसे प्रकट निष्कर्ष यह था कि मॉडल स्वयं ही एकमात्र वास्तविक रक्षा पंक्ति थे। अध्ययन ने दिखाया कि प्रणाली की सुरक्षा लगभग पूरी तरह से इस बात पर निर्भर थी कि किस विशिष्ट मॉडल का उपयोग किया जा रहा है, न कि इस पर कि कौन सा रक्षात्मक रैपर (defense wrapper) स्थापित किया गया है। गूगल और अलीबाबा जैसे कुछ मॉडलों ने, रक्षा के बावजूद, लगभग हर हमले को अस्वीकार कर दिया। अन्य, जैसे माइक्रोसॉफ्ट और आईबीएम के मॉडल, बहुत अधिक असुरक्षित थे, और उन्हें सुरक्षा सॉफ्टवेयर में लपेटने का कोई भी प्रयास उन्हें ठीक नहीं कर सका। इन सिमेंटिक हमलों के सामने, अंतर्निवासात्मक मस्तिष्क (underlying brain) का चुनाव सुरक्षा गार्ड के चुनाव से कहीं अधिक महत्वपूर्ण था। अध्ययन ने निष्कर्ष निकाला कि इन इनपुट-साइड डिफेंसेस की वर्तमान पीढ़ी, जो हमलों के एक अलग युग के लिए डिज़ाइन की गई थी, सुरक्षा का एक झूठा अहसास प्रदान करती है। वे एक ऐसे ताले की तरह हैं जिसे रॉड (crowbar) को रोकने के लिए डिज़ाइन किया गया है, जबकि घुसपैचर बस खुले दरवाजे से अंदर आ रहा है क्योंकि ताला एक विनम्र अनुरोध को रोकने के लिए कभी बनाया ही नहीं गया था।
शोधकर्ताओं ने केवल इन विफलताओं का अवलोकन नहीं किया; उन्होंने अत्यंत सटीक रूप से इनका निदान भी किया। उन्होंने दिखाया कि कुछ बचावों द्वारा किए गए गणितीय वादे केवल तभी सच होते हैं जब हमला एक बहुत ही विशिष्ट, शोर भरे तरीके से व्यवहार करता है। जब हमला सुचारू और सिमेंटिक होता है, तो वे वादे गायब हो जाते हैं, जिससे बचाव शक्तिहीन हो जाता है। उन्होंने पाया कि उन बचावों पर आधारित विचार कि हानिकारक सामग्री सांख्यिकीय रूप से असामान्य है, बेकार थे, क्योंकि ये नए हमले पूरी तरह से प्रवाहपूर्ण और सांख्यिकीय रूप से सामान्य हैं। यह अध्ययन उन सभी के लिए एक गंभीर ऑडिट है जो इन शक्तिशाली उपकरणों को स्थानीय रूप से तैनात कर रहे हैं। यह सुझाव देता है कि मॉडल की सुरक्षा खामियों को ठीक करने के लिए सॉफ़्टवेयर रैपर पर भरोसा करना एक जुआ है, और एकमात्र विश्वसनीय सुरक्षा उस मॉडल के चयन से आती है जिसे हानिकारक अनुरोधों को अस्वीकार करने के लिए कठोरता से संरेखित (aligned) किया गया है। एक सरल पैच के माध्यम से एक परिष्कृत, मानव-समान चाल को रोकने के भरोसे वाले युग का अंत हो गया है; सुरक्षा का भविष्य स्वयं मॉडल की गुणवत्ता में निहित है, न कि उसके चारों ओर रखे गए कवच में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।