From Money to Prompt Laundering: CLEANSE*, a Risk-Calibrated Multi-View Detector
यह शोधपत्र CLEANSE* को प्रस्तुत करता है, जो एक जोखिम-कैलिब्रेटेड मल्टी-व्यू डिटेक्टर है जो सिमेंटिक, स्ट्रक्चरल, क्रॉस-लिंगुअल और स्टाइलोमेट्रिक संकेतों को फ्यूज करके प्रॉम्प्ट लॉन्ड्रिंग हमलों की प्रभावी ढंग से पहचान करता है, और विविध बेंचमार्क एवं स्ट्रेस टेस्ट के माध्यम से कम लेटेंसी बनाए रखते हुए जोखिम और अटैक सक्सेस रेट को कम करने में बेहतर प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) शक्तिशाली उपकरण हैं जो कहानियाँ लिख सकते हैं, समस्याओं को हल कर सकते हैं और प्रश्नों के उत्तर दे सकते हैं, लेकिन वे एक विशेष प्रकार की चालाकी के प्रति भी संवेदनशील होते हैं। जिस तरह एक बैंक को एक वैध जमा और एक धोखाधड़ी वाले हस्तांतरण के बीच अंतर करने की आवश्यकता होती है, उसी तरह इन डिजिटल प्रणालियों को एक हानिरहित अनुरोध और एक छिपे हुए कमांड के बीच अंतर करना चाहिए जिसे उनके सुरक्षा नियमों को तोड़ने के लिए डिज़ाइन किया गया है। हमलावरों ने मासूम दिखने वाली कहानियों में हानिकारक निर्देशों को लपेटकर, उन्हें विभिन्न भाषाओं में अनुवाद करके, या उन्हें जटिल फॉर्मेटिंग के भीतर छिपाकर उन्हें छिपाना सीख लिया है। यह प्रक्रिया, जिसे 'प्रॉम्प्ट लॉन्ड्रिंग' (prompt laundering) के रूप में जाना जाता है, एक दुर्भावनापूर्ण लक्ष्य को उसके स्वरूप को बदले बिना और उसके खतरनाक इरादे को बरकरार रखते हुए मानक फिल्टरों से बच निकलने की अनुमति देती है। शोधकर्ताओं के लिए चुनौती एक ऐसा सिस्टम बनाने की है जो इन छलावेों के पार देख सके, और छिपे हुए खतरे को पहचान सके, भले ही उसकी सतह पूरी तरह से सुरक्षित दिखाई दे।
एक शोधकर्ता ने इस चुनौती का सामना करने के लिए CLEANSE* नामक एक नया डिटेक्शन सिस्टम विकसित किया है। एक समस्या को पकड़ने के लिए केवल एक विधि पर निर्भर रहने के बजाय, यह सिस्टम विशेषज्ञों की एक टीम की तरह कार्य करता है, जहाँ प्रत्येक विशेषज्ञ इनपुट को एक अलग दृष्टिकोण से देखता है। एक विशेषज्ञ शब्दों के गहरे अर्थ की जांच करता है ताकि यह देखा जा सके कि क्या इरादा ज्ञात हानिकारक पैटर्न से मेल खाता है। दूसरा विशेषज्ञ अनुरोध की संरचना की जांच करता है, यह देखते हुए कि क्या कहानी एक तार्किक प्रवाह का पालन करती है या क्या इसे एक अजीब आकार में मोड़ दिया गया है जो एक छिपे हुए एजेंडे का सुझाव देता है। तीसरा विशेषज्ञ यह जाँचता है कि क्या टेक्स्ट का अर्थ भाषाओं के बीच आगे-पीछे अनुवाद करने पर समान रहता है, जो अक्सर छिपे हुए कमांडों में विसंगतियों को प्रकट करने वाली एक तकनीक है। अंतिम विशेषज्ञ सतह के विवरणों, जैसे कि विराम चिह्न, फॉर्मेटिंग कोड और असामान्य वर्णों के उपयोग की सूक्ष्मता से जांच करता है, जिनका उपयोग अक्सर निर्देशों को छिपाने के लिए किया जाता है। इन सभी विभिन्न दृष्टिकोणों से प्राप्त निष्कर्षों को जोड़कर, सिस्टम एक एकल, कैलिब्रेटेड स्कोर बनाता है जो यह दर्शाता है कि किसी अनुरोध के लॉन्ड्रर्ड हमले होने की कितनी संभावना है।
शोधकर्ता ने इस मल्टी-व्यू सिस्टम का परीक्षण प्रॉम्प्ट्स के एक विशाल संग्रह के विरुद्ध किया, जिसमें हजारों उदाहरण शामिल थे जहाँ हमलावरों ने विभिन्न युक्तियों का उपयोग करके अपने वास्तविक इरादों को छिपाने की कोशिश की थी। उन्होंने यह मापा कि सिस्टम ने हानिरहित अनुरोधों को ब्लॉक करने वाले 'फॉल्स अलार्म' की संख्या को सख्ती से कम रखते हुए कैसा प्रदर्शन किया। इन परीक्षणों में, नया सिस्टम पिछले तरीकों की तुलना में काफी अधिक प्रभावी साबित हुआ जो डेटा को देखने के केवल एक तरीके पर निर्भर थे। जब शोधकर्ता ने सिस्टम को केवल एक प्रतिशत हानिरहित अनुरोधों को ब्लॉक करने के लिए सेट किया, तो नए डिटेक्टर ने पुराने उपकरणों की तुलना में हानिकारक प्रॉम्प्ट को गुजर जाने के जोखिम को एक मापने योग्य मार्जिन से कम कर दिया। इसने हमलों की सफलता दर को भी कम कर दिया, जिसका अर्थ है कि कम दुर्भावनापूर्ण निर्देश गार्ड से बच पाए। सिस्टम ने इन परिणामों को उच्च स्तर की सटीकता बनाए रखते हुए प्राप्त किया, जिससे यह सुनिश्चित हुआ कि जब इसने किसी अनुरोध को फ्लैग किया, तो वह वास्तव में संदिग्ध था। इसके अलावा, सिस्टम तेज़ बना रहा, जो एक सेकंड के अंश में अनुरोधों को प्रोसेस करता है, जो उन अनुप्रयोगों में वास्तविक समय के उपयोग के लिए आवश्यक है जहाँ उपयोगकर्ता तत्काल उत्तरों की अपेक्षा करते हैं।
अध्ययन ने यह भी पता लगाया कि सिस्टम उन स्थितियों को कितनी अच्छी तरह संभालता है जिन्हें उसने पहले कभी नहीं देखा है, जैसे कि ऐसी भाषाएँ जिनमें उसे स्पष्ट रूप से प्रशिक्षित नहीं किया गया था, या ऐसे हमले जो नए तरीकों से कई छिपाने वाली तकनीकों को जोड़ते हैं। इन कठिन परिदृश्यों में भी, सिस्टम ने सिंगल-मेथड डिटेक्टरों की तुलना में बेहतर स्थिति बनाए रखी। इसने दिखाया कि कई कोणों से समस्या को देखकर, सिस्टम बिना पूरी तरह से पुन: प्रशिक्षित हुए नए ट्रिक्स के अनुकूल हो सकता है। शोधकर्ता ने नोट किया कि हालांकि सिस्टम मजबूत है, लेकिन यह पूर्ण नहीं है; यह अभी भी अत्यंत जटिल या अनुकूलित हमलों से भ्रमित हो सकता है, और इसका प्रदर्शन टेक्स्ट संरचना का विश्लेषण करने वाले उपकरणों की गुणवत्ता पर निर्भर करता है। हालाँकि, परिणाम बताते हैं कि यह मल्टी-परस्पेक्टिव दृष्टिकोण बड़े भाषा मॉडलों को प्रॉम्प्ट लॉन्ड्रिंग के बढ़ते खतरे से सुरक्षित करने के लिए एक व्यावहारिक और शक्तिशाली तरीका है।
इस कार्य के निहितार्थ केवल बुरे इनपुट को रोकने तक ही सीमित नहीं हैं। सिस्टम को लचीला बनाया गया है, जिससे संगठन अपनी विशिष्ट आवश्यकताओं के आधार पर अपनी सख्ती को समायोजित कर सकते हैं। उदाहरण के लिए, एक वित्तीय सेवा किसी भी जोखिम से बचने के लिए अधिक अनुरोधों को ब्लॉक करने के लिए अधिक सतर्क होना चुन सकती है, जबकि एक शैक्षिक उपकरण छात्रों को निराश करने से बचने के लिए अधिक अनुरोधों को जाने देने को प्राथमिकता दे सकता है, और संदिग्ध मामलों को मानव समीक्षा के लिए फ्लैग करने की क्षमता पर भरोसा कर सकता है। शोधकर्ता ने एक ढांचा प्रदान किया है जो इन निर्णयों को सुरक्षा और उपयोगकर्ता अनुभव के बीच ट्रेड-ऑफ के स्पष्ट डेटा के साथ लेने की अनुमति देता है। इस प्रक्रिया को पारदर्शी और समायोज्य बनाकर, यह कार्य उन्नत एआई सुरक्षा अनुसंधान और इन तकनीकों को वास्तविक दुनिया में तैनात करने की व्यावहारिक आवश्यकताओं के बीच के अंतर को पाटने में मदद करता है। अध्ययन निष्कर्ष निकालता है कि हालांकि प्रॉम्प्ट लॉन्ड्रिंग के खिलाफ लड़ाई जारी है, लेकिन सिमेंटिक, स्ट्रक्चरल और सरफेस-लेवल सुरागों का संयोजन किसी भी एकल जांच पद्धति की तुलना में एक मजबूत रक्षा प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।